Instant NeRF - technologia NVIDII błyskawicznie zmienia zdjęcia 2D w sceny 3D

Na GTC 2022 zespół badawczy NVIDII zaprezentował imponującą technologię o nazwie Instant NeRF, która może przekształcić zdjęcia 2D w sceny 3D w zaledwie kilka sekund.

Nowa technologia o nazwie Neural Radiance Field lub NeRF polega na szkoleniu algorytmów sztucznej inteligencji, aby umożliwić tworzenie obiektów 3D z dwuwymiarowych zdjęć. NeRF ma możliwość wypełniania pustych miejsc poprzez interpolację tego, czego nie uchwyciły dwuwymiarowe zdjęcia. To naprawdę imponujące rozwiązanie, które może prowadzić do postępów w różnych dziedzinach, takich jak gry wideo i autonomiczna jazda. NVIDIA opracowała nową technikę NeRF – najszybszą do tej pory, jak twierdzi firma – która potrzebuje tylko kilku sekund na przeszkolenie i wygenerowanie sceny 3D.

NVIDIA zaprezentował imponującą technologię o nazwie Instant NeRF, która może przekształcić zdjęcia 2D w sceny 3D w zaledwie kilka sekund.

Szkolenie modelu o nazwie Instant NeRF zajmuje tylko kilka sekund i wykorzystuje dziesiątki nieruchomych zdjęć zrobionych pod różnym kątem. Następnie ten jest w stanie wygenerować scenę 3D w ciągu zaledwie „dziesiątek milisekund”. Podobnie jak inne techniki, NeRF wymaga zdjęć wykonanych z wielu ujęć, a w przypadku zdjęć z wieloma obiektami preferowane są zdjęcia zrobione bez zbytniego ruchu, w przeciwnym razie wynik może być rozmazany. Sprawdźcie Instant NeRF w akcji powyżej.

NVIDIA wyjaśnia, że ​​wczesne modele NeRF również nie potrzebują zbyt wiele czasu, aby uzyskać wyniki. Renderowanie sceny 3D zajmuje im tylko kilka minut, nawet jeśli obiekt na niektórych obrazach jest przesłonięty takimi rzeczami, jak filary i meble. Jednak ich szkolenie trwało godzinami. Trening nowej wersji Zielonych zajmuje tylko kilka sekund, ponieważ opiera się na technice opracowanej przez firmę, zwanej kodowaniem multi-resolution hash grid, która jest zoptymalizowana pod kątem wydajnego działania na jej kartach graficznych. Może działać nawet na jednym GPU, chociaż jest najszybsza na kartach z rdzeniami Tensor, które zapewniają zwiększenie wydajności sztucznej inteligencji.

NVIDIA jest przekonana, że ​​Instant NeRF może zostać wykorzystany do szkolenia robotów i pomocy autonomicznym systemom napędowym w zrozumieniu rozmiarów i kształtów rzeczywistych obiektów. NVIDIA dostrzega również przyszłość techniki w rozrywce i architekturze, gdzie można ją wykorzystać do generowania modeli 3D rzeczywistych środowisk, które twórcy mogą modyfikować podczas procesu planowania. Szybkie przekształcanie zdjęcia 2D w sceny 3D wydaje się mieć też duży potencjał do wykorzystania w grach wideo. 

Zobacz także:

• Anonymous przejęli dane Rosyjskiego Banku Centralnego. Dane trafiły do sieci
• GeForce RTX 4090 - nowe informacje wskazują na 24 GB pamięci VRAM i TDP 600 W
• Intel Arc A370M - karta graficzna przetestowana w Ashes of the Singularity