NVIDIA GANverse3D wykorzystuje AI do tworzenia teksturowanych modeli 3D z jednego zdjęcia 2D

Podczas ostatniego dnia tegorocznej konferencji GTC 2021 Nvidia ujawniła swoje najnowsze osiągnięcia w dziedzinie sztucznej inteligencji. Korzystając z platformy Nvidia Omniverse i nowego narzędzia o nazwie GANverse3D, użytkownicy mogą tworzyć modele 3D, wraz z siatką i teksturami, z zaledwie jednego obrazu 2D, a wszystko to przy użyciu wyszkolonej sztucznej inteligencji. Aby zaprezentować tę technologię w akcji, Nvidia odtworzyła KITT - samochód ze sztuczną inteligencją z lat 80-tych, znany z popularnego niegdyś serialu z z Davidem Hasselhoffem pod tytułem Nieustraszony (Knight Rider).

GANverse3D pozwala tworzyć modele 3D, wraz z siatką i teksturami, z zaledwie jednego obrazu 2D - narzędzie może w przyszłości przyspieszyć tworzenie obiektów m.in. w grach wideo.

GANverse3D to aplikacja, która pobiera płaskie obrazy 2D i przekształca je w realistyczne modele 3D, które można wizualizować i kontrolować w środowiskach wirtualnych. Na przykład pojedyncze zdjęcie samochodu można przekształcić w model 3D, który może jeździć po wirtualnej scenie z działającymi funkcjami, takimi jak reflektory, tylne światła i kierunkowskazy. Sztuczna inteligencja została przeszkolona na zbiorze danych zawierającym ponad 50000 obrazów z różnych punktów widzenia, umożliwiając AI rozpoznawanie różnych części samochodu. Nvidia szkoliła również system na ptakach i koniach, ale w tym momencie najbardziej spektakularne wyniki osiąga się właśnie na samochodach. Na przykład, jeśli spróbujesz "nakarmić" narzędzie obrazem psa, człowieka lub drzewa, AI nie będzie w stanie renderować modelu 3D z takim samym poziomem dokładności ze względu na złożoność geometryczną.

Narzędzie może w przyszłości usprawnić tempo pracy w wielu branżach - od architektury po deweloperów gier. Podczas gdy główne motywy na scenie wciąż byłyby modelowany ręcznie, artyści i programiści będą mogli zaoszczędzić czas, wykorzystując sztuczną inteligencję do generowania elementów otoczenia i tła bez konieczności robienia tego ręcznie lub kupując gotowe zasoby. Technologię można dostosować do innych zestawów danych, aby uzyskać różne wyniki, przy czym firma Nvidia wykorzystuje ptaki i konie jako aktualny przykład. Nvidia planuje udostępnić kod projektu, by inni programiści mogli rozwijać system.