NVIDIA pokazała Matriksa. Na szczęście tylko dla robotów

W zeszłym tygodniu Nvidia zaprezentowała swój najnowszy model sztucznej inteligencji, Cosmos-Transfer 1, przeznaczony do trenowania robotów w środowisku symulacyjnym. Nowe rozwiązanie, oparte na modelu dużego języka (LLM) generującym światy, jest skierowane do sektora robotyki napędzanej sztuczną inteligencją, określanej również jako fizyczna AI.

Gigant technologiczny z Santa Clara zdecydował się udostępnić Cosmos-Transfer 1 w ramach otwartego kodu źródłowego, co oznacza, że deweloperzy i firmy na całym świecie mogą swobodnie pobierać i wykorzystywać model z popularnych repozytoriów online, takich jak GitHub i Hugging Face.

Nowa era szkolenia robotów

Szkolenie robotów w symulacji zyskuje coraz większą popularność, szczególnie w dobie dynamicznego rozwoju generatywnej sztucznej inteligencji. Tradycyjnie roboty przemysłowe były projektowane do wykonywania pojedynczych, ściśle określonych zadań. Jednak dzięki nowym metodom szkoleniowym i wykorzystaniu AI mogą one uczyć się wirtualnie i dostosowywać do różnych warunków pracy, zanim zostaną wdrożone w rzeczywistych środowiskach.

Cosmos-Transfer 1 jest częścią szerokiego programu Cosmos Transfer (WFM), który wykorzystuje dane wejściowe, takie jak mapy segmentacji, mapy głębi, skany lidarowe oraz inne ustrukturyzowane informacje wideo, aby generować realistyczne wizualizacje. Te wizualizacje służą następnie do szkolenia robotów w bezpiecznym środowisku symulacyjnym, minimalizując ryzyko błędów i kosztownych awarii w rzeczywistym świecie.

Nowe możliwości dzięki Cosmos-Transfer 1

Zgodnie z artykułem opublikowanym przez Nvidię na platformie arXiv, nowy model wyróżnia się znacznym poziomem personalizacji, przewyższając wcześniejsze wersje. Użytkownicy mogą precyzyjnie kontrolować wagi różnych danych wejściowych w zależności od przestrzennej lokalizacji, co pozwala na bardziej realistyczne i dostosowane do potrzeb generowanie symulacji.

Jednym z kluczowych atutów modelu jest jego zdolność do generowania światów w czasie rzeczywistym. Dzięki temu możliwe jest przeprowadzanie dynamicznych i różnorodnych sesji szkoleniowych dla robotów, co przyspiesza proces adaptacji do rzeczywistych warunków pracy.

Cosmos-Transfer 1 to model dyfuzyjny wyposażony w 7 miliardów parametrów. Jego głównym zadaniem jest usuwanie szumów wideo w przestrzeni utajonej, przy jednoczesnym wykorzystaniu mechanizmów sterowania. Model obsługuje zarówno dane tekstowe, jak i wideo jako wejście, co pozwala mu na generowanie fotorealistycznych wizualizacji. Obsługiwane formaty wejściowe obejmują m.in.:

• Canny edge – metoda wykrywania krawędzi,

• Blurred RGB – rozmyte obrazy RGB,

• Segmentation mask – maski segmentacyjne,

• Depth map – mapy głębi.

Testy i przyszłość modelu

Nowy model AI został już przetestowany na zaawansowanych układach Nvidia Blackwell oraz Hopper, a jego wnioskowanie przeprowadzono w środowisku systemu operacyjnego Linux. Model udostępniono w ramach licencji Nvidia Open Model License Agreement, która pozwala zarówno na wykorzystanie akademickie, jak i komercyjne.

Obecnie użytkownicy mogą pobrać Cosmos-Transfer 1 z repozytoriów Nvidia na GitHubie oraz Hugging Face. Firma zapowiedziała już kolejne wersje modelu, w tym bardziej zaawansowany wariant wyposażony w 14 miliardów parametrów, który ma zadebiutować w najbliższych miesiącach.

Nvidia umacnia swoją pozycję w świecie AI

Nowa inicjatywa Nvidia to kolejny krok w kierunku umocnienia pozycji firmy w sektorze AI i robotyki. Producent układów scalonych oraz superkomputerów od lat rozwija swoją ofertę technologii AI, współpracując z globalnymi liderami w dziedzinie sztucznej inteligencji, takimi jak Microsoft, BlackRock czy MGX.