NVIDIA rozwija lokalną AI. Nowe modele i narzędzia dla deweloperów

NVIDIA rozwija narzędzia pozwalające uruchamiać sztuczną inteligencję lokalnie. Firma zamierza przez cały sierpień prezentować otwarte modele AI, aplikacje i narzędzia, które umożliwiają programistom oraz entuzjastom tworzenie własnych agentów AI działających na sprzęcie, bez konieczności ciągłego korzystania z usług dostępnych w chmurze.

Dużą rolę odgrywa tutaj rozwój oprogramowania open source. Coraz więcej modeli można pobrać, dostosować do własnych potrzeb i uruchomić na lokalnej stacji roboczej lub odpowiednio wydajnym komputerze. Daje to użytkownikowi większą kontrolę nad sposobem działania AI, a w przypadku pracy z prywatnymi danymi pozwala ograniczyć konieczność przesyłania informacji na zewnętrzne serwery.

NVIDIA stawia na AI

NVIDIA chce wykorzystać sierpień do pokazania firm i społeczności open source, które rozwijają takie rozwiązania. Producent będzie również prezentował własne modele, oprogramowanie, biblioteki, narzędzia dla programistów i materiały edukacyjne ułatwiające rozpoczęcie pracy z lokalną sztuczną inteligencją.

NVIDIA rozwija narzędzia pozwalające uruchamiać sztuczną inteligencję lokalnie. Firma zamierza przez cały sierpień prezentować otwarte modele AI, aplikacje i narzędzia, które umożliwiają programistom oraz entuzjastom tworzenie własnych agentów AI działających na sprzęcie, bez konieczności ciągłego korzystania z usług dostępnych w chmurze.

Jednym z przykładów jest Laguna S 2.1 przygotowana przez Poolside AI. To model AI przeznaczony przede wszystkim do programowania, który ma 118 mld parametrów i potrafi wykonywać rozbudowane zadania trwające nawet kilka godzin. Specjalna wersja NVFP4 pozwala uruchomić go lokalnie na pojedynczym NVIDIA DGX Spark, ograniczając zapotrzebowanie na pamięć oraz moc obliczeniową bez utraty dokładności.

Jeszcze większy jest DeepSeek V4 Flash. Model ma 284 mld parametrów, choć podczas działania wykorzystuje 13 mld z nich, a jego okno kontekstowe może pomieścić milion tokenów. Dzięki przygotowanym przez społeczność wersjom GGUF można uruchomić go lokalnie na systemie NVIDIA DGX Station.

Lokalne AI nie ogranicza się jednak do modeli językowych. NVIDIA niedawno udostępniła Cosmos 3 Edge, otwarty model świata mający 4 mld parametrów, przeznaczony między innymi do robotyki, pojazdów autonomicznych oraz systemów analizujących obraz. Model jest czterokrotnie mniejszy od Cosmos 3 Nano i może działać bezpośrednio na urządzeniach NVIDIA DGX Spark oraz Jetson.

W ekosystemie pojawiają się także modele do generowania multimediów. MiniMax H3 ma 33 mld parametrów i potrafi tworzyć materiały wideo wraz z natywnie zsynchronizowanym dźwiękiem stereo na podstawie tekstu, zdjęć, filmów, dźwięku lub połączenia tych materiałów. Model można obsługiwać przez ComfyUI, a przygotowane dla kart NVIDIA checkpointy umożliwiają jego lokalne uruchamianie.

NVIDIA traktuje sierpień jako miesiąc poświęcony przede wszystkim rozwojowi lokalnych agentów AI. Firma zapowiedziała specjalną serię publikacji Local AI, która będzie aktualizowana w kolejnych tygodniach wraz z pojawianiem się nowych modeli, aplikacji i narzędzi, więc lista rozwiązań pozwalających przenieść coraz bardziej zaawansowaną sztuczną inteligencję z chmury na własny sprzęt będzie nadal rosła.