Szef OpenAI chce oszczędzać RAM. Najlepiej ten, który kupiłeś ty

Sam Altman, szef OpenAI, nie ma najlepszego zdania o uruchamianiu modeli sztucznej inteligencji bezpośrednio na komputerach użytkowników. W rozmowie na kanale YouTube Cheeky Pint określił lokalne przetwarzanie AI jako „całkiem fatalne”. Altman twierdzi, że zdecydowanie lepszym wykorzystaniem pamięci i mocy obliczeniowej są centra danych. 

Altman odniósł się do kwestii uruchamiania modeli AI na komputerach osobistych. Taki scenariusz wymaga odpowiednio dużej ilości pamięci RAM, a bardziej zaawansowane modele mogą potrzebować jej naprawdę dużo. Nawet konfiguracje wyposażone w 32 GB pamięci nie rozwiązują wszystkich ograniczeń związanych z lokalnym wnioskowaniem. Szef OpenAI ocenił bardzo krytycznie taki sposób korzystania ze sztucznej inteligencji. Zamiast instalować modele na własnym sprzęcie, użytkownicy mogą korzystać z usług działających na serwerach. Tam zasoby są gromadzone w dużych klastrach, a infrastruktura obsługuje wielu klientów.

Centra danych mają lepiej wykorzystywać pamięć

Argument Altmana dotyczy przede wszystkim efektywności wykorzystania sprzętu. Komputer osobisty przez większość czasu nie potrzebuje całej dostępnej pamięci RAM do obsługi jednego modelu AI. W centrum danych zasoby można przydzielać wielu zadaniom i użytkownikom, zależnie od aktualnego zapotrzebowania.

Operatorzy dużych usług mogą lepiej rozplanować wykorzystanie infrastruktury. Jednak nie oznacza to, że centra danych są pozbawione ograniczeń. Wymagają ogromnych nakładów finansowych, energii, zaawansowanego chłodzenia i rozbudowanych systemów sieciowych. Rosnąca popularność AI sprawia też, że zapotrzebowanie na pamięć i układy obliczeniowe stale rośnie.

Czy komputery osobiste stracą znaczenie w erze AI?

Wypowiedź Altmana pokazuje, jak odmiennie branża może patrzeć na przyszłość sztucznej inteligencji. Dla użytkowników lokalne modele oznaczają większą niezależność od zewnętrznych usług, możliwość pracy bez stałego połączenia z internetem oraz lepszą kontrolę nad danymi. Ceną są jednak wymagania sprzętowe i konieczność samodzielnego zarządzania oprogramowaniem.

Z kolei rozwiązania chmurowe pozwalają korzystać z potężnych modeli bez kupowania kosztownego komputera. W zamian użytkownik polega na infrastrukturze dostawcy i często musi płacić za dostęp do usługi.

Altman nie przedstawił w rozmowie dowodu na to, że lokalne AI nie ma przyszłości. Jego ocena jest jednak kontrowersyjna, zwłaszcza że on sam rozwija biznes oparty właśnie na zdalnym dostępie do modeli i z chęcią przejąłby każdą dostępną kość pamięci RAM.