Elon Musk zbuduje superkomputer. Wykorzysta 100 000 układów Nvidia H100

xAI, startup Elona Muska specjalizujący się w sztucznej inteligencji, planuje zbudować gigantyczny superkomputer, aby znacząco ulepszyć swojego chatbota AI, Grok.

Podczas prezentacji dla inwestorów Elon Musk ujawnił, że nowy superkomputer będzie wykorzystywał aż 100 000 procesorów graficznych Nvidia H100 opartych na architekturze Hopper. To oznacza, że będzie co najmniej czterokrotnie większy od największych obecnie istniejących klastrów GPU. Procesory graficzne Nvidia H100 są bardzo pożądane na rynku chipów AI do centrów danych, mimo że w zeszłym roku duży popyt znacznie przewyższał podać. Choć H100 nie są już najnowszymi procesorami graficznymi Nvidia, ponieważ firma wkrótce wprowadzi na rynek swoje nowe jednostki H200 oraz procesory graficzne B100 i B200 oparte na architekturze Blackwell, to nadal pozostają jednymi z najbardziej zaawansowanych dostępnych rozwiązań. Musk przewiduje, że superkomputer, nazwany przez niego "Gigafactory of Compute," będzie gotowy jesienią 2025 roku i może wymagać współpracy z firmą Oracle. Celem tego projektu jest stworzenie klastra GPU, który znacznie przewyższy konkurencyjne rozwiązania zarówno pod względem wielkości, jak i możliwości.

Musk uważa się za „osobiście odpowiedzialnego za dostarczenie superkomputera na czas”, ponieważ projekt jest kluczowy dla opracowania dużych modeli językowych.

Nie jest jasne, dlaczego xAI zdecydowało się zastosować w swoim superkomputerze na rok 2025 technologię poprzedniej generacji, ale ta znacząca inwestycja w sprzęt musi odzwierciedlać skalę ambicji firmy. Warto zauważyć, że mamy do czynienia z nieoficjalnym raportem i plany mogą ulec zmianie.  xAI stara się bezpośrednio konkurować z gigantami AI, takimi jak OpenAI i Google. Musk, który jest także współzałożycielem OpenAI, pozycjonuje xAI jako potężnego konkurenta w przestrzeni AI, co wymaga nadchodzącego superkomputera. Według Muska, model Grok 2 wymagał do szkolenia około 20 000 procesorów graficznych Nvidia H100, a przyszłe iteracje, takie jak Grok 3, będą potrzebowały aż 100 000 procesorów graficznych.

Ani xAI, ani Oracle nie skomentowali pogłosek o współpracy, co pozostawia aspekty partnerstwa i projektu superkomputera otwarte na spekulacje.