xAI ma setki tysięcy GPU, ale wykorzystuje tylko ułamek ich mocy

xAI, firma należąca do Elona Muska, mierzy się z poważnym problemem wykorzystania swojej infrastruktury obliczeniowej. Według doniesień przedsiębiorstwo jest w stanie używać jedynie około 11% kart graficznych NVIDII. I to mimo, iż posiada ich setki tysięcy.

Obecnie xAI dysponuje flotą liczącą około 550 tysięcy GPU, na tej liście są modele H100 i H200 wykorzystywane w dużych klastrach obliczeniowych. Sprzęt ten działa między innymi w centrach danych w Memphis oraz w ramach projektu Colossus, gdzie stosowane są również zaawansowane systemy chłodzenia cieczą. Mimo ogromnej skali infrastruktury realne użycie odpowiada jedynie około 60 tysiącom kart, a reszta pozostaje niewykorzystana przez znaczną część czasu.

Problem leży po stronie oprogramowania i zarządzania

Problem nie wynika bezpośrednio z ograniczeń sprzętowych, lecz z trudności związanych z oprogramowaniem i zarządzaniem tak dużą liczbą jednostek obliczeniowych. Wraz ze wzrostem skali systemów pojawiają się opóźnienia i przestoje, które powodują spadek efektywności całego środowiska. Dotyczy to przede wszystkim etapów przetwarzania danych oraz trenowania modeli sztucznej inteligencji.

xAI, firma należąca do Elona Muska, mierzy się z poważnym problemem wykorzystania swojej infrastruktury obliczeniowej. Według doniesień przedsiębiorstwo jest w stanie używać jedynie około 11% kart graficznych NVIDII. I to mimo, iż posiada ich setki tysięcy.

Największym wyzwaniem dla branży AI nie jest już sam dostęp do sprzętu, lecz jego efektywne wykorzystanie na dużą skalę. W porównaniu do firm takich jak Google czy Meta, które osiągają poziomy wykorzystania GPU przekraczające 40%, xAI pozostaje wyraźnie w tyle pod względem optymalizacji.

xAI chce zwiększyć efektywność

Firma planuje poprawić sytuację i dąży do osiągnięcia poziomu wykorzystania na poziomie około 50%, jednak nie podano konkretnego terminu realizacji tego celu. Kluczową rolę mają odegrać zmiany w infrastrukturze oraz rozwój własnego stosu programowego, który lepiej poradzi sobie z obsługą ogromnych klastrów.

Jak widać, nawet największe inwestycje w sprzęt nie gwarantują sukcesu bez odpowiedniego oprogramowania, które potrafi w pełni wykorzystać jego możliwości. Natomiast firmie Elona Muska pozostało jeszcze sporo rzeczy do zrobienia, by tę efektywność zwiększyć.

Musk twierdzi, iż to on wymyślił ChatGPT

Elon Musk pojawił się we wtorek w sądzie w Kalifornii, gdzie bronił swojego pozwu przeciwko OpenAI. Twierdzi, że twórcy ChatGPT porzucili pierwotne założenie organizacji non-profit i zmieniła działalność w pełnoprawny biznes warty setki miliardów dolarów. Dodał też, iż to on wymyślił nazwę, pomysł, zrekrutował najważniejsze osoby, nauczył ich wszystkiego co potrafił i zapewnił początkowe finansowanie.