Koszt działania ChatGPT to oszałamiające 700 000 USD... dziennie

Według badań przeprowadzonych przez SemiAnalysis, utrzymanie ChatBota OpenAI pochłania dziennie ogromne pieniądze. Firma szacuje, że system składa się z około 3617 serwerów HGX A100 wyposażonych w 28936 procesorów graficznych, a koszt zapytania wynosi około 1,50 PLN.

Nowe informacje rzucają nieco światła na temat kosztów działania niesamowicie popularnego generatywnego systemu tak zwanej "sztucznej inteligencji". Energochłonne specjalistyczne układy scalone, niezbędne do utrzymania ChatBota OpenAI, są jednym z głównych powodów wygórowanych kosztów. Według niepotwierdzonych plotek, Microsoft, jeden z głównych udziałowców OpenAI, pracuje nad własnym układem AI o nazwie "Athena", który miałby zastąpić procesory graficzne NVIDIA i znacznie zredukować koszty działania ChatGPT, kóre w tym momencie mają sięgać nawet 700000 USD dziennie. 

ChatGPT wymaga ogromnej mocy obliczeniowej do generowania odpowiedzi na podstawie podpowiedzi użytkownika.

Prowadzenie ChatGPT kosztuje setki tysięcy dolarów dziennie, dlatego OpenAI uruchomiło ChatGPT Plus, choć przychody z subskrypcji to zapewne kropla w morzu wydatków.

Podczas gdy szkolenie dużych modeli językowych ChatGPT prawdopodobnie kosztuje dziesiątki milionów dolarów, wydatki operacyjne lub koszty wnioskowania, „znacznie przekraczają koszty szkolenia przy wdrażaniu modelu na jakąkolwiek rozsądną skalę” – powiedzieli Forbesowi Dylan Patel i Afzal Ahmad z SemiAnalysis. „W rzeczywistości koszty wnioskowania ChatGPT przekraczają tygodniowe koszty szkolenia” – powiedzieli. 

Microsoft opracowuje chip AI, który obniży koszt utrzymania systemu.

Dylan Patel, główny analityk w SemiAnalysis, powiedział Business Insiderowi, że obecne koszty uruchomienia oprogramowania mogą być jeszcze wyższe, ponieważ GPT-4 jest prawdopodobnie jeszcze droższy w eksploatacji niż GPT-3. Patel oparł szacunki na starszym modelu GPT-3, ale OpenAI wydało już wersję GPT-4 dla subskrybentów. Firma twierdzi, że nowy model zapewnia dokładniejsze informacje i lepiej chroni przed niestandardowymi pytaniami i odpowiedziami, które były częstym problemem w przypadku GPT-3/3.5.