Największy problem AI rozwiązany? Planeta byłaby wdzięczna

Wraz z rosnącą liczbą firm inwestujących w sztuczną inteligencję (AI), zużycie energii przez modele AI staje się coraz większym problemem. Podczas gdy główni gracze, tacy jak NVIDIA, Microsoft i OpenAI, minimalizują znaczenie tej kwestii, firma BitEnergy AI twierdzi, że znalazła rozwiązanie, które może drastycznie obniżyć zużycie energii przez systemy AI.

Naukowcy z BitEnergy AI opracowali technikę, którą nazwali Linear-Complexity Multiplication (w skrócie L-Mul). Ta ma potencjał zmniejszyć zużycie energii nawet o 95 procent bez znaczącego spadku dokładności i szybkości przetwarzania danych. Metoda opiera się na zastosowaniu prostszych operacji arytmetycznych, takich jak dodawanie liczb całkowitych, zamiast wymagających dużych zasobów operacji na liczbach zmiennoprzecinkowych, które są standardem w przetwarzaniu AI.

L-Mul od BitEnergy AI ma potencjał zmniejszyć zużycie energii przez AI nawet o 95 procent bez znaczącego spadku dokładności i szybkości przetwarzania danych.

Problem z liczbami zmiennoprzecinkowymi

Liczby zmiennoprzecinkowe są powszechnie stosowane w obliczeniach związanych z AI, zwłaszcza do obsługi bardzo dużych lub bardzo małych wartości. Zapewniają one precyzyjne wyniki, ale ich obliczenia wymagają dużych zasobów energetycznych. W miarę jak AI staje się coraz bardziej zaawansowane, rośnie także zapotrzebowanie na energię. Przykładem może być ChatGPT, który zużywa ilość energii równą zużyciu przez 18 000 domów w USA (564 MWh dziennie). Według szacunków Cambridge Centre for Alternative Finance, branża AI może zużywać od 85 do 134 TWh rocznie do 2027 roku.

Jak działa L-Mul?

Algorytm L-Mul upraszcza skomplikowane obliczenia zmiennoprzecinkowe, zastępując je prostszymi dodawaniami liczb całkowitych. Testy wykazały, że ta technika pozwala zmniejszyć zużycie energii o 95 procent w przypadku mnożeń tensorowych oraz o 80 procent dla iloczynów skalarnych. Co istotne, osiągnięto to bez znacznej utraty dokładności – w niektórych przypadkach wyniki były tylko o 0,07 procent mniej precyzyjne.

Algorytm doskonale integruje się z modelami opartymi na transformatorach, takimi jak GPT, gdzie szczególnie energochłonny mechanizm uwagi może być zoptymalizowany za pomocą L-Mul. Testy na popularnych modelach, takich jak Llama i Mistral, wykazały nawet poprawę dokładności przy niektórych zadaniach.

Przeszkody i nadzieje

Chociaż wyniki są obiecujące, obecna wersja L-Mul wymaga specjalistycznego sprzętu, ponieważ standardowe procesory AI nie są zoptymalizowane pod kątem tej techniki. Dobrą wiadomością jest jednak to, że trwają prace nad rozwojem dedykowanego sprzętu i interfejsów API, co może umożliwić szerokie zastosowanie tego rozwiązania w przyszłości.

Największą przeszkodą w popularyzacji L-Mul mogą być firmy takie jak NVIDIA, które dominują na rynku sprzętu AI. Firma ta zbudowała swoją reputację jako wiodący producent układów GPU wykorzystywanych do przetwarzania sztucznej inteligencji, co może utrudnić wprowadzenie bardziej energooszczędnych rozwiązań na szerszą skalę.