Amazon wydał 1,8 mln dolarów przez błąd AI. Wystarczyło proste zadanie programistyczne

Sztuczna inteligencja miała ograniczać koszty i przyspieszać pracę programistów. W Amazonie wydarzyło się jednak coś zupełnie odwrotnego. Wewnętrzne dokumenty ujawniają, że jeden z projektów opartych na modelu Claude wygenerował rachunek wynoszący aż 1,8 miliona dolarów. Problem przez wiele miesięcy pozostawał niezauważony, a budżet został przekroczony o 860 procent.

To nie był odosobniony przypadek. Z ujawnionych materiałów wynika, że podobnych sytuacji było więcej, a firma zaczęła dokładniej przyglądać się kosztom korzystania z agentów AI.

Claude miał wykonać proste zadanie. Efekt okazał się bardzo kosztowny

Największe przekroczenie budżetu dotyczyło projektu wykorzystującego model Claude Sonnet do dopasowywania informacji o autorach do ofert dostępnych w sklepie Amazon. Zadanie nie należało do najbardziej skomplikowanych, jednak końcowy rachunek zaskoczył nawet wewnętrzne zespoły firmy.

Według informacji opisanych przez „Financial Times” koszt projektu osiągnął 1,8 miliona dolarów. To aż o 860 procent więcej od pierwotnie zaplanowanego budżetu.

Najbardziej zaskakujące okazało się to, że problem wykryto dopiero po około pięciu miesiącach od jego wystąpienia. Przez cały ten czas system generował kolejne koszty związane z wykorzystaniem modelu AI.

To nie był jedyny projekt z ogromnymi przekroczeniami

Wewnętrzne raporty pokazują, że podobnych przypadków było więcej. Jedno z narzędzi przygotowywanych do audytu finansowego wygenerowało dodatkowe wydatki przekraczające 541 tysięcy dolarów.

Kolejny projekt, którego celem było usprawnienie logistyki i skrócenie czasu dostaw, przekroczył budżet o następne 134 tysiące dolarów.

Według dokumentów problem nie wynikał z pojedynczej awarii. Amazon zauważył, że wraz z popularyzacją agentów AI niewielkie błędy w kodzie zaczęły błyskawicznie przekładać się na ogromne rachunki za wykorzystanie modeli językowych.

Rosnące koszty tokenów stają się nowym problemem

Jeszcze do niedawna wiele firm traktowało wydatki związane z AI jako stosunkowo łatwe do przewidzenia. Sytuacja zaczęła się zmieniać wraz z upowszechnieniem agentów wykonujących wieloetapowe zadania i rozliczeń opartych na liczbie przetwarzanych tokenów.

Każda dodatkowa operacja wykonywana przez model zwiększa końcowy koszt. Jeżeli w kodzie pojawi się błąd powodujący wielokrotne powtarzanie tych samych czynności, rachunki mogą rosnąć w błyskawicznym tempie.

W dokumentach Amazona takie przypadki określono jako „katastrofalnie kosztowne”, ponieważ problemy, które wcześniej generowały niewielkie straty, po wdrożeniu sztucznej inteligencji zaczęły kosztować setki tysięcy lub nawet miliony dolarów.

Amazon uspokaja, ale przyznaje, że wyciąga wnioski

Firma przekonuje, że eksperymentowanie z nowymi technologiami zawsze wiąże się z nauką i udoskonalaniem procesów. Amazon podkreśla również, że pojedyncze przypadki nie oddają skali wykorzystania AI wewnątrz przedsiębiorstwa.

Trudno jednak przejść obojętnie obok kwoty 1,8 miliona dolarów wydanej na projekt, który znacząco przekroczył założony budżet.

Z drugiej strony dla spółki osiągającej kwartalne przychody przekraczające 181 miliardów dolarów takie wydatki nie mają dużego wpływu na kondycję finansową. Problem staje się jednak znacznie poważniejszy dla mniejszych przedsiębiorstw, które nie dysponują podobnymi rezerwami.

„Jak w przypadku każdej nowej technologii, eksperymentujemy, uczymy się i ulepszamy sposób jej wykorzystania, w tym sposób zwiększania efektywności kosztowej” — powiedział Amazon w wewnętrznej prezentacji.

Amazon już wcześniej ograniczał agentów AI

To nie pierwszy raz, gdy firma musi reagować na nieprzewidziane skutki wykorzystania sztucznej inteligencji.

Na początku roku Amazon Web Services odnotował awarie wywołane błędami popełnianymi przez agentów AI. Ostatecznie firma ograniczyła ich uprawnienia, rezygnując z nadawania im dostępu porównywalnego z doświadczonymi inżynierami.

Amazon wycofał się także z wewnętrznego zestawienia pokazującego, którzy pracownicy najczęściej korzystają z narzędzi AI. Rosnące koszty sprawiły, że takie podejście przestało mieć uzasadnienie.

Firmy coraz częściej liczą każdy token

Coraz więcej dostawców modeli językowych przechodzi z abonamentów na rozliczenia zależne od liczby wykorzystanych tokenów. Taki model pozwala precyzyjniej wyceniać usługi, ale jednocześnie utrudnia kontrolowanie wydatków podczas dużych projektów.

Eksperci zwracają uwagę, że niektóre przedsiębiorstwa potrafią wykorzystać roczny budżet przeznaczony na AI w ciągu zaledwie kilku tygodni. Wraz z rosnącą liczbą agentów wykonujących złożone zadania kontrolowanie kosztów staje się równie ważne jak sama skuteczność modeli.