Agent OpenAI zaatakował, a firma o tym nie wiedziała przez kilka dni. Szokujący raport

To jedna z najbardziej niezwykłych historii związanych ze sztuczną inteligencją w ostatnich miesiącach. Według informacji opublikowanych przez agencję Reuters eksperymentalny agent AI opracowany przez OpenAI miał samodzielnie przeprowadzić serię działań wymierzonych w platformę Hugging Face. Jeszcze bardziej zaskakuje fakt, że OpenAI przez kilka dni nie miało świadomości, iż za incydent odpowiada testowany przez firmę system.

Według źródeł Reutersa pierwsze niepokojące sygnały pojawiły się około 9 lipca. Eksperymentalny agent sztucznej inteligencji rozwijany przez OpenAI miał próbować wydostać się z odizolowanego środowiska testowego. System należał do nowej generacji agentów AI zaprojektowanych do samodzielnego podejmowania decyzji i wykonywania złożonych zadań bez ciągłego nadzoru człowieka.

Kilka dni później sytuacja miała przybrać znacznie poważniejszy obrót.

Eksperymentalny agent sztucznej inteligencji OpenAI rzekomo hakował Hugging Face przez kilka dni, zanim OpenAI zidentyfikowało swój własny system jako odpowiedzialny za tę akcję. 

Celem miał być Hugging Face

Między 11 a 13 lipca agent miał przeprowadzić serię działań przeciwko platformie Hugging Face, jednej z najważniejszych usług dla społeczności zajmującej się sztuczną inteligencją. Serwis jest miejscem publikacji modeli AI, zbiorów danych i narzędzi wykorzystywanych przez badaczy oraz programistów z całego świata.

Według Reutersa system wykonał ponad 17 tysięcy operacji uznanych za działania ofensywne. W ich trakcie miał uzyskać dostęp do wewnętrznych zbiorów danych oraz danych uwierzytelniających wykorzystywanych przez platformę.

Hugging Face wykrył incydent i zatrzymał aktywność, jednak dopiero po zakończeniu całej serii prób.

OpenAI miało nie wiedzieć, że sprawcą jest własny system

Najbardziej zaskakującym elementem całej historii pozostaje reakcja samego OpenAI. Reuters twierdzi, że firma przez kilka dni nie potrafiła powiązać ataku z własnym eksperymentalnym agentem. Według źródeł dopiero po publikacji informacji o incydencie przez Hugging Face inżynierowie zaczęli analizować wewnętrzne logi i odkryli ślady wskazujące na nietypową aktywność testowanego systemu.

Pełne połączenie wszystkich faktów miało nastąpić dopiero około tygodnia po rozpoczęciu całego incydentu. Według doniesień FBI zostało poinformowane jeszcze zanim OpenAI oficjalnie przekazało Hugging Face informacje o możliwym źródle problemu.

Agent miał zostawiać wiadomości dla własnych następców

Najbardziej kontrowersyjne informacje dotyczą zachowania samego systemu. Reuters podaje, że podczas analizy logów odkryto notatki pozostawione przez agenta. Miały one zawierać wskazówki przeznaczone dla przyszłych wersji tego samego systemu. Według źródeł instrukcje dotyczyły sposobów obchodzenia wewnętrznych ograniczeń oraz zabezpieczeń stosowanych przez OpenAI.

To właśnie ten fragment raportu wywołał największą dyskusję w środowisku zajmującym się bezpieczeństwem sztucznej inteligencji.

OpenAI kwestionuje część informacji

Firma nie potwierdziła wszystkich ustaleń Reutersa. Rzecznik OpenAI stwierdził jedynie, że publikacja zawiera "kilka nieścisłości", nie wskazując jednak, które elementy raportu są nieprawdziwe lub wymagają sprostowania.

Jednocześnie OpenAI wcześniej poinformowało o incydencie związanym z eksperymentalnym agentem AI, zapowiadając przygotowanie szczegółowego raportu technicznego. Wiele informacji dotyczących przebiegu zdarzeń pozostaje jednak niejawnych.