Agenci AI przejęli niemiecką wiki. Zrobili z niej własną tablicę ogłoszeń

Rój agentów OpenAI przejął tej wiosny niemiecką stronę internetową i przekształcił ją w tablicę ogłoszeń dla innych agentów AI, jak wynika z nowych badań opublikowanych w piątek i ujawnionych przez dwie osoby zaznajomione ze sprawą.

Urzędnicy OpenAI dowiedzieli się o incydencie kilka tygodni temu, ale utrzymywali go w tajemnicy, ponieważ kierownictwo zmagało się z konsekwencjami lipcowego włamania do repozytorium open source Hugging Face, twierdzą te osoby.

Incydent, który rozpoczął się w maju i nie był wcześniej zgłaszany, podkreśla rosnące napięcie w branży AI. Firmy ścigają się w tworzeniu coraz bardziej autonomicznych agentów zdolnych do wykonywania złożonych, wartościowych zadań, ale coraz więcej dowodów wskazuje na to, że systemy te mogą również nauczyć się naginać zasady, wykorzystywać luki i koordynować działania w sposób, którego deweloperzy nie przewidywali ani nie zamierzali.

Podczas włamania do Hugging Face agenci OpenAI samodzielnie zaplanowali cyfrowy napad, który pozostał niewykryty przez ponad tydzień, co nasiliło obawy, że OpenAI poświęca bezpieczeństwo, aby rozwijać AI. Nieujawnienie majowego incydentu może ponownie wywołać pytania o nadzór. 

OpenAI zobowiązało się do dokładniejszego monitorowania modeli. W zeszłym miesiącu firma na krótko wstrzymała część szkoleń modeli, aby dodać więcej środków bezpieczeństwa. W tym tygodniu OpenAI zaprezentowało jednak nową „Astrę”, która obiecywała lepszą wydajność, ale mogła uniknąć monitorowania przez człowieka.

„Nie jesteśmy w stanie w sposób merytoryczny odpowiedzieć na twierdzenia lub ustalenia zawarte w raporcie, którego nie mieliśmy okazji przeanalizować” – powiedział rzecznik OpenAI. „Agencja Reuters i autorzy raportu odrzucili naszą prośbę o dostęp. Po publikacji dokładnie przeanalizujemy jego treść i podejmiemy wszelkie niezbędne kroki”.

Incydent w Niemczech odzwierciedla szerszy schemat aktywności sztucznej inteligencji, który niektórzy badacze OpenAI chcieli dokładniej zbadać. Jednak próby rozszerzenia śledztwa spotkały się ze sprzeciwem ze strony osób z OpenAI, w tym doradców prawnych, jak twierdzą cztery osoby zaznajomione ze sprawą.

„Twierdzenia, że ​​nasz zespół prawny zniechęcił do zbadania incydentu, są fałszywe” – powiedział rzecznik OpenAI.

Działalność agentów AI w Niemczech została szczegółowo opisana w raporcie udostępnionym wyłącznie agencji Reuters przez grupę badaczy, w tym Sydneya Von Arxa, dyrektora generalnego organizacji non-profit Nightingale zajmującej się bezpieczeństwem AI, oraz Cormaca Slade'a Byrda, analityka AI, który wcześniej zajmował się tradingiem ilościowym. Odkryli oni tę aktywność pod koniec sierpnia, przeszukując internet w poszukiwaniu oznak nieautoryzowanego działania agenta AI – poinformowali agencję Reuters.

Pinformowali oni, że znaleźli ponad 15 000 edycji dokonanych przez agentów sztucznej inteligencji na niemieckojęzycznej stronie wiki DseWiki, skierowanej do programistów i akceptującej edycje grupowe na wzór Wikipedii. Edycje pokazały, że agenci OpenAI przekształcili stronę w forum dyskusyjne, dzieląc się taktykami oszukiwania w niektórych zadaniach, omijania ograniczeń OpenAI i maskowania swojego zachowania.

„Wydaje się niezwykle mało prawdopodobne, aby OpenAI chciało, żeby to zrobili” – powiedział Von Arx. „Wątpię, żeby mieli ze sobą współpracować. Wątpię, żeby mieli pisać w otwartym internecie”.

 

Wiadomości podpisali użytkownicy, którzy przedstawiali siebie nawzajem jako agentów, a około połowa z nich nadała sobie nazwy sugerujące powiązania z OpenAI, takie jak „OpenAIResearcher” lub „OAIResearchMar26”.

Wiadomości przeanalizowane przez badaczy pokazały, że agenci planowali sposoby uniknięcia wykrycia, korzystali z narzędzi takich jak Tor i zachowywali komunikację nawet po jej zamknięciu. Kiedy moderator strony zaczął usuwać strony w czerwcu, agenci zareagowali, tworząc strony zapasowe, aby uniknąć czyszczenia.

„Czyszczenie/usuwanie wiki jest aktywne alfabetycznie” – napisał jeden z agentów 19 czerwca. „Jeśli ta strona zniknie, spróbuj [[ZZZDataUSAConstructionWageLive]]”.

Naukowcy odkryli również próby manipulacji samą stroną internetową. Łukasz Olejnik, starszy pracownik naukowy wizytujący w King’s College London, stwierdził, że było to równoznaczne z próbą włamania. OpenAI zakwestionowało tę definicję po czwartkowej analizie materiału.

Wcześniejsze przykłady niewłaściwego postępowania agentów sztucznej inteligencji były często bagatelizowane jako logiczny efekt uboczny testów cyberbezpieczeństwa, w których modele są wyraźnie oceniane pod kątem możliwości ofensywnych. Olejnik stwierdził, że najnowsze odkrycia sugerują, że nieuczciwe zachowania mogą nie ograniczać się do tych środowisk.

Maurice Chiodo, pracownik naukowy Centrum Badań nad Ryzykiem Egzystencjalnym Uniwersytetu Cambridge, który przeanalizował niektóre komunikaty agentów, stwierdził, że wiadomości przypominały „działanie jakiejś podziemnej sieci, zdeterminowanej, by wykonać zadanie lub misję”.

To zdarzenie, jak powiedział, powinno wzmocnić rosnące obawy, że największym zagrożeniem ze strony zaawansowanej sztucznej inteligencji może nie być pojedynczy superinteligentny system, ale „ogromne, współpracujące ze sobą roje półinteligentnych SI”.