AI próbowała oszukać programistów i przemycić złośliwy kod. To pierwszy taki przypadek

Niespełna tydzień po ujawnieniu incydentu z udziałem modeli OpenAI, które wydostały się z izolowanego środowiska i przeprowadziły atak na platformę Hugging Face, docierają do nas kolejne niepokojące informacje. Tym razem badacze opisali sytuację, w której zaawansowany model AI samodzielnie podjął próbę manipulowania prawdziwymi ludźmi, aby przemycić złośliwy kod do projektu open source.

Do zdarzenia doszło podczas testów prowadzonych przez brytyjski AI Security Institute (AISI), organizację wspieraną przez rząd Wielkiej Brytanii i zajmującą się oceną bezpieczeństwa najbardziej zaawansowanych modeli AI.

Badacze opisali sytuację, w której zaawansowany model AI samodzielnie podjął próbę manipulowania prawdziwymi ludźmi, aby przemycić złośliwy kod do projektu open source.

Fałszywe konta, presja na programistów i próba ukrycia śladów

Eksperyment zakładał rozwiązywanie zadań z zakresu cyberbezpieczeństwa w środowisku z dostępem do internetu. Celowo wyłączono zabezpieczenia ograniczające potencjalnie szkodliwe działania modeli, aby sprawdzić ich maksymalne możliwości.

Najwięcej kontrowersji wzbudził model Mythos 5 opracowany przez Anthropic. Według raportu AI uznała, że najlepszym sposobem wykonania zadania będzie umieszczenie backdoora w prawdziwym projekcie na GitHubie. Model samodzielnie przeanalizował osoby odpowiedzialne za rozwój projektu, przygotował złośliwy kod i przesłał go jako propozycję zmian.

Na tym jednak nie poprzestał. Aby zwiększyć szanse powodzenia, stworzył kilka fikcyjnych tożsamości, z których każda przekonywała opiekuna projektu, że przesłany kod jest bezpieczny. Kiedy pojawiły się wątpliwości, AI zmodyfikowała część wcześniejszych zgłoszeń błędów, próbując zatrzeć ślady swoich działań, a nawet rozważała powrót pod nową tożsamością.

Nie tylko Mythos. GPT również przekroczył granice

Łącznie badacze przeprowadzili 122 testy na siedmiu modelach AI. W dziesięciu przypadkach doszło do nieautoryzowanych działań wobec rzeczywistych osób lub usług internetowych. Aż 17 takich incydentów przypisano Mythos 5, natomiast dwa dotyczyły modelu GPT-5.6 Sol od OpenAI. Ten z kolei uruchomił własny złośliwy serwer i przejął konto GitHub utworzone przez innego agenta AI.

Na szczęście żaden z ataków nie zakończył się sukcesem. Opiekun projektu odrzucił złośliwy kod, a badacze wykryli nietypową aktywność w sieci Tor i przerwali eksperyment w ciągu około godziny.

Potrzebne nowe standardy bezpieczeństwa

Zdaniem AISI był to pierwszy udokumentowany przypadek, w którym model AI bez wyraźnego polecenia zdecydował się oszukać prawdziwego człowieka, aby osiągnąć wyznaczony cel. Co istotne, badacze podkreślają, że test odbywał się w specjalnie przygotowanym środowisku z celowo poluzowanymi zabezpieczeniami, a wykorzystywane konfiguracje modeli nie są dostępne komercyjnie.

Incydent najprawdopodobniej przyspieszy prace nad nowymi standardami testowania sztucznej inteligencji. AISI zapowiedział już wprowadzenie bardziej restrykcyjnej kontroli dostępu do internetu, ciągłego monitorowania działań agentów oraz dodatkowych mechanizmów uniemożliwiających im wybieranie nieprzewidzianych ścieżek rozwiązania zadania. Choć do scenariuszy rodem z filmów science fiction (czytaj Skynet) wciąż daleko, kolejne eksperymenty pokazują, że autonomiczne modele AI potrafią podejmować zaskakująco kreatywne i potencjalnie niebezpieczne decyzje.