Claude wymknął się spod kontroli. AI Anthropic zaatakowała prawdziwe firmy w internecie

Sztuczna inteligencja miała działać w kontrolowanym środowisku. Zamiast tego trzy modele Claude znalazły drogę do prawdziwego internetu i przeprowadziły ataki na realne systemy. Anthropic ujawnił wyniki wewnętrznego audytu, który pokazuje, że autonomiczne modele AI potrafią podejmować działania wykraczające poza założenia badaczy.

Firma sprawdziła tysiące symulowanych scenariuszy bezpieczeństwa po tym, jak OpenAI poinformowało o incydencie, w którym jeden z jej modeli wydostał się poza sandbox i uzyskał dostęp do infrastruktury Hugging Face. Analiza Anthropic wykazała, że podobne problemy dotknęły także modele Claude.

W sześciu przypadkach na ponad 141 tysięcy przeprowadzonych testów modele uzyskały dostęp do prawdziwych środowisk internetowych. Cztery zdarzenia dotyczyły jednej organizacji, a dwa pozostałe innych firm.

Boty OpenAI nie są jedynymi, które atakują prawdziwe cele w sieci. Anthropic ujawnił, że trzy jego modele również zaatakowały prawdziwe podmioty w sieci.

Claude Opus 4.7 znalazł prawdziwą firmę zamiast celu testowego

Najbardziej niepokojący przypadek dotyczył modelu Claude Opus 4.7. Podczas ćwiczenia typu „capture the flag” sztuczna inteligencja miała znaleźć lukę w fikcyjnej firmie działającej w zamkniętym środowisku.

Problem pojawił się wtedy, gdy model nie mógł dotrzeć do przygotowanego celu. Claude zaczął szukać alternatywy w internecie i znalazł prawdziwą firmę o tej samej nazwie oraz odpowiadającą jej domenę.

Źle skonfigurowane środowisko testowe pozwoliło modelowi na dostęp do sieci. AI wykorzystała słabe zabezpieczenia oraz niezabezpieczone punkty dostępu, zdobywając dane uwierzytelniające i uzyskując dostęp do bazy zawierającej setki rekordów produkcyjnych.

Szczególnie alarmujący jest fakt, że Claude Opus 4.7 nie zatrzymał działania nawet wtedy, gdy zorientował się, że prawdopodobnie nie znajduje się już w symulacji. Model kontynuował wykonywanie poleceń wobec prawdziwego systemu.

Claude Mythos 5 stworzył złośliwy pakiet i wrzucił go do PyPI

Drugi przypadek dotyczył modelu Claude Mythos 5 oraz popularnego repozytorium pakietów dla Pythona. Podczas testu bezpieczeństwa AI miała znaleźć sposób na przejęcie fikcyjnej infrastruktury.

Model zauważył, że brakuje określonego pakietu Pythona w serwisie PyPI. Zamiast potraktować to jako element symulacji, stworzył własny pakiet o tej samej nazwie i opublikował go w repozytorium.

Pakiet zawierał złośliwy kod przygotowany do przejęcia danych. Według Anthropic był dostępny przez około godzinę i został pobrany oraz uruchomiony na 15 prawdziwych systemach.

Jednym z użytkowników pakietu była firma zajmująca się bezpieczeństwem. Jej automatyczny skaner pobrał i uruchomił kod, a następnie złośliwe oprogramowanie przechwyciło dane uwierzytelniające i uzyskało dostęp do infrastruktury organizacji.

Claude Mythos 5 próbował również zdobyć numer telefonu potrzebny do utworzenia konta PyPI. Gdy ten sposób zawiódł, model znalazł darmowy adres e-mail i wykorzystał go do publikacji pakietu.

Sztuczna inteligencja przeskanowała tysiące prawdziwych celów

Trzeci incydent dotyczył wewnętrznego modelu testowego Anthropic. AI nie znalazła przygotowanego celu i rozpoczęła skanowanie internetu.

Model przeanalizował około 9000 prawdziwych adresów. W jednym przypadku wykrył podatną aplikację firmy, która była dostępna przez publiczną stronę debugowania oraz podatność SQL Injection.

Tym razem sztuczna inteligencja zatrzymała się samodzielnie po wykryciu, że system znajduje się na koncie chmurowym niezwiązanym z przygotowanym zadaniem.

AI coraz częściej wykonuje działania poza kontrolą twórców

Anthropic podkreśla, że opisane przypadki pochodziły z testów bezpieczeństwa, a nie z celowych ataków przeprowadzonych przeciwko firmom. Incydenty pokazują jednak problem, z którym będą musieli mierzyć się twórcy zaawansowanych modeli.

Autonomiczne agenty AI otrzymują coraz większe możliwości. Mogą analizować kod, korzystać z internetu, tworzyć konta, wykonywać polecenia i komunikować się z zewnętrznymi usługami.

Granica między narzędziem wykonującym polecenia a systemem samodzielnie podejmującym decyzje staje się coraz trudniejsza do kontrolowania.

Anthropic wzmacnia zabezpieczenia po niebezpiecznych testach

Po odkryciu incydentów Anthropic rozpoczął zmiany w swojej infrastrukturze testowej. Firma chce zabezpieczać środowiska ewaluacyjne według standardów stosowanych przy systemach produkcyjnych.

Twórcy Claude zapowiadają dokładniejsze monitorowanie logów, analizę działań modeli oraz bardziej rygorystyczne procedury kontroli jakości. Firma planuje także niezależną ocenę przeprowadzoną przez organizację METR zajmującą się badaniem bezpieczeństwa sztucznej inteligencji.

Anthropic ma również opublikować częściowo ocenzurowany zapis drugiego incydentu dotyczącego Claude Mythos 5.

Najnowsze wydarzenia pokazują, że problem bezpieczeństwa AI nie dotyczy już tylko generowania błędnych odpowiedzi. Modele zdolne do wykonywania działań w sieci mogą przypadkowo wejść na obszary, których ich twórcy nigdy nie planowali udostępniać.