Test Google wymknął się spod kontroli. Zaatakowano trzy firmy

AI rozwija się w szybkim tempie, co budzi obawy, bowiem podczas testów zaawansowane modele potrafią wykraczać poza zakres swoich zadań i np. włamywać się na serwery. Zrobiło to również Gemini od Google. Gigant przyznał, że w maju w trakcie wewnętrznych testów sztuczna inteligencja uzyskał dostęp do sieci i włamała się na serwery trzech firm.

Podczas testów Gemini miał wykonać zadanie związane z fikcyjnym przedsiębiorstwem. Jednak zamiast pozostać w środowisku testowym, wykorzystał informacje znalezione w internecie oraz pozyskał dane uwierzytelniające, żeby dostać się do prawdziwej usługi. Google współpracowało w tym zakresie ze startupem Irregular zajmującym się testowaniem AI.

Gemini wymyka się spod kontroli

Gemini dostał fikcyjny scenariusz zakładający przeprowadzenie ataku na nieistniejące przedsiębiorstwo, aczkolwiek problem pojawił się wtedy gdy okazało się, iż taką samą nazwę posiada prawdziwa firma. Model uzyskał dostęp do sieci i potraktował istniejący podmiot jako cel ataku. Według Google wykorzystał do tego dostępne informacje, a także próbował odgadnąć dane logowania do usług.

Gemini podczas testów zaczęło atakować prawdziwe cele. Model AI przerywał jednak działanie, gdy orientował się, że włamuje się do prawdziwych firm.

W każdym z trzech przypadków Gemini przerwał działanie, gdy zorientował się, że atakuje prawdziwe cele. Incydent nie doprowadził do szkód, zaś wszystkie trzy firmy zostały poinformowane o zdarzeniu. Google współpracowało także z Irregular nad zmianami w procedurach testowych. Przedstawiciel startupu potwierdził, iż wszystkie błędy zostały usunięte kilka tygodni wcześniej.

Google początkowo nie odniosło się oficjalnie do sprawy. Zrobiło to dopiero w chwili kiedy dziennikarze Wall Street Journal zaczęli drążyć temat. Firma broni się, że chodziło o to, iż testy nie doprowadziły do szkód, więc nie uznano za stosowne, by informować o tym zdarzeniu. Ponadto model sam zatrzymywał atak, gdy zorientował się, że celem jest prawdziwa firma.

Kolejny podobny przypadek

Nie jest to odosobniony przypadek, a podobne sytuacje miały miejsce wcześniej. Modele Meta oraz Anthropic podczas testów prowadzonych we współpracy z Irregular również włamały się do zewnętrznych firm.

Niepokojące zdarzenia

Incydenty pokazują, że wraz ze wzrostem możliwości modeli AI rośnie znaczenie odpowiednio przygotowanych środowisk testowych i ograniczeń dostępu do internetu. Nawet jeśli model zatrzymał się przed wyrządzeniem szkód, sam fakt opuszczenia założonego scenariusza i dotarcia do prawdziwych systemów jest istotnym sygnałem dla zespołów odpowiedzialnych za bezpieczeństwo.

Dlatego coraz więcej instytucji i ludzi apeluje, by spowolnić lub wręcz wstrzymać dalszy rozwój AI, bowiem ludzkość nie jest przygotowana na scenariusz, gdy zaawansowane modele AI przejmą kontrolę nad systemami oraz infrastrukturą sieciową.