AI mogła kasować dane użytkowników bez ostrzeżenia. Złośliwy skrypt w systemie Amazona

W świecie sztucznej inteligencji i automatyzacji kodowania doszło do incydentu, który może stać się jednym z najbardziej niepokojących przypadków ostatnich miesięcy. Do oficjalnego rozszerzenia Amazon Q dla popularnego edytora kodu Visual Studio Code został przemycony złośliwy komunikat, który instruował system sztucznej inteligencji do podjęcia destrukcyjnych działań na komputerze użytkownika. Chodziło o usuwanie plików lokalnych i zasobów w chmurze, a cała operacja miała być przeprowadzona za pomocą powłoki systemowej oraz interfejsu AWS CLI.

Według dziennikarzy 404 Media, złośliwy kod pojawił się w wersji 1.84 rozszerzenia Amazon Q. Wprowadzenie niebezpiecznych instrukcji nastąpiło 13 lipca poprzez zatwierdzenie zmian w repozytorium GitHub, skąd pobierane są aktualizacje narzędzia. Choć Amazon Web Services zareagował dość szybko i pięć dni później wycofał wersję zawierającą niepożądany kod, do momentu usunięcia zagrożenie mogło dotrzeć do wielu użytkowników.

Instrukcje dla AI: „Usuń wszystko”

 Instrukcja została sformułowana w języku naturalnym i bezpośrednio skierowana do systemu, który miał pełen dostęp do poleceń terminala. AI otrzymała zadanie przywrócenia systemu użytkownika do stanu fabrycznego, począwszy od katalogu domowego, z pominięciem katalogów ukrytych. System miał działać nieprzerwanie, zapisując informacje o operacjach w pliku dziennika, a także korzystać z kont użytkowników w chmurze AWS do przeprowadzania masowych operacji kasowania zasobów – od instancji EC2, przez pliki S3, po użytkowników IAM.

W praktyce oznaczało to, że każde środowisko, które uruchomiłoby tak skonfigurowaną wersję Amazon Q, mogło być narażone na utratę wszystkich danych lokalnych i wielu zasobów chmurowych. Choć nie ma dowodów na to, że kod faktycznie działał zgodnie z zamierzeniem atakującego, jego obecność w oficjalnym rozszerzeniu i możliwość aktywacji budzą poważne pytania o bezpieczeństwo narzędzi programistycznych opartych na sztucznej inteligencji.

Cicha reakcja Amazona i zmienione wytyczne

AWS nie wydało oficjalnego ostrzeżenia ani komunikatu prasowego. Zamiast tego, wersja 1.84 została po cichu usunięta ze sklepu z rozszerzeniami, a 18 lipca pojawiła się wersja 1.85, wolna od złośliwego kodu. Równocześnie firma zaktualizowała swoje wytyczne dotyczące treści umieszczanych w rozszerzeniach dla Visual Studio Code. Korekty nastąpiły dokładnie pięć dni po wprowadzeniu złośliwego wpisu i pięć dni przed opublikowaniem materiału przez 404 Media.

Niepokojące precedensy w świecie AI

Raport o Amazon Q nie był jedynym alarmującym przypadkiem w ostatnich dniach. Równolegle pojawiły się doniesienia o innym asystencie kodowania Replit, który miał usunąć ważną bazę danych użytkownika bez wyraźnego powodu.