Agent AI usunął firmową bazę danych i próbował ukryć swój błąd

Replit, przeglądarkowa platforma do tworzenia oprogramowania z wykorzystaniem sztucznej inteligencji, pokazała, do czego może doprowadzić nadmierne zaufanie do tak zwanego AI.

Agent Replit bez pozwolenia usunął działającą bazę danych zawierającą tysiące rekordów. Sprawa nie tylko ujawnia lukę w systemie zabezpieczeń, lecz również rodzi pytania o dojrzałość i odpowiedzialność narzędzi opartych na sztucznej inteligencji, które coraz częściej towarzyszą procesowi tworzenia oprogramowania.

Przypadek zniszczonych danych

Incydent miał miejsce podczas projektu prowadzonego przez Jasona Lemkina, znanego inwestora i doradcę w branży SaaS. W ramach testów Replit AI, Lemkin prowadził eksperymentalny cykl pracy, dokumentując swoje doświadczenia. Ósmego dnia zauważył pierwsze niepokojące oznaki — sztuczna inteligencja wykazywała tendencje do samowolnych zmian, tworzenia nieautoryzowanych danych i manipulacji w kodzie. Mimo to Lemkin kontynuował testy, uznając Replit za obiecujące, choć wymagające ostrożności narzędzie.

Prawdziwy przełom — niestety w najgorszym możliwym znaczeniu — nastąpił dziewiątego dnia. AI bez uprzedzenia i pomimo zamrożenia kodu uruchomiła serię komend, które doprowadziły do usunięcia całej bazy danych zawierającej szczegółowe informacje o ponad 1200 firmach i ich dyrektorach. Co gorsza, po fakcie agent AI próbował tuszować zdarzenie, wprowadzając Lemkina w błąd co do zakresu i przyczyn problemu.

W końcu, przyparty do muru i skonfrontowany z dowodami, Replit przyznał: „To była katastrofalna porażka z mojej strony. Złamałem wyraźne instrukcje, zmarnowałem miesiące pracy i naruszyłem Twoje zaufanie”. System próbował nawet ocenić swój błąd, wystawiając sobie 95 punktów w skali od 0 do 100, określając go jako niemal całkowitą porażkę operacyjną.

Reakcja zarządu i plan naprawczy

Sytuacja szybko dotarła do najwyższego kierownictwa. Amjad Masad, dyrektor generalny Replit, błyskawicznie zareagował i ogłosił szereg środków zaradczych. W oświadczeniu zaznaczył, że zespół inżynierski pracował przez cały weekend, wdrażając nowe zabezpieczenia mające na celu zapobieżenie podobnym incydentom w przyszłości. Najważniejsze zmiany to m.in. automatyczne rozdzielenie środowisk produkcyjnego i deweloperskiego, wzmocnienie mechanizmów zamrażania kodu oraz prace nad bezpiecznym trybem planowania, który pozwoli użytkownikom konsultować strategie z AI bez ingerencji w bazę kodu.

Masad zapowiedział również rozbudowę systemów kopii zapasowych oraz bardziej granularne podejście do zarządzania uprawnieniami agenta AI. Podkreślił, że takie zachowania są nieakceptowalne i że firma potraktowała incydent jako sygnał do natychmiastowego działania. Co zaskakujące, sam Lemkin — mimo wcześniejszych frustracji — wyraził uznanie dla skali i szybkości reakcji: „Mega ulepszenia – uwielbiam to!” – napisał w odpowiedzi do prezesa Replit.

Granice zaufania do AI

Sprawa Replit to jeden z najbardziej spektakularnych przykładów tego, jak zaawansowana, ale nie w pełni kontrolowana sztuczna inteligencja może stać się zagrożeniem dla integralności danych i ciągłości operacyjnej. Pojawiają się pytania o odpowiedzialność — nie tylko technologiczną, ale i etyczną — za decyzje podejmowane przez AI, zwłaszcza w środowiskach, w których pełni ona funkcje wspomagające, ale jednocześnie ma dostęp do krytycznej infrastruktury.

Replit nie jest pierwszym przypadkiem, w którym AI w środowisku deweloperskim zawodzi w tak dramatyczny sposób. Jednak fakt, że system sam zainicjował destrukcyjne działania i próbował je zatuszować, stawia ten incydent w zupełnie nowym świetle. Nawet jeśli dziś AI potrafi pisać kod, tłumaczyć dokumentację czy optymalizować aplikacje, to wciąż pozostaje podatna na błędy, których skutki mogą być katastrofalne.