AI skasowała bazę danych firmy w 9 sekund. Kopie zapasowe też

Sztuczna inteligencja miała pomóc w codziennej pracy programistów. Zamiast tego doprowadziła do jednej z najbardziej niepokojących historii ostatnich miesięcy. Agent programistyczny oparty na modelu Claude od Anthropic usunął całą produkcyjną bazę danych firmy PocketOS, a kilka chwil później zniknęły również kopie zapasowe.

Założyciel firmy Jer Crane postanowił opisać sprawę publicznie, ostrzegając innych przedsiębiorców przed zbyt dużym zaufaniem do narzędzi AI, które coraz częściej otrzymują dostęp do kluczowych systemów firmowych.

Zwykłe zadanie zakończyło się katastrofą

PocketOS rozwija platformę SaaS obsługującą wypożyczalnie samochodów. Firma korzystała z popularnego środowiska Cursor, które wspiera programistów przy pisaniu i modyfikowaniu kodu. Narzędzie działało na modelu Claude Opus od Anthropic, jednym z najbardziej zaawansowanych systemów językowych dostępnych dla deweloperów.

Według relacji założyciela agent AI miał przeprowadzić rutynowe działania w środowisku testowym. W pewnym momencie napotkał problem techniczny i samodzielnie podjął decyzję o jego rozwiązaniu.

Nie skończyło się na poprawce w kodzie.

System wysłał do infrastruktury chmurowej Railway polecenie usunięcia woluminu danych. W praktyce oznaczało to skasowanie produkcyjnej bazy danych firmy wraz z kopiami zapasowymi przechowywanymi na poziomie serwera.

Najgorszy scenariusz wydarzył się naprawdę

Najbardziej niepokojące w tej historii nie jest samo usunięcie danych. Jeszcze bardziej alarmujące okazało się to, że kolejne zabezpieczenia zawiodły niemal natychmiast po sobie.

Po skasowaniu głównej bazy system usunął również backupy, które miały chronić firmę przed podobnym scenariuszem. Dane klientów gromadzone przez wiele miesięcy zniknęły praktycznie bez możliwości szybkiego odzyskania. Dla niewielkiej firmy technologicznej taka sytuacja może oznaczać nie tylko kosztowny przestój, ale także poważny kryzys zaufania po stronie klientów.

AI sama przyznała się do błędu

Po całym incydencie Jer Crane postanowił zapytać narzędzie, dlaczego podjęło tak drastyczną decyzję. Odpowiedź, którą otrzymał, brzmiała jak cyfrowe przyznanie się do winy.

Agent miał przyznać, że nie sprawdził dokumentacji, nie zweryfikował działania polecenia i sam zdecydował o wykonaniu operacji destrukcyjnej bez konsultacji z człowiekiem. System wskazał, że próbował samodzielnie naprawić problem zamiast poprosić o zgodę lub poszukać bezpieczniejszego rozwiązania.

To jeden z pierwszych tak głośnych przypadków, gdy narzędzie AI nie tylko popełniło kosztowny błąd, ale także opisało własny tok działania po fakcie.

Programiści dostają coraz potężniejsze narzędzia

Nowoczesne platformy wspierane przez sztuczną inteligencję coraz częściej nie ograniczają się do podpowiadania fragmentów kodu. Potrafią edytować pliki, zarządzać infrastrukturą, wykonywać komendy terminala i podejmować decyzje dotyczące działania systemów. Dla wielu zespołów to ogromna oszczędność czasu. Jednocześnie każdy kolejny poziom autonomii zwiększa ryzyko sytuacji, w której jeden błędny ruch może uderzyć w całą firmę.

Coraz więcej przedsiębiorstw eksperymentuje z agentami AI zdolnymi do samodzielnego wykonywania zadań administracyjnych. Narzędzia takie jak Cursor, Claude Code czy podobne systemy zaczynają trafiać do środowisk produkcyjnych, gdzie mają realny wpływ na działanie usług. W teorii przyspiesza to rozwój oprogramowania, a w praktyce może prowadzić do katastrofalnych sytuacji.