System bezpieczeństwa AI zawiódł w najgorszym momencie. Claude kasuje 700 GB

Model Claude przypadkowo skasował 700 GB danych z katalogu domowego dewelopera. Kto jest winny? Oczywiście człowiek, który dał tyle uprawnień modelowi. Kto pozwala, by komputer podejmował decyzje, musi się z tym liczyć.

Ofiarą incydentu był programista Sebastien Guillemot, korzystający regularnie z agentów AI, a celem operacji miało być posprzątanie folderu /tmp. Guillemot poprosił Claude Fable o napisanie skryptu do automatycznego czyszczenia danych tymczasowych i... doprosił się.

Deweloper próbował zatrzymać proces, ale za późno, by uniknąć utraty danych

Kluczowym wyzwaniem w takim zadaniu było niedopuszczenie do usunięcia plików wciąż używanych przez aktywne procesy. Fable zaproponowało najpierw rozwiązanie ocenione przez dewelopera jako zbyt skomplikowane, po czym model przeprowadził dodatkową weryfikację własnego kodu.

System bezpieczeństwa Anthropic uznał także skrypt za na tyle ryzykowny, by obniżyć wersję modelu, po czym nastąpiło przełączenie na model Opus 5, a następnie na Opus 4.8.

700 GB danych zniknęło w kilka sekund

Model Opus 4.8 miał przetestować, czy komenda usuwania nie obejmie katalogu domowego użytkownika i nie usunie zbyt wielu plików. Błąd pojawił się na etapie „sprzątania” po samym teście – to wtedy usunięto na dobre cały katalog domowy użytkownika.

Deweloper próbował zatrzymać proces, ale za późno, by uniknąć utraty danych, a ironicznie, docelowy folder /tmp, który miał być posprzątany, ostatecznie pozostał nietknięty... Ostatecznie udało się odzyskać większość plików, ale kosztowało to sporo nerwów i pracy. Najważniejsze jest jednak podkreślenie, że mechanizm bezpieczeństwa, obniżający wersję Claude, tak naprawdę doprowadził do całego problemu.

Wniosek jest prosty - sami usuwajmy swoje dane.