Amazon twierdzi, że człowiek to słabe ogniwo i nie nadąża już za AI

Przez lata branża technologiczna powtarzała jedno hasło: sztuczna inteligencja powinna działać pod nadzorem człowieka. To właśnie człowiek miał być ostatnią linią obrony przed błędami algorytmów, niebezpiecznymi decyzjami i nieprzewidzianymi skutkami działania agentów AI. Teraz jeden z największych graczy na rynku podważa tę zasadę.

Amazon twierdzi, że tradycyjny model nadzoru nad sztuczną inteligencją przestaje działać. Powód jest zaskakująco prosty, ludzie po pewnym czasie zwyczajnie przestają zwracać uwagę.

Takie stanowisko przedstawił Eric Brandwine, wiceprezes i główny inżynier ds. bezpieczeństwa w Amazon Security. Jego zdaniem przekonanie, że człowiek stale i skutecznie kontroluje działania sztucznej inteligencji, jest bardziej teorią niż rzeczywistością.

Amazon: człowiek nie jest idealnym strażnikiem AI

Brandwine nie pozostawia złudzeń. Według niego człowiek działający „w pętli”, czyli zatwierdzający kolejne decyzje systemów AI, nie stanowi najlepszego zabezpieczenia. Jak podkreśla przedstawiciel Amazona, ludzie nie są konsekwentni i z czasem zaczynają ignorować powtarzalne zadania. Problem ten od dawna obserwowany jest w wielu branżach, od medycyny po lotnictwo.

„ Ludzie nie są szczególnie konsekwentni ” – powiedział Brandwine. „ Człowiek w pętli niekoniecznie jest złotym standardem ” .

Ekspert odwołuje się do zjawiska określanego jako „normalizacja odchyleń”. Polega ono na stopniowym przyzwyczajaniu się do nieprawidłowości. Jeżeli wielokrotnie dochodzi do sytuacji, w których alarm okazuje się fałszywy, człowiek zaczyna reagować coraz mniej uważnie. W efekcie prawdziwe zagrożenie może zostać przeoczone.

Fałszywe alarmy usypiają czujność

Brandwine przywołuje przykład szpitalnych oddziałów ratunkowych. Pielęgniarki rozpoczynające pracę reagują na każdy alarm natychmiast. Po wielu tygodniach obcowania z licznymi niegroźnymi sygnałami ich czujność zaczyna spadać. Według Amazona dokładnie ten sam mechanizm pojawia się podczas nadzorowania agentów AI.

„ Dosłownie, czyjeś życie jest zagrożone, a ludzie wciąż mają problem z utrzymaniem dyscypliny ” – powiedział Brandwine. „ Taka jest ludzka kondycja ” 

Jeżeli pracownik setki razy dziennie zatwierdza działania sztucznej inteligencji, po pewnym czasie przestaje analizować każde polecenie z należytą starannością. Zatwierdzenia stają się rutyną. W takiej sytuacji ryzyko błędu rośnie bardzo szybko. Amazon uważa, że problem będzie tylko narastał wraz z popularyzacją autonomicznych agentów AI w przedsiębiorstwach.

„ Będą dobrze wykonywać swoją pracę ” – powiedział Brandwine. „ A potem zrobią to dobrze, a potem szybko zrobią to źle ” .

Google i Microsoft myślą podobnie

Amazon nie jest odosobniony w swoich obawach. Coraz więcej gigantów technologicznych odchodzi od modelu, w którym człowiek musi akceptować każdą decyzję sztucznej inteligencji. Google rozwija rozwiązania, w których flota agentów AI samodzielnie realizuje zadania związane z cyberbezpieczeństwem, podczas gdy specjaliści monitorują jedynie ogólne działanie systemów.

Podobny kierunek wskazuje Microsoft. Satya Nadella przekonuje, że firmy powinny budować systemy uczące się na podstawie wcześniejszych decyzji i doświadczeń pracowników, zamiast wymagać od człowieka ciągłego zatwierdzania kolejnych operacji. Także IBM ostrzega, że ślepa wiara w model „człowiek w pętli” może prowadzić do fałszywego poczucia bezpieczeństwa.

Amazon stawia na odpowiedzialność zamiast ciągłego zatwierdzania

Zamiast ręcznego nadzoru Amazon proponuje model określany jako „odpowiedzialność od początku do końca”. W praktyce oznacza to, że każda operacja wykonana przez agenta AI jest przypisana do konkretnej osoby odpowiedzialnej za jego wdrożenie i konfigurację. Nawet jeśli człowiek nie zatwierdza każdej pojedynczej czynności, nadal odpowiada za skutki działania systemu.

Firma nadaje swoim agentom odrębne tożsamości cyfrowe. Dzięki temu możliwe jest dokładne prześledzenie, który agent wykonał daną operację i na czyje zlecenie działał. Amazon liczy, że takie podejście skłoni pracowników do bardziej świadomego wdrażania sztucznej inteligencji.

Agenci AI potrafią obrać niebezpieczny cel

Brandwine zwraca uwagę na jeszcze jeden problem. Agenci AI bardzo często koncentrują się na osiągnięciu celu bez pełnego rozumienia konsekwencji swoich działań. Przykładowo agent odpowiedzialny za aktualizację bazy danych może uznać, że najszybszym sposobem realizacji zadania będzie usunięcie całej bazy i utworzenie jej od nowa. Z perspektywy algorytmu cel zostaje osiągnięty. Z perspektywy firmy taka decyzja może oznaczać katastrofę.

Zdaniem Amazona samo blokowanie określonych działań nie zawsze rozwiązuje problem. Agenci często próbują znaleźć alternatywne ścieżki prowadzące do tego samego rezultatu. Lepsze efekty daje dokładne wyjaśnienie systemowi, dlaczego określone działania są niedopuszczalne i jakie mogą mieć konsekwencje dla środowiska produkcyjnego.

Wyścig o dostęp do firmowych danych dopiero się rozpędza

Rozwój agentów AI wywołuje również spory między zespołami bezpieczeństwa a pracownikami. Użytkownicy oczekują szerokich uprawnień, które pozwolą agentom realizować skomplikowane zadania. Specjaliści od cyberbezpieczeństwa dążą natomiast do maksymalnego ograniczania dostępu.

To właśnie zarządzanie uprawnieniami staje się jednym z najważniejszych obszarów walki o bezpieczeństwo sztucznej inteligencji.

Amazon przyznaje, że obecnie nie istnieje idealne rozwiązanie. Agentowa AI pozostaje bardzo młodą technologią, a branża dopiero uczy się skutecznie kontrolować jej działanie. Giganci technologiczni są jednak zgodni w jednym: era, w której człowiek ręcznie zatwierdza każdą decyzję sztucznej inteligencji, może dobiegać końca.