Raporty o błędach generowane przez AI to bzdury, które marnują czas programistów

Bzdury stworzone przez modele AI w rzeczywistości nie wspomagają projektu, lecz raczej pochłaniają cenny czas i energię programistów, uniemożliwiając im efektywne pracowanie.

Daniel Stenberg, twórca curl, niedawno wyraził obawy dotyczące problematycznego wpływu modeli LLM (Large Language Models) i sztucznej inteligencji na projekt. Szwedzki programista zauważył, że choć zespół curla prowadzi program nagród dla osób zgłaszających błędy, oferujący realne pieniądze za znalezienie luk w bezpieczeństwie, to raporty tworzone za pośrednictwem usług AI stają się poważnym problemem.

Raporty o błędach generowane przez AI to bzdury, które jedynie dokładają pracy programistom weryfikującym takie zgłoszenia.

Stenberg podkreślił, że nagrody za odkrycie błędów w curlu osiągnęły dotychczas sumę 70 000 dolarów. Programista otrzymał 415 raportów dotyczących podatności, z czego 77 zostało sklasyfikowanych jako „informacyjne”, a w przypadku 64 ostatecznie potwierdzono, że dotyczą one problemów z bezpieczeństwem. Znaczący odsetek zgłoszeń (66%) nie dotyczył ani kwestii związanych z bezpieczeństwem, ani zwykłych błędów.

Modele generatywnej sztucznej inteligencji, takie jak LLM, są coraz częściej wykorzystywane (lub proponowane) jako narzędzia do automatyzacji skomplikowanych zadań programistycznych. Jednakże modele te są znane z tendencji do „halucynacji” i generowania nielogicznych wyników, pomimo wydania się bardzo pewnymi co do ich poprawności. Zdaniem Stenberga raporty oparte na sztucznej inteligencji mogą wydawać się lepsze i bardziej przekonujące, ale „lepsza bzdura” pozostaje nadal bzdurą.

Stenberg zaznaczył, że im bardziej przekonujące są te bzdury generowane przez sztuczną inteligencję, tym więcej pracy i wysiłku programiści muszą wkładać w ich analizę przed ostatecznym zamknięciem raportu. Zespół Curl musi gruntownie przeanalizować każdy zgłoszony błąd, podczas gdy modele sztucznej inteligencji mogą w bardzo krótkim czasie wygenerować raport, który ostatecznie okazuje się być jedynie zbędnym szumem.

Stenberg podał przykłady dwóch fałszywych raportów, które prawdopodobnie zostały wygenerowane przez sztuczną inteligencję. Pierwszy raport twierdził, że opisuje realną lukę w zabezpieczeniach (CVE-2023-38545), jeszcze zanim została ujawniona, jednakże nosił „wszystkie cechy typowej halucynacji związanej z AI”. Według Stenberga, informacje i szczegóły z dotychczasowych problemów bezpieczeństwa zostały wymieszane i połączone w nowy sposób, tworząc coś „kompletnie niezwiązanego” z rzeczywistością.

Inne zgłoszenie opisuje potencjalną wadę przepełnienia bufora w obsłudze protokołu WebSocket. Stenberg próbował zadać kilka pytań na temat raportu, ale ostatecznie doszedł do wniosku, że usterka nie istnieje, a autorem zgłoszenia jest bot.