Twórcy oprogramowania open source toną w spamie generowanym przez AI. To zagrożenie dla projektów

Świat open source zmaga się z nowym wyzwaniem. Raporty o lukach w zabezpieczeniach generowane przez systemy sztucznej inteligencji stają się coraz większym problemem dla projektów takich jak Python czy Curl. Jak podkreślają ich twórcy, zgłoszenia te, choć na pierwszy rzut oka wyglądają na uzasadnione, w rzeczywistości są niskiej jakości, halucynacyjne i często mylące, niepotrzebnie angażując czas na weryfikację.

Seth Larson, rezydent ds. bezpieczeństwa w Python Software Foundation, w emocjonalnym wpisie na blogu wezwał społeczność do zmiany podejścia. „Zauważyłem wzrost bardzo niskiej jakości, spamerskich raportów bezpieczeństwa generowanych przez AI” – napisał Larson. Podkreślił, że takie zgłoszenia wymagają od twórców poświęcenia czasu na ich analizę, co jest szczególnie uciążliwe w przypadku ograniczonych zasobów ludzkich. Larson nazwał tego rodzaju zgłoszenia złośliwymi, ponieważ odciągają uwagę inżynierów od prawdziwych problemów.

Wolontariusze z projektów open source są zasypywani bezsensownymi zgłoszeniami bezpieczeństwa, które w swoich halucynacjach generuje tzw. AI. Opiekunowie nie radzą sobie z tak dużą ilością spamu, odciągając ich od ważniejszych zadań, co wpływa też na morale.

Daniel Stenberg, twórca projektu Curl, od miesięcy zmaga się z tym samym problemem. 8 grudnia opublikował raport pokazujący, jak destrukcyjny wpływ mają zgłoszenia generowane przez AI. W odpowiedzi na jedno z takich zgłoszeń Stenberg stwierdził: „Otrzymujemy takie raporty regularnie i w dużych ilościach. Przyczyniacie się do niepotrzebnego obciążenia opiekunów Curl. Złożyłeś oczywisty raport o błędach AI, w którym twierdzisz, że istnieje problem bezpieczeństwa, prawdopodobnie dlatego, że AI oszukało cię, abyś w to uwierzył”. Zdaniem Stenberga, takie działania nie tylko marnują czas, ale także podkopują morale wolontariuszy.

Skutki dla całego ekosystemu open source

Spam i treści niskiej jakości nie są nowym problemem, ale rozwój generatywnej AI znacznie ułatwił ich produkcję. W przypadku projektów open source skala problemu jest szczególnie dotkliwa. Raporty o błędach składane przez AI wymagają dokładnej weryfikacji przez ekspertów, którzy często pracują jako wolontariusze i nie mają wystarczająco dużo czasu, by radzić sobie z lawiną fałszywych zgłoszeń.

Larson ostrzega, że sytuacja może się pogorszyć. Choć obecnie Python i pip otrzymują mniej niż dziesięć takich raportów miesięcznie, Larson uważa je za „kanarka w kopalni węgla” – wczesny sygnał, że problem może wkrótce dotknąć większej liczby projektów.

Rozwiązanie problemu – więcej wsparcia dla open source

Larson apeluje do społeczności open source, by podjęła kroki zapobiegające eskalacji problemu. Wskazuje, że kluczowe będzie lepsze wsparcie dla opiekunó projektów. „Nie możemy polegać na garstce osób, które będą wykonywać tę pracę. Potrzebujemy większej normalizacji i widoczności dla wkładu w open source” – powiedział Larson.

Finansowanie pracy zespołów odpowiedzialnych za bezpieczeństwo jest jednym z możliwych rozwiązań. Larson, który sam pracuje dzięki grantowi od Alpha-Omega, podkreśla, że stabilne wsparcie finansowe mogłoby pomóc zaangażować więcej ludzi w rozwój i utrzymanie projektów open source.

Apel do łowców błędów i platform

Larson zwrócił się także bezpośrednio do osób zgłaszających błędy, prosząc, by weryfikowały swoje raporty przed ich przesłaniem. „Systemy sztucznej inteligencji nie potrafią dziś zrozumieć kodu” – ostrzegł. Wezwał także platformy przyjmujące zgłoszenia o lukach w zabezpieczeniach do podjęcia kroków przeciwko automatycznym zgłoszeniom generowanym przez AI.