AI skompromitowała giganta. Raport o korzyściach AI pełen halucynacji

Sztuczna inteligencja coraz częściej wspiera firmy w przygotowywaniu analiz i raportów, jednak najnowsza afera wokół KPMG pokazuje, jak ryzykowne może być bezkrytyczne poleganie na generatywnej AI. Renomowana firma doradcza została bowiem zmuszona do wycofania jednego ze swoich raportów po ujawnieniu licznych błędów, fikcyjnych źródeł i nieprawdziwych informacji.

Kontrowersje dotyczą raportu „Total Experience: Redefining Excellence in the Age of Agentic AI”, opublikowanego w październiku ubiegłego roku. Dokument miał przedstawiać przykłady wykorzystania autonomicznych agentów AI w biznesie, jednak analiza przeprowadzona przez firmę GPTZero wykazała szereg poważnych nieścisłości.

Afera wokół KPMG pokazuje, jak ryzykowne może być bezkrytyczne poleganie na generatywnej AI.

Według śledczych jedynie pięć z 45 cytowanych źródeł prowadziło do rzeczywistych materiałów. Większość przypisów zawierała zmodyfikowane tytuły, nieistniejące elementy lub była sformułowana na tyle ogólnie, że nie dało się zweryfikować ich pochodzenia. GPTZero określiło to zjawisko mianem „vibe citing”, czyli generowania pozornie wiarygodnych odniesień bez faktycznego pokrycia w źródłach.

Znane firmy zaprzeczyły informacjom z raportu

Problem nie ograniczał się wyłącznie do błędnych przypisów. Dochodzenie wykazało, że około połowa kluczowych tez raportu była nieprawdziwa lub błędnie przypisana konkretnym organizacjom. Jako przykład wskazano linię lotniczą Emirates, której przypisano wdrożenie zaawansowanego chatbota AI zdolnego do modyfikowania rezerwacji pasażerów. W rzeczywistości opisana usługa nie posiadała takich funkcji. Podobne zastrzeżenia zgłosiły również UBS oraz Swiss Federal Railways, które określiły fragmenty raportu jako niezgodne z faktami.

Halucynacje AI coraz większym problemem

Eksperci zwracają uwagę, że publikacje przygotowywane przez firmy należące do tzw. Wielkiej Czwórki, czyli KPMG, Deloitte, PwC i EY, są regularnie cytowane przez media, analityków i środowisko naukowe. Oznacza to, że błędy wygenerowane przez AI mogą rozprzestrzeniać się dalej, stając się podstawą kolejnych analiz i publikacji. Zdaniem ekspertów taki efekt może prowadzić do powstawania wtórnych halucynacji AI i stopniowego zanieczyszczania ekosystemu informacji.

KPMG zapewniło, że traktuje kwestie rzetelności bardzo poważnie. Firma usunęła raport i rozpoczęła wewnętrzne dochodzenie mające wyjaśnić okoliczności jego publikacji.