Google AI ogłosiło bankructwo firmy, która nadal działa. Jeden błędny wynik wywołał panikę

Sztuczna inteligencja Google poinformowała użytkowników, że japońska firma tekstylna zakończyła działalność i ogłosiła specjalne postępowanie likwidacyjne. Problem w tym, że firma nadal normalnie funkcjonowała. Fałszywa informacja trafiła na szczyt wyników wyszukiwania i wystarczyła, by pracownicy, klienci oraz partnerzy biznesowi zaczęli obawiać się o przyszłość przedsiębiorstwa.

To jeden z tych przypadków, w których błąd systemu AI przestaje być zwykłą ciekawostką. Tym razem nie chodziło o zmyślone źródło, nieistniejącą osobę czy błędną odpowiedź na pytanie użytkownika. Google wygenerowało informację dotyczącą realnej firmy i przedstawiło ją w sposób, który mógł wyglądać jak wiarygodny komunikat gospodarczy.

Firma działała normalnie. Google ogłosiło jej koniec

Sprawa dotyczy japońskiej hurtowni tekstyliów Iwate Sen-i. Przedsiębiorstwo zatrudnia około 90 osób i osiąga roczne przychody na poziomie około 2 mld jenów, czyli mniej więcej 12 mln dolarów.

10 lipca jeden z pracowników zauważył w wyszukiwarce Google informację, według której firma zakończyła działalność i rozpoczęła specjalne postępowanie likwidacyjne. Wynik pojawił się bardzo wysoko w wyszukiwarce, przez co wyglądał jak informacja, której można zaufać.

Pracownik zrobił zrzut ekranu i przekazał go przełożonemu. Wkrótce okazało się, że sprawa jest znacznie poważniejsza niż zwykła pomyłka w wyszukiwarce.

Fałszywa informacja zaczęła wpływać na rzeczywiste relacje biznesowe firmy. Klienci i dostawcy zaczęli kontaktować się z przedsiębiorstwem, próbując ustalić, czy rzeczywiście znalazło się ono w trudnej sytuacji finansowej. Telefony odbierane przez pracowników zaczęły dotyczyć nie działalności handlowej, lecz rzekomego końca firmy.

Partnerzy przyjechali osobiście sprawdzić, co się dzieje

Skala zamieszania była na tyle duża, że część partnerów biznesowych nie poprzestała na telefonach. Czterech kontrahentów odwiedziło siedzibę Iwate Sen-i osobiście, aby sprawdzić, czy przedsiębiorstwo rzeczywiście kończy działalność.

Dla firmy był to wyjątkowo absurdalny scenariusz. Pracownicy normalnie wykonywali swoje obowiązki, przedsiębiorstwo działało, a jednocześnie internetowy system należący do jednego z największych dostawców informacji na świecie przedstawiał je jako firmę, która właśnie zniknęła z rynku.

AI pomyliła dwie firmy z tego samego miasta

Źródła problemu zaczęto szukać w lokalnych publikacjach. Według ustaleń sprawa prawdopodobnie miała związek z artykułem dotyczącym innego hurtownika odzieży działającego w tym samym mieście.

Lokalna gazeta Iwate Nippo opublikowała materiał dotyczący przedsiębiorstwa, które rzeczywiście ogłosiło specjalną likwidację. Problem polegał na konstrukcji nagłówka. Nazwa firmy nie pojawiała się w nim bezpośrednio, a artykuł był dostępny w ramach płatnej części serwisu.

W nagłówku znalazła się informacja, że hurtownik odzieży z Yahaba ogłosił specjalną likwidację. Według przedstawionej hipotezy system Google mógł nie mieć dostępu do pełnej treści materiału i błędnie powiązać informację z inną firmą z tego samego regionu. W ten sposób wiadomość dotycząca jednego przedsiębiorstwa została przypisana drugiemu.

Nie ma przy tym dowodu, że właśnie ten mechanizm doprowadził do błędu, ale okoliczności wskazują na taką możliwość. Sam Google przyznał, że jego systemy AI mogą błędnie interpretować informacje dostępne w internecie.

Google musiało oznaczyć własną odpowiedź jako niepotwierdzoną

Problem nie zniknął natychmiast. Dopiero 19 lipca Google oznaczyło wygenerowany opis jako „niepotwierdzoną informację”. W praktyce oznaczało to przyznanie, że użytkownicy otrzymywali wcześniej odpowiedź, której nie można było uznać za wiarygodną.

Google nie przedstawiło szczegółowego wyjaśnienia mechanizmu, który doprowadził do pomyłki. Firma wskazała jedynie, że sztuczna inteligencja może nieprawidłowo interpretować informacje znajdujące się w sieci albo nie uwzględniać właściwego kontekstu.

W przypadku zwykłego pytania o pogodę lub prostą definicję taki błąd może być irytujący. Przy informacjach dotyczących kondycji finansowej przedsiębiorstwa konsekwencje mogą być znacznie poważniejsze.

Profesor chce zatrzymywania takich odpowiedzi

Do sprawy odniósł się Makoto Kato, profesor bibliotekoznawstwa i informacji naukowej na Uniwersytecie Tsukuba. Jego zdaniem systemy generujące podsumowania powinny mieć mechanizmy pozwalające zatrzymać odpowiedź, gdy dotyczą one szczególnie wrażliwych twierdzeń.

Problem jest prosty: informacja o bankructwie firmy nie jest zwykłym faktem encyklopedycznym. Jeżeli system nie ma wystarczającej pewności, publikowanie takiego komunikatu wymaga znacznie większej ostrożności.

Właśnie dlatego Kato uważa, że Google powinno stosować mechanizm całkowicie wstrzymujący generowanie podsumowania w podobnych sytuacjach.

To podejście byłoby szczególnie istotne przy informacjach o upadłości, śmierci osób, oskarżeniach, procesach sądowych czy poważnych problemach finansowych. W takich przypadkach nawet pojedyncza pomyłka może mieć konsekwencje wykraczające daleko poza samą rozmowę z chatbotem.

„Google powinno mieć mechanizm, który w takich przypadkach całkowicie wstrzymuje podsumowanie sztucznej inteligencji” - wyjaśnił profesor Makota Kato. 

To nie jest zwykła „halucynacja AI”

Określenie „halucynacja” stało się w ostatnich latach niemal synonimem błędów generatywnej sztucznej inteligencji. System tworzy wiarygodnie brzmiącą odpowiedź, która nie ma potwierdzenia w rzeczywistości. Historia Iwate Sen-i pokazuje jednak dodatkowy problem. AI nie musiała całkowicie wymyślić historii od zera. Wystarczyło nieprawidłowe połączenie prawdziwych informacji dotyczących różnych podmiotów.

Jedna firma rzeczywiście miała zakończyć działalność. Druga nadal działała. Obie znajdowały się w tym samym regionie. Do tego doszedł materiał prasowy z niejednoznacznym nagłówkiem i ograniczonym dostępem do pełnej treści.

Dla algorytmu takie dane mogły stworzyć pozornie spójną historię. Dla człowieka znającego lokalny rynek błąd był znacznie łatwiejszy do wychwycenia.

Jeden błędny komunikat może kosztować firmę znacznie więcej

Największym problemem nie jest nawet sama pomyłka Google. Znacznie ważniejsze jest to, gdzie się pojawiła. Informacja została pokazana użytkownikom wyszukiwarki jako odpowiedź na ich zapytania. Nie była ukryta w odległym zakątku internetu ani opublikowana na anonimowym forum. Trafiła do miejsca, które dla milionów osób jest jednym z podstawowych źródeł informacji.

Dla przedsiębiorstwa oznacza to zupełnie nowy rodzaj ryzyka. Firma może funkcjonować bez zakłóceń, płacić pracownikom, realizować zamówienia i obsługiwać klientów, a mimo tego część rynku może zobaczyć komunikat sugerujący jej bankructwo.

Jeżeli taki komunikat zostanie wystarczająco długo w wynikach wyszukiwania, może zacząć wpływać na decyzje osób, które nie mają możliwości natychmiastowego zweryfikowania informacji.

Właśnie tutaj pojawia się najważniejsze pytanie dotyczące AI w wyszukiwarkach. Czy system powinien odpowiadać za wszelką cenę, czy raczej odmówić odpowiedzi wtedy, gdy nie ma wystarczających podstaw do przedstawienia konkretnego twierdzenia jako faktu?