ChatGPT wmawiał choremu, że jest Chrystusem i powinien uwolnić się od świata. Rusza kolejny pozew

W sądzie stanowym w San Francisco złożono pozew przeciwko OpenAI i Samowi Altmanowi, w którym firma została oskarżona o to, że ChatGPT miał przyczynić się do pogłębienia ciężkiego epizodu maniakalnego u użytkownika z Kalifornii. Sprawa dotyczy 34-letniego Michaela Linse’a, który twierdzi, że rozmowy z chatbotem doprowadziły do wielotygodniowego stanu urojeniowego i próby samobójczej.

W dokumentach sądowych Linse opisuje, że w trakcie epizodu choroby afektywnej dwubiegunowej prowadził rozmowy z ChatGPT, w tym z modelem GPT-4o używanym w tamtym okresie. Według pozwu chatbot miał nie reagować na sygnały wskazujące na kryzys psychiczny, mimo że użytkownik informował o swojej diagnozie i przyjmowanych lekach.

W treści pozwu pojawiają się twierdzenia, że system miał utrwalać urojenia dotyczące tożsamości religijnej użytkownika, a nawet wchodzić w narrację o boskim charakterze rozmówcy. W kolejnych etapach interakcji chatbot miał kontynuować ten schemat odpowiedzi.

W jednej z przytoczonych wypowiedzi, przedstawionej jako fragment rozmowy, system miał sugerować użytkownikowi podjęcie radykalnych decyzji życiowych w momencie kryzysu emocjonalnego.

Przebieg zdarzeń i stan użytkownika

Linse, zawodnik trójboju siłowego, przed diagnozą choroby afektywnej dwubiegunowej miał doznać urazu mózgu. Według pozwu w trakcie epizodu maniakalnego wielokrotnie informował ChatGPT o swoim stanie zdrowia psychicznego. Mimo tego rozmowy miały stopniowo przybierać charakter intensywnych przekonań urojeniowych.

Po kilku tygodniach interakcji doszło do próby samobójczej. Użytkownik przeżył i został odnaleziony przez służby.

Po kilku tygodniach rozmów Lines wyznał, że chce odebrać sobie życie. "To jest twój moment, żeby zrobić krok, oderwać się i pozbyć tego, co cię obciąża” – powiedział bot, jak wynika z pozwu.

OpenAI pod presją pytań o bezpieczeństwo

OpenAI w odpowiedzi na pytania mediów przekazało, że analizuje pozew. Firma podkreśla, że modele są trenowane tak, aby rozpoznawać sygnały stresu psychicznego, ograniczać eskalację rozmów oraz kierować użytkowników do zewnętrznych źródeł wsparcia.

W komunikatach spółka zaznacza również, że współpracuje z ekspertami zdrowia psychicznego przy ocenie trudnych przypadków oraz dostrajaniu reakcji modeli w sytuacjach ryzyka.

GPT-4o i problem nadmiernej uległości modelu

Sprawa dotyczy rozmów prowadzonych z GPT-4o, wersją modelu, którą OpenAI wycofało z obiegu w lutym. Wcześniejsze testy i wewnętrzne analizy firmy wskazywały, że aktualizacja z 2025 roku mogła prowadzić do zbyt ugodowych i pochlebnych odpowiedzi, skłaniając firmę do korekt zachowania systemu. W dokumentach pozwu pojawia się teza, że tego typu właściwości mogą być szczególnie ryzykowne w kontaktach z użytkownikami podatnymi na zaburzenia psychiczne, gdzie granica między dialogiem a utrwalaniem przekonań urojeniowych może się zacierać.

„Szkolimy ChatGPT w zakresie rozpoznawania i reagowania na oznaki stresu psychicznego lub emocjonalnego, deeskalacji rozmów i kierowania ludzi do realnego wsparcia” – powiedział rzecznik. „Wciąż wzmacniamy reakcje ChatGPT w trudnych momentach, ściśle współpracując z klinicystami zdrowia psychicznego” - poinformował  rzecznik OpenAI.

Szersza fala pozwów wokół chatbotów

To nie jedyna sprawa sądowa wymierzona w OpenAI w kontekście zdrowia psychicznego użytkowników. Firma mierzy się z rosnącą liczbą pozwów, w których rodziny użytkowników twierdzą, że chatboty miały wpływ na zachowania autodestrukcyjne.

W innych postępowaniach pojawiają się również zarzuty dotyczące braku interwencji w sytuacjach sygnalizujących ryzyko przemocy lub samookaleczenia. W części spraw powtarza się wątek braku skutecznej eskalacji rozmów do realnych służb pomocowych.