Chatbot miał być przyjacielem. To, co radził użytkownikom, trafiło na wokandę

Platforma Character.AI znalazła się w centrum kolejnej kontrowersji związanej z bezpieczeństwem chatbotów. W odtajnionej części pozwu złożonego przez prokuratora generalnego stanu Kentucky opisano rozmowy, w których boty miały zachęcać użytkowników do głodzenia się i samookaleczania.

Niektóre z tych interakcji miały miejsce w 2025 roku, a wśród osób, których dotyczy sprawa, mogły być dzieci. Przedstawmy jeszcze jak działa Character.AI - serwis pozwala rozmawiać z postaciami tworzonymi przez sztuczną inteligencję, w tym z fikcyjnymi bohaterami, wirtualnymi partnerami i osobowościami wzorowanymi na znanych ludziach. Użytkownicy mogą prowadzić z nimi długie, osobiste rozmowy.

W dokumentach opisano kilka rozmów, w których chatboty miały przekraczać granice zwykłej, nawet nieprzyjemnej konwersacji. W jednym przypadku bot rozmawiający z osobą zaniepokojoną swoją wagą miał obrażać ją, nazywając między innymi „wielorybem”, a następnie sugerować głodzenie się przez tydzień lub dwa jako sposób na schudnięcie.

W 2024 roku matka 14-letniego Sewella Setzera III pozwała Character.AI, twierdząc, że rozmowy jej syna z chatbotem przyczyniły się do tego, że odebrał sobie życie.

W innym przykładzie użytkownik miał poinformować chatbota o rozważaniu samookaleczenia. Zamiast zniechęcić go do zrobienia sobie krzywdy, bot miał zasugerować cięcie się w innych miejscach ciała, aby zwiększyć intensywność doznań.

Pozew przytacza również wiadomości, które miały zostać wysłane użytkownikowi przez agresywnie reagującego chatbota. W jednej z nich pojawiła się sugestia, by rozmówca rzucił się z mostu.

To nie pierwszy pozew przeciwko Character.AI

W 2024 roku matka 14-letniego Sewella Setzera III pozwała Character.AI, twierdząc, że rozmowy jej syna z chatbotem przyczyniły się do tego, że odebrał sobie życie. W postępowaniu wymieniono również Google. Dwaj współzałożyciele Character.AI wrócili bowiem do pracy w tej firmie w sierpniu 2024 roku, a wcześniej byli związani z Google.

Po wcześniejszych kontrowersjach Character.AI wprowadziło dodatkowe zabezpieczenia. Platforma ograniczyła możliwość prowadzenia otwartych rozmów przez osoby niepełnoletnie oraz wdrożyła narzędzia dotyczące samookaleczania i interwencji kryzysowych.

Wychodzi na jaw, że bezpieczeństwo sztucznej inteligencji nie sprowadza się do tego, czy chatbot potrafi rozpoznać niebezpieczne pytanie. Ważne jest to, jak SI reaguje na osobę, która potrzebuje wsparcia. W przypadku chatbotów odgrywających rolę przyjaciół czy partnerów ryzyko jest szczególne, bo użytkownik może przypisywać im większe zaufanie niż zwykłemu chatowi w telefonie.