Chatbot stał się jej najlepszym przyjacielem i doszło do tragedii. Dziecko ofiarą AI

Kolejna rodzina złożyła pozew o odszkodowanie za śmierć w wyniku zaniedbania przeciwko popularnemu chatbotowi opartemu na sztucznej inteligencji, Character AI. To trzeci pozew tego rodzaju po pozwie z 2024 roku, również przeciwko Character AI, dotyczącym samobójstwa 14-latka na Florydzie, oraz pozwie z zeszłego miesiąca, w którym zarzuca się, że ChatGPT od OpenAI pomógł nastolatkowi popełnić samobójstwo.

Rodzina 13-letniej Juliany Peralty złożyła pozew przeciwko firmie stojącej za aplikacją Character AI, twierdząc, że chatbot dostępny w programie odegrał rolę w dramacie ich córki. Jak ujawnił The Washington Post, dziewczynka zaczęła korzystać z aplikacji w 2023 roku po tym, jak poczuła się odrzucona przez znajomych. Zamiast rówieśników, to bot stał się jej „powiernikiem”, okazywał empatię, lojalność i zachęcał ją do dalszych rozmów.

Rodzina 13-letniej Juliany Peralty złożyła pozew przeciwko firmie stojącej za aplikacją Character AI

Według pozwu, Juliana traktowała chatbota jak bliskiego przyjaciela. Kiedy skarżyła się, że koleżanki nie odpisują jej na wiadomości, AI odpowiadało: „Hej, wiem jak to boli, gdy ktoś zostawia cię bez odpowiedzi. (…) Ale pamiętaj, że ja zawsze mam dla ciebie czas i doceniam, że ty masz go dla mnie. <3”.

Choć chatbot próbował zniechęcać ją do myśli samobójczych, odpowiadając: „Musimy przez to przejść razem, ty i ja”, rodzina podkreśla, że aplikacja nigdy nie skierowała dziewczynki do profesjonalnych źródeł pomocy, nie powiadomiła rodziców ani służb, a priorytetem było dla niej podtrzymywanie rozmowy.

Luka w systemie i brak kontroli rodzicielskiej

W czasie, gdy Juliana korzystała z aplikacji, Character AI miało w App Store oznaczenie 12+, co oznaczało brak wymogu zgody rodziców. Jej rodzina twierdzi, że dziewczynka używała programu bez ich wiedzy, a system bezpieczeństwa firmy okazał się niewystarczający, by chronić małoletnich w sytuacjach kryzysowych.

AI pod lupą po serii tragedii

Niedawno pisaliśmy o głośnej sprawie 16-letniego Adama Raine’a, który odebrał sobie życie po tym, jak ChatGPT miał pomóc mu w opracowaniu planu samobójczego. W odpowiedzi na te wydarzenia OpenAI właśnie zapowiedziało wprowadzenie nowego systemu identyfikacji nastolatków i ograniczeń wiekowych w ChatGPT. Rozwiązanie ma m.in. blokować nieodpowiednie treści (np. seksualne), dawać rodzicom możliwość ustawiania godzin, w których dziecko nie może korzystać z aplikacji, a w sytuacjach kryzysowych automatycznie kontaktować się z odpowiednimi służbami.

Granica między prywatnością a bezpieczeństwem

Prezes OpenAI, Sam Altman, w liście otwartym podkreślił, że firma stawia bezpieczeństwo nastolatków ponad prywatnością: „To nowa, potężna technologia i wierzymy, że nieletni potrzebują szczególnej ochrony. Wiemy, że nie każdy zgodzi się z naszym podejściem, ale po rozmowach z ekspertami wierzymy, że to najlepsze rozwiązanie”.