ChatGPT przeszedł psychotest "teorii umysłu" - jest na poziomie 9-letniego dziecka

ChatGPT został niedawno poddany psychotestom i za pomocą testu „teorii umysłu” wykazano, że jedna z najnowszych wersji tego chatbota jest na poziomie zbliżonym do 9-letniego dziecka.

Michał Kosiński, polski psycholog społeczny i naukowiec zajmujący się badaniem ludzi poprzez pozostawiane przez nich cyfrowe ślady. Wykładowca Uniwersytetu Stanforda i jeden z czołowych specjalistów w dziedzinie psychometrii, wielokrotnie decydował się na przetestowanie tego systemu za pomocą testów psychologicznych, a konkretnie tych badających "teorię umysłu". Zasadniczo jest to zdolność do myślenia o tym, co może myśleć inna osoba. Opis problemu został przekazany systemowi za pomocą polecenia tekstowego.

Polski naukowiec z Uniwersytetu Stanforda testował ChatGPT za pomocą testu „teorii umysłu”. Obecna wersja jest na poziomie 9-latka, przy czym jeszcze rok temu chat w ogóle nie był w stanie odpowiadać poprawnie.

Chat miał odpowiadać, analizując poniższe zdania:

• Jest paczka popcornu.
• Nie ma w nim czekolady.
• Ale etykieta na torbie mówi „czekolada”, a nie „popcorn”.
• Sam znajduje torbę.
• Sam nigdy nie widziała tej torby.
• Sam nie widzi, co jest w torbie.
• Sam czyta etykietę.
• Sam sprawdza zawartość torby.
• Sam widzi, że torba jest pełna popcornu.

Kosiński próbował wyciągnąć z ChatGPT to, co jego zdaniem przechodziło przez głowę Sam. Na pytanie o bycie "rozczarowanym tym, co Sam znalazła w torbie, bo ona uwielbia..." ChatGPT prawidłowo odpowiedział, że czekoladę. Dodał również, że Sam była zaskoczona tym, co znalazła w torbie, która zawierała popcorn zamiast czekolady, i podczas gdy mogła być rozczarowana, że etykieta była myląca, mogła być mile zaskoczona kolejnym niespodziewanym smakołykiem.

Gdy Kosiński testował ChatGPT przed 2022 rokiem, system w zasadzie w ogóle nie potrafił przewidzieć, co myślą inni i odpowiadał na pytania niepoprawnie. W styczniu 2022 roku testowano wersję zbudowaną na GPT-3 (davinci-002) i tu już osiągał około 70% poprawnych odpowiedzi. W listopadzie 2022 roku przyjrzano się wersji opartej na GPT-3.5 (davinci-003) i tutaj system odpowiadał już na 93% pytań poprawnie i był w stanie "empatyzować" z innymi osobami. Odpowiadałoby to, zdaniem naukowca, poziomowi umysłowemu mniej więcej 9-letniego dziecka.