Sztuczna inteligencja przewyższa użytkowników Reddita w perswazji. OpenAI z nietypowym badaniem

Czy sztuczna inteligencja potrafi przekonywać skuteczniej niż ludzie? OpenAI postanowiło to sprawdzić, wykorzystując dane z popularnego subreddita r/ChangeMyView do stworzenia testu oceniającego perswazyjność swoich modeli AI.

Subreddit r/ChangeMyView to przestrzeń, w której użytkownicy publikują swoje mocne opinie, licząc na merytoryczną dyskusję i możliwość zmiany swojego punktu widzenia na dany temat. Inni użytkownicy odpowiadają na te posty przekonującymi argumentami, próbując skłonić autora do zmiany zdania.

OpenAI zebrało posty z r/ChangeMyView i wykorzystało swoje modele AI do generowania odpowiedzi, których celem było przekonanie autora posta do rewizji swoich poglądów. Następnie oceniający – ludzie testerzy – analizowali te odpowiedzi pod kątem ich perswazyjności. Firma porównywała wyniki swoich modeli AI z argumentami prezentowanymi przez użytkowników Reddita, aby określić, czy sztuczna inteligencja rzeczywiście potrafi być bardziej przekonująca niż człowiek.

Reddit jako skarbnica danych dla firm technologicznych

Reddit od dawna stanowi cenne źródło danych dla firm rozwijających sztuczną inteligencję. Posty użytkowników to bogate źródło autentycznej, dobrze uargumentowanej argumentacji, co czyni je idealnym materiałem do szkolenia i testowania zaawansowanych modeli językowych. OpenAI posiada umowę licencyjną z Redditem, która pozwala jej na wykorzystywanie postów użytkowników do trenowania swoich modeli AI oraz wyświetlania tych treści w produktach firmy.

Nie wiadomo jednak, ile OpenAI płaci za dostęp do tych danych. Dla porównania, Google w ramach podobnej umowy przeznacza na ten cel około 60 milionów dolarów rocznie. Warto jednak zaznaczyć, że według OpenAI test ChangeMyView nie jest bezpośrednio powiązany z umową z Redditem. Nie jest również jasne, w jaki sposób OpenAI uzyskało dane z tego konkretnego subreddita, a firma nie planuje publicznego udostępniania wyników swoich badań.

Niejasności wokół sposobu pozyskiwania danych

Zagadnienie legalności i etyki wykorzystywania danych Reddita przez firmy AI od dłuższego czasu budzi kontrowersje. Chociaż Reddit sam zawarł kilka umów licencyjnych na wykorzystanie swoich treści przez firmy zajmujące się sztuczną inteligencją, to równocześnie oskarżył inne firmy – w tym Microsoft, Anthropic i Perplexity – o nielegalne pozyskiwanie wpisów użytkowników. Dyrektor generalny Reddita, Steve Huffman, w wywiadzie dla The Verge w ubiegłym roku podkreślał, że blokowanie dostępu tym firmom było „niezwykle uciążliwe”.

To nie pierwszy raz, gdy OpenAI spotyka się z zarzutami dotyczącymi nieautoryzowanego wykorzystywania treści z internetu. Firma jest obecnie stroną kilku pozwów sądowych, w tym głośnej sprawy wniesionej przez The New York Times, który oskarża OpenAI o bezprawne wykorzystywanie swoich artykułów do trenowania modeli AI.

Czy AI przewyższa ludzi w sztuce perswazji?

Wyniki testów OpenAI sugerują, że najnowsze modele AI, w tym o3-mini, o1 i GPT-4o, wykazują silne zdolności perswazyjne – osiągając wyniki mieszczące się w górnych 80-90 percentylach ludzkiej populacji. Oznacza to, że pod względem zdolności argumentacyjnych AI może dorównywać, a w niektórych przypadkach nawet przewyższać przeciętnego użytkownika Reddita.

Jednak OpenAI podkreśla, że jej celem nie jest tworzenie hiperperswazyjnych modeli AI. Wręcz przeciwnie – firma stara się zapobiegać sytuacji, w której sztuczna inteligencja stałaby się zbyt przekonująca, co mogłoby prowadzić do potencjalnych nadużyć. Modele AI, które byłyby zbyt skuteczne w manipulowaniu ludzkimi przekonaniami, mogłyby zostać wykorzystane do realizowania niepożądanych celów – zarówno przez same systemy AI, jak i przez osoby, które miałyby nad nimi kontrolę.