ChatGPT przegrywa ze studentami w egzaminach z rachunkowości. Chatbot często... zmyśla

Badacze stwierdzili, że uczniowie osiągali lepsze wyniki na egzaminach z rachunkowości niż produkt ChatGPT - chatbot oparty na technologii OpenAI. Mimo to, naukowcy podkreślili, że wydajność ChatGPT była imponująca i stanowiła przełom, który zmieni sposób, w jaki wszyscy uczą się na lepsze.

Badanie przeprowadzone przez naukowców z Uniwersytetu Brighama Younga (BYU) oraz 186 innych uczelni miało na celu sprawdzenie, jak ChatGPT wypada na egzaminach z rachunkowości. Wyniki badań zostały opublikowane w czasopiśmie Issues in Accounting Education. Według ustaleń, uczniowie uzyskali średnio 76,7% punktów w egzaminie księgowym, podczas gdy ChatGPT uzyskał wynik na poziomie 47,4%.  W 11,3% przypadków, ChatGPT osiągnął wynik lepszy niż średnia uczniów, zwłaszcza w zakresie systemów informacji księgowej (AIS) i audytu. Jednakże, bot AI miał trudności w zakresie ocen podatkowych, finansowych i zarządczych, prawdopodobnie ze względu na wymagane procesy matematyczne. Bot wykorzystujący uczenie maszynowe do generowania tekstu w języku naturalnym, radził sobie lepiej z pytaniami typu prawda/fałsz (68,7% poprawnych odpowiedzi) oraz pytaniami wielokrotnego wyboru (59,5% poprawnych odpowiedzi), ale miał trudności z pytaniami z krótką odpowiedzią (od 28,7% do 39,1% poprawnych odpowiedzi). Wnioski badania wskazują, że ChatGPT niekiedy dostarczał autorytatywnych pisemnych opisów nieprawidłowych odpowiedzi lub odpowiadał na to samo pytanie na różne sposoby.

ChatGPT to imponująca technologia, ale w testach wciąż przegrywa ze studentami.

Studenci okazali się lepsi od chatbota w testach z rachunkowości. ChatGPT popełniał bezsensowne błędy, a także często wymyślał odpowiedzi i odniesienia.

Chatbot często generował fałszywe informacje.

Badacze zidentyfikowali również, że ChatGPT często dostarczał wyjaśnień swoich odpowiedzi, nawet jeśli były one błędne. W innych przypadkach bot wybierał niewłaściwą odpowiedź wielokrotnego wyboru, pomimo podania dokładnych opisów. W czasie badania zauważono, że ChatGPT czasami wprowadzał fałszywe informacje, np. wygenerował realnie wyglądającą referencję, która została całkowicie zmyślona. Dzieło lub autor, nawet nie istniał. Dodatkowo, badacze odkryli, że bot popełniał bezsensowne błędy matematyczne, takie jak dodawanie dwóch liczb w problemie z odejmowaniem lub nieprawidłowe dzielenie liczb.

David Wood, profesor rachunkowości na BYU, zdecydował się włączyć do intensywnej debaty na temat roli modeli językowych, takich jak ChatGPT, w edukacji. Aby przeprowadzić badanie porównawcze wydajności ChatGPT z rzeczywistymi studentami rachunkowości na uniwersytetach, zatrudnił jak najwięcej profesorów. Dzięki owocnej akcji rekrutacyjnej w mediach społecznościowych, 327 współautorów z 186 instytucji edukacyjnych z 14 krajów wzięło udział w badaniu, odpowiadając na 25 181 pytań egzaminacyjnych z rachunkowości w klasie. Dodatkowo, zrekrutowano studentów studiów licencjackich BYU, aby przetestowali kolejne 2268 pytań z podręczników z zakresu AIS, audytu, rachunkowości finansowej, rachunkowości zarządczej i podatków. Pytania były różnego poziomu trudności i typu, w tym prawda/fałsz, wielokrotny wybór i krótka odpowiedź.