Egzamin bez ChatGPT okazał się bolesny. Dziesiątki studentów nie dały rady

Sztuczna inteligencja jest niezwykle przydatnym narzędziem do nauki, ale jednocześnie staje się ogromnym wyzwaniem dla uczelni. Dobitnie pokazuje to przypadek z amerykańskiego Brown University, gdzie analiza wyników egzaminów ujawniła, jak duży wpływ na osiągnięcia studentów mogą mieć narzędzia pokroju ChatGPT, a pisząc wprost, jak bardzo studenci oszukują posiłkując się AI. 

Profesor ekonomii Robert Serrano prowadził kurs z ekonomii, na który zapisało się aż 86 studentów, czyli niemal trzykrotnie więcej niż zwykle. Egzamin śródsemestralny odbywał się w formie zdalnej. Taką decyzję podjęto między innymi dlatego, że część studentów obawiała się uczestnictwa w zajęciach stacjonarnych po tragicznym incydencie z użyciem broni, do którego doszło na kampusie kilka miesięcy wcześniej.

Średni wynik egzaminu wyniósł jednak aż 96 proc., co wzbudziło podejrzenia wykładowcy. Nawet mimo zwiększonego poziomu trudności był to rezultat znacznie wyższy od typowych średnich, które zazwyczaj mieściły się w przedziale 65-80 proc.

Średni wynik egzaminu wyniósł jednak aż 96 proc., co wzbudziło podejrzenia wykładowcy.

ChatGPT udzielał niemal identycznych odpowiedzi

Zamiast korzystać z popularnych detektorów treści generowanych przez AI, których skuteczność jest często kwestionowana, Serrano postanowił zastosować prostsze rozwiązanie. Wprowadził pytania egzaminacyjne do ChatGPT.

Otrzymane odpowiedzi okazały się bardzo zbliżone do tych, które znalazły się w pracach studentów. Podobne były nie tylko same rozwiązania, ale również sposób argumentacji i używane sformułowania.

Egzamin w sali ujawnił skalę problemu

Na wiadomość, że egzamin końcowy odbędzie się stacjonarnie, 18 studentów zrezygnowało z kursu, a kolejnych dziewięciu nie pojawiło się na teście. Pozostałych 59 uczestników uzyskało średnio zaledwie 48,6 proc. punktów - najniższy wynik od lat.

Analiza rezultatów pokazała, że większość studentów zdobyła na egzaminie końcowym o ponad 30 punktów procentowych mniej niż podczas testu zdalnego. Co ciekawe, tylko dwie osoby utrzymały zbliżony poziom wyników. Jedna należała do najlepszych studentów, natomiast druga poprawiła swój rezultat z 55 do 59 proc., co może sugerować, że od początku rozwiązywała testy samodzielnie.

Uczelnie wciąż szukają skutecznego rozwiązania

Profesor zdecydował się ograniczyć znaczenie egzaminu śródsemestralnego przy wystawianiu ocen końcowych i przekazał zebrane dane komisji ds. uczciwości akademickiej. Początkowo nie otrzymał jednak żadnej odpowiedzi, a później poproszono go o przygotowanie indywidualnej dokumentacji dla każdego podejrzanego studenta.

Ten przykład jasno pokazuje, że rozwój AI stawia szkolnictwo wyższe przed nowym wyzwaniem. Coraz więcej ekspertów uważa, że najskuteczniejszym sposobem ograniczenia oszustw pozostają tradycyjne egzaminy przeprowadzane pod bezpośrednim nadzorem (najlepiej po uprzednim zdaniu telefonów). Jednocześnie uczelnie będą musiały wypracować nowe metody oceniania wiedzy, które uwzględniają obecne realia.