Programiści mogą odetchnąć z ulgą. Nowe badanie pokazuje, jak kiepski w kodowaniu jest ChatGPT

Jak wynika z badania przeprowadzonego przez Uniwersytet Purdue, ChatGPT radzi sobie dość kiepsko w rozwiązywaniu problemów programistycznych. Zaledwie mniej niż połowa z przedstawionych przez chatbota odpowiedzi była poprawna.

ChatGPT kontra pytania ze StackOverflow

Uniwersytet Purdue przeprowadził bardzo ciekawe badanie, w którym przed ChatGPT postawiono 517 pytań ze znanego dobrze programistom StackOverflow. W badaniu brało udział 12 ochotników, których poproszono o ocenę wyników wygenerowanych przez narzędzie OpenAI. W trakcie samej oceny uzyskanych odpowiedzi przede wszystkim brano pod uwagę ich poprawność. Na tym jednak nie koniec, bowiem ocenie podlegały również: spójność, kompleksowość oraz zwięzłość. Wagę przywiązywano również do stylu językowego.

Jak się okazało, ChatGPT nie poradził sobie najlepiej z zadaniami. Na 52% z nich odpowiedział błędnie, a 77% uznano za rozwlekłe.

Jak się okazało, ChatGPT nie poradził sobie najlepiej z zadaniami. Na 52% z nich odpowiedział błędnie, a 77% uznano za rozwlekłe. Osoby, które z ChatGPT już korzystały chyba same przyznają, że chatbot lubi się rozpisywać nawet przy najprostszych pytaniach. Mimo wszystko, odpowiedzi generowane przez ChatGPT byłby preferowane przez 39,34% uczestników ze względu na ich dobry styl językowy. Problem w tym, że wśród tych niespełna 40% odpowiedzi, aż 77% uznano za błędne.

Nawet gdy odpowiedź była błędna, niektórzy wciąż ją preferowali

Z badania wynika również, że tylko wtedy, gdy odpowiedź przedstawiona przez ChatGPT w jasny i widoczny sposób jest błędna, użytkownicy są w stanie ją wykryć. Co ciekawe, nawet gdy odpowiedź chatbota była w oczywisty sposób niepoprawna, to wciąż 2 z 12 osób biorących udział w badaniu ją preferowało. Jako przyczynę podaje się pewny siebie i przyjemny styl chatbota.

Potwierdza się zatem teza, iż ChatGPT (i jemu podobne) nie wygryzą programistów z pracy, a staną się (lub raczej już się stały) ich narzędziami.