Apple: jeśli boisz się, że zastąpi cię AI, to nie uważałeś w podstawówce

Badacze z Apple udowodnili, że sztuczna inteligencja ma problemy z rozwiązywaniem prostych zadań matematycznych. Przy zachowaniu logiki, ale zmianie sformułowania treści wydajność AI znacząco się pogorszyła.

Sztuczna inteligencja jednak nie jest aż tak mądra i nieomylna jak można byłoby zakładać? Badacze zatrudniani przez firmą Apple doszli do wniosku, że AI ma poważne kłopoty z popełnianiem błędów logicznych. Rozumowanie sztucznej inteligencji zawodzi szczególnie w przypadku zadań matematycznych oraz samych liczb.

I chociaż zmieniło się samo sformułowanie, to logika problemu pozostała taka sama. Skutki były jednak opłakane.

Artykuł zatytułowano jako "GSM-Symbolic: Understanding the Limitations of Mathematical Reasoning in Large Language Models", co można tłumaczyć jako "zrozumienie ograniczeń rozumowania matematycznego w dużych modelach językowych". Pokazuje on, że wyciąganie wniosków przez AI w matematyce może być kiepskie.

Rezultaty mogą zaskoczyć

W badaniu wykorzystano specjalny zestaw 8000 zadań tekstowych z matematyki na poziomie szkoły podstawowej. opracowany przez GSM8K. W przypadku pierwszych testów zauważono, że spadek wydajności mieścił się w przedziale od 0,3% do 9,2%.

Drugi zestaw testów został nieco zmieniony. W wybranych zadaniach umieszczone zostały informacje niezwiązane z odpowiedzią. I chociaż zmieniło się samo sformułowanie, to logika problemu pozostała taka sama. Skutki były jednak opłakane. Notowany spadek wydajności AI wynosił tym razem od 17,5% do aż 65,7%.

Modele sztucznej inteligencji trenowane są na ogromnych zbiorach danych. Oznacza to, że na dobrą sprawę podążają pewnymi ścieżkami. Zmiana schematu najwyraźniej znacząco utrudnia AI wyciąganie prawidłowych wniosków i udzielanie poprawnych odpowiedzi. 

AI ma problemy z matematyką nie od dziś

W 2023 roku mogliśmy przeczytać o rezultatach testu ChatGPT, które przeprowadził Christian Terwiesch, profesor w Wharton School School of Business, University of Pennsylvania. Profesor sprawdził wydajność ChatGPT na egzaminie MBA. W trakcie swojego eksperymentu również odnotował, że generatywna AI popełniała klasyczne dla uczniów błędy w prostych zadaniach matematycznych. 

Mimo że sztuczna inteligencja potrafi dziś naprawdę wiele to wygląda na to, że wciąż może popełniać sporo błędów nawet przy prostych zadaniach z matematyki. Być może właśnie dlatego tak duże znaczenie ma to jak użytkownik formułuje pytania (tzw. prompty) do generatywnej AI.