AI miała pomóc programistom. Ta, na pewno

Obietnica rewolucji w kodowaniu, którą niosą ze sobą narzędzia oparte na sztucznej inteligencji, może okazać się złudna – tak wynika z najnowszego, przeprowadzonego z naukową starannością badania, opublikowanego przez niezależną grupę badawczą METR (Model Evaluation & Threat Research). Zamiast zwiększać produktywność programistów, AI... opóźnia ich pracę średnio o 19 procent.

Wbrew deklaracjom branży i samych użytkowników, eksperyment pokazał, że choć programiści są przekonani o skuteczności narzędzi AI i subiektywnie czują, że pracują szybciej, to obiektywny pomiar czasu wykazał zupełnie coś innego.

Test w warunkach rzeczywistych – i rzeczywiste zaskoczenie

W badaniu wzięło udział 16 doświadczonych programistów open-source, którzy przez kilka miesięcy (od lutego do czerwca 2025 roku) pracowali nad 246 realistycznymi zadaniami programistycznymi – takimi jak poprawki błędów czy rozwój nowych funkcji – w znanych sobie repozytoriach. Zadania były losowo przydzielane do dwóch grup: z dozwolonym użyciem narzędzi AI oraz bez niego.

Programiści prognozowali, że narzędzia AI – głównie Cursor Pro z modelem Claude 3.5/3.7 Sonnet – przyspieszą ich pracę średnio o 24%. Po zakończeniu zadań nadal byli przekonani, że AI pomogła – szacowali, że skróciła czas realizacji o 20%.

Tymczasem rzeczywiste pomiary pokazały... opóźnienie rzędu 19%.

To nie tylko kwestia złudzenia optycznego – to dowód na to, że oczekiwania względem AI są wciąż zbyt wygórowane, a jej rzeczywista efektywność nie nadąża za narracją marketingową.

Dlaczego AI spowalnia programistów?

Naukowcy z METR wskazują pięć głównych przyczyn zaobserwowanego zjawiska:

1. Nadmierny optymizm – programiści mieli nierealistyczne oczekiwania co do użyteczności AI.

2. Wysoka znajomość kodu – pracując na znanych sobie repozytoriach, programiści nie potrzebowali podpowiedzi od AI.

3. Złożoność kodu – w dużych projektach (ponad milion linii kodu) AI radziła sobie znacznie gorzej.

4. Niska niezawodność AI – tylko 44% podpowiedzi od sztucznej inteligencji zostało zaakceptowanych; resztę należało poprawiać lub porzucić.

5. Brak kontekstu – AI nie rozumiała specyfiki repozytorium, co prowadziło do błędnych sugestii i strat czasowych.

Co więcej, czas pracy przesuwał się z aktywnego pisania kodu na czekanie na odpowiedzi AI, ich analizę, debugowanie i… często poprawianie błędów generowanych przez narzędzie.

Wyniki badania rzucają cień na optymistyczne prognozy dotyczące produktywności związanej z wykorzystaniem narzędzi AI w programowaniu. Jak zauważa raport METR:

„Ku naszemu zaskoczeniu, okazuje się, że włączenie sztucznej inteligencji wydłuża czas realizacji projektu o 19% – narzędzia AI spowalniały pracę programistów, mimo że ci byli przekonani o ich skuteczności.”

Nie tylko METR: coraz więcej sceptycyzmu

Badanie METR nie jest odosobnione. Również inne organizacje i firmy donoszą o rozdźwięku między potencjałem AI a rzeczywistym wpływem na wydajność. 

• Qodo, firma zajmująca się AI do kodowania, odkryła, że korzyści z wykorzystania AI są często neutralizowane przez konieczność ręcznej weryfikacji i poprawiania kodu.

• Intel donosił pod koniec 2024 roku, że komputery osobiste z AI nie poprawiają produktywności użytkowników, a czasami wręcz ją obniżają.

• Badanie ekonomiczne z Danii pokazało brak wpływu generatywnej AI na zatrudnienie i płace.

• Pracownicy call center w Chinach twierdzą, że AI przyspiesza niektóre zadania, ale ogólnie generuje więcej pracy.

„AI nie jest stażystą”

Wśród programistów narasta przekonanie, że AI może być pomocna jako asystent – do testowania pomysłów czy automatyzacji żmudnych zadań – ale nie zastąpi świadomego, doświadczonego programisty.

Jak anegdotycznie podkreślają uczestnicy badania: AI nie uczy się jak stażysta, nie rozwija się z czasem i nie „czuje” kontekstu projektu. Może poprawić komfort pracy, ale niekoniecznie przyspiesza proces tworzenia oprogramowania.

Ograniczenia badania i... iskierka nadziei

Autorzy raportu – Joel Becker, Nate Rush, Beth Barnes i David Rein – zaznaczają, że wyniki należy interpretować ostrożnie. Ich badanie to migawka z określonego czasu, z konkretnymi narzędziami i w specyficznym środowisku.

„To nie znaczy, że obecne narzędzia AI nie przynoszą korzyści w innych warunkach – znaleźliśmy dowody, że znajomość repozytoriów, ich wielkość i dojrzałość wpływały na spowolnienie. Te czynniki nie zawsze występują w komercyjnych środowiskach programistycznych.”

METR podkreśla, że przyszłe modele mogą lepiej radzić sobie z kontekstem, generować bardziej trafne sugestie i realnie wspierać kodowanie. Ale dziś, przynajmniej w dużych projektach open-source, AI w roli pomocnika programisty wciąż zawodzi.