Microsoft: AI nie zastąpi programistów. A przynajmniej nie dziś

Choć niektórzy eksperci branżowi odważnie przewidują, że generatywna sztuczna inteligencja wkrótce zastąpi programistów, rzeczywistość okazuje się znacznie bardziej złożona. Narzędzia takie jak GitHub Copilot oraz coraz liczniejsze startupy oferujące "AI do kodowania" mogą sprawiać wrażenie, iż rewolucja już trwa. Jednak najnowsze badania Microsoftu sugerują, że AI nadal ma przed sobą długą drogę, zanim dorówna ludzkim umiejętnościom w tworzeniu oprogramowania.

Zespół badawczy Microsoftu przyznaje, iż współczesne narzędzia AI potrafią zwiększyć produktywność, podpowiadając gotowe fragmenty kodu. Jednak nadal nie są w stanie skutecznie zdobywać nowych informacji ani aktywnie wchodzić w interakcję z procesem wykonywania kodu – co stanowi codzienność w pracy ludzkiego programisty, zwłaszcza przy debugowaniu.

W odpowiedzi na te wyzwania Microsoft stworzył nowe środowisko badawcze o nazwie debug-gym. Umożliwia ono testowanie modeli AI w rzeczywistych projektach kodu, oferując im dostęp do tych samych narzędzi debugowania, z jakich korzystają programiści. Celem jest zbadanie i rozwinięcie tzw. „zachowań poszukujących informacji”, kluczowych dla skutecznego znajdowania i usuwania błędów.

AI nie jest w stanie zastąpić programisty, przynajmniej na razie

Pierwsze eksperymenty wykazały jednak, że nawet proste agenty AI, oparte na istniejących modelach językowych, mimo dostępu do interaktywnych narzędzi, zdołały rozwiązać zaledwie część postawionych przed nimi zadań. To wciąż zbyt mało, by mówić o realnej konkurencji dla ludzkich inżynierów oprogramowania.

Badanie wskazuje na dwa kluczowe ograniczenia: brak odpowiednich danych treningowych, które odzwierciedlałyby sposób, w jaki programiści podejmują decyzje podczas debugowania, oraz ograniczoną zdolność obecnych modeli do skutecznego korzystania z narzędzi debugujących.

Badanie wskazuje na dwa kluczowe ograniczenia: brak odpowiednich danych treningowych, które odzwierciedlałyby sposób, w jaki programiści podejmują decyzje podczas debugowania, oraz ograniczoną zdolność obecnych modeli do skutecznego korzystania z narzędzi debugujących. Microsoft podkreśla, że obecna baza treningowa dużych modeli językowych nie zawiera wystarczająco dużo danych ukazujących ciągi decyzji – takich jak ścieżki debugowania czy analizowanie kontekstu błędów.

Jednocześnie badacze są przekonani, że dzięki odpowiedniemu podejściu do treningu AI może w przyszłości stać się znacznie skuteczniejszym narzędziem w wykrywaniu błędów. Sugerują m.in. stworzenie wyspecjalizowanego modelu, który byłby odpowiedzialny za zbieranie kontekstu debugowania, a następnie przekazywałby go większemu modelowi odpowiedzialnemu za generowanie kodu.

Wnioski z badania potwierdzają wcześniejsze obserwacje: choć sztuczna inteligencja potrafi generować działające aplikacje dla konkretnych zadań, wygenerowany kod często zawiera błędy i luki bezpieczeństwa. Dopóki sztuczna inteligencja nie nauczy się samodzielnie rozwiązywać tych problemów, pozostanie jedynie pomocnikiem programistów, a nie ich następcą.