Rząd przetestował Microsoft Copilot. Wyniki rozczarowują

Brytyjski Departament Biznesu i Handlu zakończył trzymiesięczny pilotaż platformy Microsoft 365 Copilot, obejmujący okres od października do grudnia 2024 roku. Program miał zweryfikować, czy narzędzie oparte na sztucznej inteligencji realnie wpływa na tempo i jakość pracy urzędników. Do testów przydzielono 1000 licencji, z czego większość trafiła do wolontariuszy, a około 30 procent do losowo wybranych pracowników. Analizie poddano dane pochodzące od 300 osób, które zgodziły się na monitoring aktywności.

Według raportu oceniającego średnio każdy uczestnik przeprowadził 72 działania z użyciem Copilot w trakcie całego okresu próbnego. Daje to niewiele ponad jedną interakcję dziennie. Najczęściej korzystano z Worda, Teams i Outlooka, natomiast Loop i OneNote niemal w ogóle nie przyciągnęły użytkowników. PowerPoint i Excel osiągnęły nieco wyższą aktywność, lecz w szczytowym momencie sięgnęła ona jedynie 7 procent posiadaczy licencji danego dnia.

Do najpopularniejszych zastosowań należało streszczanie i transkrypcja spotkań, pisanie wiadomości e-mail oraz podsumowywanie korespondencji. Właśnie te zadania uzyskały najwyższe wskaźniki satysfakcji wśród uczestników.

Wyniki i ograniczenia

Choć 72 procent użytkowników wyraziło zadowolenie z Copilot i brak entuzjazmu po zakończeniu testu, badanie nie potwierdziło jednoznacznego wzrostu produktywności. Uczestnicy szybciej przygotowywali raporty i e-maile, ale różnice były minimalne. Analizy danych w Excelu wykonywano wolniej i z niższą dokładnością niż w grupie kontrolnej, a slajdy w PowerPoint powstawały co prawda szybciej, lecz wymagały poprawek ze względu na niższą jakość.

Badacze wskazali również na obecność błędów generowanych przez system. Ponad jedna piąta pracowników rozpoznała tzw. halucynacje, czyli nieprawidłowe lub zmyślone odpowiedzi. Kolejna część nie była pewna, czy miała z nimi do czynienia, co podkreśla trudność w ocenie wiarygodności materiałów tworzonych przez narzędzie.

Reakcje uczestników

Wywiady z pracownikami pokazały, że rutynowe zadania administracyjne były wykonywane sprawniej, co pozwalało przeznaczyć dodatkowy czas na prace o charakterze strategicznym lub rozwój zawodowy. Jedni deklarowali, że dzięki Copilot mogli uczestniczyć w szkoleniach, inni przyznawali, że wykorzystywali wolne chwile na odpoczynek. Równocześnie pojawiły się sygnały o chłodnym przyjęciu w niektórych zespołach, gdzie pracownicy obawiali się automatyzacji lub sceptycznie podchodzili do jakości narzędzia.

Koszty i perspektywy

Ceny komercyjne licencji M365 Copilot w Wielkiej Brytanii wahają się od 4,90 do 18,10 funtów miesięcznie za użytkownika, w zależności od planu biznesowego. W przypadku całego departamentu oznaczałoby to istotny wzrost wydatków publicznych. Raport podsumowujący podkreśla, że nie udało się wykazać solidnych dowodów na to, iż oszczędność czasu przełożyła się na realny wzrost produktywności.

Departament wciąż analizuje relację kosztów do efektów oraz wpływ środowiskowy. Wnioski wpisują się w szerszą dyskusję o inwestycjach w sztuczną inteligencję – badanie MIT z 2024 roku wykazało, że zdecydowana większość przedsiębiorstw wydających miliardy dolarów na generatywne rozwiązania nie uzyskała proporcjonalnych rezultatów.

Sztuczna inteligencja na rozdrożu

Testy rządowe sugerują, że Microsoft 365 Copilot sprawdza się głównie w zadaniach powtarzalnych, lecz nie radzi sobie dobrze z bardziej złożonymi analizami. Wizerunek narzędzia pozostaje mieszany: z jednej strony wysoka satysfakcja użytkowników, z drugiej brak jednoznacznych dowodów na realny wzrost wydajności.

Ocena wskazuje, że technologia ma potencjał, ale wymaga dalszego rozwoju i precyzyjniejszego wdrożenia. Dla administracji publicznej i biznesu głównym pytaniem pozostaje, czy warto ponosić rosnące koszty licencji w zamian za poprawę jakości pracy, która na razie nie została jednoznacznie potwierdzona.