Rolnik zaufał chatbotowi. Jedna porada AI zniszczyła niemal 25 akrów upraw

Sztuczna inteligencja miała pomóc chińskiemu rolnikowi pozbyć się chwastów. Zamiast tego porada chatbota doprowadziła do zniszczenia niemal 25 akrów upraw sezamu. Rolnik zastosował wskazane przez AI środki na całym polu, a następnego ranka zobaczył martwe rośliny.

67-letni rolnik z Chuzhou w Chinach zapytał chatbota o sposób walki z chwastami i szkodnikami. AI zaleciła zastosowanie kilku środków chemicznych. Problem pojawił się przy uprawie sezamu, ponieważ wskazanye herbicydy mogły uszkadzać również rośliny, któ©e miały być chronione.

Rolnik zastosował mieszankę na całym polu. Następnego dnia niemal 24,7 akra, czyli około 10 hektarów, jego sadzonek sezamu było martwych.

AI dopiero później wskazała błąd

Po zauważeniu strat rolnik ponownie zwrócił się do chatbota. Tym razem AI wskazała, że problemem był jeden z zastosowanych herbicydów. Według odpowiedzi środek powinien być używany punktowo na obszarach dotkniętych chwastami, a nie rozpylany na całej uprawie.

Rolnik miał pretensje do chatbota, ponieważ wcześniej nie otrzymał ostrzeżenia o ryzyku dla sezamu. Cała sytuacja pokazuje jednak problem znacznie większy niż pojedyncza błędna odpowiedź. AI potrafi udzielić bardzo przekonującej porady nawet wtedy, gdy brakuje jej kluczowych informacji potrzebnych do bezpiecznej decyzji.

Najgroźniejsza jest pewność siebie AI

Rolnik początkowo nie ufał aplikacji. Zmienił zdanie po tym, jak wcześniejsze odpowiedzi okazały się pomocne. To właśnie taki mechanizm może być szczególnie niebezpieczny. Kilka trafnych odpowiedzi wystarczy, aby użytkownik zaczął traktować chatbota jak wiarygodnego doradcę.

W przypadku środków chemicznych sama odpowiedź AI nie powinna zastępować informacji z etykiety produktu, zaleceń producenta ani konsultacji ze specjalistą. Chatbot może pomóc znaleźć informacje, ale nie ponosi odpowiedzialności za skutki błędnej rekomendacji.

Podobne przypadki pojawiały się również poza rolnictwem. W jednym z opisywanych wcześniej zdarzeń mężczyzna zastosował poradę ChatGPT dotyczącą zastąpienia soli bromkiem sodu. Doprowadziło to do zatrucia bromkiem i poważnych problemów zdrowotnych.

Sztuczna inteligencja może być świetnym narzędziem do wyszukiwania i porządkowania informacji. Problem zaczyna się wtedy, gdy płynnie brzmiąca odpowiedź zostaje potraktowana jak profesjonalna ekspertyza.