Google wycofało funkcję AI z Google Earth. W kilka godzin zaczęło tworzyć fałszywe zdjęcia

Google zaliczyło wyjątkowo krótką premierę nowej funkcji sztucznej inteligencji. Narzędzie dodane do Google Earth miało pozwalać użytkownikom na tworzenie realistycznych scen lotniczych przy pomocy prostych poleceń tekstowych. Zamiast jednak ograniczyć się do efektownych eksperymentów, użytkownicy niemal natychmiast zaczęli wykorzystywać funkcję do generowania fikcyjnych obiektów wojskowych, skutków bombardowań i innych wydarzeń w prawdziwych lokalizacjach.

Problem był poważniejszy niż w przypadku zwykłego generatora obrazów. AI nie tworzyła przypadkowego krajobrazu. Pozwalała wskazać konkretny punkt na mapie, a następnie wygenerować fotorealistyczną scenę przedstawiającą wydarzenie, którego w rzeczywistości tam nie było. Google wycofało funkcję zaledwie dzień po jej uruchomieniu.

Wystarczyło wskazać miejsce na mapie

Nowa funkcja korzystała z modelu Nano Banana 2 i była pomyślana jako sposób na eksperymentowanie z krajobrazem oraz wizualizowanie różnych scen w środowisku Google Earth. Mechanizm wyglądał niewinnie. Użytkownik wybierał rzeczywistą lokalizację, a następnie wpisywał polecenie opisujące zmianę, którą chciał zobaczyć. Sztuczna inteligencja generowała na tej podstawie realistyczny obraz lotniczy.

Granica między zabawą a dezinformacją okazała się jednak bardzo cienka. Holenderski badacz wywiadu Henk van Ess szybko pokazał, że system można wykorzystać do umieszczania fikcyjnych obiektów w rzeczywistych miejscach. W jednym z eksperymentów wygenerował scenę przedstawiającą elektrownię jądrową na terytorium Iranu.

W innym przypadku można było dodać grupę uchodźców w pobliżu granicy Meksyku, a także szpital przedstawiony jako miejsce niedawnego bombardowania w Strefie Gazy.

Sama technologia generowania obrazów nie jest oczywiście nowością. Od lat istnieją narzędzia zdolne do tworzenia niemal dowolnych fotorealistycznych scen. Tym razem problem polegał jednak na połączeniu generatora z mapą i rzeczywistymi współrzędnymi.

Fałszywy obraz mógł wyglądać jak prawdziwe zdjęcie z satelity

To właśnie ten element wzbudził największe zainteresowanie badaczy. Wyobraźmy sobie zdjęcie przedstawiające konkretny obiekt w strefie konfliktu. Kadr ma odpowiednią perspektywę, krajobraz zgadza się z rzeczywistym terenem, a współrzędne prowadzą do faktycznego miejsca.

Na pierwszy rzut oka odbiorca może uznać taki materiał za zdjęcie satelitarne, a tymczasem przedstawiony obiekt może nigdy nie istnieć.

BBC Verify przeprowadziło własne testy, podczas których powstały między innymi obrazy przedstawiające zawaloną Wieżę Eiffla, ogromny lej w pobliżu piramid w Gizie oraz rosyjskie czołgi w Kijowie. AFP pokazało kolejne przykłady. Wśród nich znalazły się fikcyjne eksplozje w Paryżu oraz rzekomy obóz szkoleniowy Państwa Islamskiego w Syrii.

Eksperymenty przeprowadzone przez 404 Media poszły w jeszcze inną stronę. Narzędzie pozwalało dodawać wieżowce do terenów, na których w rzeczywistości ich nie ma, oraz tworzyć fikcyjne obozowiska w Los Angeles.

Nie chodziło więc o pojedynczy błąd modelu. Możliwość tworzenia całych alternatywnych scen w rzeczywistych lokalizacjach była częścią działania systemu.

Fikcyjny lej po bombie może pojawić się w prawdziwej lokalizacji. Czołgi mogą zostać dodane do istniejącego krajobrazu. Budynek może wyglądać na zniszczony mimo braku jakiegokolwiek ataku.

Google miało problem, którego nie rozwiązuje znak wodny

Google stosuje w generowanych przez siebie materiałach system SynthID. To cyfrowy znak wodny pozwalający identyfikować treści stworzone przez AI. Technologia jest niewidoczna dla użytkownika i została zaprojektowana tak, aby zachowywać się również po wykonaniu zrzutu ekranu czy kompresji obrazu.

Nie rozwiązuje to jednak problemu w momencie publikacji. Osoba rozpowszechniająca fałszywy obraz może nie wspomnieć, że został on wygenerowany przez sztuczną inteligencję. Odbiorca może zobaczyć jedynie fotografię przedstawiającą konkretną lokalizację.

Jeżeli taki materiał trafi do mediów społecznościowych podczas wojny, katastrofy albo innego gwałtownego wydarzenia, reakcja odbiorców może nastąpić znacznie szybciej niż jego weryfikacja.

Znak wodny pomaga wtedy, gdy ktoś ma czas i odpowiednie narzędzia, aby sprawdzić pochodzenie obrazu. Nie zatrzymuje jednak samego procesu tworzenia i rozpowszechniania fałszywego materiału.

Google twierdzi, że zdjęcia nie trafiły do głównego Google Earth

Firma podkreśliła istotne ograniczenie całej sytuacji. Wygenerowane obrazy nie zostały dodane do podstawowej warstwy zdjęć dostępnej w Google Earth. Oznacza to, że użytkownik nie mógł po prostu otworzyć Google Earth i zobaczyć w nim sfabrykowanej elektrowni jądrowej czy zniszczonego budynku zamiast prawdziwego obrazu satelitarnego.

Fałszywe sceny powstawały w ramach eksperymentalnego narzędzia generowania. To ważne rozróżnienie, ale nie usuwa problemu związanego z samym generowaniem treści.

Google Earth od dawna jest wykorzystywane przez dziennikarzy, organizacje zajmujące się prawami człowieka, analityków oraz badaczy konfliktów. Zdjęcia satelitarne pomagają weryfikować doniesienia o zniszczeniach infrastruktury, ruchach wojsk czy zmianach zachodzących w określonych miejscach.

Możliwość stworzenia podobnie wyglądającego, lecz całkowicie fikcyjnego obrazu stwarza ryzyko pomylenia materiału wygenerowanego przez AI z dowodem pochodzącym z rzeczywistej obserwacji satelitarnej.

Jeden prompt wystarczył do stworzenia sceny wojennej

Szczególnie mocno wybrzmiał eksperyment dotyczący Iranu. Van Ess pokazał, że do wygenerowania fikcyjnej instalacji nuklearnej w rzeczywistej lokalizacji wystarczyło odpowiednie polecenie tekstowe. Nie trzeba znać się na grafice komputerowej. Nie trzeba posiadać profesjonalnego oprogramowania do edycji zdjęć. Nie trzeba również budować własnego modelu generatywnego.

Użytkownik opisuje scenę, a system wykonuje resztę pracy, dzięki czemu bariera wejścia dla tworzenia fałszywych materiałów wizualnych staje się bardzo niska.

W przypadku zwykłego generatora obrazu odbiorca może mieć świadomość, że ogląda wygenerowaną scenę. Połączenie generowania z rzeczywistą mapą tworzy jednak zupełnie inną sytuację. Lokalizacja nadaje obrazowi pozory dodatkowej wiarygodności.

Google zareagowało niemal natychmiast

Firma poinformowała, że obserwowała sposób wykorzystywania funkcji przez specjalistów zajmujących się danymi geoprzestrzennymi, ale zdecydowała się ją wycofać w celu wdrożenia dodatkowych zabezpieczeń. Funkcja została uruchomiona, badacze zaczęli testować jej możliwości, pojawiły się przykłady problematycznych zastosowań, a Google zdecydowało o jej wycofaniu następnego dnia.

Nie jest to pierwszy przypadek, gdy produkt AI dużej firmy zostaje szybko ograniczony po ujawnieniu nieprzewidzianych zachowań. Podobny scenariusz firma przeżyła w przypadku Gemini. W 2024 roku Google tymczasowo ograniczyło możliwość generowania obrazów przedstawiających ludzi po serii wyników, które zawierały poważne nieścisłości historyczne. Później firma pracowała nad przebudową zabezpieczeń i sposobu działania systemu.