ChatGPT wykradał dane z Gmaila. OpenAI milczało przez miesiące

Badacze z firmy Radware poinformowali o luce bezpieczeństwa w agencie ChatGPT Deep Research, którą nazwali ShadowLeak. Mechanizm ataku opierał się na tzw. pośrednim wstrzykiwaniu komunikatów.

Złośliwe polecenia mogły być ukrywane w kodzie HTML wiadomości e-mail w taki sposób, aby były niewidoczne dla użytkownika, a jednocześnie czytelne dla agenta sztucznej inteligencji. Wykorzystano w tym celu techniki typograficzne, takie jak bardzo mała czcionka, biały tekst na białym tle czy manipulacje układem.

Dane wykradane z chmury

Deep Research to funkcja ChatGPT uruchomiona w lutym 2024 roku. Pozwala chatbotowi prowadzić niezależne badania w internecie. Badacze Radware wykazali, że w przypadku ShadowLeak agent mógł wykonywać instrukcje nakazujące zbieranie danych osobowych z innych wiadomości znajdujących się w skrzynce odbiorczej Gmaila. Informacje były następnie przesyłane na zewnętrzne serwery. Do tego celu agent wykorzystywał narzędzie browser.open(), a dane były kodowane w formacie Base64 i dołączane do specjalnie przygotowanych adresów URL.

Zagrożone nie tylko konta Gmail

Eksperymenty wykazały, że atak nie był ograniczony wyłącznie do integracji z Gmailem. Tę samą technikę można było zastosować wobec wielu innych usług współpracujących z ChatGPT, w tym Dropboxa, Google Drive, GitHuba, Notiona, Microsoft Outlooka, HubSpota czy SharePointa. Oznaczało to, że potencjalnie zagrożonych mogło być wiele obszarów pracy i komunikacji użytkowników biznesowych oraz indywidualnych.

Luka niewidoczna dla tradycyjnych zabezpieczeń

W przeciwieństwie do wcześniejszych incydentów, takich jak AgentFlayer czy EchoLeak, ShadowLeak nie działał po stronie klienta. Atak przeprowadzano bezpośrednio w infrastrukturze chmurowej OpenAI. Lokalny monitoring czy zabezpieczenia korporacyjne nie miały więc możliwości wykrycia wycieku. To sprawiło, że luka była wyjątkowo trudna do zauważenia i tym samym szczególnie niebezpieczna.

Specjaliści podkreślają, że tego rodzaju ataki są jednocześnie proste w realizacji i relatywnie łatwe do usunięcia, jeśli zostaną szybko wykryte. Problem ukrytych instrukcji w systemach opartych na LLM jest od dawna znany i szeroko omawiany. Rozwiązania techniczne pozwalają dość szybko neutralizować tego typu luki, nie oznacza to jednak, że można je bagatelizować.

Reakcja OpenAI

Według Radware OpenAI wprowadziło poprawki eliminujące ShadowLeak na początku sierpnia tego roku roku. Luka została zgłoszona półtora miesiąca wcześniej. Obecnie opisany wektor ataku nie powinien już działać, jednak incydent ponownie zwraca uwagę na problem bezpieczeństwa systemów AI, które coraz częściej stają się bramą do danych przechowywanych w usługach chmurowych.