Badania naukowe? GPT ma taką lukę, że odczytuje nawet Twojego Gmaila

Check Point Research ujawnił poważną podatność ChatGPT. Chatbot z jednej strony prowadził normalną konwersację z użytkownikiem, a z drugiej po kryjomu po wprowadzeniu pojedynczej instrukcji był w stanie działać na rzecz atakującego.

ChatGPT był w stanie odczytywać dane z powiązanego konta Gmail użytkownika, a następnie przesyłał je na inne konto za pośrednictwem ukrytego kanału komunikacji. Użytkownik nie mógł więc widzieć, że chatbot potajemnie prowadzi konwersację z atakującym i udostępnia mu dane z klienta pocztowego Google. Chodzi zresztą nie tylko o Gmaila, bowiem zdaniem badaczy w podobny sposób szło wyprowadzić historię konwersacji oraz pliki znajdujące się w danej rozmowie.

Jak ChatGPT zamieniał się w podwójnego agenta

Jednak by doszło do tego, atakujący musiał wpierw umieścić specjalną instrukcję w rozmowie z ChatGPT. Dało radę zrobić to na kilka sposobów, przede wszystkim to sam użytkownik mógł wkleić złośliwy kod, otworzyć udostępnioną rozmowę zawierającą takie polecenie albo użyć niestandardowego GPT, którego instrukcje nie są widoczne podczas zwykłej rozmowy. Później wystarczyło już wysłać do ofiary zwykłą wiadomość.

ChatGPT był w stanie odczytywać dane z powiązanego konta Gmail użytkownika, a następnie przesyłał je na inne konto za pośrednictwem ukrytego kanału komunikacji. Użytkownik nie mógł więc widzieć, że chatbot potajemnie prowadzi konwersację z atakującym i udostępnia mu dane z klienta pocztowego Google. Chodzi zresztą nie tylko o Gmaila, bowiem zdaniem badaczy w podobny sposób szło wyprowadzić historię konwersacji oraz pliki znajdujące się w danej rozmowie.

Źródło: Check Point Research

ChatGPT mógł odpowiadać na pytania, a jednocześnie wykonywać polecenia o których użytkownik nie miał najmniejszego pojęcia. W teście Check Point Research chatbot sprawdzał skrzynkę pocztową i przekazywał wyniki, natomiast sam użytkownik widział tylko odpowiedzi na swoje pytania. Jedynym śladem ukrytego działania był niewielki napis "Talked to Gmail" umieszczony nad odpowiedzią.

Warto wspomnieć, że ChatGPT uruchamia oddzielne kontenery do wykonywania kodu, a kontenery różnych rozmów, także należących do różnych kont, nie powinny mieć bezpośredniego dostępu do siebie. Wszystkie były jednak w stanie komunikować się ze sobą za pośrednictwem wewnętrznej platformy JFrog Artifactory, którą chatbot wykorzystuje do pobierania dodatkowych pakietów Pythona i npm.

Jak się okazało kontener umieszczał przy pliku dodatkowe informacje, które szło odczytywać z innego kontenera. Dane te nie były odpowiednio oddzielone od siebie. W ramach eksperymentu badacze zapisali czas i treść na jednym koncie, by potem móc bez problemu odczytać je na innym profilu ChatGPT.

Podobny przypadek miał miejsce już wcześniej

Warto wspomnieć o podobnym przypadku ujawnionym przez Check Point Research w marcu. Wtedy rozmowy z ChatGPT były przesyłane na zewnętrzny serwer DNS, z kolei tutaj do wyciągania informacji z Gmaila posłużyła wewnętrzna usługa powiązana z chatbotem. W tamtym przypadku podatność załatano 20 lutego, oby tutaj OpenAI równie szybko uporało się z problemem.