Wykrywacz nagości w iPhone ocenzurował psa. Użytkownik dostał ostrzeżenie

Apple chciało stworzyć zabezpieczenie przed niechcianymi zdjęciami nagości. Tym razem algorytm poszedł jednak o krok za daleko. System ostrzegania przed wrażliwymi treściami rozpoznał potencjalnie nagie ciało na nagraniu przedstawiającym psa leżącego na grzbiecie. Użytkownik dostał ostrzeżenie, a film został rozmyty.

Na pierwszy rzut oka sytuacja wygląda zabawnie. W rzeczywistości przypadek pokazuje znacznie ciekawszy problem dotyczący automatycznej analizy zdjęć i filmów. System, który ma chronić użytkowników przed niechcianą nagością, nie rozumie przecież obrazu tak jak człowiek. Rozpoznaje wzorce, kształty i charakterystyczne elementy obrazu, a następnie próbuje przypisać im określoną kategorię.

Użytkownik dostał ostrzeżenie za nagie zdjęcie

Na nagraniu przesłanym przez iMessage znajdowała się suczka leżąca na grzbiecie. Zwierzę było głaskane po brzuchu, a kamera uchwyciła między innymi sutki zwierzęcia.

System Apple potraktował materiał jako potencjalnie wrażliwy. Zamiast wyświetlić film bez dodatkowych komunikatów, rozmył jego zawartość i pokazał ostrzeżenie informujące użytkownika o możliwości występowania nagości. Po wybraniu opcji „Pokaż” można było jednak obejrzeć oryginalny materiał.

Nie doszło więc do trwałego usunięcia filmu ani zablokowania wiadomości. Mechanizm działa przede wszystkim jako filtr ostrzegawczy. Ma zatrzymać użytkownika na moment przed wyświetleniem potencjalnie niepożądanej treści i pozwolić mu zdecydować, czy chce ją zobaczyć. Tyle że w tym przypadku „niepożądana treść” była po prostu nagraniem psa.

Apple analizuje zdjęcia bez wysyłania ich na serwery

System ostrzegania przed treściami wrażliwymi Apple zadebiutował w 2023 roku. Jego zadaniem jest automatyczne wykrywanie potencjalnej nagości na zdjęciach i filmach.

Istotną częścią rozwiązania jest sposób wykonywania analizy. Apple deklaruje, że wykorzystywane jest uczenie maszynowe działające bezpośrednio na urządzeniu. Oznaczone zdjęcia i nagrania nie muszą więc trafiać do infrastruktury Apple tylko po to, aby system mógł zdecydować, czy przedstawiają nagość.

To ważny element konstrukcji funkcji z punktu widzenia prywatności. Analiza odbywa się lokalnie, a Apple nie otrzymuje dostępu do multimediów oznaczonych przez mechanizm.

Funkcja jest dostępna między innymi na urządzeniach działających pod kontrolą iOS 17 lub nowszego. Można ją aktywować w ustawieniach dotyczących prywatności i bezpieczeństwa.

Algorytm nie wie, że ogląda psa

Cały problem sprowadza się do tego, jak działa automatyczna klasyfikacja obrazu.

Człowiek patrzący na nagranie psa leżącego na plecach niemal natychmiast rozpoznaje sytuację. Sutki zwierzęcia nie są dla niego sygnałem nagości w rozumieniu, w jakim używa tego pojęcia system filtrujący treści dla ludzi.

Algorytm ma jednak znacznie mniej informacji o znaczeniu sceny. Może wykrywać charakterystyczne elementy wizualne, ich położenie, kształt oraz relacje z innymi fragmentami obrazu. Jeśli podobny zestaw cech występuje w materiałach oznaczanych jako nagość, system może uruchomić ostrzeżenie. Nie musi przy tym „wiedzieć”, że na zdjęciu znajduje się pies.

Właśnie takie sytuacje są jednym z problemów automatycznych systemów moderacji. Im bardziej funkcja ma działać bez udziału człowieka, tym większe znaczenie ma balans pomiędzy wykrywaniem rzeczywiście niepożądanych treści a liczbą fałszywych alarmów.

To nie pierwszy dziwny przypadek

Historia z psem nie jest odosobnionym przykładem pomyłki systemu Apple. Użytkownicy zgłaszali wcześniej sytuacje, w których mechanizm reagował na przedmioty lub sceny niezwiązane z nagością. Wśród przykładów pojawiały się między innymi zabawka w kształcie szczura, szary ołówek czy zdjęcia, na których ktoś miał wysunięty język.

Do podobnego zdarzenia doszło również podczas rozmowy FaceTime. Jeden z użytkowników rozmawiał z żoną, gdy przed kamerą pojawił się jego syn bez koszulki. System potraktował tę sytuację jako potencjalnie wrażliwą i wyświetlił ostrzeżenie.

Każdy z tych przypadków pokazuje ten sam problem: algorytm może poprawnie rozpoznać określony element obrazu, ale błędnie zinterpretować jego znaczenie.

Apple nie twierdzi, że system jest nieomylny

Samo założenie funkcji nie polega na tym, aby komputer podejmował ostateczną decyzję za użytkownika. System ma przede wszystkim ostrzegać przed materiałem, który może zawierać nagość.

Dlatego po pojawieniu się komunikatu można wybrać opcję wyświetlenia obrazu. W przypadku psa mechanizm zachował się więc zgodnie z podstawową konstrukcją funkcji. Wykrył potencjalnie problematyczny wzorzec, ukrył materiał i pozostawił użytkownikowi decyzję.

Kłopot polega na tym, że granica pomiędzy trafnym ostrzeżeniem a absurdem jest dla algorytmu znacznie trudniejsza do uchwycenia niż dla człowieka.

Pies nie jest nagi w sensie, który miałby uzasadniać ostrzeżenie dotyczące treści seksualnych. System widzi jednak obraz, a nie ludzką intencję.

Prywatność kontra dokładność. Ten problem będzie wracał

Automatyczne wykrywanie treści bez przesyłania zdjęć do chmury ma oczywistą zaletę. Użytkownik otrzymuje dodatkową warstwę ochrony prywatności, ponieważ analiza może zostać przeprowadzona lokalnie.

Ma to jednak swoją cenę. Modele działające na urządzeniu muszą wykonywać klasyfikację na podstawie dostępnych danych i ograniczonych zasobów. Nie mają też ludzkiego rozumienia sytuacji.

W przypadku prostych scen może to być wystarczające. Przy bardziej nietypowych obrazach pojawia się ryzyko pomyłki.

Dlatego przypadek psa jest zabawny, ale jednocześnie pokazuje poważne wyzwanie stojące przed twórcami systemów automatycznej moderacji. Im więcej urządzeń samodzielnie analizuje nasze zdjęcia i filmy, tym częściej będziemy obserwować sytuacje, w których komputer zauważy coś, czego człowiek w ogóle nie uznałby za problem.

Tym razem algorytm zobaczył „nagość” tam, gdzie użytkownik zobaczył po prostu psa leżącego na plecach.

I być może właśnie takie absurdalne przykłady najlepiej pokazują, jak daleko jeszcze systemom automatycznej analizy obrazu do ludzkiego rozumienia kontekstu.