Kamery AI miały pilnować ulic. W jednym mieście myliły tablice w 71 proc. przypadków

Technologia, która miała pomagać policji szybciej odnajdywać skradzione samochody i osoby poszukiwane, przeszła w Kalifornii wyjątkowo niepokojący test. W Roseville policyjna analiza wykazała, że kamery Flock błędnie odczytały tablice rejestracyjne w 71 proc. przypadków, gdy system oznaczył pojazd jako potencjalnie skradziony lub powiązany z przestępstwem. W ciągu dwóch lat takich zdarzeń uzbierało się ponad tysiąc.

Problem nie dotyczy jednak wyłącznie jakości zdjęć. Kamery Flock stały się w ostatnich latach jednym z najbardziej kontrowersyjnych narzędzi wykorzystywanych przez amerykańską policję. System potrafi rejestrować przejeżdżające samochody, analizować ich wygląd i zapisywać informacje w chmurowej bazie danych. Funkcjonariusze mogą później wyszukiwać pojazdy na podstawie numerów rejestracyjnych, marki, modelu, koloru czy innych charakterystycznych cech.

Gdy algorytm się myli, problem przestaje być wyłącznie techniczny.

Ponad 1400 alarmów. Większość była błędna

W Roseville przeprowadzono analizę 1427 przypadków, w których system oznaczył tablicę jako skradzioną albo powiązaną z przestępstwem. W aż 71 proc. przypadków późniejsza weryfikacja wykazała, że kamera nie odczytała numeru prawidłowo.

Skala błędu robi wrażenie. Zamiast pojedynczych pomyłek wystąpił powtarzalny problem obejmujący setki zdarzeń. Według relacji dotyczących kontroli systemu niektóre tablice były rozpoznawane błędnie wielokrotnie.

Jeden z przełożonych policji w Roseville miał nawet zapamiętać numer rejestracyjny konkretnego kierowcy, ponieważ kamery Flock regularnie odczytywały go niepoprawnie. W jednym przypadku urządzenie wielokrotnie zamieniało cyfrę 9 na 8.

Dla człowieka taki błąd może wyglądać banalnie. Dla zautomatyzowanego systemu wyszukiwania pojazdów różnica jednej cyfry może jednak skierować funkcjonariuszy do zupełnie innego samochodu.

Kamera widzi samochód, algorytm dopowiada resztę

System Flock został zaprojektowany znacznie szerzej niż tradycyjny fotoradar. Kamery fotografują przejeżdżające pojazdy, a oprogramowanie analizuje nie tylko tablice rejestracyjne. Rozpoznawane mogą być także kolor, marka, model oraz inne cechy samochodu.

Dane trafiają następnie do chmurowej infrastruktury Flock. Funkcjonariusze mogą przeszukiwać zgromadzone informacje i sprawdzać, gdzie oraz kiedy konkretny pojazd został zarejestrowany.

Według danych przytaczanych w związku z działalnością firmy systemy Flock przetwarzają około 20 miliardów skanów pojazdów miesięcznie. Technologia jest wykorzystywana w tysiącach amerykańskich miejscowości.

Właśnie skala działania sprawia, że nawet stosunkowo niewielki odsetek błędów może prowadzić do dużej liczby fałszywych wskazań.

Flock ma własne wyjaśnienie

Firma twierdzi, że wynik z Roseville nie powinien być traktowany jako uniwersalny wskaźnik skuteczności jej technologii. Według Flock problem może wynikać ze specyficznej konfiguracji kamer zastosowanej w tym mieście.

Roseville zdecydowało się bowiem na nietypowe ustawienie urządzeń. Kamery zostały skonfigurowane tak, aby fotografować samochody przede wszystkim od tyłu. Taki sposób instalacji miał ograniczyć rejestrowanie twarzy kierowców.

Prywatność została więc potraktowana jako ważny element konfiguracji systemu, ale według producenta wpłynęło to również na skuteczność odczytu tablic.

To interesujący paradoks. Miasto zastosowało ustawienia mające ograniczać zakres gromadzonych informacji o kierowcach, a jednocześnie otrzymało system bardziej podatny na błędy przy rozpoznawaniu numerów rejestracyjnych.

Drzewo, ramka albo rozmazane zdjęcie wystarczą

Odczytywanie tablic rejestracyjnych nie jest tak banalne, jak mogłoby się wydawać. Kamera musi uchwycić odpowiedni kadr, a numer musi być wystarczająco wyraźny. Problemem może być między innymi rozmazanie obrazu, przeszkoda zasłaniająca część tablicy, rama wokół numeru albo element otoczenia.

Dla systemu wykorzystującego uczenie maszynowe pojedynczy nieczytelny znak może prowadzić do błędnego dopasowania.

Jeżeli numer zostanie pomylony z innym istniejącym numerem, wynik może wyglądać dla funkcjonariusza wiarygodnie. W bazie znajduje się przecież prawdziwy pojazd odpowiadający odczytanemu numerowi. Tyle że nie jest to samochód, który właśnie przejechał przed kamerą.

W Roseville każdy alarm musiał zostać dodatkowo sprawdzony przez funkcjonariusza. Miasto wymagało takiej weryfikacji przed podjęciem działań wobec kierowcy. Dzięki temu żaden z opisanych fałszywych alarmów nie doprowadził do zatrzymania ani aresztowania. Nie wszędzie obowiązują jednak identyczne procedury.

To nie pierwszy problem z kamerami Flock

Wątpliwości dotyczące dokładności systemów Flock pojawiały się także w innych miejscach. Szczególnie głośny przypadek dotyczył Los Angeles, gdzie wewnętrzny audyt miał wykazać, że w ciągu dwóch miesięcy zatrzymano 161 niewinnych osób.

Według ustaleń dotyczących tamtego przypadku jednym z problemów były nieaktualne lub niedokładne informacje pochodzące z innych jurysdykcji.

To pokazuje drugi poziom ryzyka. Błąd nie musi powstać w samej kamerze. System może poprawnie odczytać tablicę, ale połączyć ją z nieaktualną informacją znajdującą się w bazie.

W praktyce funkcjonariusz otrzymuje więc wynik będący połączeniem obrazu z drogi, algorytmicznego odczytu oraz danych z zewnętrznych źródeł. Każdy z tych elementów może zawierać błąd.

Prywatność to dopiero początek problemu

Debata wokół Flocka przez długi czas koncentrowała się przede wszystkim na prywatności. Krytycy zwracają uwagę, że ogromna sieć kamer pozwala odtwarzać przemieszczanie się samochodów.

Wątpliwości dotyczą także możliwości wyszukiwania osób na podstawie cech innych niż numer rejestracyjny. System może analizować między innymi pieszych oraz charakterystyczne elementy wyglądu.

Pojawiały się również doniesienia o przypadkach wykorzystywania baz danych do celów niezwiązanych bezpośrednio z prowadzonymi sprawami. Wśród zarzutów znalazły się sytuacje, w których funkcjonariusze mieli używać systemu do sprawdzania byłych partnerów.

To sprawia, że pytanie o kamery Flock nie brzmi już tylko: „Czy technologia potrafi rozpoznać tablicę?”. Równie ważne staje się pytanie, co dzieje się później z informacją zgromadzoną przez system.

Im więcej kamer, tym większe znaczenie ma każdy błąd

Technologia automatycznego rozpoznawania tablic ma oczywiste zastosowania. Może pomóc policji odnajdywać skradzione pojazdy, lokalizować samochody związane z przestępstwami czy wspierać poszukiwania osób zaginionych. Problem zaczyna się wtedy, gdy wynik algorytmu jest traktowany jako fakt.

Jeżeli kamera błędnie odczyta numer, a baza danych znajdzie odpowiadający mu pojazd, system może wygenerować alarm wyglądający bardzo wiarygodnie. Funkcjonariusz musi wtedy wykonać dodatkową pracę i sprawdzić, czy wskazanie rzeczywiście dotyczy samochodu znajdującego się przed nim.

W Roseville taka procedura zadziałała. Sam fakt, że była potrzebna przy tak dużej liczbie przypadków, jest jednak istotnym sygnałem ostrzegawczym.

Sztuczna inteligencja nie zna pojęcia „prawie dobrze”

W przypadku człowieka odczytanie numeru 1234 zamiast 1239 może być zwykłą pomyłką. W systemie automatycznego monitorowania dróg „prawie dobrze” nie istnieje. Numer jest albo właściwy, albo prowadzi do innego pojazdu.

I właśnie tutaj pojawia się największe wyzwanie dla technologii Flock. Im więcej samochodów system analizuje, tym większe znaczenie ma kontrola jakości każdego pojedynczego wskazania.

Miliony poprawnych odczytów nie anulują skutków błędnego alarmu, jeśli ten jeden wynik skieruje uwagę policji na niewłaściwego kierowcę.