Wiele pisaliśmy już o stronniczości algorytmów (bias). Tym razem pod lupę wzięła je federalna instytucja. Zbadała ich niemal 200. Wnioski? Wszystkie są kiepskie
Algorytmy rozpoznawania twarzy wziął pod lupę amerykański National Institute of Standards and Technology (NIST). To agencja federalna spełniająca funkcję analogiczną do polskiego Głównego Urzędu Miar, czyli ustala zgodność urządzeń i narzędzi z istniejącymi standardami. Przebadał dokładnie 189 istniejących systemów rozpoznawania twarzy, czyli większość obecnych na amerykańskim rynku, pochodzących od 99 producentów.
Wnioski, jak można było zresztą się spodziewać, są niewesołe.
Poczuć bias na własnej skórze
NIST przetestował każdy z algorytmów na dwa sposoby, najczęściej wykorzystywane przy rozpoznawaniu twarzy. „Jeden do jednego” to identyfikowane twarzy z założeniem, że ta na zdjęciu widnieje już w bazie danych na innej fotografii. „Jeden z wielu” to z kolei mechanizm sprawdzania, czy widniejąca na obrazie osoba w bazie już figuruje, czyli przeczesywanie całych zbiorów zdjęć (ten mechanizm najczęściej stosuje na przykład amerykańska policja).
Przy testach wykorzystano cztery zbiory danych dostępne dla oprogramowania federalnego – policyjne zdjęcia podejrzanych, osób ubiegających się o zasiłki imigracyjne, ubiegających się o wizy i przekraczających granice USA. To w sumie ponad 18 milionów zdjęć niemal 8,5 mln osób.
NIST stwierdził, że przy testach „jeden do jednego” testowane algorytmy częściej błędnie przypisywały tożsamość kogoś widniejącego już w bazie osobom o rysach azjatyckich i Afroamerykanów niż o rysach europejskich – czasem nawet i stukrotnie częściej. To ogólna prawidłowość, którą przejawiały wszystkie algorytmy.
Nieco inaczej było w przypadku algorytmów opracowywanych w Azji, te myliły się rzadziej w przypadku europejskich i azjatyckich rysów twarzy (nadal dając dużo fałszywych alarmów w przypadku osób czarnoskórych). Te opracowywane w USA fatalnie radziły sobie z twarzami „nieeuropejskimi”, czyli czarnoskórych, azjatyckich oraz – szczególnie kiepsko – Indian.
Z kolei przy wyszukiwaniu w bazie („jeden z wielu”) najwięcej fałszywych wyników systemy dawały w przypadku czarnoskórych kobiet.
W przypadku wyszukiwania „jeden do jednego” błędny wynik oznacza niedogodność. System nie wpuści nas do środka, na przykład nie odblokuje nam telefonu (albo drzwi). Zwykle pomaga druga, udana próba – tłumaczy na stronie NIST Patrick Grother, główny autor raportu. Ale błędny fałszywie dodatni wynik w przypadku przeszukiwania policyjnej bazy danych (lub na przykład bazy danych straży granicznej na lotnisku) to niezbyt przyjemne godziny spędzone w odosobnieniu na próbie udowadniania, że nie jest się tym, za kogo uznał nas algorytm. W skrajnych przypadkach zaś noc w areszcie.
Twarze, piksele i statystyka
Dlaczego tak się dzieje? Laikom wydaje się, że systemy rozpoznawania twarzy działają jak w filmach science-fiction. Wystarczy zrobić komuś zdjęcie, a algorytm oparty na maszynowym uczeniu bezbłędnie rozpozna tożsamość danej osoby. W rzeczywistości algorytmy uczenia maszynowego to wyrafinowane narzędzia do analizy statystycznej wielkich zbiorów danych. W tym przypadku danymi są piksele, które z pewnym prawdopodobieństwem można przypisać do rysów twarzy danej osoby.
Ale to tylko prawdopodobieństwo. Wiele zależy oczywiście od tego, na jakim zbiorze sieć zostanie nauczona. „Algorytmy uczenia maszynowego są tak dobre, jak dane, które posłużyły do ich trenowania” – mawia się w branży SI. Algorytmy rozpoznawania twarzy szkolone są na dostępnych zbiorach danych. Sęk w tym, że w takich zbiorach zdjęć dominują męskie twarze o europejskich rysach. Algorytm uczy się więc dobrze (choć nadal nie bezbłędnie) rozpoznawać głównie jasnoskórych mężczyzn.
To powód, dla którego algorytm o nazwie Rekognition opracowany przez Amazona aż w co piątej kobiecie na zdjęciu rozpoznawał mężczyznę, a w przypadku czarnoskórych kobiet robił to aż w co trzecim przypadku.
W USA opór przeciwko tej technologii jest obywatelski, w Europie kwestię uregulować chce Unia.
Protesty w USA są uzasadnione, bowiem systemy rozpoznawania twarzy rutynowo stosowała policja, by ustalać tożsamość osób zatrzymanych. W znaczącym odsetku przypadków zatrzymania okazywały się niesłuszne – ale przede wszystkim zatrzymywano głównie osoby o innym niż biały kolorze skóry.
Co teraz? NIST nie zajmuje się naprawianiem narzędzi, które nie spełniają standardów. Teraz czas na zmiany w prawie. Tylko odpowiednie regulacje mogą wymusić lepsze standardy. I ograniczyć wykorzystanie tej technologii. Pomóc może też presja społeczeństwa, mediów i troska firm o ich własny wizerunek.
By nie narażać się na oskarżenia o rasizm, po głośnym zabójstwie czarnoskórego George’a Floyda przez policjanta, które stało się przyczyną protestów i zamieszek nie tylko w USA, IBM postanowił z rozpoznawania twarzy zrezygnować. W liście do Kongresu prezes firmy Arvind Krishna podniósł (poza potrzebą reformy policji) także kwestię bezpiecznego korzystania z technologii służących do inwigilacji. IBM nie będzie już pracować nad technologią rozpoznawania twarzy i przestanie oferować narzędzia służące do tego celu.
W ubiegłym roku szef Microsoftu Satya Nadella twierdził, że obecność algorytmów rozpoznawania twarzy w każdym urządzeniu to wyścig, który zakończy się utratą prywatności. Powszechne stosowanie rozpoznawania twarzy z pewnością może się tak skończyć.