Algorytm sprawdza uprzedzenia maszyn, czyli… ludzi. I odwrotnie
Jak pokazuje dotychczasowe doświadczenie, algorytmy sztucznej inteligencji często kogoś dyskryminują, na przykład ze względu na rasę, płeć, pochodzenie itd.
O stronnicze funkcjonowanie (ang. bias) oskarżane są aplikacje wspierające rekrutację do pracy, udzielanie pożyczek bankowych, systemy rekomendacyjne czy policyjne platformy wykorzystujące rozpoznawanie twarzy.
W wielu miastach w Stanach Zjednoczonych algorytmy pomagają decydować, czy zatrzymany będzie osadzony w areszcie. W Kolorado wsparcie decyzji przez maszynę jest nawet obowiązkowe. I są skargi na stronniczość takich systemów.
SI do poprawki
Naukowcy z Uniwersytetów Penn State oraz Purdue połączyli siły, by rozwiązać ten problem, i do „oddyskryminowania” sztucznej inteligencji użyli… sztucznej inteligencji.
„Ponieważ praktycznie wszystkie aspekty naszego życia są w coraz większym stopniu uzależnione od systemów podejmowania decyzji opartych na algorytmach, naszym obowiązkiem jako społeczeństwa jest dopilnowanie, aby systemy te nie stały się instrumentami nieuczciwej dyskryminacji ze względu na płeć, rasę, pochodzenie etniczne, religię itp.” – napisali we wstępie do opisu swojej metody dr Vasant Honavar oraz Aria Khademi, Sanghack Lee i David Foley.
Choć autorzy oprogramowania usiłują zwalczać te nadużycia SI, tworząc i reklamując swoje produkty jako wolne od takich uprzedzeń, problem nadal istnieje. Dlaczego?
Za maszyną stoi człowiek
Uczenie maszynowe wymaga ogromnych ilości danych. Ich jakość i uniwersalność to podstawa przyszłych wyników podsuwanych przez algorytmy. Dane dostarcza jednak człowiek. Jeśli na przykład, ucząc automatyczny system rekrutacyjny, nie uwzględni i nie skoryguje tego, że firma nigdy nie zatrudniała na określonym stanowisku ani kobiety, ani obcokrajowca, maszyna zapewne nie zarekomenduje do pracy żadnej z kandydatek ani żadnego cudzoziemca.
Nowe narzędzie wykrywa, czy dany system dyskryminuje, czy też nie, w odniesieniu do wybranego chronionego atrybutu, takiego jak rasa lub płeć. Wykorzystuje zaawansowane algorytmy, aby śledzić, czy ludzkie działanie (nawet nieświadomie) lub praca inteligentnego systemu noszą znamiona dyskryminacji.
„Nasze narzędzie może pomóc zapewnić, że takie systemy nie staną się instrumentami dyskryminacji, barierami dla równości, zagrożeniami dla sprawiedliwości społecznej i źródłem niesprawiedliwości” – podsumowują badacze.
Dochodzenie w sprawie dochodów
Przetestowali swoją metodę przy użyciu dwóch dostępnych zestawów danych.
Pierwszy pochodził z US Census Bureau odpowiedzialnego za spisy ludności w USA, a naukowców interesowały informacje o dochodach. Chcieli ustalić, czy w danych o wynagrodzeniach widoczna jest dyskryminacja ze względu na płeć.
Zestaw zawierał informacje o zarobkach 48 842 osób dorosłych, z których każdej nadano 14 atrybutów, w tym informacje demograficzne i związane z pracą, takie jak wiek, liczba i rozkład godzin w tygodniu itd.
Wyszło na to, że szanse kobiet na zarobki powyżej 50 tysięcy dolarów rocznie są o 30 procent mniejsze niż mężczyzn.
Algorytm na gorącym uczynku
Badacze sprawdzili również funkcjonalność algorytmów, wykorzystując dane programu Departamentu Policji w Nowym Jorku w celu ustalenia, czy podczas aresztowań dokonywanych po zatrzymaniach dochodzi do dyskryminacji osób kolorowych.
Dostarczyli swoim algorytmom tysiące profili aresztowanych osób. Okazało się, że przeciętnie ryzyko aresztowania kolorowych podejrzanych po zatrzymaniu przez policję są 1,31 razy wyższe niż w przypadku białych, co sugeruje uprzedzenia rasowe.
Wyniki pojawiły się w maju w Proceedings of The Web Conference 2019.
Wniosek? Algorytmy wyszkolone do jakiegoś zadania na takich zestawach danych powielałyby to „skrzywienie” i dawały stronnicze wyniki.