Dyskryminacja przez algorytmy to fakt powszechnie znany, choć niełatwy do zidentyfikowania w praktyce. Równouprawnienie trudno też zaprogramować. Nie jesteśmy jednak bez szans wobec niesprawiedliwości maszyn
Skrzywienie algorytmiczne to jeden z grzechów głównych automatycznych systemów decyzyjnych. W ostatnich latach słyszeliśmy o wielu przypadkach niesprawiedliwego traktowania ludzi przez maszyny ze względu na ich kolor skóry czy miejsce zamieszkania. Zjawiska tego typu wywołują narastające oburzenie opinii publicznej. Dla inżynierów IT to sygnał, że ich rozwiązania wymagają udoskonalenia.
Sprawiedliwość, zera i jedynki
Aby zbudować sprawiedliwe systemy automatycznego podejmowania decyzji, programiści chcieliby wiedzieć, jak zdefiniować równość czy sprawiedliwość. Intuicja podpowiada, że pomocy w tym zakresie powinni szukać u prawników, którzy na co dzień oceniają, co należy uznać za dyskryminację. Niestety, odpowiedź jurystów raczej ich nie zadowoli. Prawo antydyskryminacyjne jest bowiem dość elastyczne i kontekstowe, szczególnie w przypadku tzw. dyskryminacji niebezpośredniej. Chodzi o sytuacje, w których dyskryminacja nie jest widoczna wprost, lecz wymaga szczegółowej interpretacji przesłanek.
Na przykład jeśli pracodawca obwieszcza, że zatrudnia wyłącznie osoby krótkowłose, to na poziomie deklaracji nie jest to równoznaczne ze stwierdzeniem „Zatrudniam głównie mężczyzn”. W praktyce jednak może się właśnie do tego sprowadzać, bo to kobiety znacznie częściej niż mężczyźni noszą dłuższe włosy. Taka sytuacja wymaga jednak interpretacji porównawczej i uwzględnienia kontekstu, ponieważ sama w sobie nie świadczy jeszcze o nierównym traktowaniu ze względu na płeć. Równouprawnienie trudno więc wyabstrahować – zawsze potrzebne jest zestawienie z innymi osobami czy grupami ludzi i ich sytuacją.
Czy klasyfikowanie ludzi wedle kryterium posiadania psa przywodzi na myśl działanie dyskryminujące? Na pozór nie. Okazuje się jednak, że posiadanie czworonoga bądź jego brak może świadczyć o czyimś statusie materialnym
Prof. Sandra Wachter z Oxford Internet Institute określa takie podejście mianem równości kontekstowej (contextual equality), odwołując się do orzeczeń Trybunału Sprawiedliwości Unii Europejskiej. Jak zauważa badaczka, Trybunał nie używa metod ani miar, które dałoby się przełożyć na myślenie w kategoriach zero-jedynkowych.
Pies a zasobność portfela
Ta elastyczność prawa nie jest jednak, co podkreśla Wachter, dowodem błędnego prawodawstwa, lecz celowym działaniem, które pozwala sędziom lepiej orzekać w przypadkach różniących się kontekstem. Jest więc pożyteczna, bo umożliwia rozstrzygnięcia bazujące na intuicji i zdrowym rozsądku.
Kłopot w tym, że obowiązujące w Europie prawo antydyskryminacyjne zostało opracowane z myślą o działaniach ludzkich, a znacznie gorzej sprawdza się w przypadku bezosobowych algorytmów. W środowisku maszyn intuicja staje się zawodna – łatwo przeoczyć przesłanki mogące świadczyć o dyskryminacji. Jest to tym istotniejsze, że w przypadku zautomatyzowanych systemów decyzyjnych dyskryminacja jest zwykle niebezpośrednia. Przykład?
Czy klasyfikowanie ludzi wedle kryterium posiadania psa przywodzi na myśl działanie dyskryminujące? – pyta Wachter. Na pozór nie. Okazuje się jednak, że posiadanie czworonoga, bądź jego brak może świadczyć o czyimś statusie materialnym. Przynajmniej w Wielkiej Brytanii. Dlaczego? Bo na Wyspach najemcy z psem mają ograniczone szanse na wynajęcie mieszkania. W rezultacie większość osób, które nie mogą sobie pozwolić na zakup własnego lokum, musi zrezygnować z myśli o pupilu. Tym samym bycie właścicielem psa staje się równoznaczne z lepszym statusem majątkowym: świadczy o tym, że daną osobę stać na własne mieszkanie. W erze big data i mediów społecznościowych zebranie informacji o tym, czy ktoś posiada czworonoga, nie jest niczym trudnym. A dysponując takimi informacjami można już odpowiednio kształtować oferty kierowane do danej osoby, wyjaśnia Wachter. I nie chodzi tu bynajmniej o karmę dla zwierząt.
A to przecież tylko jeden przykład niebezpiecznych rezultatów na pozór neutralnej klasyfikacji. Niedawno głośno było o możliwości wykorzystania zdjęć posesji zajmowanych przez klientów do określania wysokości składki ubezpieczeniowej. Na ścianach twojego bloku jest wymalowane graffiti? W takim razie ryzyko, że ukradną ci samochód jest wyższe, niż gdybyś trzymał go na parkingu na strzeżonym osiedlu. Twoja składka wzrośnie.
Niewidzialna ręka dyskryminacji
To jednak wciąż nie wszystko. Jak podkreśla Wachter, w erze algorytmów możemy w ogóle nie wiedzieć o tym, że jesteśmy dyskryminowani. W czym rzecz?
Adres filmu na Youtube: https://www.youtube.com/watch?v=tTMMsMkBwDY
Źródło: The Berkman Klein Center for Internet & Society
W „analogowym” świecie ogłoszenie o pracę, które np. dyskryminowałoby kogoś ze względu na kolor skóry, wyznanie czy orientację seksualną, byłoby stosunkowo łatwe do zauważenia. Potencjalny poszkodowany mógłby na nie trafić choćby w gazecie. Tymczasem w świecie algorytmów występuje możliwość mikrotargetowania, to znaczy dostosowywania wyświetlanych treści do indywidualnych profili użytkowników. W ten sposób dyskryminująca kogoś oferta może się nam w ogóle nie wyświetlić, jeśli algorytm uzna, że nasz profil jest nieodpowiedni. Innymi słowy: możemy w ogóle nie zdawać sobie sprawy z tego, że jesteśmy dyskryminowani. Po prostu nie wiemy, co w sieci widzą inni, a czego nie widzimy my. Dotyczy to nie tylko ofert pracy, ale także oferowanych nam usług czy produktów lub ich cen.
W takiej rzeczywistości wszyscy stajemy się bardziej podatni na dyskryminację, a ponadto mamy znacznie mniej możliwości, by jej przeciwdziałać. Co w tej sytuacji robić?
Powinniśmy stworzyć narzędzia oceny algorytmów pod kątem przestrzegania zasad równości oraz opracować standardy ich etycznego działania, przekonuje Wachter. Z drugiej strony musimy też zapewnić możliwość oceny automatycznych systemów decyzyjnych w sposób elastyczny, właściwy światu „analogowemu”. Wymaga to porozumienia środowiska inżynierów IT oraz prawniczego i ich wspólnego działania. Ci pierwsi powinni uznać równość kontekstową za ważną cechę prawa antydyskryminacyjnego. Ci drudzy – pamiętać, że sama intuicja już dziś nie wystarczy, by skutecznie stać na straży praw obywateli. W teorii brzmi to pięknie, ale jak zastosować te postulaty w praktyce?
Algorytm nie zastąpi sędziego
Aby pomóc oszacować ryzyko dyskryminacji w poszczególnych systemach algorytmicznych, prof. Wachter proponuje narzędzie conditional demographic disparity (CDD) służące do statystycznego pomiaru referencyjnego. Jest ono przydatne do rozpoznawania dyskryminacji szczególnie w przypadku mniejszości. Ocena przeprowadzana przez CDD nie jest bowiem uzależniona od wielkości danej grupy względem reszty społeczeństwa (co może być mylące właśnie w przypadku mniejszości), ale jest przeprowadzana proporcjonalnie.
Wachter podkreśla jednak, że CDD nie jest rozwiązaniem wystarczającym, by zapewnić równość i sprawiedliwe traktowanie w świecie decyzji podejmowanych przez algorytmy. Niezależne oceny sędziów nadal będą konieczne. Ci jednak (a także prawodawcy, przedsiębiorcy czy sami obywatele) dzięki CDD będą mieli znacznie lepszą możliwość wstępnej oceny działania algorytmu. CDD jest bowiem nie tyle narzędziem do podejmowania ostatecznych decyzji, ile raczej mapą, która podpowiada, w którą stronę spojrzeć. Ocena i interpretacja indywidualnych przypadków musi natomiast nadal pozostać domeną ludzką. Całe szczęście.