Przewidywanie przestępstw nie działa. A przynajmniej nie wychodzi ono algorytmom sztucznej inteligencji, które zamierzała wykorzystać brytyjska policja
„Most Serious Violence” (MSV) to oprogramowanie, które miało pomóc brytyjskiej policji w typowaniu, kto może popełnić przestępstwo. Jeśli brzmi to jak pomysł rodem z ponurego filmu science fiction, to – owszem – został już wykorzystany (w „Raporcie mniejszości” z Tomem Cruise’em).
Algorytm uczenia maszynowego przypisywał osobom notowanym w policyjnych kartotekach (ale jeszcze niekaranych) punkty, które miały określić prawdopodobieństwo, że dany człowiek popełni przestępstwo z wykorzystaniem broni palnej lub noża w ciągu najbliższych dwóch lat. Do przeszkolenia algorytmu wykorzystano dane z dwóch różnych policyjnych departamentów West Midlands i West Yorkshire dotyczące odpowiednio 2,4 oraz 1,1 miliona osób.
Była to część narodowego brytyjskiego programu analizy danych (National Data Analytics Solution), na którą Home Office, odpowiednik ministerstwa spraw wewnętrznych, wydał w ciągu ostatnich dwóch lat aż 10 milionów funtów. Analiza danych za pomocą algorytmów uczenia maszynowego miała ułatwić życie urzędnikom (i policji) w Anglii i Walii. Oczekiwano, że policyjny system MSV pozwoli typować sprawców w 7 przypadkach na 10.
Dobre złego początki
Wstępne dane były obiecujące – zidentyfikowano ponad 20 wskaźników pomocnych przy typowaniu ryzyka, w tym: wiek, czas od popełnienia pierwszego przestępstwa, powiązania z innymi osobami w policyjnych kartotekach i to, jak poważne były przestępstwa przez nich popełniane. Wydawałoby się, że oddelegowanie analizy takich danych ze śledczych na maszynę odbędzie się sprawnie i odciąży ich od nawału pracy.
Jednak policyjny system MSV nigdy oficjalnie nie wystartował, bo podczas testów okazał się do niczego. Zamiast typować sprawców szczególnie niebezpiecznych przestępstw z (jak szacowano) prawdopodobieństwem w okolicach 70 procent, trafiał w około 20 procentach przypadków. Inaczej mówiąc: mylił się w ośmiu przypadkach na dziesięć.
Jak się okazało, algorytm zawierał błędy w kodzie, donosi portal „Wired”. Jak wynika z dokumentów opublikowanych przez komitet do spraw etyki policji West Midlands, już w początkowym okresie projektu okazało się, że w kodzie tkwi błąd, który uniemożliwia prawidłową analizę danych (nie ujawniono jednak, jaki).
Niemniej nawet gdyby błąd w oprogramowaniu naprawiono, eksperci wskazują szereg zastrzeżeń natury etycznej, dla których policja nie powinna takiego systemu stosować – wiadomo już, że algorytmy chętnie powielają ludzkie uprzedzenia rasowe i ekonomiczne, są też często uprzedzone wobec kobiet. Takich „ukrytych uprzedzeń” trudno się z danych pozbyć, bowiem nawet przetwarzanie danych o lokalizacji może oznaczać, że tak naprawdę chodzi o kolor skóry przeważający wśród mieszkańców dzielnicy, a nie ich miejsce zamieszkania.
Istnieje też inny, fundamentalny powód. Jak tłumaczy to „Wired” Melissa Hamilton, wykładowca prawa z Uniwersytetu Surrey, której przedmiotem badań jest właśnie zastosowanie oprogramowania do analizy ryzyka przez policję, „wydarzenia rzadkie są o wiele trudniejsze do przewidzenia niż częste”. Przypadków przestępstw z wykorzystaniem broni palnej lub niebezpiecznych narzędzi na tle innych przestępstw jest stosunkowo niewiele, co oznacza niewiele danych dla algorytmu. Z kolei większość najbardziej gwałtownych przestępstw (morderstw, pobić i napadów) dokonywana jest bez takich narzędzi (dane za BBC).
Systemy oparte o maszynową analizę danych nie mają dobrej passy w Wielkiej Brytanii. Niedawno sąd orzekł, że wykorzystywanie technologii rozpoznawania twarzy przez policję jest niezgodne z prawem. Ministerstwo spraw wewnętrznych niedawno zrezygnowało też z algorytmów przy ocenie ryzyka wizowego – okazały się uprzedzone rasowo.
Matematycy liczą na etykę
W czerwcu ponad 1,4 tysiąca matematyków wystosowało adresowany do „Notices of the American Mathematical Society” (czasopismo dla członków Amerykańskiego Towarzystwa Matematycznego) list otwarty, w którym apelowali o zaprzestanie prac nad algorytmami predykcyjnymi, które miałyby być wykorzystywane przez sądy i policję. List, który podnosił kwestię, że nie ma żadnych dowodów na skuteczność takich systemów uczenia maszynowego, powstał po głośnym zabójstwie czarnoskórego George’a Floyda przez policjanta w Minneapolis i spowodowanych tym zamieszkach przeciwko rasizmowi policji.
„W czarnym scenariuszu niedoskonałe modele mogłyby skutkować sankcjami wobec osób, których na żadnej racjonalnej podstawie nie można by podejrzewać o popełnienie przestępstwa – co stanowi ryzyko dla młodych ludzi, dla każdego człowieka (…)”, pisali matematycy.
„Istnieją badania wskazujące, że niektóre przestępstwa, takie jak przyjmowanie narkotyków, są tak samo rozpowszechnione wśród osób białych jak wśród czarnoskórych. Jeśli chodzi o zarzuty za takie przestępstwa, zatrzymania i wyroki istnieje jednak silne uprzedzenie rasowe”, komentowała list dla „Nature” Sandra Watcher z Oksfordu, badaczka prawnych i etycznych implikacji technologii.
Z kolei w „Wired” sprawę policyjnego algorytmu komentuje Christine Rinik z University of Winchester, jedna z kierujących Centrum Prawa do Informacji: „Tylko dlatego, że coś można zrobić obliczeniowo, nie oznacza, że to najlepszy sposób albo że w ten sposób robić należy. Dlatego też, jak myślę, korzystne jest, gdy są procedury, w których te kroki są kwestionowane”.