Dlaczego mechanizmy filtrowania treści nie wychwyciły transmisji z ataku terrorystycznego w Nowej Zelandii, w którym zginęło 50 osób?
15 marca uzbrojony napastnik zaatakował wiernych w dwóch meczetach w Christchurch w Nowej Zelandii. 28-letni Australijczyk Brenton Tarrant zastrzelił 50 osób, 50 zostało rannych. Pierwszy atak transmitował na Facebooku. Nagranie zostało usunięte z serwisu dopiero po zakończeniu relacji, a tysiące kopii zalały serwisy społecznościowe.
Facebook spotkał się z falą krytyki głównie z tego powodu, że nie uniemożliwił napastnikowi relacjonowania ataku na żywo. Premier Nowej Zelandii Jacinda Ardern mówiła w parlamencie, że media społecznościowe powinny być pociągane do odpowiedzialności za treści, które pojawiają się na ich platformach. „Oni są wydawcą, a nie tylko ‘listonoszem’. To nie może działać na zasadzie tylko zysk, zero odpowiedzialności” – mówiła premier.
Guy Rosen, Vice President of Integrity w Facebooku w obszernym komunikacie prasowym z 20 marca tłumaczy, dlaczego serwis nie zareagował szybciej. Jak pisze, trwającą 17 minut transmisję na żywo oglądało 200 osób. W tym czasie żaden z widzów nie zgłosił filmu administratorom Facebooka. Po zakończeniu relacji wideo było wciąż dostępne. Pierwszy raport na temat jego treści trafił do moderatorów 29 minut po rozpoczęciu transmisji, czyli 12 minut po jej zakończeniu. Zostało natychmiast usunięte. W tym czasie oryginalne nagranie obejrzało 4 tysiące osób.
Pracownik Facebooka wyjaśniał, dlaczego na transmisję nie zareagowały algorytmy sztucznej inteligencji, które zwykle z powodzeniem radzą sobie z wykrywaniem nagości, terrorystycznej propagandy czy scen przemocy. Tłumaczy, że te systemy potrzebują dużej ilości danych treningowych przedstawiających materiał podobny do tego, który chcemy zablokować. Nagranie z ataku w Nowej Zelandii po prostu zbyt różniło się od materiału, na którym szkolił się algorytm.
Niestety, niektórzy użytkownicy pobrali plik nagrania przed jego usunięciem z Facebooka. Jeden z nich umieścił link w serwisie 8chan. Stamtąd pobrało je wiele osób, które następnie udostępniały je na Facebooku i w wielu innych miejscach – na forach dyskusyjnych, innych portalach społecznościowych.
Systemy potrzebują dużej ilości danych treningowych przedstawiających materiał podobny do tego, który chcemy zablokować. Nagranie z ataku w Nowej Zelandii po prostu zbyt różniło się od materiału, na którym szkolił się algorytm
Guy Rosen, Facebook
Facebook starał się powstrzymać użytkowników przez ponownym wysłaniem i udostępnianiem wideo w serwisie. W ciągu pierwszych 24 godzin udaremniono 1,2 miliona takich prób, zaś przynajmniej 300 tysięcy się powiodło i posty usunięto już po ich opublikowaniu.
Facebook wykorzystuje specjalne narzędzia, które porównują zawartość nagrania i umożliwiają zidentyfikowanie kopii oryginalnego materiału. Czemu nie wszystkie udało się wychwycić przed upublicznieniem?
Rosen tłumaczy, że część użytkowników świadomie modyfikowała nagranie, by utrudnić identyfikację, i podejmowała wielokrotne próby wysłania pliku na Facebook. Inni publikowali wykonane smartfonem nagranie ekranu komputera, na którym odtwarzana jest transmisja. Ostatecznie Facebook naliczył 800 różnych wersji nagrania.
Co dalej? Facebook zapowiada szereg zmian. Obiecuje pracę nad poprawą algorytmów wyszukujących podobieństwa w plikach wideo, żeby skuteczniej identyfikować zmodyfikowane kopie. Inżynierowie serwisu badają możliwości wykorzystania sztucznej inteligencji do wczesnego wykrywania tego rodzaju treści. Szukają też sposobu na szybsze pozyskiwanie zgłoszeń od użytkowników.