Google dostarczy dziennikarzom narzędzie do wykrywania wielu form manipulacji na obrazach
Media we współpracy z technologicznymi gigantami zbroją się przeciwko fake newsom, deepfake’om i innymi formom manipulacji informacją. Do wyścigu zbrojeń dołącza Jigsaw, inkubator technologiczny Google’a.
Platforma o nazwie Assembler „analizuje obrazy, używając detektorów – technologii wytrenowanej do identyfikowania konkretnych rodzajów manipulacji – i ocenia, czy i w których miejscach obrazy mogły zostać zmienione” – czytamy na stronie projektu.
Problem polega na tym, że obrazy mogą być zmienione na wiele sposobów, jak zmiany jasności i kontrastu, tuszowanie elementów obrazu, przeklejanie fragmentów z innego miejsca lub z całkiem innego obrazu, fotomontaż czy wreszcie wklejanie całkowicie sztucznych, wygenerowanych elementów.
Dotychczas nie istniało uniwersalne narzędzie do ich wykrywania. Jared Cohen, CEO Jigsaw, w artykule w serwisie Medium wspomina o grupie Bellingcat, znanej z obnażania manipulacji rosyjskiej propagandy np. podczas agresji na Ukrainę. Naliczyła ona 25 dostępnych online narzędzi, których używa w swojej demaskatorskiej działalności.
Assembler ma być w tej dziedzinie czymś w rodzaju szwajcarskiego scyzoryka, którego można użyć do różnych zadań. Wykorzystuje eksperymentalny model, który został wytrenowany na sygnałach z wielu detektorów – algorytmów odpowiedzialnych za wykrywanie różnego rodzaju modyfikacji.
Grupa Bellingcat, znana z obnażania manipulacji rosyjskiej propagandy, naliczyła 25 dostępnych online narzędzi, których używa w swojej demaskatorskiej działalności
Za powstanie detektorów odpowiadają jednostki badawcze współpracujące przy projekcie. I tak na przykład Uniwersytet w Maryland dostarczył model uczenia maszynowego, który wykrywa anomalie i niekonsekwencje w różnicach kontrastu, nienaturalne granice obiektów czy nierównomierne nasilenie szumów, które mogłyby wskazywać, że zdjęcie jest fotomontażem.
Uniwersytet Fryderyka II w Neapolu włączył się w projekt z algorytmem pozwalającym wyszukiwać podobnie wyglądające elementy, co wskazywałoby na użycie tzw. stempla, czyli tuszowanie fragmentu obrazu z pomocą innego, wziętego z tego samego zdjęcia.
Algorytm od Uniwersytetu Kalifornijskiego w Berkeley potrafi wyszukać elementy, które mają nienaturalny układ w odniesieniu do punktu, z którego robiono zdjęcie. Może to sygnalizować, że te elementy zostały przeklejone z innego obrazu.
Jigsaw odpowiada z kolei za model, którego celem jest odróżnianie autentycznych zdjęć ludzi od takich, które zostały wygenerowane za pomocą modelu StyleGAN.
Jak czytamy na stronie projektu, twórcy oprogramowania wciąż zmagają się z różnymi wyzwaniami. Największym z nich są niekompletne zestawy szkoleniowe. Aby algorytm mógł wykryć jakiś rodzaj manipulacji, musi być wyszkolony na licznych przykładach tej manipulacji. Okazuje się, że dostępne zestawy danych treningowych nie obejmują dużej części modyfikacji, z którymi na co dzień borykają się dziennikarze. Projekt ma między innymi za zadanie uzupełnić luki w danych treningowych.
Innym problemem jest to, że media często pracują na niewielkich obrazach kiepskiej jakości, pozyskiwanych na przykład z mediów społecznościowych. Assembler będzie sobie z tym radził, automatycznie wyszukując w internecie większych wersji tych samych obrazów.
Na razie nie wiemy, czy i na jakich zasadach narzędzie będzie udostępniane redakcjom. Twórcy testują rozwiązanie we współpracy z kilkoma agencjami informacyjnymi i organizacjami zajmującymi się weryfikacją faktów (fact checking), jak: AFP, Animal Politico, Code for Africa, Les Décodeurs du Monde i Rappler. Media i jednostki naukowe zainteresowane projektem mogą się skontaktować z jego pomysłodawcami na stronie internetowej.
Przed pracownikami Google’a jeszcze dużo pracy. Liczymy na to, że wkrótce narzędzia takie jak Assembler trafią na stałe do niezbędnika każdego dziennikarza i researchera. Jednak jeszcze ważniejsza wydaje się edukacja – wobec braku wiedzy o tym, z jakimi manipulacjami można się spotkać w pracy dziennikarza i jakie zagrożenia niesie za sobą publikowanie niesprawdzonych informacji, nawet najlepsze algorytmy pozostaną bezradne.