- Po wojnie secesyjnej w USA pozostały miliony zdjęć
- Algorytmy identyfikują sfotografowanych żołnierzy dzięki domowym archiwom
- Na platformie Civil War Photo Sleuth zarejestrowało się już ponad 10 tysięcy osób
Co robi szpieg na wojnie, która zakończyła się 154 lata temu? Identyfikuje żołnierzy. System nazywa się Civil War Photo Sleuth [dosł. zdjęciowy szpieg wojny domowej]. Jego pomysłodawcą i autorem jest informatyk Kurt Luther z Virginia Tech. Wiele osób dzięki niemu odnalazło na zdjęciach swoich przodków – żołnierzy wojny secesyjnej w Stanach Zjednoczonych.
Igła w stogu siana
Toczyła się ona między Północą (Unią) a Południem (Konfederacją) między 1861 a 1865 rokiem. Wzięło w niej udział łącznie blisko 4 miliony żołnierzy. Szacuje się, że w jej trakcie wykonano około 40 milionów zdjęć. Nawet jeśli przetrwała jedna dziesiąta z nich, to nadal dostępne są 4 miliony fotografii, zarówno w prywatnych, jak i publicznych zasobach. Próba odnalezienia przodka w takim zbiorze to jak szukanie igły w stogu siana.
Na pomysł połączenia baz fotografiii żołnierzy wojny secesyjnej ze zdjęciami dostarczanymi przez współczesnych, którzy poszukują informacji o swoich dawnych krewnych, Luther wpadł sześć lat temu. Jako pasjonat historii i wojny secesyjnej zajrzał wtedy na wystawę czarno-białych i malowanych sepią portretów wojennych w Centrum Historii Heinza w Pittsburghu (Pensylwania). Na jednym ze zdjęć ku ogromnemu zaskoczeniu rozpoznał swojego praprawuja.
Miał fart, ale zaczął się zastanawiać, jak szczęściu mogłaby pomóc zaawansowana technologia. Postanowił opracować narzędzie, które ułatwi odszukiwanie na zdjęciach konkretnych żołnierzy walczących w XIX wieku w amerykańskiej wojnie domowej.
Algorytm na odsiecz genealogom
Stworzona przez Luthera platforma wykorzystuje algorytm rozpoznawania twarzy. Profesor nadzwyczajny z Instytutu Politechnicznego i Uniwersytetu Stanowego Virginii w Blacksburgu (Virginia Tech) uruchomił ją w sierpniu ubiegłego roku. Połączył algorytmy z bazami zdjęć z czasów wojny secesyjnej wielu instytucji – muzeów, archiwów i bibliotek, w tym Archiwum Państwowego USA, Centrum Dziedzictwa i Edukacji Armii USA, Stanowego Muzeum Wojskowego Nowego Jorku czy zasobów zdjęciowych poszczególnych stanów i uniwersytetów.
Kolejne dane to zdjęcia z domowych archiwów dostarczane przez rejestrujących się za darmo użytkowników – anonimowe lub nie.
System mapuje 27 różnych punktów twarzy nadesłanego zdjęcia i porównuje je z innymi obrazami w bazie. Następnie pokazuje kilka najlepszych trafień, bo rozpoznanie utrudniają mu na przykład różny wiek danej osoby na porównywanych zdjęciach, inny zarost, bardziej lub mniej siwe włosy, monochromatyczność obrazów lub sepia, w jakiej w czasach walk wykonywano zdjęcia. Gdy użytkownicy CWPS usiłują zidentyfikować nieznane zdjęcie, witryna zwraca potencjalne dopasowania zidentyfikowanych zdjęć z bazy danych zdjęć referencyjnych – oprogramowanie do automatycznego rozpoznawania twarzy w witrynie zawęża możliwości, pokazując tylko najbardziej podobne twarze. W tym momencie użytkownik musi dokładnie sprawdzić listę najbardziej obiecujących kandydatów i ostatecznie sam ocenić, czy poszukiwania zostały uwieńczone sukcesem.
Dodatkowo użytkownicy mogą używać filtrów, na przykład dla rangi wojskowej.
System rozrasta się i dlatego wprowadzona została dodatkowa weryfikacja potencjalnych trafień. Prof. Luther wraz z zespołem stworzył właśnie możliwość zapytania innych użytkowników, co sądzą o trafności wyszukiwania. Nazwał to „drugą opinią”, pochodzącą już od człowieka. Na przykład system pyta społeczność CWPS: „Czy żołnierze na obu zdjęciach mają podobne uszy?”. Jeśli inny użytkownik platformy zagłosuje na „nie”, oprogramowanie poprosi go o wyjaśnienie różnicy.
Armia poszukiwaczy
W ciągu miesiąca od uruchomienia platformy zalogowało się na niej 1 tysiąc użytkowników, a system odnalazł w publicznych bazach danych zdjęcia przodków blisko 100 z nich. Dziś, po roku funkcjonowania, to już potężna maszyna – 10 tysięcy zarejestrowanych obywateli USA badających historię swoich przodków i porównujących posiadane zdjęcia z fotografiami żołnierzy, którzy walczyli zarówno po jednej, jak i drugiej stronie bratobójczego konfliktu. Baza zdjęć, z którymi są porównywane, to blisko 30 tysięcy rekordów i nadal rośnie.
Zestawienie ich ze sobą powinno dać listę większości nazwisk żołnierzy biorących udział w tej wojnie – taki jest cel CWPS. Jednak to nie tylko użyteczne narzędzie do badania i utrwalania historii, ale również projekt badawczy. Prof. Luther wspólnie z innymi naukowcami stara się wynaleźć nowe sposoby korzystania z crowdsourcingu zdjęć i obliczeniowych metod rozpoznawania i porównywania twarzy w celu promowania edukacji historycznej, ochrony dziedzictwa i dalszych badań nad dziejowym kontekstem zbiorów prywatnych i publicznych, a także odkrywania szerszych zastosowań nowych technologii w pracy dziennikarzy śledczych czy dla bezpieczeństwa narodowego.
Badania i sama platforma są finansowane z publicznych dotacji i prywatnych darowizn. Podstawowe wsparcie finansowe pochodzi od Narodowej Fundacji Nauki i Virginia Tech. Jest to podobne do modelu finansowego stosowanego przez Wikipedię.
Technologia opracowana przez naukowców z Virginia Tech zdobyła w 2018 roku główną nagrodę w wysokości 25 tysięcy dolarów w konkursie Microsoft AI Cloud Challenge za wykorzystanie oprogramowania do rozpoznawania twarzy Microsoft, a także nagrodę Best Demo Award na konferencji Human Computation and Crowdsourcing 2018.