Inteligentna opaska pomoże osobom niewidomym lepiej odnaleźć się w świecie widzących
Project Tokyo to inicjatywa Microsoftu, której celem jest tworzenie technologii będących wsparciem dla ludzi w codziennych czynnościach.
Według Cecily Morrison, członkini zespołu, praca z niewidomymi i niedowidzącymi świetnie wpisuje się w założenia projektu, bo osoby z niepełnosprawnościami często jako pierwsze korzystają z nowinek technologicznych.
Badacze z Microsoftu towarzyszyli grupie niewidomych i niedowidzących sportowców i fanów podczas wyjazdu na paraolimpiadę w Rio de Janeiro w Brazylii w 2016 roku. Obserwowali, jak radzą sobie w codziennych sytuacjach, jak nawiązują interakcję z innymi, poruszają się w miejscach publicznych, zwiedzają. Zebrane dane pokazały, że w tego rodzaju sytuacjach bardzo pomaga rozumienie kontekstu społecznego najbliższego otoczenia.
„My, ludzie, w bardzo zniuansowany i skomplikowany sposób odczytujemy interakcje międzyludzkie – orientujemy się, kto jest w pokoju, co robi, jaka jest relacja tej osoby z nami, czy jej obecność jest w jakiś sposób z nami związana. Dla osób niewidomych wiele z niewerbalnych wskazówek, które dla nas są oczywiste, jest niedostępnych” – mówi Ed Cutrell, współprowadzący Project Tokyo, w artykule zamieszczonym na stronie Microsoftu.
Dla osób niewidomych wiele z niewerbalnych wskazówek, które dla nas są oczywiste, jest niedostępnych
Urządzenie zaprojektowane przez Project Tokyo bazuje na HoloLens – stworzonych przez Microsoft okularach rozszerzonej rzeczywistości, która pozwala nakładać na widziany obraz dodatkowe informacje. Same okulary zostały wymontowane – została opaska wyposażona w zestaw kamer i głośniki emitujące przestrzenny dźwięk.
Prototyp urządzenia jest podłączony do jednostki obliczeniowej, która w czasie rzeczywistym rozróżnia na obrazie wideo osoby w polu widzenia, oblicza odległość od nich i rozpoznaje ich twarze.
Jeśli system wykryje sylwetkę, opaska wyda dźwięk, który wydaje się dobywać z miejsca, w którym ona stoi. Jeśli od razu uda się zeskanować twarz, użytkownik usłyszy dodatkowo inny dźwięk, a jeśli twarz będzie znajdować się w bazie znajomych osób, poda także jej imię.
Jeśli system wykryje tylko sylwetkę, a użytkownik będzie chciał rozpoznać twarz, jeszcze inny, ciągły sygnał nakieruje jego głowę w odpowiednią stronę, by centralna kamera opaski mogła uchwycić twarz.
System w ten sposób w pewnym sensie wymusza na użytkowniku zachowania, które są naturalne dla rozmowy osób widzących.
Opaska została też wyposażona w pasek diod LED. Białe światło wskazuje w stronę osoby, która znajduje się najbliżej. Jeśli jej twarz została rozpoznana – zmienia barwę na zieloną. To informacja dla rozmówcy. Może on usunąć się z pola widzenia, jeśli nie chce wchodzić w interakcje z użytkownikiem opaski.
Technologia jest na razie w powijakach, wymaga choćby miniaturyzacji.
Jednak już teraz widać, że to narzędzie bardzo przydatne dla osób niewidomych – pozwalające im z jednej strony lepiej orientować się w otoczeniu, z drugiej zaś – operować bardziej zrozumiałym i przystępnym językiem ciała, ułatwiającym komunikację.
To szczególnie istotne w przypadku dzieci. Jak czytamy w artykule, dwie trzecie dzieci niewidomych i niedowidzących przejawia zachowania podobne jak w przypadku spektrum autyzmu. Na przykład wydają się niezaangażowane w rozmowę, często opierają głowę na stole, kierując ucho w stronę mówiącego.
Zespół zaprojektował wersję swojego urządzenia przeznaczoną dla młodych użytkowników. Zaprosili do badania 12-letniego chłopca. W ćwiczeniu dziecko wyposażone w opaskę rozmawiało z grupą dorosłych. Ci mogli mówić tylko w czasie, kiedy twarz chłopca była zwrócona w stronę mówiącego.
„Nagle uświadomił sobie, że może prowadzić konwersację” – mówi Cecily Morrison z Microsoftu w cytowanym artykule. „Zrozumiał, jaka siła tkwi w możliwości spojrzenia na kogoś, jakie możliwości dało mu to w konwersacji. To otworzyło przed nim nowy zestaw umiejętności społecznych, do których wcześniej nie miał dostępu”.