Polacy stworzyli rewolucyjny system komunikowania się osób z głęboką niepełnosprawnością intelektualną. Unia Europejska liczy na sukces
Wykorzystując internet rzeczy (IoT) i sztuczną inteligencję, Polacy skupieni w międzynarodowym konsorcjum chcą ułatwić osobom z najgłębszą niepełnosprawnością intelektualną komunikowanie się ze światem.
Stworzyli system, który w uproszczeniu działa tak: kamery obserwują osoby z niepełnosprawnością, nagrany przez nie materiał tworzy bazę danych dla sztucznej inteligencji, a badacze te algorytmy trenują. Tak wyszkolona SI będzie pomagać niepełnosprawnym porozumiewać się z innymi ludźmi.
Adres filmu na Youtube: https://www.youtube.com/watch?v=G8s8U8lxMcw
Źródło: Poznańskie Centrum Superkomputerowo-Sieciowe / YouTube
Rolę koordynatora projektu pełni Poznańskie Centrum Superkomputerowo-Sieciowe. Ważne miejsce w konsorcjum zajmuje też Stowarzyszenie Na Tak, także z Poznania, wspierające osoby z tzw. głęboką wieloraką niepełnosprawnością intelektualną (PIMD) na poziomie przedszkola, szkoły i placówek dla dorosłych. To właśnie podopieczni tego stowarzyszenia biorą udział w projekcie, współpracując z badaczami, inżynierami i terapeutami.
Zachowania jako decyzje
Projekt nazwano Insension. Unia Europejska pokłada w nim ogromne nadzieje, finansując go z programu Horyzont 2020 kwotą niecałych 2,3 mln euro w ciągu trzech lat. Za wszystkim stoi Michał Kosiedowski z Poznańskiego Centrum Superkomputerowo-Sieciowego, będący też współautorem elektronicznego systemu SelFind. Poprzez aplikację wspomaga on osoby z lekką i umiarkowaną niepełnosprawnością intelektualną.
Platforma Insension będzie w stanie rozpoznawać zachowania niesymboliczne (czyli takie, w których człowiek nie odwołuje się do symboli) osób z PIMD i interpretować je jako decyzje głęboko niepełnosprawnej osoby. Umożliwi to ludziom z PIMD bezpośrednie wpływanie na własną sytuację życiową. Kluczowe będzie tu zastosowanie inteligentnych aplikacji wspomagających. Dzięki nim komunikowanie przez ludzi z niepełnosprawnością swych potrzeb będzie znacznie łatwiejsze niż dotychczas. System dowie się, co oznaczają poszczególne gesty, dźwięki i wyraz twarzy osoby z PIMD – i nauczy się je interpretować, ułatwiając kontakt takiej osoby z otoczeniem.
Sześciu partnerów, jedno narzędzie
Projekt Insension wystartował w 2018 roku. Michał Kosiedowski podkreśla, że w konsorcjum działa sześciu partnerów z Polski, Niemiec, Hiszpanii i Słowenii.
– Platformę technologiczną budują informatycy z PCSS, centrum technologicznego CTIC z Hiszpanii i Instytutu Józefa Stefana ze Słowenii – mówi. – Wiedzą z zakresu pedagogiki specjalnej wspierają nas koleżanki i koledzy z Uniwersytetu Pedagogicznego w Heidelbergu, którzy na co dzień badają interakcje osób z niepełnosprawnościami. Dzięki nim i terapeutom z Na Tak rozumiemy, w jaki sposób osoby z głęboką niepełnosprawnością intelektualną komunikują się ze światem i potrafimy zbudować narzędzie ułatwiające ten kontakt.
W uproszczeniu system działa tak: kamery obserwują osoby z niepełnosprawnością, nagrany materiał tworzy bazę danych dla sztucznej inteligencji, a opiekunowie tę SI trenują
Skład konsorcjum uzupełnia Firma Harpo z Poznania, dystrybutor i producent technologii wspomagających osoby z niepełnosprawnościami. Harpo bada m.in. możliwość skomercjonalizowania systemu.
– Eksperci od pedagogiki specjalnej z Uniwersytetu Pedagogicznego w Heidelbergu wyjaśniają nam, jak działa komunikacja z osobami głęboko i wielorako niepełnosprawnymi. Pod koniec projektu niemieccy naukowcy zbadają, jak Insension wpłynął na komunikowanie się tych osób. Wspomagał nas m.in. emerytowany prof. dr Andreas Fröhlich, światowej sławy specjalista od głębokich niepełnosprawności. Profesor wystąpił też w filmie promującym projekt.
Gesty, grymasy, wokalizacje
Dane z nagrań audio, wideo podopiecznych Stowarzyszenia Na Tak – gesty, wyrazy twarzy, wokalizacje – są opisywane przez opiekunów i terapeutów przy współpracy z badaczami z Heidelbergu. Dzięki temu wiadomo, które z rozpoznawanych przez platformę sygnałów mają znaczenie, które oznaczają jakieś reakcje czy potrzeby.
– Podczas interakcji z innymi ludźmi osoby z bardzo głęboką niepełnosprawnością intelektualną nie posługują się symbolami. Na sytuację wokół siebie potrafią jedynie reagować gestami, wyrazem twarzy i wokalizacjami. Ta reakcja będzie albo pozytywna, co interpretuje się jako chęć jej utrzymania, albo negatywna, co jest sygnałem, że osoba z niepełnosprawnością chce ją zmienić – wyjaśnia Kosiedowski.
Adres filmu na Youtube: https://www.youtube.com/watch?v=qKXbGOKrwzQ&feature=emb_logo
Źródło: Digital Single Market / YouTube
System Insension będzie personalizowany dla każdego użytkownika. Oprogramowanie „uczy się” rozpoznawania wysyłanych przez niego sygnałów, dzięki czemu później pomoże w przekazaniu komunikatu o danej potrzebie. Rzecz jasna, sztuczna inteligencja nigdy nie będzie w tym lepsza od rodziców takiej osoby, tyle że rodzice nie zawsze są w pobliżu – a kiedyś może zabraknąć ich na dobre.
Trzy kluczowe aplikacje
Osoby z PIMD uciekają się do różnych zachowań niesymbolicznych, by sygnalizować swoje reakcje na daną sytuację. System ma je indywidualnie interpretować, łącząc je z otoczeniem, osobami, przedmiotami czy dźwiękami. W ten sposób osoba wcześniej całkowicie zależna od innych zyska swego rodzaju samodzielność.
– Platforma Insension interpretuje zachowania osoby z niepełnosprawnością jako jej intencje podjęcia jakichś działań. To możliwe dzięki platformie tzw. aplikacji wspomagających. Budujemy trzy takie aplikacje. Pierwsza pozwoli człowiekowi na komunikowanie swej potrzeby w postaci zrozumiałej dla innych, na przykład: „Cieszę się, że przyszłaś”. Druga, player multimediów, odtworzy ulubioną piosenkę osobie, która czuje się niekomfortowo, bo np. jest w pokoju sama. Ostatnia to prosta aplikacja inteligentnego pokoju. Pozwoli osobie z niepełnosprawnością włączyć urządzenie, które ją uspokaja. Na przykład wentylator – wyjaśnia Michał Kosiedowski.
Testy platformy ruszą jesienią.