Pierwsza na świecie aplikacja do tłumaczenia tekstu pisanego na język migowy już działa. Inżynierowie Huawei nauczyli system migać, póki co w dziesięciu językach. Program ma uczyć czytać głuche i niedosłyszące dzieci
Gwiazda (Star), migająca anonimowana dziewczynka aplikacji StorySign, potrafi odczytać i przetłumaczyć książki z biblioteki aplikacji po angielsku, francusku, niemiecku, włosku, hiszpańsku, holendersku, portugalsku, irlandzku, belgijsku (flamandzku) oraz w języku szwajcarskim niemieckim.
Optyczne rozpoznawanie znaków (OCR) pozwala aplikacji działać niezwykle dokładnie, nawet gdy telefon nad książką trzymany jest pod sporym kątem. Szybkość działania aplikacji wspierają algorytmy SI. Ruchy Star zaprojektowano z użyciem technologii przechwytywania ruchu (motion capture) – mimika twarzy i dłonie Star dokładnie naśladują człowieka używającego języka migowego.
Adres filmu na Youtube: https://www.youtube.com/watch?time_continue=13&v=xQCujmxUsX8
Źródło: Huawei Mobile UK / YouTube
StorySign jest łatwa w użyciu – dziecko lub rodzic otwiera aplikację i klika wybraną książkę z biblioteki StorySign. Następnie podnosi swój telefon nad stronę drukowanej książki, a wesoły awatar „Star”, zaprojektowany przez Aaardman Animations, brytyjską wytwórnie filmów animowanych, tłumaczy podświetlane słowa tekstu na migowy. Rodzice i dzieci mogą czytać razem w swoim własnym tempie. „Chcieliśmy stworzyć autentyczne doświadczenie czytania i umożliwić rodzinom z głuchymi dziećmi czerpanie radości ze wspólnej lektury” – opisuje aplikację Huawei. StorySign ma według producenta otworzyć przed głuchymi dziećmi świat książek.
Na świecie problemy ze słuchem, od głuchoty od urodzenia po niedosłuch, ma 32 miliony dzieci. Większość z nich ma trudności z nauką rozpoznawania i wymawiania liter, często z powodu braku zasobów łączących język migowy i czytanie. Ponadto miganie różni się znacznie od języka mówionego i pisanego, dlatego niesłyszące dzieci z trudem dopasowują słowa drukowane do pojęć, które reprezentują. Przez to pozostają w tyle za rówieśnikami, a w dorosłym życiu borykają się z kłopotami z tego powodu.
StorySign jest wspierany przez organizacje charytatywne, w tym Europejską Unię Głuchych, Brytyjskie Stowarzyszenie Głuchych oraz wydawnictwo Penguin Books. Na razie Star tłumaczy sześć książek dla dzieci, ale ma ich przybywać, tak jak języków obsługiwanych przez aplikację.
Miganie z Google
Skonstruowanie wyuczonej platformy, czytającej ruchy ręki i palców w języku migowym, to bardzo złożone zadanie. Podjęli się go niedawno naukowcy Valentin Bazarevsky i Fan Zhang, inżynierowie ds. badań w, zmieniając podejście do śledzenia ruchów dłoni.
Uprościli zasób danych, z jakich korzystały algorytmy w połączeniu z widzeniem komputerowym. Najpierw ręcznie dodali 21 kluczowych punktów 3D z wideo ręki do około 30 tysięcy zdjęć dłoni w różnych pozach i sytuacjach oświetleniowych, aby system uczenia maszynowego mógł je prawidłowo rozpoznać.
Nowa technika wykorzystuje rosnącą ogólną wydajność systemów uczenia maszynowego do tworzenia dokładnej mapy dłoni i wszystkich palców w czasie rzeczywistym, przy użyciu wyłącznie smartfona i aparatu. Po ustaleniu pozy ręki porównuje się ją do szeregu znanych gestów. Rezultatem jest algorytm śledzenia ręki, który jest jednocześnie szybki, dokładny i działa na zwykłym smartfonie, a nie na pulpicie ekranu lub chmurze. Wszystko działa w ramach MediaPipe, platformy open source powstałej w celu przetwarzania danych percepcyjnych, takich jak wideo i audio.
Darmowa aplikacja w krajach, gdzie używa się języków obsługiwanych przez oprogramowanie, jest dostępna na urządzenia z systemem Android. Ma już kilkadziesiąt tysięcy pobrań ze sklepu Google.