Dzięki doświadczeniu potrafimy za pomocą wzroku przewidzieć, jakie coś będzie w dotyku. Naukowcy chcą, żeby roboty też tak umiały
Wiedza o tym, jakie właściwości fizyczne mają powierzchnie, może być nieocenioną pomocą dla wszelkich systemów robotycznych wchodzących w interakcje ze światem zewnętrznym. Samochód autonomiczny dzięki kamerom potrafi rozpoznać drogę, ale gdyby umiał ocenić stopień jej oblodzenia, mógłby uwzględnić współczynnik tarcia podczas kontroli hamowania. Roboty w zautomatyzowanych magazynach mogłyby ocenić siłę, z jaką należy chwycić przedmiot, by go nie odkształcić, ale też by się nie wyślizgnął.
W ostatnich latach, wraz z rozwojem automatyzacji przemysłu, podejmowano próby wyposażenia maszyn w „wyobraźnię dotykową”. Modele uczenia maszynowego obserwowały zachowanie materiałów lub obiektów w kontrolowanych sytuacjach (np. popchniętych z konkretną siłą) i na tej podstawie uczyły się przewidywać ich zachowania w innych sytuacjach.
Matthew Purri i Kristin Dana z Rutgers University zaprezentowali nową, bardziej bezpośrednią metodę komputerowego rozpoznawania fizycznych cech materiałów. Ma ona symulować sposób, w jaki robią to ludzie. A my robimy to w oparciu o ich wygląd. Wyniki swoich badań opublikowali w pracy „Teaching Cameras to Feel: Estimating Tactile Physical Properties of Surfaces From Images”.
Ludzie podświadomie oceniają fizyczne właściwości powierzchni na podstawie doświadczenia i oceny wizualnej. Widząc widelec, wiemy, że jest zrobiony z metalu, w dotyku jest gładki, prawdopodobnie chłodny, a chwytając go, raczej nie musimy się martwić, że go pogniemy.
Co istotne, wiemy to nie tyle dzięki rozpoznaniu samego przedmiotu, ale materiału, z którego jest wykonany (plastikowy widelec będziemy traktować nieco inaczej niż drewniany).
„W naszej pracy prezentujemy model obliczeniowy, który uczy się złożonej zależności pomiędzy percepcją wzrokową a bezpośrednimi właściwościami dotykowymi powierzchni, takimi jak podatność na odkształcenia, chropowatość, tarcie, przywieranie czy lepkość” – czytamy w pracy.
Zaczęli od stworzenia biblioteki ponad 400 materiałów. Wybrali te, które można najczęściej spotkać we wnętrzach budynków – różne rodzaje plastiku, metalu, drewna, tapicerki. Każdy z materiałów został szczegółowo sfotografowany za pomocą kamery, która przesuwa się po półokręgu i fotografuje przedmiot z różnych stron. Dla każdego materiału powstało 100 zdjęć.
Następnie próbki zostały przeanalizowane sensorem dotykowym BioTac Toccare. Urządzenie mierzy najróżniejsze fizyczne właściwości obiektów – od chropowatości, przez elastyczność, po właściwości cieplne. Wybrano 15 właściwości i zmierzono ich poziom dla każdego z materiałów.
Następnie dane wizualne i parametry fizyczne materiałów zostały przekazane do modelu uczenia maszynowego, którego częścią były GAN – generatywne sieci przeciwstawne. Jedna miała za zadanie generować pary zdjęcie materiału – zestaw właściwości fizycznych, a druga miała rozpoznać, czy para jest prawdziwa, czy wygenerowana przez pierwszą sieć. Sieci uczyły się nawzajem.
Rezultaty są obiecujące – uzyskany model potrafi w wielu przypadkach ocenić właściwości fizyczne materiału. Sami badacze studzą jednak entuzjazm. „Generalnie rzecz biorąc, problem bezpośredniej oceny wrażeń dotykowych na podstawie samych tylko obrazów jest sporym wyzwaniem i możemy oczekiwać istotnego marginesu błędu” – piszą w swojej pracy.