Zespół Facebook AI stworzył grę RPG, w której gracze rozmawiają ze sztuczną inteligencją. Wszystko po to, by uczyć maszyny, jak rozmawiać z ludźmi
Jednym z najpowszechniejszych użyć sztucznej inteligencji są w tej chwili chatboty i asystenci głosowi. Sercem ich działania są modele NLP (natural language processing – przetwarzanie języka naturalnego) odpowiedzialne za „rozumienie” i przetwarzanie języka. Każdy, kto wszedł kiedyś w dialog z maszyną, wie, że choć technologia robi wrażenie, to wciąż daleko jej do ideału.
Sposób, w jaki ludzie uczą się języka, jest – z konieczności – różny od tego, jak robią to maszyny. My nabieramy zdolności komunikacyjnych przez całe życie poprzez interakcję z innymi użytkownikami języka. Głównym narzędziem poznawania języka jest dla nas dialog. Algorytmy szkolą się na sztywnych korpusach tekstu, które nie mogą reagować w czasie rzeczywistym. Fakt, że modele NLP nie mogą w czasie szkolenia wchodzić w interakcję z żywymi użytkownikami języka, jest dla nich przeszkodą w doskonaleniu się.
Rozwiązaniem tego problemu jest ciągłe uczenie na podstawie interakcji z żywym człowiekiem. „Lifelong learning to paradygmat uczenia maszynowego, w ramach którego modele mogą wchodzić w interakcję z otoczeniem i stopniowo rozwijać swoje umiejętności w oparciu o materiał, którego się uczą, rezygnując ze standardowego podejścia z góry ustalonego zestawu treningowego, na którym model uczy się raz” – czytamy w pracy „Deploying Lifelong Open-Domain Dialogue Learning” opublikowanej w połowie sierpnia przez zespół Facebook AI Research.
Zamiast płacić nisko zaangażowanym pracownikom, Facebook AI postanowił stworzyć środowisko, w które użytkownicy sami się zaangażują. Wszystko po to, by ulepszać przetwarzanie języka naturalnego przez maszyny
Zespoły szkolące modele tą metodą zwykle jako partnerów do rozmów dla swoich modeli wybierają płatnych pracowników, na przykład za pośrednictwem platformy Amazon Mechanical Turk, która pozwala na zlecanie prostych prac za niewielką opłatą.
Problem polega na tym, że dialogi uzyskane tą metodą są często niskiej jakości. Pracownicy nie angażują się w rozmowę, chcąc po prostu odhaczyć kolejny dialog i otrzymać zapłatę. Zespół Facebooka zaproponował inne podejście – zamiast płacić nisko zaangażowanym pracownikom, postanowił stworzyć środowisko, w które użytkownicy sami się zaangażują.
Tak powstała gra RPG (role playing game), w której użytkownicy rozmawiają z maszyną. Gra ma formę dialogu, w którym porozumiewają się ze sobą człowiek i model konwersacyjny.
Na początku rozmowy w kilku zdaniach opisana jest lokalizacja (system przydziela jedną spośród prawie 600 lokacji) i rola do odegrania przez człowieka (tu nieco ponad 600 możliwości). Zadaniem człowieka jest… wejść w rolę. Rozmawiać z modelem tak, jakby się było wskazaną w opisie postacią.
Każda runda składa się z dwunastu wypowiedzi, po sześć dla każdego rozmówcy. Po zakończeniu rundy gracz ma trzy opcje. Może pozostać przy swoim bohaterze, ale przenieść się do innej, losowo wybranej lokacji, pozostać w roli oraz lokacji i poczekać na kolejnego rozmówcę albo całkowicie zmienić warunki.
Po każdej rundzie wirtualny mistrz gry ocenia w skali od 1 do 5 jakość dialogów, których „dostarczył” gracz, a zsumowane dialogi są podstawą do klasyfikacji generalnej.
Screen zaczerpnięty z pracy „Deploying Lifelong Open-Domain Dialogue Learning”
Link: https://arxiv.org/pdf/2008.08076.pdf
Facebook użył narzędzi reklamowych… Facebooka do zrekrutowania ponad 13 tysięcy graczy, którzy w sumie rozegrali nieco ponad 41 tysięcy rund. Okazało się, że grywalizacja była strzałem w dziesiątkę. Odnotowano wysoki poziom zaangażowania – nawet w 75 procentach przypadków gracze decydowali się na kontynuowanie zabawy/pracy.
Zaangażowanie przełożyło się także na jakość wyników. Dialogi były bardziej różnorodne i naturalne. Badacze porównali je z tymi dostarczonymi przez opłacanych pracowników. O ile wypowiedzi tych drugich były wyważone, a oni sami byli skłonni do omawiania neutralnych tematów przez dłuższy czas, uczestnicy gry skupili się na akcji. W dialogach o wiele więcej było emocji i określeń opisujących działanie. Jak piszą analitycy Facebooka, w wypowiedziach graczy częściej pojawiały się wyrazy agresji, jak słowa „dźgnąć” czy „zabić”, ale też wyrazy sympatii („uśmiechnąć się”, „przytulić”) i wyrażenia slangowe, a także całkiem sporo emotikonek.
Jak podkreślają badacze, nawet te ostatnie mają dla nich sporą wartość. Choć komunikaty w stylu „ziom”, „joł” albo „:)” trudno zaliczyć do wysokiej jakości danych, to są one ważnym sygnałem na temat tego, jak wygląda naturalne użycie języka.
Rozwiązanie okazało się też tańsze. Aby osiągnąć jakość modelu na poziomie 80 procent, trzeba było wydać osiem razy mniej pieniędzy niż w przypadku zbierania danych od opłacanych pracowników. Większość kosztów pochłonęły narzędzia reklamowe użyte do werbowania graczy.
Niestety – mimo usilnych starań nie udało mi się w sieci trafić na działającą, publicznie dostępną wersję gry.
Facebook AI zamierza w bliżej nieokreślonej przyszłości udostępnić zebrane przez siebie dane i wyszkolone na ich podstawie modele.