Sieci neuronowe nie są bystre. Arytmetyka, ciągi liczbowe i rachunek różniczkowy to dla nich na razie zbyt duże wyzwanie. Naukowcy nie bardzo wiedzą, dlaczego…
– Sztuczna inteligencja jest obecnie bardzo, bardzo głupia – powiedział w listopadzie ubiegłego roku Andrew Moore, wiceprezes Google’a. Potwierdzają to ostatnie badania.
Z artykułu opublikowanego niedawno przez naukowców z DeepMind (brytyjskie przedsiębiorstwo zajmujące się sztuczną inteligencją, w 2014 roku przejęte przez Google’a) pt. „Analiza zdolności rozumowania matematycznego modeli neuronowych” wynika, że rozumowanie matematyczne – podstawowa umiejętność ludzkiej inteligencji – przedstawia wyjątkowe wyzwanie dla uczących się maszyn.
Szkolone sieci neuronowe potrafią już ograć najlepszych ludzkich zawodników w go, przewidzieć trzęsienie ziemi, wystąpienie raka płuc, odkrywają nowe planety, ale liczą na poziomie zaledwie podstawówki. Sztucznie inteligentnym maszynom brakuje umiejętności poznawczych, których ludzie używają w rozwiązywaniu pytań matematycznych wymagających podstawień.
Dodawać tak. Wnioskować nie
Prof. nadzwyczajny Edward Grefenstette, Felix Hill, David Saxton i Pushmeet Kohli napisali o tym, jak o wiele lepiej w porównaniu ze sztuczną inteligencją człowiek radzi sobie z bardziej złożonym liczeniem.
„Interesuje nas tu ocena modeli ogólnego przeznaczenia, a nie tych z wbudowaną już wiedzą matematyczną” – piszą, podkreślając, że by sprawdzić możliwości SI, chcieli wyszkolić sieci neuronowe prawie od zera, a nie opierać się na już istniejących, wyszkolonych matematycznie modelach uczenia maszynowego, które z takimi zadaniami radzą sobie przecież świetnie. Zaczęli od prostych operacji matematycznych, takich jak dodawanie, odejmowanie czy dzielenie. Proste zadanie mieszające te działania, symbole i liczby zmieniło maszynę w miernego ucznia.
Jako egzaminowany uczeń sieć neuronowa otrzymałaby ocenę mierną
Badacze wykorzystali sieć LSTM (Long Short-Term Memory), opracowaną już w latach 90., wyróżniającą się w obsłudze danych typu sekwencyjnego. Od 2016 r. główne firmy technologiczne wykorzystują ją w swoich nowych produktach. Google używa LSTM do rozpoznawania mowy w telefonie, inteligentnego asystenta Allo i Google Translate, a Apple do funkcji pisania przez dyktowanie Quicktype oraz asystenta głosowego Siri.
Badacze wypróbowali też matematyczne „zdolności” nowszej wersji sieci neuronowej opracowanej w Google’u (zwanej Transformer, popularnej m.in. w osadzaniu sekwencji tekstu do przetwarzania języka naturalnego. Modele wytrenowane na zestawie danych egzaminowali z matematycznych zadań dla nastolatków. Wynik? Uczące się sieci mogłyby nawet nie przejść do następnej klasy.
„Do zrozumienia i rozwiązania problemów matematycznych dochodzimy przede wszystkim nie na podstawie doświadczeń i dowodów, ale na podstawie wnioskowania, uczenia się i wykorzystywania praw, aksjomatów i zasad manipulacji symbolami” – wyjaśniają różnicę w sposobie uczenia się maszyn i ludzi.
Rozwiązywanie nawet najprostszych matematycznych zadań tekstowych wiąże się z ogromnymi umiejętnościami poznawczymi. Ludzie lepiej niż testowane sieci potrafią zapamiętać kolejność wykonywania operacji i konwertować słowa na równania. Łatwiej też przychodzi im rozwiązywanie zadań matematycznych wymagających podstawień.
Ocena: mierny z minusem
„Przetestowaliśmy wyszkolony model na zestawie 40 pytań wybranych z publicznie dostępnych egzaminów matematycznych dla brytyjskich 16-latków.
Pytania te zostały zebrane z czterech egzaminów po wyłączeniu tych, które zawierają wykresy, tabele lub inne wzory. Na te pytania egzaminacyjne model Transformera dał zaledwie 14 poprawnych odpowiedzi” – wyjaśniają naukowcy. Był w tym lepszy niż sieć LTSM. Jako egzaminowany uczeń sieć neuronowa otrzymałaby ocenę E3 (odpowiednik naszego miernego).
Na większości zadań sieci neuronowe poległy. Na przykład zarówno Transformer, jak i LSTM nie poradziły sobie z zadaniem 1 + 1 + 1 +…1, gdzie 1 występuje n razy. Gdy n jest mniejsze lub równe 6, odpowiedzi maszyn były prawidłowe. Dla n większego od 7 podawane wyniki były zawsze błędne. Tymczasem sieci osiągały prawidłowe wyniki, dodając znacznie większe liczby w dłuższych sekwencjach, takich jak -34 + 53 + -936 + -297 + 162 + -242 + -128, itd. Analiza wykazała też, że SI radzi sobie dobrze, po prostu dodając lub odejmując, ale poproszona o wykonanie wszystkich tych czynności jest w kropce? Dlaczego?
„Nie mamy dobrego wytłumaczenia” – piszą badacze.
W drodze na uniwersytet
„Matematyka jest alfabetem, za pomocą którego Bóg opisał wszechświat” – powiedział kiedyś Galileusz. Maszynom na razie trudno go jest przyswoić.
Przykład testowania sieci dał jednak nadzieję, że lepiej pójdzie im w przyszłości. Prawidłowo rozwiązały np. układ równań: 5x + 2y = 11 i 4x – 3y = 18 oraz zidentyfikowały kolejną liczbę w sekwencji 3, 9, 15, 27.
Naukowcy z DeepMind wierzą, że inni dołączą do nich w dalszym szkoleniu większej liczby innych rodzajów sieci. Rozszerzalny zbiór danych powinien pozwolić je uczyć aż do poziomu matematyki uniwersyteckiej.
„Stworzyliśmy zestaw danych, na którym najnowsze modele neuronów uzyskują umiarkowaną wydajność. Niektóre z nich to moduły, dla których człowiek mógłby łatwo znaleźć rozwiązanie. Mamy nadzieję, że ten zestaw danych stanie się solidnym punktem odniesienia dla rozwoju modeli o bardziej algebraicznych/symbolicznych możliwościach rozumowania. Zbiór danych jest łatwo rozszerzalny, ponieważ jest modułowy, ze wszystkimi modułami wykorzystującymi wspólne wejście/wyjście i wspólny język matematyki” – podsumowują badacze.