Mechanizmy sztucznej inteligencji nie mogą być dla nas tajemnicą, uważa dr Been Kim z Google Brain. Musimy rozumieć nie tylko ogólne zasady jej działania, lecz także przyczyny decyzji podejmowanych w poszczególnych przypadkach.
W tym celu dr Kim opracowała metodę, która pozwala „przepytać” SI i sprawdzić, jakie czynniki wpłynęły na rezultat końcowy jej działania.
Tajemnice czarnej skrzynki
Sieci neuronowe to zaawansowane modele sztucznej inteligencji. Ze względu na swą skuteczność cieszą się dużą popularnością w tak różnych dziedzinach, jak marketing, pojazdy autonomiczne czy diagnostyka medyczna. Główną przeszkodą w ich stosowaniu jest jednak trudność z wyjaśnieniem mechanizmów, które kryją się za ich działaniem. Sieci neuronowe są zwykle bardzo złożone i charakteryzują się dużą autonomią. Dlatego kłopot ze zrozumieniem ich funkcjonowania mają nie tylko laicy, ale także specjaliści.
Jest to tzw. problem czarnej skrzynki (black box problem). Wiemy, jakie informacje trafiają do systemu; wiemy, co z niego wychodzi. Nie wiemy natomiast, w jaki sposób przebiega sam sposób wnioskowania. To duży kłopot dla użytkowników – szczególnie w dziedzinach, gdzie kryterium podejmowania oceny ma bardzo istotne znaczenie (np. w medycynie).
Algorytmy wzięte na spytki
Dr Been Kim specjalizuje się w tzw. wyjaśnialnych systemach SI (explainable AI). Wraz ze swoim zespołem w Google Brain opracowała system TCAV (Testing with Concept Activation Vectors), który wydobywa z modeli SI informacje, w jaki sposób doszły one do określonego rozwiązania. Na przykład jeśli system uczy się rozpoznawać na zdjęciach koty, użytkownik może sprawdzić, w jakim stopniu za przyporządkowanie obiektu do tej kategorii odpowiada obecność na fotografii pazurów bądź wąsów.
Choć TCAV został stworzony z myślą o rozpoznawaniu obrazów, może być też używany do innych modeli SI, np. tekstowych lub związanych z wizualizacją danych. System pozwala na testowanie wrażliwości danego modelu. Użytkownik, wprowadzając do systemu oznaczone dane, może sprawdzić, czy ich obecność wpływa na jego działanie. Dzięki temu przekonuje się, na ile przypadkowe są korelacje SI, a na ile uwzględnia ona zjawiska istotne z naszego punktu widzenia.
Nie o zaufanie tu chodzi
TCAV ma pomóc w odkryciu potencjalnych błędów w systemach uczenia maszynowego. Doktor Kim podkreśla, że nie chodzi jej o wzbudzanie zaufania do sztucznej inteligencji. Jej celem jest stworzenie bardziej odpowiedzialnych rozwiązań SI.
Adres filmu na Youtube: https://youtu.be/8Bi-EhFPSLk
Źródło: Quanta Magazine / YouTube
„Jeśli system uczenia maszynowego widzi dane pacjenta i twierdzi, że może on mieć raka, powinniśmy mieć możliwość zapytać, dlaczego tak uważa” – przekonuje dr Kim – System zaś powinien być w stanie odpowiedzieć w taki sposób, byśmy mogli go zrozumieć bez konieczności posiadania wiedzy z zakresu informatyki czy uczenia maszynowego.
Obecnie zespół dr Kim pracuje nad metodami interpretacji działania powszechnie stosowanych modeli SI. W przyszłości chce także rozwijać nowe rozwiązania, które od początku będą całkowicie zrozumiałe dla człowieka.