Proste sieci neuronowe można symulować nawet na domowym komputerze, bardziej złożone wymagają już wielkich superkomputerów. A co, gdyby można było je zmieścić w kieszeni?
Zespół naukowców z University of Waterloo w Kanadzie opracował nowy rodzaj sieci neuronowych, znacznie mniejszych od obecnie wykorzystywanych w uczeniu maszynowym. Sieci, nazwane przez wynalazców AttoNet, można wykorzystać do klasyfikacji obiektów na zdjęciach, ale można też, niczym z klocków, składać z nich większe sieci do bardziej wymagających obliczeniowo zadań. Przede wszystkim jednak niewielki rozmiar sieci pozwoli na ich uruchamianie na procesorach o mniejszej mocy obliczeniowej, na przykład w smartfonach, na tabletach, czy w autonomicznych pojazdach.
Małe i sprawne
„Problem z obecnymi sieciami neuronowymi polega na tym, że są budowane ręcznie i są niewiarygodnie duże, złożone i trudne do uruchomienia w sytuacjach, jakie spotyka się na co dzień” – wyjaśnia Alexander Wong, szef zespołu i profesor inżynierii projektowania systemów. – „Te [opracowane przez nas] sieci są małe, sprawne i mogą mieć znaczący wpływ na przemysł samochodowy, lotniczy, finanse, rolnictwo i elektronikę użytkową.”
Przeciętna sieć neuronowa wykorzystywana do nauki widzenia maszynowego, czyli rozpoznawania obrazów składa się z kilkuset tysięcy do nawet milionów elementów obliczeniowych symulowanych w komputerach. Badacze dowiedli, że równie skuteczne w klasyfikowaniu obiektów mogą być sieci nawet i dwieście razy mniejsze, składające się z kilku do kilkudziesięciu tysięcy elementów.
Sieci służące do głębokiego uczenia obecnie są projektowane w ciemno i testowane metodą prób i błędów przez ludzi. Sztuczna inteligencja pozwala zoptymalizować ten proces (to technologia generative synthesis) i zamiast trenować sieć tygodniami (albo miesiącami), można ten czas skrócić do kilku dni, co przy swojej pracy wykorzystali naukowcy.
Badacze przedstawili pracę na corocznej konferencji Computer Vision and Pattern Recognition w Long Beach. Zespół pracował nad tym problemem od kilku lat, w 2017 roku udowodnił, że sieci wykorzystywane do widzenia maszynowego można zmniejszyć nawet dwustukrotnie. Sam Alexander Wong najwyraźniej przewiduje spory sukces rynkowy, bowiem jest też założycielem start-upu, który ma skomercjalizować wynalazek.
Mikro-mózgi
Mózgi zwierząt i ludzi od sieci neuronowych różnią się między innymi tym, że nie przetwarzają wszystkiego w jednej wielkiej sieci naraz. Podzielone są na wyspecjalizowane obszary (ośrodki) przetwarzające bodźce wzrokowe, słuchowe, osobno sygnały językowe. Ośrodki mózgu komunikują się ze sobą, ale zachowują odrębność, przetwarzają różne sygnały i pracują często w odmienny sposób. Tego obecnie budowane sieci nie potrafią.
Być może przyszłość należy do sztucznej inteligencji w miniaturze, na przykład w naszych nowych smartfonach. Możliwe też, że mikro-sieci neuronowe będą mogły więcej, niż te duże. Ponieważ „tradycyjne” sieci neuronowe są duże i kosztowne obliczeniowo, trudno połączyć je w większe. Małe sieci łatwiej będzie łączyć ze sobą. A za pomocą mniejszych sieci neuronowych, z których każda będzie przystosowana do przetwarzania różnych rodzajów informacji, będzie można lepiej symulować pracę mózgów.
Przynajmniej tych prostszych zwierząt, bo do złożoności mózgu ludzkiego nawet się nie zbliżamy. Superkomputer SpiNNaker na Uniwersytecie w Manchesterze ma milion rdzeni. Zaprojektowano go, by móc symulować pracę prawdziwych, biologicznych neuronów. Ma pomóc neurobiologom w zrozumieniu pracy ludzkiego mózgu. Niedawno badacze donieśli, że udało się na nim przeprowadzić trwającą dwanaście godzin symulację zachowania aż 77 tysięcy neuronów kory czuciowej.
Jest to znaczące osiągnięcie w symulowaniu pracy neuronów w układach nerwowych. Wcześniejsze symulacje były znacznie skromniejsze, a liczbę symulowanych neuronów ograniczały możliwości obliczeniowe superkomputerów. Jednak nawet osiągnięte przez naukowców z Manchesteru kilkadziesiąt tysięcy neuronów odpowiada zaledwie jednemu milimetrowi kwadratowemu powierzchni mózgu (w całym jest ich kilkanaście miliardów neuronów).
Badacze zbudowali już model kory wzrokowej złożonej z kilku milionów neuronów i zamierzają go przetestować na superkomputerze. Ale między dziesiątkami tysięcy a milionami jest spora różnica. Przed badaczami długa droga. Chyba, że mini-sieci neuronowe okażą się strzałem w dziesiątkę.