Czy chcielibyście przeczytać „mrożącą krew w żyłach” historię o roślinie doniczkowej i mikrofalówce, a może zabawną opowieść o psie i ciastku? Takie bajki pisze algorytm. Maszyna może napisać bajkę o wszystkim, co znajduje się na wskazanych zdjęciach, o ile rozpozna takowe obiekty
Za projektem stoi duński creative coder Andreas Refsgaard. W zaprezentowanym przez siebie portfolio artysta z Kopenhagi stworzył bajki o psach, ludziach czy przedmiotach codziennego użytku. Swój projekt nazwał fAIry Tales.
– Algorytm analizuje obrazy przedmiotów codziennego użytku i tworzy listę wykrytych obiektów np. osoby, klawiatury i monitora telewizyjnego. Z tej listy powstaje tytuł bajki np. „historia osoby, klawiatury i monitora telewizyjnego”, a do tekstu dodaje się sformułowania typowe dla bajki rozpoczynające się np. od słów „dawno, dawno temu” – tłumaczy nam Andreas Refsgaard. Następnie system kontynuuje historię zgadując, jakie słowa i zdania najprawdopodobniej nastąpią lub powinny nastąpić.
– Każda bajka jest wyjątkowa i nieprzewidywalna, jednak tytuł i początek opowieści mają określoną przeze mnie strukturę. Tytuł jest bezpośrednią konsekwencją wykrytych obiektów: jeśli na obrazie algorytm wykryje dwa jabłka i banana, to tytuł automatycznie zmieni się w „Historia dwóch jabłek i banana”. To jest moja próba sterowania algorytmem w pożądanym kierunku. Aby stworzyć bajkowe historie, zasilam model XLNet predefiniowanymi ciągami tekstu, które sam napisałem, na przykład: „Dawno, dawno temu” lub „W odległej krainie” – tłumaczy Refsgaard. W ten sposób początkiem historii może być zdanie: „W odległej krainie żyły dwa jabłka i banan”. Aby uczynić tę historię bajką, autor zasila algorytm dodatkowymi słowami, takimi jak „legenda”, „pewnego dnia”, „klątwa”, aby rozpocząć opowieść, spróbować sprowokować pełną przygód kontynuację przez algorytm.
To, co dzieje się po zdaniu otwierającym, jest wynikiem działania algorytmu, który próbuje przewidzieć, które słowa i zdania są najbardziej prawdopodobne. – Podaję tytuł + kilka pierwszych zdań, a XLNet kontynuuje moją bajkę. Algorytm jest w stanie to zrobić, ponieważ został przeszkolony na ogromnym korpusie tekstów z BookCorpus, Wikipedii i innych źródeł – dodaje artysta.
Zazwyczaj XLNet przy podanych odpowiednich wytycznych nawet jeśli przejmuje kontrolę nad pisaniem bajki, to stara się ją dokończyć w odpowiedniej narracji stylistycznej, bajkowej strukturze znanej nam z podobnych dzieł poetyckich czy baśni, wykorzystując zawarte w obrazach opisy obiektów.
Do wykrywania obiektów wykorzystywany jest algorytm YOLOv3, który może rozpoznać 80 kategorii zwykłych przedmiotów np. osoba, filiżanka, piekarnik, kot, monitor telewizyjny itp.
Podaję tytuł + kilka pierwszych zdań, a XLNet kontynuuje moją bajkę. Algorytm jest w stanie to zrobić, ponieważ został przeszkolony na ogromnym korpusie tekstów
Jeśli pokażemy mu obraz bez żadnego przedmiotu, najprawdopodobniej niczego nie wykryje, a zatem nie zostanie utworzona żadna historia. Ale niekoniecznie. Czasem algorytm idzie za ciosem i tworzy bajki bez kompletnego sensu. Nie mogąc rozpoznać np. różnic pomiędzy jabłkiem a gruszką, misiem a psem lub co gorsza pomiędzy filiżanką z kawą a toaletą, nadal będzie generował historię, ale z irracjonalnymi efektami ubocznymi. To może być zabawne, ale artysta twierdzi, że stara się, aby w większości przypadków historie wykorzystywały poprawne klasyfikacje obiektów.
Projekt jest eksploracją pewnej komputerowej fikcji pisarskiej i może być postrzegany jako kontynuacja dwóch wcześniejszych projektów Refsgaarda: Wiersze o rzeczach, które konstruują dziwaczne zdania na temat obiektów widocznych w kamerze użytkownika i BooksBy.Ai, czyli księgarni internetowej, która sprzedaje powieści science fiction generowane przez sztuczną inteligencję.
Choć artyście, a w zasadzie jego algorytmowi daleko do La Fontaine’a czy Krasickiego, to projekt fAIry Tales i tak okazał się sporym sukcesem. Tam, gdzie np. BooksBy.Ai koncentrowało się na tworzeniu tekstów science fiction, które nie do końca miały jakikolwiek sens, w przypadku bajek fAIry Tales udaje się tworzyć bardziej spójne linie fabularne i zdania, chociaż często pojawiają się zaskakujące i absurdalne narracje z powodu próby stworzenia przygód o nudnych z pozoru przedmiotach. Jak zapewnia Andreas Refsgaard to nie jest jego ostatnie słowo, zatem czekamy na kolejne projekty.