Sieć neuronowa przekształca bazgroły w realistyczne pejzaże.
Nvidia kontynuuje eksperymenty z zastosowaniem mechanizmów sztucznej inteligencji do generowania obrazów. Pod koniec zeszłego roku powstało narzędzie, które tworzy fotorealistyczne portrety nieistniejących osób. Teraz firma wykorzystała te same technologie do generowania pejzaży.
Inspirowane Gauguinem
Narzędzie nazywa się GauGAN, od nazwiska impresjonisty Paula Gauguina i skrótu GAN, który oznacza generative adversarial network. GAN składa się z dwóch wzajemnie uczących się sieci neuronowych. Jedna z nich próbuje imitować – w tym przypadku – zdjęcia przyrody, a druga – wykryć imitację.
GauGAN potrafi na podstawie bardzo prostych, schematycznych obrazów, a la rysunki w Paincie, tworzyć szczegółowe, przypominające fotografie, pejzaże.
Interfejs narzędzia rzeczywiście przypomina znany wszystkim MS Paint i pozwala malować po obszarze roboczym jednym z kilkunastu kolorów. Tu podobieństwa się kończą. Do każdego koloru przypisana jest tekstura: niebo, drzewa, woda, kamienie, rośliny, piasek itd. Kiedy nanosimy kolory na wirtualną kartkę papieru, program w czasie rzeczywistym podmienia je na odpowiadające im elementy krajobrazu.
Adres filmu na Youtube: https://www.youtube.com/watch?time_continue=104&v=p5U4NgVGAwg
Źródło: Nvidia / YouTube
Fascynujące jest to, że program potrafi uwzględnić fizyczne cechy poszczególnych elementów. Jeśli „posadzimy” drzewo nad rzeką, to będzie się w niej odbijało. Kamień umieszczony na piasku rzuci cień.
Z dziecięcego szkicu w piękny obraz
„To działa jak książeczka do kolorowania, która opisuje gdzie jest drzewo, gdzie jest słońce, a gdzie niebo. Na tej podstawie sieć neuronowa jest w stanie wypełnić detale i tekstury, odbicia, cienie i kolory w oparciu o to, czego nauczyła się z prawdziwych zdjęć” – mówi cytowany na blogu firmy Bryan Catanzaro, wiceprezes działu praktycznych zastosowań głębokiego uczenia w Nvidia.
Użytkownik może też zastosować do swojego rysunku filtr, który wpłynie na styl wygenerowanego obrazu (od fotorealizmu po impresjonizm) czy zmieni porę dnia.
Choć specjalnością GauGAN są pejzaże, napędzająca program sieć neuronowa jest w stanie wypełnić obraz także innymi elementami, jak budynki, drogi czy ludzie. Twórcy przewidują, że ich narzędzie może posłużyć architektom, planistom, architektom krajobrazu czy twórcom gier komputerowych.