- Dzięki nowym narzędziom sam łatwo pokolorujesz czarno-białe fotografie
- Sieć neuronową wytrenowano na milionie obrazów
- Artyści z niechęcią odnoszą się do nowej technologii
Naukowcy z firmy Nvidia pokazali, że można szybko i precyzyjnie zabarwić pełnometrażowe, czarno-białe filmy. Do tej pory sztuczna inteligencja używana była do kolorowania monochromatycznych zdjęć.
Klatka po klatce
Zohar Ron, fotograf i reżyser clipów muzycznych w 2016 roku użył wyszkolonej sieci neuronowej do przekształcenia czarno-białego ujęcia z „Dyktatora”, filmu Charliego Chaplina. Odtworzył w pełnym kolorze jedną z najbardziej popularnych scen. W ujęciu tym dyktator Adenoid Hynkel (Adolf Hitler) w swoim gabinecie zaleca się do globusa, który jest rekwizytem symbolicznym. Zdegradowana do piłki plażowej kula ziemska daje mu niezłą zabawę i przedstawia jego zaślepienie władzą. Dyktator żongluje symbolicznym światem, kopie i przetacza go, a nawet podbija rekwizyt lędźwiami, leżąc na swoim biurku.
Zachwycony możliwościami uczącej się sieci podobną technikę Zohar zastosował później w teledysku do piosenki Lucasa Grahama pt. „7 years”. Algorytm, którego użył, został stworzony przez zespół Richarda Zhanga, doktora z Uniwersytetu w Berkeley, od roku pracownika naukowo-badawczego w Adobe Research. Metoda daje dość realistyczne efekty.
– Proponujemy podejście głębokiego uczenia się do kolorowania obrazów, sterowanego przez użytkownika. System bezpośrednio odwzorowuje obraz w skali szarości wraz z nielicznymi „wskazówkami” użytkownika. (…) Program pomaga szybko tworzyć realistyczne kolory i poprawiać jakość barwienia – opisuje metodę swojego zespołu dr Zhang w pracy pt. „Kolorowanie obrazu za pomocą wskazówek użytkownika w czasie rzeczywistym„.
Adres filmu na Youtube: https://www.youtube.com/watch?v=eL5ilZgM89Q
Źródło: YouTube
Apka jak farby
Wyuczona na milionie obrazów maszyna automatycznie koloruje monochromatyczne zdjęcia. Klasyfikuje obiekty w obrazie i ustawia odpowiedni kolor dla każdego z nich. Model wprowadzono do komercyjnej aplikacji o nazwie Algorithmia.
Podobną metodę wypracował Amir Avni, pasjonat algorytmów i uczenia maszynowego. Zaprojektował tzw. ColorizeBot. Aplikacja pozwala na zabarwianie nie tylko zdjęć, ale i filmów. Niestety nie jest precyzyjna i czasem nie działa. Kilka innych przykładów kolorowania filmów z użyciem sieci neuronowych prezentuje LULU xXX, youtuberka i artystka, „upiększająca” teledyski za pomocą sztucznej inteligencji.
Do kolorowania klipów LULU wykorzystuje sposób wymyślony przez naukowców Satoshi Lizukę, Edgara Simo-Serry i Hiroshi Ishikawę z Uniwersytetu Waseda w Japonii. Naukowcy twierdzą, że opracowana przez nich w 2016 roku metoda może przetwarzać obrazy o dowolnej rozdzielczości, w przeciwieństwie do większości istniejących podejść opartych na sieciach neuronowych.
Adres filmu na Youtube: https://www.youtube.com/watch?time_continue=6&v=ys5nMO4Q0iY
Źródło: YouTube
Gigant wkracza do gry
Do intensywnej pracy zabrali się ostatnio inżynierowie z Nvidii. To jeden z największych na świecie producentów procesorów graficznych i układów scalonych. Ich nowy algorytm oparty na głębokim uczeniu pozwala pokolorować jedną klatkę w scenie, a sztuczna inteligencja zajmuje się resztą całej sekwencji ujęcia w czasie rzeczywistym.
„Teraz kolorowanie pełnego wideo można łatwo osiągnąć, wskazując kolory w nielicznych miejscach i tylko w kilku kluczowych klatkach” – opisuje Sifei Liu, pracownica naukowo-badawcza z Nvidii. Ucząca się sieć neuronowa wnioskuje, jakie kolory powinny być odpowiednie dla danego obiektu i wypełnia kolorem pozostałe klatki. Korzystając z procesorów graficznych Nvidia Titan XP , Liu i jej współpracownicy wytrenowali hybrydową sieć na setkach filmów z wieloma zestawami danych, aby uzyskać pożądane kolory w HDR (obraz o zakresie jasności porównywalnej do zakresu jasności widzianego przez człowieka przyp. red.).
Liu mówi, że wykorzystanie różnych typów sieci neuronowych przyspiesza pracę i może osiągać zadowalające wyniki w czasie rzeczywistym.
„Obrazy mają mniej artefaktów, a kolory są bardziej żywe” – mówi Liu.
Czas się nie liczy
Fachowcy, którzy zajmują się rekonstrukcją, digitalizacją i postkoloryzacją starych filmów pełnometrażowych są sceptyczni wobec przywołanych metod. Nie widzą większych szans na zastosowanie nowej technologii w swojej pracy.
– Postkoloryzacja to raczej rzemiosło, niż sztuka. Ponadto, to skomplikowany proces, angażujący twórców i współtwórców danego obrazu. Chodzi o ich artystyczną wizję. Tu nie chodzi o czas, można siąść nad filmem i pokolorować go w dwa dni za pomocą dostępnych narzędzi. Ale to od człowieka zależy, czy operator dogaduje się z kolorystą, czy ich wizje są spójne. Ja mam podejście analogowe do tego tematu. Sytuacja, kiedy algorytm koloruje film, jest dla mnie nie do przyjęcia – mówi Edyta Krajewska z działu produkcji filmowej i rekonstrukcji filmów najstarszego polskiego Studia Filmowego Kadr w Warszawie.
W zakładzie postprodukcji Kadru, gdzie kierownikiem jest Tomasz Drwal, pokolorowano w kilku ostatnich latach ponad 60 filmów. Jednym z ostatnich jest „Perła w koronie”, film Kazimierza Kutza z 1972 roku. Oryginał był kolorowy, ale czas wytrawił dawną świeżość barw, poza tym nie wszystkie mogła „udźwignąć” taśma jako nośnik. Podczas konwertowania wersji analogowej filmu na cyfrową niektóre kolory poprawiono. Tak zresztą chciał Wiesław Zdort, operator filmowy, prywatnie przyjaciel Kutza, którego reżyser wskazał jako konsultanta prac. Zmarł niecały miesiąc po nim.
– Przy digitalizacji wykonaliśmy korekcję barwną. Chodziło o wskazane przez Wiesława Zdorta detale, jak kolor cegieł śląskich kamienic, kolor framug okien. Taśma nie zachowała tych kolorów tak, jak wyglądały w rzeczywistości – wyjaśnia Tomasz Drwal. Proces związany z postprodukcją „Perły w koronie”, łącznie z digitalizacją filmu, trwał trzy tygodnie. Czas nie jest tu jednak czynnikiem istotnym. Liczy się efekt.
To człowiek wie
– Doba cyfryzacji, praca na negatywie i jego cyfrowej kopii dają dużo możliwości. Możemy ją tak przygotować, żeby wybuchła nową kolorystyką. (…) Ale to człowiek jest nauczycielem, to operator czy reżyser wiedzą, jakiego koloru był w filmie fotel, jaki makijaż miała aktorka, czy jej sukienka była bladoróżowa czy łososiowa. To wszystko bardzo istotne rzeczy, połączone z artystyczną wizją twórców. SI póki co, to uczące się dziecko i długo jeszcze nie zastąpi kolorystów w pracy. Myślę, że w tej kwestii zawsze potrzebny będzie człowiek – uważa Drwal.
Nowy algorytm oparty na głębokim uczeniu pozwala pokolorować jedną klatkę w scenie, a sztuczna inteligencja zajmuje się resztą całej sekwencji ujęcia w czasie rzeczywistym
Zdanie to podziela filmowy odtwórca roli Jasia aktor Olgierd Łukaszewicz. To dzięki jego determinacji film uzyskał cyfrową wersję.
– Zarówno ja, jak i Kazmierz Kutz byliśmy zachwyceni nową jakością filmu. (…) Przy takiej pracy, jak postkoloryzacja, obecnych jest wiele myśli operatora kamery i reżysera. Uważam, że nie jest możliwe, aby wykonać ją wyłącznie z użyciem komputera – stwierdza w rozmowie z nami Łukaszewicz.