Piksele jak komórki. Aspekty żywej materii zastosowane do martwego kodu. W Poznańskim Centrum Superkomputerowo-Sieciowym powstało dzieło sztuki medialnej
„Zawsze martwe i żywe” (oryginalny tytuł „Always Dead and Alive”), „artystyczna eksploracja interfejsu łączącego życie i technologię”*, to 10-minutowy film cyfrowy w rozdzielczości 8K z dźwiękiem przestrzennym. Jest efektem współpracy artystki z Berlina Theresy Schubert ze światem nowych technologii. O takich właśnie relacjach mówi inicjatywa S+T+ ARTS (STARTS) Komisji Europejskiej i organizowane w ramach sieci Vertigo (patrz ramka) praktyki dla twórców zainteresowanych światem nowych technologii, finansowane z unijnego programu Horyzont 2020. Wybrani artyści tworzą oryginalne dzieła sztuki oparte na technologiach rozwijanych w obrębie konkretnego projektu.
Theresa Schubert postanowiła zajrzeć za kulisy programu Immersify, prowadzonego przez międzynarodowe konsorcjum, którego liderem jest Poznańskie Centrum Superkomputerowo-Sieciowe. Projekt właśnie zmierza ku końcowi. W ramach Immersify (patrz ramka) powstają narzędzia do tworzenia aplikacji medialnych i interaktywnych treści nowej generacji. Mówiąc konkretnie, chodzi o zaawansowaną kompresję filmów, dostosowaną do potrzeb wideo VR. Taka kompresja umożliwia dostarczanie i wyświetlanie plików o ogromnej pojemności (wysoka rozdzielczość, zwiększona liczba klatek na sekundę, poszerzona gama kolorów, większa dynamika i format obrazu). Film „Zawsze żywe i martwe” powstał w ramach projektu, który Schubert nazwała „Immersive Minimalism” („Wciągający minimalizm”).
Doktor sztuki medialnej Theresa Schubert to artystka łącząca własne artystyczne wyobrażenia z niekonwencjonalnymi wizjami natury i technologią. Jej prace były wystawiane m.in. w Ars Electronica Linz, berlińskich Art Laboratory Berlin i KW Institute for Contemporary Art, ARGE Kultur w Salzburgu, w Newcastle Region Art Gallery i Istanbul Biennial.
Automat komórkowy
Projekt „Immersive Minimalism” bada zjawisko postrzegania poprzez tworzenie minimalistycznych scenariuszy wideo. Zespół zastosował wzorce biologicznej samoorganizacji do kodu matematycznego, opisywanego w zerach i jedynkach, ukazując podobieństwa i możliwe powiązania między tym, co organiczne, a tym, co cyfrowe. Do artystycznego tworzenia wciągającego środowiska wykorzystane zostały najbardziej innowacyjne technologie. Organiczne procesy rozwijają się w ramach cyfrowej struktury: wszystkie piksele na ekranie stają się żywe jako pojedyncze oddziaływanie agentów w ramach ustalonej sieci.
Praca artystyczna „Always Dead and Alive” to środowisko wideo 8K pracujące z regułami automatów komórkowych (Cellular AutomatION, CA, Cellular Automata). W zakodowanej architekturze abstrakcyjnych geometrii rozgrywa się sekwencja samogenerujących się wzorów, uzupełniona i wzbogacona o dźwięki. Wciągająca i zmysłowa praca ma na celu stworzenie cyfrowej przestrzeni doświadczalnej w organicznym, audiowizualnym przepływie światła, koloru i brzmień, opartej na matematyce natury.
Źródło: Theresea Schubert (t-resa)
Podczas gdy podstawowy kształt i szkielet wzoru jest definiowany przez artystkę, jego rzeczywisty wygląd, ruch i morfing (płynne przekształcanie obrazu) są tworzone przez same komórki lub piksele w trwającym procesie. „Ciągle na nowo obliczają i dostosowują się do sąsiednich, co prowadzi do ich systematycznej organizacji, a tym samym tworzenia widocznych wzorców. Powstają abstrakcyjne geometrie, mieszają się, przechodzą w nowe, rozpadają się, zanikają i odradzają się w ciągłym przepływie”*. Kształty są nieregularne, ale zawsze przylegają do geometrycznej siatki lub innego rodzaju systematycznej struktury, jak koła lub linie.
Cellular Automation (CA) to zbiór reguł logicznych do modelowania dyskretnych systemów, które składają się z regularnej siatki komórek w przestrzeni dwu- lub trójwymiarowej, podczas gdy rozwój pojedynczej komórki w czasie zależy od stanu otaczających ją komórek sąsiedzkich. Jako pierwszy rozważał taki model John von Neumann (1903-1957), węgierski matematyk, inżynier chemik, fizyk i informatyk, współtwórca teorii gier, teorii automatów komórkowych oraz twórca formalizmu matematycznego mechaniki kwantowej. Włączył go do swojego uniwersalnego konstruktora, samoreplikującej się maszyny, aby przetestować abstrakcyjną symulację fizycznego uniwersalnego asemblera. Chciał pokazać „nie samoreprodukcję per se, ale ewolucyjny wzrost złożoności”, czyli mutację. Od tego czasu CA były badane w celu zrozumienia i symulacji wielu zjawisk fizycznych, chemicznych i biologicznych.
Nôtre Dame XXI wieku
W 1989 roku Rudy Rucker, amerykański pisarz science fiction, matematyk, informatyk, jeden z prekursorów gatunku cyberpunk w literaturze, stwierdził, że obecnie największym zadaniem dla naukowców jest zbudowanie „żywych maszyn: inteligentnego sztucznego życia”. Porównał to zadanie do równie ważnego dzieła, jakim była budowa katedry Nôtre Dame w Paryżu dla średniowiecznych rzemieślników.
– Porównanie to utkwiło mi w głowie – wyznaje Schubert w rozmowie z portalem sztucznainteligencja.org.pl. W przypadku CA zaskakujące jest dla niej to, że prosty zestaw zasad zawsze prowadzi do nowych formacji i skomplikowanych wzorów. Samoorganizują się one w sieci, implementacji masowo równoległego systemu obliczeniowego. Rucker opisał również CA jako oddolne podejście do tworzenia sztucznego życia („artificial life”). CA było „materią”, na której mogła się rozwijać SI: „Jeśli SI jest surferem, CA jest morzem”.
– To, co mnie fascynuje w automacie komórkowym, to jego jednoczesność, ponieważ jak w naturze świat dzieje się w wielu różnych miejscach naraz, a CA oferują bardzo estetyczne doświadczenie tego – wyjaśnia Theresa Schubert. – W moim projekcie „Immersive Minimalism” mam do czynienia ze środowiskiem UHD o rozdzielczości 7680 x 4320 pikseli. Te 33 miliony pikseli to pojedyncze komórki w moim systemie CA i są przeliczane na każdym kroku. Przy wystarczająco dużym wyświetlaczu i odległości od ekranu piksel staje się niewidoczny i zlewa się z większymi obszarami kolorów i gradientami.
Dźwięk organiczny
Wymiar wizualny jest wzmocniony przez ambientowy pejzaż dźwiękowy, który tworzy tajemniczą, wręcz pozaziemską atmosferę. Dźwięk skomponowany został przez Jana Skorupę. To kompozytor, muzyk live electronics, realizator dźwięku, artysta multimedialny, absolwent akustyki na Wydziale Fizyki Uniwersytetu Adama Mickiewicza oraz Kompozycji Elektroakustycznej na Wydziale Kompozycji, Dyrygentury, Teorii Muzyki i Rytmiki w poznańskiej Akademii Muzycznej. Dostarczona przez niego kompozycja oscyluje pomiędzy cechami organicznymi i nieorganicznymi. „Czasami brzmi jak pieniąca się ciecz, bulgocząca woda, zsypujący się piasek, pękające drewno, szeleszczące liście, ludzki oddech i skryte szepty, płynne mieszanie się z dzwoneczkami, metaliczna machina poruszająca się w nieskończoność, otwarta pustka zamieniająca się w pikselową gęstość. Ten pejzaż dźwiękowy opisuje akustycznie płaszczyznę wizualną, w której piksele zachowują się jak komórki, jak organiczne życie oddychające i ewoluujące w środowisku cyfrowym”*.
Głębokie teorie
Adres filmu na Youtube: https://www.youtube.com/watch?v=RyTyiZer9GM&feature=youtu.
Źródło: Telewizja naukowa PIONIER TV (PCSS) / YouTube
– Adaptując Cellular Automata, zestaw zasad często wykorzystywanych do symulacji wzorów w przyrodzie i zachowań fizycznych, połączyłam swoje badania nad ewolucją wzorów w przyrodzie i samoorganizacji form z generatywnym wideo. Zaskakująco złożone zachowania pojawiają się, gdy wszystkie 33 miliony pikseli na ekranie stają się żywe jako indywidualne czynniki oddziałujące w ramach określonej sieci. Po wstępnej fazie badań w zakresie literatury i innych istniejących dzieł sztuki zdecydowałam się przejść do teorii percepcji kolorów, ruchów kształtów i zmian geometrii w oparciu o algorytmy. Łącząc to z teoriami immersji [zanurzania, pochłaniania osoby przez rzeczywistość elektroniczną – przyp. red.], które zawsze oparte są na doświadczeniu somatycznym, chciałam stworzyć duże środowisko przestrzenne – opisuje artystka w raporcie końcowym projektu.
Tryby percepcji
Nad projektem pracowała z programistą z Berlina Jörgiem Reisigiem. We współpracy z zespołem PCSS przetestowała wygląd wideo podczas kilku wizyt w Poznaniu na ich monitorze 8K i dużej ścianie projekcyjnej wideo. Na podstawie tych doświadczeń dokonano poprawek i ulepszeń. Specjalna wersja oprogramowania do kodowania została wykonana przez firmę Spin Digital, aby móc kodować materiał wideo w najwyższej jakości, a jednocześnie mieć możliwość zarządzania rozmiarem danych i szybkością transmisji. Nieskompresowane pliki zostały następnie zakodowane przez PCSS i dopasowane razem z finalną ścieżką dźwiękową.
Praca ta w opinii artystki przyczynia się do wiodącej, innowacyjnej sztuki mediów, szczególnie w dziedzinie instalacji audiowizualnych, sztuki obliczeniowej i kompozycji dźwiękowej. Stanowi też dobre studium przypadku do eksperymentowania z trybami percepcji na dużych ekranach.
Serwerownia to superorganizm
Po kilku wizytach w PCSS i obejrzeniu infrastruktury artystka zafascynowała się ogromnymi serwerowniami.
– Monstrualne betonowe hale z szafami serwerowymi, migającymi diodami LED i ogłuszającym hałasem tworzą bardzo specyficzną atmosferę i postanowiłam zająć się tą przestrzenią – wyjaśnia Schubert.
Opracowała koncepcję około 25-minutowego filmu (tytuł roboczy „Jaskinia”), który zestawia obrazy przestrzeni serwerowych, w których znajduje się zarówno najnowszy superkomputer Eagle, jak i starsze serwery.
Historia opowiedziana w filmie opiera się o wizualne metafory sieci komputerowych, omawianych za pośrednictwem prawdziwej przestrzeni serwerowej superkomputera i lasu jako superorganizmu. Film jest opowiedziany za pomocą różnych programów tekstowo-mówiących. Wyprodukowany przez zespół PCSS odpowiednio w rozdzielczościach 8K i 4K wykorzystuje najnowsze technologie filmowe w połączeniu z laserowymi skanami 3D i komputerowo generowanymi wizualizacjami. Film ten jest obecnie w końcowej fazie postprodukcji i będzie dodatkowym rezultatem pobytu artystki w Poznaniu. Jest ze współpracy z PCSS bardzo zadowolona, a szczególne podziękowania kieruje do Macieja Głowiaka.
Artystyczny zawrót głowy
Praktyki artystyczne S+T+ARTS RESIDENCIES to inicjatywa Komisji Europejskiej, której celem jest pobudzenie nowych synergii między wszystkimi zainteresowanymi stronami: artystami, instytucjami kultury, projektami badawczo-rozwojowymi w zakresie technologii informacyjnych i komunikacyjnych (ICT), firmami, inkubatorami i funduszami. Projekt Vertigo jest działaniem koordynacyjnym, wspieranym przez program Komisji Europejskiej Horyzont 2020. Projekt gromadzi konsorcjum doświadczonych partnerów w dziedzinie współpracy sztuka – nauka, projektowania, badań technicznych i innowacji. Obejmuje międzynarodową sieć instytucji kulturalnych, które będą przekazywać i rozpowszechniać działania we własnych sieciach.
Adres filmu na Youtube: https://www.youtube.com/watch?v=SA1T9J7bXrk&feature=emb_logo
Zanurzenie w wirtualu
Projekt Immersify został zainaugurowany w październiku 2017 r. w Poznaniu i właśnie zmierza ku końcowi. Otrzymał finansowanie ze środków programu Unii Europejskiej Horyzont 2020 i jest realizowany przez europejskie konsorcjum firm i instytucji naukowych, w skład którego wchodzi PCSS, będące liderem projektu. Immersify skupia się na aspektach nowych mediów i wirtualnej rzeczywistości. Przede wszystkim w związku z wyższą rozdzielczością, większą częstotliwością odświeżania i wymaganiami związanymi z VR, niezbędne jest podjęcie prac nad nową technologią kompresji obrazu. Drugą rzeczą jest obsługa różnorodnych urządzeń wyświetlających, począwszy od zastosowań konsumenckich, aż do specjalistycznych instalacji wizualizacyjnych zlokalizowanych w ośrodkach naukowych. Po trzecie, twórcy treści wideo, grafiki komputerowej w wersji zarówno 2D, jak i 3D oraz mechanizmów interaktywnych powinni mieć możliwość łączenia ze sobą różnych technologii w oparciu o narzędzia wypracowane w ramach projektu.
*Fragmenty niniejszego artykułu zostały zaczerpnięte z tekstu koncepcyjnego autorstwa Kristiny von Bülov, zamieszczonego na stronie www.theresaschubert.com