Nowatorski system pozwala śledzić ruchy skrzypka i tak je korygować, by grał coraz lepiej.
Détaché, martelé, spiccato, ricochet, sautillé, staccato i bariolage to niektóre z nazw pociągnięć smyczkiem po strunach skrzypiec. To z tych ruchów rodzi się dźwięk i jego ekspresja.
David Garrett, uznawany za obecnie najlepszego skrzypka na świecie, wyćwiczył te gesty do perfekcji. Ale mimo wirtuozerii nadal uczy się grać.
Predyspozycje Garretta objawiły się, gdy był przedszkolakiem. Skrzypek pochodzący z Niemiec w wieku pięciu lat, po roku indywidualnej nauki, wygrał swój pierwszy konkurs. Jako jedenastolatek grywał już na stradivariusie podarowanym mu przez Richarda von Weizsäckera, ówczesnego prezydenta Niemiec.
Jednak sam talent to nie wszystko. Trzeba dobrych nauczycieli. Jako dorosły już wirtuoz muzyki klasycznej oraz showman na koncertach, gdzie gra utwory rozrywkowe, Garrett za naukę w prestiżowej nowojorskiej szkole Julliard School Of Music pod okiem m.in. słynnych Itzhaka Perlmana czy Erica Ewazena zapłacił 28 tysięcy dolarów.
Hiszpanie biorą byka za rogi
Ech, zejdźmy na ziemię… Gdyby tak chociaż można było podczas ćwiczeń dosłownie zobaczyć, jak nasze ruchy przekładają się na dźwięk. I dzięki tej analizie poprawić na przykład ułożenie ręki czy szerokość gestu.
Teraz wysiłki nauczycieli i uczniów może wspierać nowa technologia, oparta na uczeniu maszynowym. David Dalmazzo i Rafael Ramirez z Laboratorium Nauki Muzyki i Maszyn w Music Technology Group (MTG) na Uniwersytecie Pompeu Fabra w Barcelonie opracowali nowatorski system, w którym pierwsze skrzypce gra sztuczna inteligencja.
Głównym celem projektu jest przekazanie uczniom informacji zwrotnych w czasie rzeczywistym, a także umożliwienie im porównania ich osiągnięć z grą mistrzów instrumentu z Royal College of Music w Londynie, na przykład najlepszej brytyjskiej skrzypaczki prof. Madeleine Mitchell.
Adres filmu na Youtube: https://www.youtube.com/watch?v=SSyWSEhbKzw
Źródło: Universitat Pompeu Fabra – Barcelona / YouTube
W co grają inżynierowie
Do wychwycenia danych o ruchach skrzypka i wydawanych przez instrument dźwiękach naukowcy zastosowali systemy używane przy produkcji gier komputerowych (tzw. motion capture), systemy sensorów przesyłających dane o ruchu i dźwięku przez Wi-Fi, czujniki wychwytujące prędkość i pozycję smyczka, instrumentu, palców naciskających struny, napięcie poszczególnych mięśni i ich aktywność elektryczną w dłoni, nadgarstku, palcach i ręce prowadzącej smyczek.
Odczyty ruchów umożliwił m.in. system detekcji Microsoft Kinect, sensory R-IoT, a także odpowiedni „strój”: opaska Myo, bransoletka złożona z zestawu czujników do przewidywania ruchu w oparciu o skurcze mięśni i gesty, oraz elektromiograf (do badania czynności elektrycznej mięśni).
„Nagraliśmy ruch i dane dźwiękowe odpowiadające siedmiu reprezentatywnym technikom smyczkowania wykonanym przez profesjonalnego skrzypka. Uzyskaliśmy informacje o ruchu bezwładnościowym z prawego przedramienia i zsynchronizowaliśmy je z nagraniami audio” – opisują ten etap badań Ramirez i Dalmazzo.
Pokaż, co umiesz
Następnie badacze wyszkolili system w procesie uczenia maszynowego do automatycznej identyfikacji różnych technik gry na skrzypcach przy jednoczesnym określaniu parametrów dźwięku. Model może zidentyfikować wspomniane na początku techniki z dokładnością do 94 procent.
Teraz wystarczy urządzenie typu Microsoft Kinect, komputer z ekranem i platformą TELMI. Stosuje ona m.in. technologie detekcji SkyNote, które analizują ruch i dźwięk wykonawców w czasie rzeczywistym, współpracując z mikrofonami, kamerami i czujnikami śledzenia ruchu. Przetwarza i analizuje dźwięk, dając informację zwrotną na temat wysokości i intonacji, dynamiki, jakości dźwięku i rytmu.
Do wychwycenia danych o ruchach skrzypka naukowcy zastosowali między innymi systemy używane przy produkcji gier komputerowych (motion capture)
Wirtualny profesor muzyki może być wyświetlany na ekranie w postaci różnych niestandardowych widgetów. System może monitorować specyficzne aspekty techniki, w tym pochylenie smyczka, prędkość, nacisk, punkt kontaktu i kierunek. Pokaże, co w danym momencie poprawić, żeby technika smyczkowania była bliska ideałowi.
Ale to nie wszystko. „Nasze odkrycia zostały już uogólnione na inne instrumenty muzyczne i mogą być stosowane w edukacji muzycznej” – twierdzi Rafael Ramirez.
Zestroić Barcelonę, Genuę i Londyn
Projekt TELMI (Technology Enhanced Learning of Musical Instrument Performance), wsparty przez Unię Europejską w ramach programu Horyzont 2020, trwał trzy lata. Jego rozwiązania – jak zapewniają twórcy – mogą być wykorzystane na każdym poziomie nauczania gry na instrumencie.
Adres filmu na Youtube: https://www.youtube.com/watch?v=Sh5vegBExY4&feature=youtu.be
Oprócz uniwersytetu z Barcelony zaangażowani byli m.in. inżynierowie z miejscowej firmy Saico Intelligence, naukowcy z uniwersytetu w Genui (to tu w 1782 roku urodził się skrzypek o niedoścignionych umiejętnościach Niccolo Paganini – patrz ramka poniżej) oraz muzycy z londyńskiego Royal College of Music. Nagrania muzyczne z wykorzystanymi danymi pochodziły właśnie z Londynu. Obecnie właśnie tam system jest już wdrożony, by wspierać nauczycieli i uczniów.
A zatem – smyczki w dłoń! Jeszcze zdążymy się podszkolić przed jesienną trasą koncertową Garretta.
Uczeń diabła
Włoski skrzypek, gitarzysta oraz kompozytor Niccolò Paganini jest po dziś dzień zagadką dla muzycznego świata.
Jego technika gry nie miała sobie równych. Wśród hipotez dotyczących jego diabelskiej zręczności były teorie o wklęsłym obojczyku, co miałoby umożliwiać artyście lepsze utrzymanie skrzypiec, oraz nadrozwój palców (tzw. zespół Marfana, objawiający się „pajęczymi” palcami). Mówiono o innej budowie dłoni, dziwnym prowadzeniu smyczka, specjalnym strojeniu skrzypiec, a nawet o zaprzedaniu duszy diabłu w zamian za wirtuozerskie umiejętności. Wprowadził nowy, stosowany do tej pory „chwyt Paganiniego”.
Jego biografia została w 2013 roku sfabularyzowana we włosko-niemieckim filmie pt. „Paganini – uczeń diabła”, z Davidem Garrettem w roli głównej.