Badacze chcą wiedzieć, co nas porusza w muzyce. Pomoże uczenie maszynowe. Skorzystają… Hollywood i terapeuci?

O tym, że muzyka na nas działa, wiemy doskonale. Potrafi wprawić w dobry nastrój i doprowadzić do łez, uspokajać albo działać na nerwy. Ale nie tylko rezonuje z naszym samopoczuciem. Jest też „wzmacniaczem” przekazu w filmach, reklamie itd.

Naukowcy z Uniwersytetu Południowej Kalifornii postanowili sprawdzić, co w muzyce decyduje o tym, że działa na nas tak, a nie inaczej. Wykorzystali do tego uczenie maszynowe.

Preludium dla sztucznej inteligencji

Zaczęło się od zbierania materiału do badań. Naukowcy potrzebowali piosenek – smutnej i wesołej. W tym celu przeszukali internetowe serwisy z muzyką i fora dyskusyjne, by znaleźć piosenki oznaczone tagami „smutny” i „wesoły” lub ich synonimami. Chcieli zmniejszyć prawdopodobieństwo, że uczestnicy badania znali utwory wcześniej, więc postanowili wyłowić z sieci niszowe dzieła z małą liczbą odtworzeń.

Adres filmu na Youtube: https://www.youtube.com/watch?v=SDezzDQVy6M

Powstała wstępna lista 120 utworów – 60 wesołych i 60 smutnych (nie, nie znamy playlisty). Ich fragmenty dano do przesłuchania ośmiu osobom, których zadaniem była ocena, jakie emocje odczuwają w związku ze słyszaną muzyką. W przypadku 27 utworów przynajmniej 6 z 8 osób było w tej sprawie zgodnych – te piosenki trafiły z kolei do ankiety internetowej. Jej uczestnicy mieli za zadanie ocenić, jakie emocje czuli, słysząc utwór (smutek, szczęście, spokój, irytację, nudę). W rezultacie wyłoniono trzy utwory: krótki smutny, długi smutny i krótki wesoły.

Adres filmu na Youtube: https://www.youtube.com/watch?v=bmdFmmyXlQk

Naukowcy dysponowali zatem utworami, co do których istniał pewien konsensus, że są smutne lub wesołe. Czas na właściwe badanie.

Adres filmu na Youtube: https://www.youtube.com/watch?v=42KftJh7LfI

Partytura z emocji

Utwory zaprezentowano grupie stu osób. Część uczestników była w tym czasie podłączona do aparatury badającej aktywność mózgu, u innych badano tętno i przewodnictwo skórne (reakcja skórno-galwaniczna – badanie zmian oporu elektrycznego skóry pod wpływem potu).

Dodatkowo piosenki zostały przeanalizowane sekunda po sekundzie po kątem 74 właściwości, jak dynamika, barwa dźwięku, harmonia czy rytm.

Wszystkie te dane wykorzystano do wyszkolenia modeli uczenia maszynowego. Ich zadaniem było znalezienie zależności między zawartością utworu a fizjologiczną reakcją organizmu, a dokładniej – określenie, które z kilkudziesięciu właściwości należy obserwować, by przewidzieć reakcję organizmu. Pozwoliłoby to na przewidzenie, jak dany utwór będzie działał na osobę, która go słucha.

Okazało się na przykład, że barwa dźwięku (czyli natężenie średnich i wysokich częstotliwości), głośność i wyrazistość rytmu w smutnych piosenkach mają wpływ na aktywność mózgu. Z kolei barwa, złożoność, wyrazistość rytmu i przewidywalność tonacji są skorelowane ze zmianami tętna.

Solo na słuchaczu

Badacze liczą na to, że ich praca w przyszłości pozwoli na stworzenie potężnych modeli uczenia maszynowego zdolnych przewidzieć, jak jakiś utwór będzie działał na naszą psychikę i jakie wywoła reakcje w naszym organizmie.

Praktyczne zastosowania? Muzyka komponowana z myślą o konkretnym słuchaczu, dostosowana do jego upodobań, muzyka sugestywnie wywołująca konkretne emocje, wreszcie muzyka jako wsparcie dla psychoterapii.

• emocje
• mózg
• muzyka
• Uniwersytet Południowej Kalifornii