boek

Stel dat uw favoriete boek een muziekstuk was. Hoe zou het dan klinken? Wetenschappers brengen het antwoord op die vraag een stukje dichterbij met TransPose: een programmaatje dat literatuur vertaalt in muziek.

TransPose is het werk van onderzoeker Saif Mohammad en programmeur Hannah Davis. Mohammad ontwikkelde een database met daarin 14.000 woorden die met een bepaalde emotie geassocieerd werden. Een woord als ‘tranen’ wijst bijvoorbeeld op de emotie ‘droevig’, terwijl een woord als ‘taart’ weer wijst op de emotie ‘blij’. In samenwerking met Davis ontwikkelde Mohammad vervolgens een algoritme dat op basis van die associaties een muziekstuk kan creëren.

Drie stappen
“Ons systeem – dat we TransPose noemen – genereert muziek middels het gebruik van emotioneel geladen woorden in een roman,” zo schrijven Davis en Mohammad in dit paper. “Dat gebeurt in drie stappen. Eerst analyseert het programma de tekst en genereert een emotie-profiel. Dat profiel is simpelweg een verzameling van verschillende statistieken omtrent de aanwezigheid van emotioneel geladen woorden in de tekst. Vervolgens genereert het systeem op basis van dat profiel waarden voor het tempo, de octaaf, noten en sequentie van de noten. Die waarden worden aan JFugue – een opensource Java API voor het programmeren van muziek – toevertrouwd en dat programma genereert een passende melodie.”

Peter Pan
Zo creëerden Davis en Mohammad bijvoorbeeld een melodie die de emoties in het verhaal van Peter Pan laat horen. Kortere noten komen hierbij overeen met delen in het verhaal met een grote emotie-dichtheid. En hoe meer emoties er spelen, hoe groter de dissonantie.

En meer
Datzelfde deden ze ook voor The Adventures of Sherlock Holmes en Alice in Wonderland en het heftige Lord of the Flies.

Verbetering
De onderzoekers erkennen dat er nog genoeg ruimte is voor verbetering. Zo zouden ze in de toekomst ook de mate van activiteit van de personages in boeken in de muziek terug willen horen. “En men kan zelfs niet-emotionele kenmerken van de tekst in muziek verwerken. Zo kunnen terugkerende karakters of locaties in een boek aangegeven worden met terugkerende motieven.”

Het is niet ongebruikelijk dat onderzoekers informatie omzetten in geluid. Eerder lieten onderzoekers al horen hoe informatie over dromen, zonnestormen en smeltende gletsjers klinkt. Sonificatie – zoals het omzetten van data in muziek met een mooi woord heet – is heel nuttig. Want door te ‘luisteren naar data’ kunnen onderzoekers soms dingen ontdekken die ze door het kijken naar data over het hoofd zagen.