Deezer rileva l’umore musicale di una canzone con l’AI

I ricercatori di Deezer – la piattaforma di musica in streaming – hanno sviluppato un sistema di intelligenza artificiale in grado di associare determinate canzoni con stati d’animo e intensità dell’umore. Lo studio è descritto in un articolo intitolato “Music Mood Detection Based on Lyrics with Deep Neural Net”, il cui pdf è reperibile qui.

Come si determina l’umore di una canzone

Per determinare l’umore musicale di una canzone, il team ha considerato sia il segnale audio che i testi. Per iniziare, hanno alimentato segnali audio in una rete neurale, insieme a modelli che ricostruiscono i contesti linguistici delle parole. Quindi, per insegnare come determinare il mood di una canzone, hanno usato il Million Song Dataset (MSD), che è una raccolta di metadati per oltre 1 milione di canzoni contemporanee. In particolare, hanno utilizzato il set di dati di Last.fm, che assegna gli identificatori alle tracce di oltre 500.000 tag unici. Molti di questi tag sono legati all’umore e oltre 14.000 parole inglesi di questi tag hanno ricevuto due valutazioni in scala correlate a quanto è negativa o positiva una parola e anche quanto calma o energica è una parola, al fine di addestrare il sistema.

Il Million Song Database contiene solo i metadati delle canzoni, non le canzoni stesse, quindi il team ha poi associato tutte queste informazioni al catalogo di Deezer utilizzando identificatori come titoli di canzoni, nomi di artisti e titoli di album. Circa il 60 percento del set di dati risultante (18.644 brani) è stato utilizzato per addestrare l’intelligenza artificiale, mentre il resto è stato utilizzato per convalidare e testare ulteriormente il sistema.

Deezer studia come musica, testi e umore siano correlati

Alla fine, i ricercatori hanno concluso che l’intelligenza artificiale era più in grado di rilevare quanto una canzone fosse calma o energica in maniera migliore degli approcci tradizionali che non usavano l’intelligenza artificiale e i risultati sono apparsi affini anche quando si è trattato di scoprire se una canzone fosse positiva o negativa. “Sembra che questo guadagno di prestazioni sia il risultato della capacità del nostro modello di svelare e utilizzare correlazioni di medio livello tra audio e testo, in particolare quando si tratta di prevedere la valenza”, hanno scritto i ricercatori nel documento citato.

Nel documento si sottolinea che per sfruttare al meglio questo lavoro, un “database con testi e audio sincronizzati sarebbe di grande aiuto per andare oltre”. Se esistesse un database di questo tipo, il team crede che potrebbe determinare con più precisione l’ambiguità nell’umore delle tracce, in quanto “in alcuni casi, può esserci una variabilità significativa tra gli ascoltatori” (le persone potrebbero non essere sempre d’accordo sul fatto che una canzone sia positiva o negativa, per esempio). In definitiva, i ricercatori ritengono che questo tipo di lavoro sia visto come un modo per approfondire il modo in cui la musica, i testi e l’umore sono correlati, così come la possibilità di avere modelli di apprendimento profondo in grado di selezionare e trovare dati senza tag in grande quantità.

Le cose sono andate lontano da quando per la prima volta Deezer ha tentato di usare l’intelligenza artificiale per fare ordine nella musica. L’anno scorso, al festival Sónar era stata lanciata una sfida per rispondere alla domanda: “quando un utente è a casa, come possiamo rilevare il contesto in cui ascolta la musica in streaming e raccomanda la musica di conseguenza?” Deezer potrebbe teoricamente utilizzare questo tipo di machine learning in futuro per ordinare e catalogare automaticamente la musica, non solo con i metadati di base, come il nome dell’artista o il genere musicale, ma anche qualcosa di più sfumato come l’umore.