Progettazione e realizzazione di un ambiente per l’estrazione automatica di “sentiment” da contenuti multimediali

L’obiettivo di questo capitolo è quello di descrivere il lavoro svolto per decodificare il mood contenuto all’interno di una canzone, adattando gli approcci esistenti nell’ambito della classificazione musicale di cui si è parlato nei capitoli precedenti.
Per quanto riguarda la descrizione del mood, tra i diversi modelli di rappresentazione, è stato scelto, in accordo ai più recenti studi allo stato dell’arte, di mappare gli stati emotivi utilizzando la rappresentazione spaziale a due dimensioni proposta da Russell.
Data la scelta precedente si adotterà un approccio di apprendimento supervisionato, in particolare si andrà a definire il problema in termini di Regressione. Questa scelta ci permette di svincolarci dalle classi semantiche e di stimare soltanto due valori per ogni canzone in modo da individuare un punto nel piano di Russell.
Saranno confrontati diversi algoritmi, tutti disponibili in Weka Data Mining, quali: LinearRegression, RBFREgression e AdditiveRegression.
Il processo di valutazione è stato effettuato utilizzando una Cross-Validazione basata su 10 folds per la suddivisione dei dati in train-set e test-set.
Nella Figura 51, è presentato uno schema dell’approccio che sarà utilizzato. Il metodo, in accordo con la letteratura, è diviso in 4 componenti principali:
• Recupero del DataSet.
• Estrazione delle Features dall’Audio.
• Filtraggio delle Features, Training e Classificazione.
• Valutazione.

Il processo di apprendimento è tipicamente basato su degli esempi, per cui la prima fase consiste nel recupero del dataset in cui i diversi brani musicali siano già stati annotati con il corrispondente valore di Arousal e Valence. Una descrizione dettagliata del dataset utilizzato sarà fornita nella sezione 4.2 di questo capitolo. Successivamente nella sezione
4.3 si darà una breve descrizione del set di feature utilizzato nei diversi esperimenti. Andremo poi ad applicare le tecniche di regressione precedentemente descritte nella sezione 4.4.
Scelto il software di estrazione ed il set di feature nonché l’algoritmo di regressione che permette di ottenere i risultati migliori si passerà alla fase di Valutazione di cui parleremo nella sezione 4.5. In ultimo nella sezione 4.6 si parlerà del prototipo applicativo realizzato.

Recupero del DataSet
La prima fase del nostro lavoro consiste nel recupero del dataset in cui i diversi brani musicali siano già stati annotati con il corrispondente valore di Arousal e Valence.
La scelta del dataset da utilizzare è un attività cruciale per la buona riuscita del progetto, scegliere male il dataset potrebbe compromettere i risultati.
Le annotazioni sono tipicamente effettuate da persone tramite un’apposita interfaccia di cui in Figura 52 è riportato un esempio. Gli ascoltatori facendo scivolare la sfera (mostrata in marrone) da sinistra a destra indicano il mood attuale del brano che stanno ascoltando.
È importante inoltre, per una buona qualità delle annotazioni, spiegare agli ascoltatori il significato della grandezza che stanno misurando, in Figura 52 è riportata una breve descrizione di Valence.