RICONOSCIMENTO SINCERITÀ E SARCASMO NEL PARLATO

CANDITATO: DAVIDE VANOLI

RELATRICE: PROF.SSA FRANCESCA GASPARINI

​

​

Università degli Studi di Milano-Bicocca

20 Febbraio 2023

LICENSE

• This work is marked with CC0 1.0. To view a copy of this license, visit http://creativecommons.org/publicdomain/zero/1.0

2

INDICE

• Dataset usati
• Elaborazione file audio
• Modelli SinA-C
• Modelli DB2
• Conclusioni

3

DATASET

• SinA-C
• lingua inglese
• 912 file audio, 32 soggetti
• valutazione da parte di un team di 22 volontari

​

• DB2
• lingua italiana
• 80 file audio, 4 soggetti
• no valutazione

4

ELABORAZIONE AUDIO

• Estrazione «features» utilizzando openSMILE
• Parametri:
• feature_set : GeMAPS
• feature_level : Functionals, LLDs

​

• Dopo l’estrazione segue la normalizzazione:
• ogni valore x viene sostituito con

​

​

​

• dove µ è la media e σ è la deviazione standard

5

MODELLI SINA-C

• Sono stati messi a confronto tre classificatori: SVM, XgBoost e LSTM

​

• Divisione in dati di training e test effettuata tramite�il metodo del k-fold:
• si partiziona il dataset in k splits
• si effettuano k iterazioni: nell’i-esima iterazione,�lo split i viene assegnato al testing

​

6

Figura 1: k-fold usando 3 splits

PARTIZIONI

• k-fold random
• k-fold random con Speaker Independence (S.I.)
• ogni speaker presente nei dati di training non si ripresenta nei dati di testing e viceversa
• k-fold S.I. con bilanciamento di maschi e femmine negli split
• k-fold S.I solo maschi/femmine
• k-fold S.I. training m, testing f (e viceversa)

​

​

​

​

​

​

MODELLI SINA-C

7

CLASSIFICATORI

• Ogni partizione è stata testata su SVM, XgBoost e LSTM
• Per l’accuratezza si usa l’Unweighted Average Recall (UAR):
• si calcola la matrice di confusione
• si calcola la sensitività

​

​

• si calcola la specificità

​

​

• si fa la media tra le due

​

MODELLI SINA-C

8

Figura 2: Matrice di confusione

MODELLI DB2

• Viste le dimensioni ridotte non si è ritenuto opportuno ripetere gli stessi esperimenti
• Si sono sperimentati algoritmi di Domain Adaptation con XgBoost, vista la similarità tra sincerità e sarcasmo

​

• Per valutare l’efficacia della Domain Adaptation si effettua prima il training su tutto SinA-C e il testing su DB2

​

• Si sperimentano tre algoritmi (KLIEM, KMM, TrAdaBoost), usando come dataset source SinA-C, e effettuando un k-fold con 4 split per dividere DB2 in dati di validation e dati di test.

​

9

RISULTATI

10

• Modelli SinA-C

• Modelli DB2

CONCLUSIONI

• I modelli costruiti non riescono a classificare efficacemente la sincerità e il sarcasmo

​

• I dataset sono molto piccoli
• I due dataset presentano delle importanti differenze

​

11