Déséquilibre des classes

Une des difficultés principales rencontrée avec les jeux de données IEMOCAP et MSP-IMPROV est le déséquilibre des classes. Un jeu de données est déséquilibré si les catégories de classification, ou classes, ne sont pas représentées de manière approximativement égale.

5.2.1 Contexte

Dans un premier temps il faut savoir qu’un déséquilibre des classes dans un jeu de données est la situation qu’on rencontre le plus souvent. Cela peut être le reflet d’une population « réelle »qui l’est aussi, mais pas forcément. La difficulté tient au fait que le modèle n’apprenne que sur la classe majoritaire si on n’adapte pas la distribution du nombre de fichiers par classe, voire qu’on adapte la fonction de coût, résultant alors sur un biais d’apprentissage.

En apprentissage supervisé, la gestion du déséquilibre de classes se fait selon différentes méthodes qu’on peut regrouper en deux catégories selon le moment où

5.2 Déséquilibre des classes on les applique :

— directement sur le jeu de données à notre disposition : c’est la stratégie d’échantillonnage,

— directement via l’algorithme d’apprentissage : c’est la stratégie algorith-mique.

Avec la stratégie algorithmique, on peut prendre en compte explicitement le dés-équilibre des classes au sein même de l’algorithme d’apprentissage en adaptant la fonction de coût.

Pour représenter l’incertitude des étiquettes émotionnelles,[Lee 15] adoptent une classe supplémentaire pour les moments non émotionnels des séquences, l’étiquette « vide ». Comme pour la couche de classification connexionniste (Connectionist

Temporal Classification, CTC), les auteurs assignent à chaque pas de temps de la séquence soit l’émotion originellement annotée de la séquence, soit l’étiquette « vide ». À l’aide d’un algorithme d’attente-maximisation, les auteurs augmentent les scores.

Une autre approche appliquée dans [Satt 17] est de prédire en deux étapes. Si le modèle principal prédit l’émotion neutre, la séquence est dirigée vers trois autres modèles de classification binaire entre émotion neutre et une des autres émotions. Avec cette stratégie, le score augmente.

Au début de ce doctorat, je m’intéresse d’abord à la stratégie d’échantillonnage qui vise à rééquilibrer directement les données via du :

— sous-échantillonnage : l’idée est de supprimer de manière aléatoire des échan-tillons des classes majoritaires,

— sur-échantillonnage : l’idée est d’augmenter le nombre des échantillons des classes minoritaires.

Les stratégies d’échantillonnage ont l’avantage de pouvoir être utilisées avec n’im-porte quelle méthode d’apprentissage supervisé.

Le sous-échantillonnage de la classe majoritaire est un bon moyen d’accroître la sensibilité d’un classificateur à la classe minoritaire. Mais le sous-échantillonnage comporte le risque de supprimer des échantillons qui sont bien représentatifs pour l’apprentissage. Des méthodes existent pour minimiser ce risque en gardant des échantillons qui sont moins sensibles au bruit que les autres. Cependant ce n’est pas la méthode que nous choisissons.

Au moment de l’apprentissage (et non pas de l’évaluation), on peut compenser le déséquilibre entre les classes dans le jeu d’entraînement en utilisant une méthode de sur-échantillonnage : on copie aléatoirement parmi la classe minoritaire autant d’observations que dans la classe majoritaire, ce qui crée un jeu équilibré.

Pour IEMOCAP et MSP-IMPROV, nous choisissons de rééchantillonner les classes les moins représentées du jeu de données. Pour IEMOCAP, il s’agit de la joie et la colère. Tandis que pour MSP-IMPROV, il s’agit de la tristesse et la

colère. L’émotion neutre est la classe la plus représentée de ces bases de données. On peut interroger les enjeux sous-jacents à cette émotion et supposer qu’elle est présente en filigrane dans le signal audio, même dans celui qui n’est pas annoté comme « neutre ».

5.2.2 Sur-échantillonnage avec indices paralinguistiques

Lorsque j’effectue des comparaisons avec les travaux effectués en reconnaissance automatique des émotions dans la voix via l’utilisation de classifieurs de type sépa-rateurs à vaste marge (Support Vector Machine, SVM) qui prennent en entrée des données audios sous forme d’indices paralinguistiques, j’opte pour la technique de sur-échantillonnage synthétique des classes minoritaires SMOTE (Synthetic

Mi-nority Over-sampling Technique, SMOTE). Elle a l’avantage de minimiser la sur-venue de problèmes de sur-apprentissage [Chawla 02]. SMOTE est une méthode de sur-échantillonnage de la classe minoritaire qui consiste à créer des exemples synthétiques de classe minoritaire. Ces échantillons synthétiques sont créés à par-tir d’un choix aléatoire (selon le taux de sur-échantillonnage voulu) d’un certain nombre d’échantillons voisins proches qui appartiennent à la même classe. Plus précisément, à partir d’un échantillon considéré, SMOTE crée l’échantillon syn-thétique en sélectionnant aléatoirement un point sur le segment qu’il forme avec l’un de ses proches voisins (lui-même tiré aléatoirement). Cette approche entraîne en général un agrandissement de la région de décision de la classe minoritaire.

Comme indiqué plus haut, j’utilise SMOTE lorsque la nature de mes entrées le permet. Autrement dit si l’entrée est d’une seule dimension donc quand c’est un vecteur de valeurs représentant l’information émotionnelle de cet échantillon audio au prisme des indices paralinguistiques utilisés. Pour rappel dans notre cas, ils sont calculés avec l’ensemble d’indices paralinguistiques eGeMAPs [Eyben 16] lorsqu’on effectue la classification à l’aide d’algorithmes SVM.

5.2.3 Sur-échantillonnage avec spectrogrammes

Dans le cas d’entrées transformées en spectrogrammes, c’est à dire avec des entrées à deux dimensions, on fait en sorte de sur-échantillonner donc dupliquer les données afin d’atteindre un nombre pour chaque classe comparable à celui de la classe la plus majoritaire. Pour IEMOCAP, la joie et la colère sont multipliées d’un facteur 2. Pour MSP-IMPROV, la tristesse et la colère sont multipliées d’un facteur 3.