Temps d’exécution

Le temps d’exécution du système de reconnaissance des émotions est d’un grand intérêt. En effet, la rapidité de la méthode de reconnaissance des émotions est un critère important pour évaluer la qualité du système. Par exemple, dans une ap-plication d’agent virtuel, il faut que l’agent soit capable de connaitre les émotions de l’utilisateur pour une interaction en temps réel.

Nous évaluons et comparons dans cette section le temps mis par chaque méthode pour extraire les descripteurs de l’expression. Dans le cas de la méthode d’appa-rence, les filtres sont appliqués sur l’image comportant l’expression. En revanche, la méthode géométrique extrait les descripteurs du visage neutre, puis une étape de suivi est appliquée. La table 3.13 présente le temps d’extraction des caracté-ristiques d’apparence de l’expression, le temps d’extraction des caractécaracté-ristiques géométriques du visage neutre et le temps de suivi de tous les points d’une image à une autre. Le temps mis pour l’extraction des caractéristiques géométriques d’une image dans une séquence vidéo dépend de la position de l’image par rapport à l’image neutre. Dans le cas où la reconnaissance est effectuée pour toutes les images de la séquence, alors l’extraction des descripteurs géométriques est nette-ment plus rapide que l’extraction des descripteurs de Gabor.

Temps d’extraction (en s)

Descripteurs d’apparence 0.3

Descripteurs géométriques 0.014 (pour l’image neutre), 0.013 (suivi d’une image) Table3.13 – Temps d’extraction des descripteurs d’apparence et des descripteurs géométriques

Temps de classification (en s) Descripteurs d’apparence 0.18

Descripteurs géométriques 0.00012

Table 3.14 – Temps de classification d’une expression par les descripteurs d’ap-parence et les descripteurs géométriques

Nous comparons également le temps mis pour la classification des descripteurs d’apparence et la classification des descripteurs géométriques. D’après la table 3.14, la classification d’une expression décrite par les descripteurs géométriques est plus rapide que sa classification par des descripteurs d’apparence. Ce résultat

est dû à la grande différence de taille existant entre les vecteurs de descripteurs associés à chaque méthode.

Conclusion

Dans ce chapitre, nous avons d’abord présenté une étude subjective montrant les difficultés de la reconnaissance des émotions spontanées dans la base FEEDTUM.

Nous avons ensuite présenté la structure générale des méthodes de reconnaissance des émotions constituée principalement de trois étapes. La première étape est la détection du visage. Elle se base sur les descripteurs de Haar. La dernière étape est la classification de l’expression dans l’une des sept classes (joie, colère, peur, dégoût, tristesse, surprise et l’expression neutre). Nous nous sommes intéressés de plus près à la deuxième étape qui décrit l’expression. Deux méthodes d’extraction de descripteurs faciaux ont alors été étudiées. La méthode d’apparence extrait les descripteurs du visage en se basant sur des filtres de Gabor de différentes tailles et de différentes orientations. Une deuxième méthode a été également appliquée pour l’extraction de l’aspect géométrique de l’expression. Cette dernière présentée dans [31] se base principalement sur le changement des distances entre des points caractéristiques. Ces points sont localisés par trois axes faciaux. Après la quantifi-cation des erreurs de localisation de ces axes, nous avons proposé des améliorations pour leur localisation ce qui nous a permis d’améliorer les taux de reconnaissances dans les deux bases considérées. Les deux types de descripteurs extraits ont été comparés sous différents critères présents dans les applications de reconnaissance des émotions. Nous avons remarqué que les descripteurs d’apparence extraits par la méthode de Gabor sont plus robustes pour les applications comportant des vi-sages de faibles résolutions tandis que les descripteurs géométriques extraits par la méthode géométrique peuvent avoir des résultats satisfaisants pour un ensemble d’apprentissage plus restreint contenant approximativement 100 images. Les temps d’extraction et de classification de ces derniers sont également plus rapides que ceux des descripteurs d’apparence.

Dans le chapitre suivant nous fusionnons les descripteurs d’apparence et les des-cripteurs géométriques par différentes techniques et comparons les résultats obte-nus sur la base des émotions simulées et sur la base des émotions spontanées. Une étude de la reconnaissance dans des zones locales est également effectuée, suivie d’une sélection des descripteurs d’apparence.

Différentes approches

d’amélioration des descripteurs

4.1 Introduction

Dans le chapitre précédent nous avons comparé les descripteurs d’apparence et les descripteurs géométriques sous plusieurs contraintes, tout en gardant la même méthode pour la détection du visage et la même méthode pour la classification.

Nous avons remarqué que chaque type de descripteurs peut être avantageux dans certains contextes. Dans ce chapitre nous nous intéressons à la méthode de classifi-cation utilisée afin de voir dans quelle mesure les choix effectués peuvent influer sur les taux de reconnaissance selon chaque type de descripteurs. De plus, l’expression d’une émotion engendre à la fois des changements dans la forme et l’apparence du visage. Nous étudions donc dans ce chapitre une fusion possible entre descripteurs géométriques et descripteurs d’apparence afin d’obtenir une représentation plus complète des émotions. Le choix de la méthode de fusion étant crucial dans ce cadre, nous appliquons plusieurs schémas de fusion, que nous comparons sur les deux bases d’étude et dans le cas d’ajout de nouveaux sujets non inclus dans l’en-semble d’apprentissage. Nous étudions ensuite l’importance des zones locales dans la reconnaissance des émotions et comparons des méthodes utilisant la fusion entre les zones pour améliorer la reconnaissance. Enfin, nous étudions trois méthodes de sélection des descripteurs. La comparaison de ces méthodes est à nouveau effectuée sur les deux bases.

DESCRIPTEURS

Méthodes SVM linéaire SVM gaussien

Méthode d’apparence 92.5 87.8

Méthode géométrique 90 96.4

Table 4.1 – Taux de reconnaissance de la méthode d’apparence et la méthode géométrique pour un SVM linaire et de un SVM gaussien dans la base CK+