Partie III : Systèmes automatiques
7 Détection de rire et de sourire
7.6 Système audio-visuel
7.6.1 Résultat de l’évaluation segmentale
Dans notre système de détection à la base de la fusion de décision entre les systèmes audio et vidéo, nous considérons une bonne détection de rire et sourire si l'une des deux modalités donne une détection positive. Pour faire un compromis entre la précision et le rappel dans le système audio, nous utilisons une fenêtre d'analyse de 800 ms. Nous testons également les deux stratégies d'agrégation de trames audio mentionnées dans la section de l’évaluation du système auditif. Les trois protocoles de séparation de données d’apprentissage et de test au niveau du système de détection visuelle sont également testés en prenant un intervalle de ratio de seuil de validation segmentale au niveau du nombre de frame entre 0 et 70%. La performance des systèmes de fusion est illustrée dans la Figure 25. Nous pouvons voir que, la performance des systèmes de fusion varie doucement en fonction du seuil de validation segmentale du système visuel. Les systèmes sous le protocole mono-sujet et multi-sujet atteignent leur F-mesure optimale autour d’une valeur de seuil 20%.
Université Paris-Saclay
Espace Technologique / Immeuble Discovery
Route de l’Orme aux Merisiers RD 128 / 91190 Saint-Aubin, France
108
Figure 25 : Performance à l’évaluation segmentale des systèmes de fusion audio-visuelle en combinant les deux stratégies d'agrégation de trames pour le système audio et les trois protocoles de séparation de
données d’apprentissage et de test pour le système visuel avec un intervalle de ratio de seuil de validation segmentale au niveau de nombre de frame entre 0 et 70%..
Tableau 34 : Evaluation du système de détection audio-visuelle de rire et de sourire sur 389 évènements de rire et sourire et 378 segments non-rire et non-sourire. Pour la détection audio, une
fenêtre d'analyse de 800 ms est utilisée. Pour la détection vidéo, le seuil prend la valeur 20%. A. signifie le taux de bonne reconnaissance, R. signifie le rappel, P. signifie la précision et F signifie la
F-mesure.
Fusion audio-‐visuelle
Protocole (Unité : %) Vidéo seul Avec Audio Vote Maj. Avec Audio Seuil 50%
Mono-‐sujet A. 84,0 R. 63,8 P. 83,4 F. 72,3 A. 61,4 R. 89,5 P. 57,7 F. 70,2 A. 57,9 R. 82,5 P. 55,7 F. 66,5 Multi-‐sujet A. 83,6 R. 62,5 P. 83,9 F. 71,6 A .62,1 R. 90,5 P. 58,1 F. 70,8 A. 57,8 R. 82,0 P. 55,7 F. 66,3 « Leave-‐one-‐out » A. 60,5 R. 44,2 P. 60,9 F. 51,2 A. 55,9 R. 83,8 P. 54,2 F. 65,9 A. 50,3 R. 72,8 P. 50,7 F. 59,8
Le Tableau 34 montre les résultats obtenus des systèmes de fusion avec un seuil de 20%. Nous pouvons voir que, la fusion ramène une forte amélioration du rappel mais une diminution de la précision et du ratio de bonne connaissance par rapport au système visuel tout seul. Au niveau de la F-mesure, les systèmes de fusion sous les protocoles dépendant du sujet (mono-sujet et multi-sujet) dans la partie de détection visuelle n’ont pas réussi d’améliorer la mesure du système visuel tout seul. La F-mesure du système de fusion reste cependant entre celle des deux systèmes de mono-modalité et meilleure que celle du système auditif. Cela peut être dû à l’utilisation unifiée du protocole indépendant du sujet (« leave-one-out ») dans la partie de détection auditive. La faible précision en utilisant le protocole indépendant du sujet
Université Paris-Saclay
Espace Technologique / Immeuble Discovery
Route de l’Orme aux Merisiers RD 128 / 91190 Saint-Aubin, France
109 dans le système audio augmente beaucoup le nombre de fausses alarmes pour le système de fusion. Dans le cas où les systèmes des deux modalités utilisent tous les deux le protocole « leave-one-out », la F-mesure du système de fusion est bien meilleure que celle des deux systèmes de mono-modalité.
7.6.2 Résultat à l’évaluation « in the wild »
Figure 26 : Ratio d’erreur balancé du système de fusion directe en fonction du seuil du filtre d’analyse dans le partie vidéo et suivant les deux stratégies d’agrégation pour la partie audio.
Dans le système audio-visuel « in the wild », deux types de fusion sont testés. Premièrement, nous fusionnons simplement les sorties des 2 systèmes et les comparons avec l’ensemble de l’annotation audio et vidéo. Nous considérons une bonne détection si au moins l’une des modalités détecte un évènement de rire ou sourire dans la fenêtre de 100 ms, et cette période de 100 ms est incluse dans au moins l’une des annotations audio et vidéo. Le filtre d’analyse de 800 ms pour le système visuel est appliqué. Le ratio d’erreur balancé du système de fusion directe en fonction du seuil du filtre d’analyse dans la partie vidéo et suivant les deux stratégies d’agrégation pour la partie audio est illustré dans Figure 26. Le meilleur ratio d’erreur balancé est marqué par le rond rouge.
Le Tableau 35 montre la performance des systèmes de fusion directe audio-visuelle. Le résultat montre que la fusion directe du système auditif et visuel amène une amélioration du rappel et du ratio d’erreur balancé par rapport au système monomodal.
Tableau 35 : Evaluation du système de fusion directe audio-visuelle « in the wild » en simplement fusionnant la sortie de système auditif et visuel. A. signifie le taux de bonne reconnaissance, R. signifie
le rappel. BER. signifie le ratio d’erreur balancé.
(Unité : %) Fusion audio-‐visuelle
Vidéo seul (seuil 4 sur 8) Avec Audio Vote Maj. Avec Audio Seuil 50%
A. 73,5 R. 48,1 BER. 37,6 A. 67,6 R. 58,7 BER. 36,3 A. 68,5 R. 57,8 BER. 36,2
Le deuxième type de fusion ajoute une couche cascade en utilisant la sortie de la classe « parole du sujet » du système auditif avant l’application du système visuel, c’est-à-dire que le système visuel est désactivé si le système auditif classifie la fenêtre
Université Paris-Saclay
Espace Technologique / Immeuble Discovery
Route de l’Orme aux Merisiers RD 128 / 91190 Saint-Aubin, France
110 de 100 ms comme de la parole du sujet. Nous espérons que la détection de parole permet d'éviter l'influence du mouvement de la bouche parlante et de réduire les faux positifs dans la détection visuelle de rire et sourire. Par contre, le ratio d’erreur balancé du système de fusion en cascade est de 38,2% pour l’audio en vote majoritaire et de 37,9% pour l’audio avec un seuil 50%. Le système de fusion en cascade ne fournit pas donc d’amélioration pour le système de fusion audio-visuelle pour la détection de rire ou sourire « in the wild ».