locuteurs et les visages
Pour augmenter le taux de rappel des visages reconnus, il faut augmenter le nombre de séquences de visages nommables. Jusqu’à présent, nous nous sommes limités aux séquences ayant un descripteur. Toutefois, il y a des visages de profil ou ayant la tête penchée qui correspondent à des visages à nommer qui n’ont pas de descripteurs, nous n’avons donc pas pu les intégrer dans le nommage précoce pour les visages décrit précédemment.
Il faut donc utiliser une autre source d’informations pour nommer ces visages. Comme l’a montré Bendris et al. [BFC+13], on peut utiliser l’identité du locu-teur pour reconnaitre un des visages à l’écran. Pour cela, les aulocu-teurs utilisent une stratégie en plusieurs étapes (voir le chapitre 2 pour plus de détails) avec d’abord une identification directe des visages et des locuteurs par les noms écrits et les noms prononcés. Puis une propagation intra-modale des noms des visages vers les visages encore anonymes. Et enfin, une propagation inter-modale des noms des locuteurs vers les visages encore anonymes, après les deux premières étapes.
Nous avons préféré adapter notre méthode de nommage précoce à des clus-ters multi-modaux parce qu’elle nous semble mieux intégrer l’information issue des noms écrits. Donc l’idée est d’effectuer un regroupement des tours de parole et des séquences de visages en clusters de personnes, comme celui proposé par
Khoury et al. [KSJ12]. Dans cet article, il est montré qu’une diarization
multi-modale donne de meilleurs résultats qu’une diarization mono-multi-modale. Comme pour nos méthodes de nommage précoce de clusters mono-modaux, nous voulons contraindre ce regroupement avec les noms écrits et aussi nommer les clusters au cours du processus de regroupement.
Dans la figure 6.1, on retrouve l’architecture globale de notre proposition de nommage précoce de cluster multi-modaux.
La première étape sélectionne les séquences de visages à nommer (section6.1). Ensuite, nous normalisons les scores des matrices Dvisage et Svoix pour qu’ils
soient comparables (section 6.2). Pour calculer des scores d’association entre les séquences visages et les tours de parole co-occurrant, nous utilisons les sorties d’un classifieur perceptron multi-couches entraîné à partir de l’activité des lèvres mais aussi d’autres caractéristiques visuelles et temporelles (section6.3). Tous ces scores sont intégrés dans une matrice multi-modale, sur laquelle nous appliquons notre méthode de nommage précoce (section6.4)
Pvoix Pvisage Svoix Dvisage Pvisage Pvoix Regroupement multi-modal contraint Perceptron multicouche Vidéo Pvoix/visage Pvoix/visage Pvoix/visage Séquences de visages Tours de parole Noms écritsΘ Clusters voix - visages nommés Normalisation Normalisation
Sélection des visages à nommer 131
6.1 Sélection des visages à nommer
Parmi tous les visages extraits par le détecteur de KIT, il y en a de nombreux qui sont à l’arrière plan de la vidéo. Comme ces « petites têtes » ne jouent que très rarement un rôle intéressant, il ne faut pas les nommer. Nous avons appris un seuil (pour chaque type d’émission) sur la taille minimum du carré englobant le visage (fourni par KIT). Cette idée de filtrage concorde avec l’évaluation du
défiREPERE qui limite l’identification aux visages supérieurs à une aire de 2000
pixels carrés (pour le détourage du visage).
Nous avons utilisé un deuxième filtre sur la durée d’apparition des séquences de visages qui permet d’éviter de nommer des fausses détections. Les seuils sur ces filtres ont été fixés sur l’ensemble d’apprentissage. Dans les faits, nous conser-vons les visages dont le carré à un côté supérieur de 40 à 80 pixels et une durée d’affichage minimal comprise entre 0.4 et 1.9 secondes selon le type d’émission.
Nous retrouvons dans le tableau 6.1 les résultats d’identification des visages obtenus par deux oracles qui choisissent le nom correct pour les visages qui ont un descripteur (Oracled, comme déjà présenté dans le chapitre précédent) ou les visages sélectionnés (Oracles).
Méthode %P %R %F %EGER
Oracled 97.2% 60.0% 74.2% 31.5%
Oracles 97.6% 68.5% 80.5% 25.5%
Tab.6.1 – Identification des visages par un oracle qui n’utilise que les visages qui ont un descripteur (Oracled) ou par un oracle qui n’utilise que les visages filtrés selon le protocole donné ci-dessus (Oracles), ensemble de test de la phase 1 du
défi REPERE.
On peut voir que, si on utilise tous les visages filtrés, on peut augmenter le rappel de 60.0% à 68.5%. L’EGER minimum que l’on peut obtenir diminue en conséquence.
6.2 Normalisation des matrices mono-modales
Pour fusionner la matrice de distance entre séquences de visages et la matrice de proximité entre tours de parole, il faut normaliser les scores. On peut voir, sur la figure6.2, la distribution des scores contenus dans ces deux matrices sur l’en-semble d’entraînement du corpusREPERE, avec en bleu les distances/proximités des séquences/tours de parole de la même personne et en rouge de deux personnes différentes.Nous avons décidé d’approximer ces distributions par une densité de probabi-lité de la loi normale. Ensuite, pour chaque modaprobabi-lité, nous calculons séparément la probabilité a postériori que deux séquences de visages/tours de parole corres-pondent à la même personne.
Fig. 6.2 – Distribution des distances entre séquences de visage et tours de parole identiques (bleu) ou différents (rouge) sur l’ensemble d’entraînement de la phase 1 du corpus REPERE.
Nous utilisons directement ces probabilités a postériori pour remplir la matrice de similarité. C’est sur cette matrice que l’on effectue le regroupement.
Fig. 6.3 – Matrice multi-modale sans liens entre les deux modalités. Il est important de noter que la sous-matrice Pvisage n’est pas pleine puisque certaines séquences de visages que nous avons sélectionnées n’ont pas de descrip-teurs. Elles ne peuvent donc pas être comparées aux autres séquences de visages.
Score d’association entre tours de parole et séquences de visages 133