Approche de sélection automatique

Notre idée est de modéliser la relation entre les personnages de façon à déterminer un critère permettant la distinction entre ces épisodes. L’approche de regroupement ALSD est basée uniquement sur la connaissance des locuteurs présents dans chaque scène pour regrouper les scènes en histoires. Ainsi, si chaque histoire racontée dans un épisode décrit les aventures d’un groupe de personnages qui ne sont que peu impliqués dans les autres histoires, alors l’approche de regroupement ALSD permet un regroupement pertinent des scènes. Sinon, si chaque histoire voit intervenir beaucoup de personnages en commun, la connaissance des personnages présents dans chaque scène n’est pas suffisante pour obtenir un bon regroupement des scènes. L’approche SCFUS basée sur la fusion des modalités SD, ASR et HSV est alors plus pertinente.

Différences entre les épisodes : graphe social des personnages

Malcolm Francis Piama Otto Reese Alyson Steevie Malcolm Alyson Steevie Steevie Piama Francis Otto Malcolm Francis Alyson Steevie Malcolm Reese 1 1 3 2 2 1 1 1 1 a) b) Scènes Alyson Graphe social d'intéraction entre les personnages 1

Figure 5.16 – (a) Liste des personnages dans chaque scène. (b) Graphe social d’interaction entre les personnages.

Pour modéliser la relation entre les personnages d’une vidéo, notre approche est inspirée par les graphes sociaux d’interaction des personnages introduits par Weng et al. [Weng 2009]. La Figure 5.16 montre la construction d’un tel graphe. Chaque person- nage (ou locuteur dans notre cas) est associé à un nœud du graphe. Un arc entre deux nœuds signifie que les personnages correspondants apparaissent dans au moins une scène commune. Ces arcs sont pondérés par le nombre de scènes communes aux deux person- nages. Il en résulte un graphe représentant l’interaction sociale entre les personnages de l’épisode.

La Figure 5.17 montre deux graphes d’interaction entre les personnages. Ils sont obte- nus à partir de deux épisodes : le premier est un épisode pour lequel l’approche ALSD est la plus performante, et le meilleur regroupement est obtenu avec l’approche SCFUS pour le deuxième. Hal Dewey Loueur Loïs Malcolm Reese Alysson Steevie Francis Otto Piama Homme 1 Homme 2

Histoire 1 Histoire 2 Histoire 3

Elaine Renée Ally Georgia Ronnie Richard Billy Journaliste Juge Jack Histoire 1 Histoire 2

Figure 5.17 – Graphes d’interaction entre les personnages. Le premier décrit la relation entre les personnages d’un épisode de la série Malcolm pour lequel la meilleure approche de regroupement est l’approche ALSD. Le deuxième montre la relation entre les personnages d’un épisode de la série Ally McBeal pour lequel la meilleure approche de regroupement est l’approche SCFUS. Les arcs indiquent une relation forte entre les personnages (présence simultanée dans une scène). Il y a peu de liens entre les personnages intervenant dans des histoires différentes pour l’épisode de Malcolm. Au contraire, il y a peu de distinction entre les personnages impliqués dans les différentes histoires pour l’épisode d’Ally McBeal.

5.5. Sélection automatique de la meilleure méthode de regroupement Les cercles représentant les histoires englobent tous les personnages impliqués dans chaque histoire manuellement annotée. Pour le premier épisode, il existe peu d’interactions entre les personnages intervenant dans deux histoires différentes. Au contraire, dans le deuxième, les deux histoires de cet épisode englobent la majorité des personnages et il y a une forte interaction entre tous les personnages. C’est cette distinction que nous avons choisi d’utiliser pour permettre la sélection de la méthode de regroupement.

Critère de sélection

À partir des graphes d’interaction des personnages, nous proposons d’utiliser l’algo- rithme de Louvain [Blondel 2008] décrit dans l’état de l’art, Section 2.2 page 44, pour rechercher les communautés de personnages. C’est une méthode de regroupement heuris- tique basée sur la maximisation d’une quantité appelée modularité et notée Q. Q peut être vue comme une mesure de la qualité des communautés détectées. Elle est grande lorsque les personnages ont globalement des liens forts avec les personnages de leur communauté et des liens faibles avec les personnages des autres communautés [Newman 2006]. Nous proposons d’utiliser cette valeur Q pour détecter automatiquement la meilleure méthode de regroupement à appliquer :

• une grande modularité signifie que les communautés de personnages sont fortement séparées. Ainsi, nous pouvons supposer que chaque communauté est impliquée dans une histoire qui lui est particulière, et l’approche de regroupement ALSD est la plus pertinente.

• une faible modularité signifie qu’il y a peu de distinctions entre les communautés détectées. Ainsi, une description des scènes basée uniquement sur les personnages n’est pas suffisante pour le regroupement des scènes en histoires, et l’approche SCFUS doit être préférée.

La Figure 5.18 montre la modularité de chaque épisode du corpus en fonction de la valeur DER obtenue par un regroupement SCFUS (DERSP) et un regroupement ALSD

(DERAL). Comme la métrique DER est un mesure d’erreur, log(DERSP/DERAL) > 0 si

le regroupement ALSD donne le meilleur résultat. À l’inverse, log(DERSP/DERAL) < 0

si le meilleur résultat est obtenu par un regroupement SCFUS. Pour une modularité Q inférieure à une valeur φ, l’approche de regroupement la plus pertinente est toujours SCFUS. Lorsque Q > φ, l’approche de regroupement la plus pertinente est très souvent ALSD. La Figure5.18prouve donc que la modularité est un critère efficace pour la sélection automatique de la meilleure approche de regroupement. Ainsi, pour un épisode e, la méthode de regroupement utilisée est :

– l’approche ALSD si Q > φ ; – l’approche SCFUS sinon.

log(DER SP /DER AL ) Q (modularité) Épisodes Ally McBeal Le Trône de Fer Malcolm 0 ALSD meilleur SPFUS meilleur

Figure 5.18 – Modularité des épisodes en fonction de la valeur DER obtenue par un regrou- pement SCFUS (DERSP) et un regroupement ALSD (DERAL). log(DERSP/DERAL) > 0 si le

regroupement ALSD donne le meilleur résultat. Pour une modularité Q < φ, l’approche de regroupement la plus pertinente est toujours SCFUS. Lorsque Q > φ, l’approche de regrou- pement la plus pertinente est très souvent ALSD. Q peut donc être utilisé comme critère de sélection de la meilleure approche de regroupement à appliquer.

Optimisation de φ

Nous cherchons à déterminer automatiquement la valeur optimale φ de manière à maximiser le nombre d’épisodes pour lesquels la meilleure approche de regroupement est correctement sélectionnée. Puisque nous n’avons que 22 épisodes annotés en histoires, la quantité de données est insuffisante pour constituer un ensemble d’apprentissage et un ensemble de test. C’est pourquoi le protocole d’optimisation du paramètre φ suit le principe de la validation croisée (leave-one-out cross validation). Ainsi, le paramètre φ(e) pour un épisode e ∈ E est déterminé tel que :

φ(e) = argmax

φ∈R+

card{e0 ∈ E\e / Q > φ ∧ DERSP(e0) > DERAL(e0)} (5.10)