6.5 Exp´ erimentation
6.5.2 R´ esultats
Les feuillets de chaque participant ont ´et´e relev´es apr`es chaque session. Nous avons calcul´e une moyenne de reconnaissance en prenant en compte les diff´erentes possibilit´es. Ainsi, la reconnaissance exacte de l’intention d’expression ´etait d´etermin´ee comme une reconnaissance parfaite ; une bonne r´eponse au milieu d’autres ´etait pond´er´ee pour affaiblir son impact sur le pourcentage de reconnaissance. Par exemple, pour une s´equence exprimant la joie, une ´evaluation faisant apparaˆıtre la joie en deuxi`eme position apr`es une autre ´emotion, ou en m´elange avec une autre ´emotion, ´etait pond´er´ee par un facteur 0.5. Dans ce m´emoire, nous ne relatons que les r´esultats de la premi`ere session, qui ont ´et´e utilis´es comme r´ef´erences pour valider eMotion. Le tableau 5 montre ces r´esultats selon les huit ´emotions test´ees.
Dans ces r´esultats d’´evaluation par des observateurs humains, nous constatons qu’il existe des disparit´es entre ´emotions quant `a leurs taux de reconnaissance. En particulier, la surprise n´egative pr´esente un pourcentage de reconnaissance inf´erieur `a 10% ; un choix d’une ´emotion au hasard dans la liste pr´esenterait une reconnaissance de 12,5%.
Nous avons fourni `a eMotion les mˆemes s´equences, enregistr´ees grˆace `a la combinaison de capture du mouvement. eMotion effectuant une reconnaissance `a chaque mesure, les pourcen-tages donn´es repr´esentent le nombre de mesures sur lesquelles la bonne ´emotion a ´et´e reconnue par rapport au nombre total de mesures dans une s´equence. De plus, eMotion ne reconnais-sant que les six ´emotions de base d’Ekman, nous avons consid´er´e comme bonnes r´eponses la surprise pour les s´equences exprimant la surprise positive et n´egative, et la col`ere pour les s´equences exprimant la col`ere froide ou chaude. La table 6 reporte les r´esultats obtenus par eMotion sur les huit ´emotions exprim´ees par le danseur, en regard des ´evaluations humaines.
Analyse des r´esultats
La tristesse et la joie except´ees, le pourcentage de reconnaissance pr´esente des r´esultats faibles. La surprise positive et n´egative et cependant mieux reconnue par le syst`eme que par les humains. L’absence de r´esultats, dans le cadre de cette exp´erience, peut s’expliquer par les fenˆetres temporelles utilis´ees par les humains et par le syst`eme, et par le jeu du danseur. Un
6.5. Exp´erimentation 151
Emotion Pourcentage de
reconnaissance par eMotion
Pourcentage de
reconnaissance par l’humain
joie 51.26% 71,43%
d´egoˆut 0.7% (tristesse, 43.2%) 47,62%
tristesse 55.95% 61,90%
peur 7.95% (tristesse 51.73%) 28,57%
col`ere chaude 4.22% (tristesse 36.69%) 85,71% col`ere froide 0.6% (tristesse 43.86%) 85,71%
surprise positive 20.54% (joie 47.52%) 19,05%
surprise n´egative 32.4% (joie 39%) 9,52%
Tab. 6: Pourcentages de reconnaissance des s´equences dans´ees expressives par eMotion (entre parenth`eses, ’´emotion la mieux reconnue et son pourcentage) en regard des observateurs hu-mains.
humain juge l’expression ´emotionnelle d’une s´equence sur l’ensemble de celle-ci, soit sur une dur´ee d’environ une minute. eMotion ne consid`ere qu’un laps de temps tr`es court, de l’ordre du dixi`eme de seconde, durant laquelle elle analyse le mouvement et inf`ere une ´emotion. Pour une ´emotion comme le d´egoˆut, le danseur ex´ecute quelques mouvements ´evoquant des spasmes. Ces mouvements sont typiques et durant ces mouvements, eMotion reconnait effectivement le d´egoˆut en majorit´e. La dur´ee totale de leur ex´ecution ne constitue par contre qu’une petite fraction de la dur´ee totale d’une s´equence. Pendant le reste du temps, le danseur marche ou effectue des mouvements non reconnus comme le d´egoˆut. D’un point de vue humain par contre, ces quelques mouvements suffisent `a ´evaluer l’ensemble de la s´equence. Il en est de mˆeme pour la peur : le danseur effectue quelques retraits rapides mais joue aussi, dans ses mouvements, une sorte de curiosit´e et un int´erˆet pour l’objet imaginaire provoquant cette peur. eMotion ´etant incapable de discerner cette subtilit´e, elle ne reconnait la peur que dans les phases o`u le danseur recule violemment, comme pour fuir.
La tristesse, `a l’inverse, est bien reconnue. Ceci est dˆu au fait que les caract´eristiques principales de la tristesse (dos voˆut´e, vitesse lente) sont conserv´ees pendant toute la s´equence : le danseur ne saute pas soudainement et redresse rarement le tronc. La joie est tout aussi bien reconnue, pour les mˆemes raisons : tout au long de la s´equence, le danseur est actif, rapide, ´erige le tronc, tend les bras...
D’une mani`ere g´en´erale et apr`es visionnage des enregistrements vid´eo et animation d’un squelette 3D grˆace aux coordonn´ees enregistr´ees, il apparaˆıt que notre calcul de reconnais-sance sur une s´equence, se basant sur le pourcentage de mesures bien reconnues sur le nombre total de mesure, n’est pas un indicateur valide des performances de notre syst`eme. Une autre validation est donc `a pr´evoir. Cette exp´erimentation montre par contre qu’un calcul de l’´ emo-tion `a une telle fr´equence ne permet ´egalement pas une reconnaissance pr´ecise de l’´emotion, dont l’expression s’´etale sur un laps de temps de l’ordre de quelques secondes. L’interpr´eteur doit donc ˆetre modifi´e afin de prendre en compte les derni`eres secondes de mouvement dans son ensemble.
eMotion contribue `a ´evaluer notre mod`ele conceptuel pr´esent´e au chapitre 5. L’´evaluation du syst`eme a permis de cerner les points forts et les points faibles de notre reconnaissance. Les erreurs de reconnaissance, principalement sur le d´egoˆut et la peur, sont dues principalement `
a des consid´erations temporelles et peuvent ˆetre corrig´ees grˆace `a l’extraction de nouvelles caract´eristiques et l’impl´ementation d’une nouvelle interpr´etation. Notre mod`ele permet la modification du syst`eme : les nouvelles caract´eristiques n´ecessitent l’impl´ementation de nou-veaux extracteurs qui seront ensuite branch´es dans le syst`eme. De mˆeme, ´etablir une nouvelle interpr´etation n´ecessite de cr´eer un nouveau composant interpr´eteur `a brancher dans le sys-t`eme. Les composants d´ej`a pr´esents ne requi`erent aucune modification dans cette ´evolution du syst`eme.
Par cette ´evaluation, nous avons valid´e notre syst`eme pour la reconnaissance de deux ´ emo-tions : la joie et la tristesse. Ce prototype est utilis´e dans nos travaux sur l’augmentation d’un spectacle de danse par l’´emotion exprim´ee par le danseur, d´ecrits au chapitre 7.
6.6 Conclusion
Nous avons pr´esent´e, dans ce chapitre, le syst`eme interactif eMotion de reconnaissance d’´emotions par la gestuelle. D’un point de vue architecture, eMotion repose sur le d´ecoupage fonctionnel en trois niveaux Capture, Analyse et Interpr´etation qui se transposent dans son impl´ementation. eMotion instancie le mod`ele de la branche ´emotion vu au chapitre 5. Le syst`eme s’appuie sur le mod`ele PAC pour l’interaction graphique avec le concepteur. De plus, il illustre certaines combinaisons de modalit´es h´erit´ees de l’approche “interaction multimodale” qui n’ont pas encore ´et´e d´evelopp´ees dans les syst`emes actuels de reconnaissance d’´emotions, notamment le choix d’une modalit´e par le concepteur via le choix du dispositif de capture, et le choix du syst`eme de l’analyse `a effectuer selon le syst`eme repr´esentationnel de capture utilis´e.
D’un point de vue du domaine de la reconnaissance d’´emotions, eMotion permet la recon-naissance d’´emotions basiques en se basant enti`erement sur un travail issu de la litt´erature en psychologie. Le syst`eme n’a donc pas subi d’entraˆınement pr´ealable, les r`egles d’interpr´ e-tation ´etant d´ej`a ´etablies dans [46]. L’exp´erimentation mise en œuvre a permis de r´ev´eler l’importance de l’aspect temporel de la reconnaissance d’´emotions : en particulier, une re-connaissance rapide associ´ee `a un m´ecanisme de vote sur une s´equence ne permet pas une reconnaissance d’´emotions exprim´ees de fa¸cons ponctuelles comme le d´egoˆut ou la surprise. Cette exp´erimentation servait un double but d’exploration et de validation de notre syst`eme. Les r´esultats obtenus permettent de valider partiellement notre syst`eme pour des ´emotions exprimables dans la dur´ee, en particulier la joie et la tristesse.
eMotion d´efinit un canevas logiciel extensible bas´e sur notre cadre architectural conceptuel. Il fournit un ensemble de services param´etrables pour reconnaˆıtre une ´emotion bas´ee sur les mouvements. Pour illustrer l’utilisation de ce canevas logiciel, nous pr´esentons au chapitre suivant une application exploitant ce canevas pour reconnaˆıtre l’´emotion d’un danseur.
Chapitre 7
eMotion appliqu´e `a la danse :
reconnaissance d’´emotions et r´ealit´e
augment´ee
Nous avons pr´esent´e, au fil de ce m´emoire, les diff´erentes ´etapes de la construction d’un syst`eme de reconnaissance d’´emotions, de l’int´egration de ses concepts dans ceux de l’interac-tion multimodale vers la concepl’interac-tion d’un mod`ele d’architecture et jusqu’`a la r´ealisation d’une application de reconnaissance bas´ee sur la gestuelle. Dans ce chapitre, nous pr´esentons une application pratique de nos contributions au cas de la danse et du ballet augment´e. La danse est une forme d’art qui, dans sa plus pure expression, se r´eduit au mouvement d’un danseur. Comme toute forme d’art, elle d´eclenche chez le public des r´eactions ´emotionnelles vari´ees (admiration, extase ou ennui). D`es le d´ebut de nos travaux, nous avons collabor´e avec les danseurs et chor´egraphes de l’institution Malandain Ballet Biarritz1 [36].
L’objectif de notre collaboration avec des danseurs ´etait de d´efinir comment les ´emotions reconnues `a partir des mouvements d’un danseur pouvaient ˆetre utilis´ees pour moduler les ´el´ements virtuels mis en jeu sur la sc`ene du ballet. Notre objectif ´etait d’augmenter la sc`ene du ballet `a partir d’´emotions reconnues et d’effectuer cette modulation en temps r´eel, afin de garder `a chaque repr´esentation son caract`ere unique [35].
Dans le cadre de nos travaux, cette collaboration nous a permis d’appliquer le canevas logi-ciel eMotion `a un cas concret. L’impl´ementation d’eMotion n’est pas d´ependante d’un cadre applicatif : les caract´eristiques de mouvement utilis´ees sont des caract´eristiques g´en´erales. L’impl´ementation actuelle d’eMotion est donc une solution `a la fois tourn´ee vers notre cadre applicatif (seule une reconnaissance par le mouvement a ´et´e actuellement impl´ement´ee) et g´ e-n´erique dans le choix d’une reconnaissance sur des caract´eristiques g´en´erales de mouvement.
Nous pr´esentons donc, dans la premi`ere section, notre domaine d’application : la danse. Cette section permet de pr´esenter les principes fondamentaux de la danse et d’introduire le
1
http ://www.malandainballet.com/
travail collaboratif que nous avons men´e avec les danseurs. Nous abordons ensuite le domaine de la r´ealit´e augment´ee, et en tirons des concepts et des choix pour la conception de notre propre syst`eme. Nous d´ecrivons ensuite nos travaux concernant la tˆache d’augmenter une sc`ene de ballet. Nous d´ecrivons ensuite nos travaux concernant l’augmentation de la sc`ene con¸cue et d´evelopp´ee, puis des applications concr`etes de ces travaux et de cette collaboration sous la forme d’´ev`enements scientifiques et artistiques. Enfin, nous concluons sur une exp´erimentation exploratoire ayant pour but de d´eterminer l’impact des augmentations sur la perception par le public des ´emotions exprim´ees par un danseur.