Dans cette section, nous utilisons les 11 paramètres sélectionnés sur toutes les actions pour examiner les patterns de caractérisation en se basant sur les données de capture de mouvement. Les patterns en couleurs présentent dans la Figure 15 représentent les caractérisations de chaque expression d’émotion sur toutes les ac-tions. Ils sont obtenus avec la moyenne normalisée des 11 paramètres. Cette ap-proche nous permet de visualiser rapidement et facilement la caractérisation de chaque émotion sur toutes les actions.
De manière globale, ces caractérisations peuvent être représentées sur les deux dimensions qui ont été largement utilisées pour représenter les émotions sur deux
Figure 15: Caractérisation des expressions d’émotion avec les 11 paramètres sélec-tionnés comme pertinents sur toutes les actions.
axes; l’activation et la valence. L’activation qui est le niveau d’excitation et la valence qui est la polarité de l’émotion. Nous avons remarqué que les paramètres de vitesse et accélération reçoivent les plus grande valeurs avec les émotions qui sont défini avec un niveau d’activation élevé comme la colère, la joie, la peur panique, et les plus faibles valeurs pour les émotions ayant un niveau d’activation faible. De même pour la dimension de valence, nous remarque que la joie et la fierté, qui sont les seuls émotions positives dans notre base de données, se caractérisent par la flexion de torse et de tête les plus faibles, alors que les émotions négatives se caractérisent souvent avec une flexion et un penchement vers l’avant, particulièrement la honte et la tristesse.
Nous avons également utilisé cette approche de caractérisation pour étudier l’effet de l’action sur la caractérisation de chacune des émotions. Par exemple pour l’émotion de colère, nous avons trouvé que le pattern de caractérisation qui concerne la vitesse et accélération du mouvement de "Jeter un objet" est statistique-ment différent du pattern de la colère sur les autres actions. Nous avons aussi trouvé que certains paramètres sont influencés par l’action de la même manière sur toutes les émotions. Par exemple la distance entre les pieds est fortement influencée par l’action de marche. De même la flexion du torse est fortement influencée par l’action de s’assoir.
Cette approche nous a permis de caractériser les émotions de manière simple avec les 11 paramètres. En deuxième lieu, nous avons utilisé les paramètres
sélec-tionnés sur chaque action pour générer des arbres de décisions optimisés. L’avantage principal des arbres de décision se manifeste par l’interprétation du modèle de classi-fication. Les inconvénients major sont l’instabilité aux changements des données et l’ajustement taillé du modèle. Pour gérer ces problématiques, nous avons utilisé les paramètres déjà sélectionnés par les forêts aléatoires. De plus, nous avons effectué une étape d’élagage de l’arbre pour éliminer les branches les moins utiles. Nous donnons un exemple d’une règle extraite de l’arbre pour caractériser l’expression corporelle de la colère (voir Figure 16). La colère est classifiée avec une probabilité de 83% avec cet ensemble de règles : l’accélération des mouvements des coudes, le penchement vers l’avant du torse et la vitesse de flexion des coudes soit supérieure à certains seuils.
De manière globale, nous mentionnons quelques résultats déduits à partir des arbres de décisions construites avec nos données:
– Les paramètres sélectionnés sur l’entête de l’arbre sont les paramètres les mieux classé par les forets aléatoires.
– Les paramètres sélectionnés à la racine de l’arbre concernent généralement la vitesse et l’accélération permettant de distinguer les expressions des émotions les plus actives des émotions les moins actives. La rectitude du torse permet souvent de distinguer les émotions négatives des émotions positives .
– Les paramètres sélectionnés à la fin des branches sont particulièrement liés à des émotions spécifiques.
– Les émotions confuses au niveau de la perception humaine partage des règles communs.
CONCLUSION
Dans cette section nous résumons chacune des étapes de ce travail tout en rap-pelant les principales contributions. Nous discutons aussi les limites et les perspec-tives de ce travail.
– Pour la première étape, nous avons proposé un système d’annotation multi-niveaux des mouvements expressifs, à partir duquel nous avons proposé une liste de 114 paramètres corporels. Ce système d’annotation est utile pour caractériser l’expression corporelle dans différentes actions.
– Pour la deuxième étape, nous avons enregistré une nouvelle base de données (Emilya), contenant une large variété d’émotions et d’actions, contenant envi-rons 8000 fichiers de capture de mouvement et plus que 8000 fichiers vidéos. Nous avons effectué une étude perceptif pour étudier la perception des émo-tions exprimée.
– Pour la troisième étape, nous avons calculé les 114 paramètres à partir des don-nées de capture de mouvement et nous avons utilisé la méthode des forets aléa-toires pour étudier la classification des expressions d’émotion sur différentes actions. Nous avons comparé les taux de classification avec la perception hu-maine des émotions.
– Pour la quatrième étape, nous avons déduit les paramètres importants con-sidérés pendant la classification des émotions, et ceci pour chaque action et sur toutes les actions. Nous avons aussi interprété le rôle d’importance de ces paramètres et nous avons distingué 4 catégories de paramètres selon leur importance par rapport à l’action et à l’émotion.
– Enfin nous avons utilisé ces paramètres sélectionnés pour explorer la caractéri-sation de l’expression corporelle. Nous avons étudié l’effet de l’action sur la caractérisation et nous avons étudié la caractérisation sur toutes les actions. Les contributions major de ce travail de thèse porte sur la collection et la vali-dation d’une nouvelle base de données, et la proposition d’un système d’annotation multi-niveaux génétique pour différentes actions. Nous avons étudié l’effet de l’action sur l’expression et la perception des comportements émotionnels corporels et nous avons exploré les paramètres expressifs les plus importants.
Cependant, ce travail n’est pas privé de limites. Nous mentionnons quelques limites identifiés. D’abord, nous n’avons pas étudié la corrélation et la dépendance entre les paramètres sélectionnés. De plus, nous n’avons pas considéré d’autres niveaux de descriptions comme le niveau fonctionnel et spatial qui peuvent enrichir notre système d’annotation. Aussi, nous n’avons pas considéré les paramètres qui dérivent la trajectoire du mouvement. Enfin, bien que nous ayons utilisé une méth-ode d’induction pour enregistrer les expressions d’émotions, nous n’avons pas con-sidérés l’étude des expressions exprimés de façon naturelle et spontanée.
Dans nos futurs travaux, il serait intéressant d’étudier la corrélation entre les paramètres expressifs identifiés comme pertinents pour la classification et la car-actérisation des expressions corporelles. Il serait aussi intéressant d’étudier la re-connaissance de l’expression d’émotion multimodale à travers les données audio-visuelle enregistrés dans la base de données Emilya. Enfin, la synthèse des com-portements émotionnels corporels à partir des règles de caractérisation nous sera utile pour vérifier si la caractérisation basée sur les paramètres sélectionnés pourra capturer l’expressivité corporelle. A long terme, nous pourrons enrichir notre
1
Introduction
“Humans, whether in individual or interactive setting, consciously or not,
com-municate a rich mosaic of nonverbal messages with their bodies, faces and voices”
[J.A. Harrigan, 2005]. Nonverbal communication is achieved using wordless cues through our facial expressions, vocal prosody and body posture and movement. It has been shown in several psychological researches that all of these cues may in-fer our emotional states. Based on a wide range of human perception studies, it has been also proved that humans can identify, to some extent, emotional states expressed and displayed through facial and bodily expressions of other humans.
The recognition of emotions from facial and bodily expressions has been recently widely explored in affective computing field in order to build “intelligent”, “affective” and “interactive” machines in a number of areas such as education, health care, games and entertainment. For instance, intelligent tutorial systems [D’Mello and Graesser, 2009] can react appropriately to adapt the style of learning when the learner is no more interested or motivated. Configurations of upper body posture while being seated (e.g. leaning forward/ backward) has been used as a relevant indicator of the learner’s interest [Mota and Picard, 2003]. The interest and the motivation of the learner are strongly affected by the emotional states experienced by the learner such as failure, frustration, fear or anxiety [Kleinsmith and Bianchi-Berthouze, 2013], [Kapoor et al., 2007].
The recognition of facial and bodily expressions is also useful in games scenario to maintain the motivation of the players. For instance, the level of the game can be adapted according to the emotion experienced by the players and displayed through their facial and bodily expressions. The automatic recognition of players’ emotions during video game scenario has been explored based on their expressive postures and movements [Savva et al., 2012], [Kleinsmith et al., 2011]. During video games and interactive systems, the credibility of the virtual characters is also required to maintain the motivation of the player/ user. In addition to the rendering of virtual characters, natural body movement and emotions experience can strongly affect the naturalness and the credibility of virtual characters [Ennis et al., 2013]. Another application that makes use of bodily expressiveness is interactive system that provides feedback during dance performance [Alaoui et al., 2012]. It has been shown that providing a visual feedback according to the expressiveness of dancers fosters the explorative and the expressive usage of the interactive system allowing
1
1.1. FROM FACIAL TO BODILY EXPRESSION OF EMOTION
Figure 1.1: Facial expressions of Neutral and the six basic emotions from the Japanese Female Facial Expression (JAFFE) Database.
the dancers to better express themselves. In addition to education, entertainment and games scenarios, the recognition of patients’ emotions - in particular from their bodily expression - has been useful in chronic pain rehabilitation to adapt the ther-apy according to their experienced emotions [Haugstad et al., 2006] [Kleinsmith and Bianchi-Berthouze, 2013].
1.1 FROM FACIAL TO BODILY EXPRESSION OF EMOTION
It has been widely asserted that emotional states can be displayed through our facial expressions (See Figure 1.1). The face has been widely considered as the principal modality to communicate emotions by the means of facial expressions [Ekman and Friesen, 1978]. Ekman [Ekman and Friesen, 1969] proposed the evidence of the recognition of basic emotions from facial expression: Anger, Joy, Sadness, Fear, Disgust, Surprise (See Figure 1.1).
Bodily expression has been widely considered as providing a backdrop for a better recognition of facial expressions [J.A. Harrigan, 2005]. When facial and bodiy expressions of emotions are shown together in an image or a video, they mostly ensure better emotion recognition scores. Gelder [De Gelder, 2006] reported that “an angry face is more menacing when accompanied by a fist, and a fearful face
more worrisome when the person is in flight (that is, running away)”. Gunes and
Piccardi [Gunes and Piccardi, 2006] observed that emotion perception leads to better results when subjects observe both facial expressions and gestures than when they observe only facial expressions or gestures. Tracy and Robins [Tracy and Robins, 2008] showed that Pride expression shown through facial expression and upper body posture was reliably recognized and distinguished from Happiness.
Indeed, early researchers have widely assumed that nonverbal affective messages conveyed through body posture and movement can only infer the intensity of emotion expression. However, recent researchers from different disciplines have shown that emotions can be expressed and recognized from solely bodily expressions. Several perceptual studies have been conducted to explore the human ability to recognize emotions from body posture and movement. They have shown that humans are able to identify, to some extent, emotional states from the perception of bodily expres-sions without including facial expresexpres-sions [Kleinsmith and Bianchi-Berthouze, 2013]
1
Figure 1.2: Examples of prototypical body posture. From top to bottom, they repre-sent body expressions of Anger, Fear, Joy and Sadness (Screenshots from [Kleinsmith et al., 2009])
1
1.2. BODILY EXPRESSION OF EMOTIONS [Burgoon et al., 2010] [Wallbott, 1998] [Atkinson et al., 2004] [Dahl and Friberg, 2007] [Gross et al., 2010] [Roether et al., 2009].
1.2 BODILY EXPRESSION OF EMOTIONS
In psychological researches [Meijer, 1989] [Wallbott, 1998] [Burgoon et al., 2010] [Atkinson et al., 2004] [Montepare et al., 1999], emotion expression in body move-ment and body posture has been studied from either explicit or implicit bodily expressions.
– Explicit expression of emotion refers to prototypical expression. The expres-sion of emotion is achieved through specific gestures [Dael et al., 2011] [Klein-smith et al., 2009]. Figure 1.2 shows some snapshots of prototypical bodily expression of Anger, Fear, Joy and Sadness as studied in [Kleinsmith et al., 2009]. For instance, the expression of Joy can be achieved through raising arms (See Figure 1.2).
Some emotions seem to be characterized with similar patterns across different studies [Wallbott, 1998], [Dael et al., 2011]. For instance, several researches highlighted that the expression of sadness is conveyed through arms relaxed along the body and downward head flexion [Wallbott, 1998], [Dael et al., 2011], [Coulson, 2004]). However, studies may report very different body postures and movements for the expression of other emotions. For instance, differ-ent prototypical expressions of Disgust have been described in previous works [Coulson, 2004] [Wallbott, 1998] [Atkinson et al., 2004].
– Implicit expression of emotion refers to the communication of emotions during a specific movement task (See Figures 1.4 and 1.5). Movement tasks can refer to daily actions (e.g. walking, throwing, knocking), music performance (e.g. piano performance) or choreographed dancing [Montepare et al., 1999] [Pollick et al., 2001] [Gross et al., 2010]. Indeed, emotions are communicated in body movements through the modulation of the movement task such as increasing the amount of arms swing and stride length during Anger expression in walking (See Figure 1.3). Figure 1.3 shows an example of neutral and angry walking as presented in [Hicheur et al., 2013].
Several perceptual studies have been conducted to explore the characterization of emotions expressed during implicit expression (e.g. during knocking [Gross et al., 2010], walking [Montepare et al., 1999] and music performance [Dahl and Friberg, 2007]). It has been shown that similar characterization of some emotions have been found across different movement tasks. For instance, the expression of Sadness has been mostly characterized by slow movement (when expressed during music performance [Dahl and Friberg, 2007], knocking [Gross et al., 2010] and walking [Montepare et al., 1999]) and contracted posture (when expressed in knocking [Gross et al., 2010] and walking [Montepare et al., 1999]).
1
1.3 AUTOMATIC RECOGNITION OF BODILY EXPRESSION OF EMO
-TION
Lately, bodily expression of emotion has received a growing interest in computer sciences and affective computing researches. Several studies have been conducted to automatically recognize emotional states from bodily expression [Camurri et al., 2003] [Alaoui, 2012] [Kapoor et al., 2007] [Bernhardt and Robinson, 2007] [Klein-smith et al., 2011]. For instance, Camurri et al. [Camurri et al., 2004] proposed a framework called EyesWeb devoted to the analysis of expressive dancing based on image and signal processing techniques. Their framework was also useful to rec-ognize emotions experienced in dancing movement[Camurri et al., 2003]. Recently, Kleinsmith et al. [Kleinsmith et al., 2011] explored the recognition of players’ af-fective states during computer game scenario. In another work, Kleinsmith et al. [Kleinsmith et al., 2009] highlight the need to endow humanoid robot with the ability to express emotions through body posture.
As reported in a recent survey of affective body expression perception and recog-nition [Kleinsmith and Bianchi-Berthouze, 2013], the reasons for the increasing in-terest on automatic recognition of bodily expression of emotion can be summarized as scientific, social and technological factors.
– Firstly, psychological works highlighted the importance of bodily expression in conveying emotions. In addition to its relevance in multimodal expression when combined with facial expression, bodily expression alone can also convey emotional states [Kleinsmith and Bianchi-Berthouze, 2013] [Burgoon et al., 2010] [Wallbott, 1998]. It has also been shown that some emotions (such as deception [Ekman and Friesen, 1969, Ekman and Friesen, 1974]) are easier conveyed through the body than through the face [Karg and Samadani, 2013] [Aviezer et al., 2012]. Considering bodily expression for the recognition of emotions is also useful when the expressed emotion is recognized at a distance [Karg and Samadani, 2013].
– Secondly, bodily expressions are highly useful to build affect-aware applications such as intelligent tutorial systems for education [Neill and Caswell, 1993] [D’Mello and Graesser, 2009] and reactive rehabilitation in clinical therapy [Haugstad et al., 2006].
– Thirdly, as technologies surround more and more our daily life, it has become essential to incorporate affect recognition within a human-computer interac-tion [Kleinsmith and Bianchi-Berthouze, 2013]. For instance, recent computer games such as Nintendo Wii (e.g. Just Dance game) are based on whole body movement. Considering the emotion of the player in such a game can increase the motivation of the player and facilitate the human computer interaction. Besides, early studies on emotion expression in body movements mostly relied on video recordings [Wallbott, 1998] [Montepare et al., 1987]. Thanks to the recent development of new motion-capture technologies, it becomes easier to obtain accurate information on 3D body posture and body movement allowing
1
1.4. RESEARCH CHALLENGES
Figure 1.3: Snapshots of video-recording and motion-capture movies illustrating the neutral and angry gaits. (Screenshots from [Hicheur et al., 2013])
a better understanding of bodily expression of emotions.
1.4 RESEARCH CHALLENGES
Despite the increasing need to develop computational models enabling the elab-oration of affect-aware technologies, there is a clear lack of insights into how these models should be designed [Kleinsmith and Bianchi-Berthouze, 2013]. We present the challenges we encountered in designing such models.
Collecting bodily expression of emotions :
Most of the studies that aim to develop an affect-aware model rely on a database of emotion expression. One of the issues the most agreed upon is dealing with the recognition and the characterization of natural and spontaneous emotion expression. Due to the difficulty of gathering spontaneous expressive body movement, most of the previous studies on bodily expression of emotions have been based on acted database. The collection of emotion expression is mostly followed by a perceptual study to ensure the matching between the emotion being expressed by the actor and the emotion perceived by other subjects. In some acted database, exaggerated and stereotypical expressions lead to artificial behavior that do not represent naturalis-tic expressions encountered in daily situations. An affective database should offer a good compromise between the reliability of emotion expressions and the precision of movement data. The precision of motion capture data is useful to build accurate computational models in order to capture bodily expression of emotions from daily