Les mouvements du corps et les émotions

Une importante portion de la communication chez l’humain passe par la communication non verbale. À travers les gestes, le regard, les mouvements et la position d’une personne, il est possible de faire passer un message avec le corps et même des émotions. Cependant, il n’est pas commun pour un système informatique de détecter et de s’adapter aux états psychologiques des humains à partir de la communication non verbale. L’un des buts de l’informatique affective est justement de détecter automatiquement les émotions humaines. Plusieurs travaux antérieurs ont tenté de détecter des états émotionnels à travers différents moyens, incluant l’analyse des interactions avec le clavier et la souris (Kołakowska, 2013 ; Hernandez et al., 2014), l’analyse des expressions faciales (De Silva et al., 1997), l’analyse de la voix (Dellaert, Polzin et Waibel, 1996) et l’utilisation de différents signaux physiologiques tels que le rythme cardiaque ou l’activité électrique du cerveau (Drachen et al., 2010 ; Nacke et al., 2011 ; Nacke, 2009). Plusieurs autres articles existent également sur l’informatique affective (Calvo et D’Mello, 2010 ; Gunes et Pantic, 2010 ; Gunes, Piccardi et Pantic, 2008 ; Zeng et al., 2009).

Depuis le célèbre ouvrage de Darwin « The expression of the emotions in man and animals » (Darwin, Ekman et Prodger, 1998), de nombreuses recherches ont été effectuées pour démontrer qu’il est possible de faire la détection d’émotions à travers l’expression corporelle et par la manifestation de différents gestes du corps (Kleinsmith et Bianchi-Berthouze, 2013 ; Karg et al., 2013). En adoptant certaines postures, il est possible d’envoyer des messages clairs quant à sa volonté et sa capacité de participer à des interactions sociales. Ces postures peuvent être accompagnées de différents gestes et de mouvements pouvant renforcir le message (Fabri, Moore et Hobbs, 1999). De plus, il a même été démontré que l’expression corporelle a l’avantage d’être perçue à une distance plus lointaine que les expressions faciales (de Gelder, 2009). Certaines postures peuvent aussi avoir une signification claire à travers plusieurs cultures, comme le rejet, l’incompréhension et l’attention (Fabri, Moore et Hobbs, 1999).

D’autres travaux ont tenté d’exploiter les postures et les mouvements du corps pour la détection d’émotions (Alborno et al., 2016 ; Castellano, Villalba et Camurri, 2007 ; Kapur et al., 2005 ; Kleinsmith, Fushimi et Bianchi-Berthouze, 2005 ; Piana et al., 2013 ; Piana et al., 2016).

Plusieurs de ces travaux ont utilisé des acteurs pour exprimer différentes émotions à travers plusieurs poses et mouvements pouvant être amplifiés. En comparaison, le présent projet de recherche utilise la réalité virtuelle qui a l’avantage de simuler des scénarios avec des utilisateurs réels pour permettre de capturer les mouvements et les réactions spontanés pouvant être générés par des stimulus contrôlés, ce qui reflète mieux une situation réelle.

Avec l’émergence de caméras, de capteurs, de systèmes de réalité virtuelle et de systèmes de réalité augmentée à faible coût pouvant suivre les mouvements du corps, la détection d’émotions par ces mouvements va permettre de développer plusieurs nouvelles fonctionnalités et applications. Certains jeux vidéo exploitent déjà les mouvements du corps comme la console Nintendo Wii et la caméra Microsoft Kinect. Savva (Savva, Scarinzi et Bianchi-Berthouze, 2012) explique que de nombreuses études ont démontré que les mouvements des joueurs peuvent avoir un impact sur l’effet de présence, sur leurs états émotionnels, sur leur engagement social et sur leur engagement dans un jeu. Ces jeux présentent généralement l’utilisateur sous forme d’avatar dans l’environnement virtuel tout en permettant à l’utilisateur de contrôler directement son avatar en temps réel, telle une marionnette, à partir des mouvements de son corps. Il est ainsi possible de transmettre les

émotions à travers un environnement virtuel. L’étude de Savva a aussi démontré que des sujets sont capables de classifier des avatars animés parmi une sélection d’émotions, ce qui permet d’offrir des interactions sociales et virtuelles plus complexes (Savva, Scarinzi et Bianchi-Berthouze, 2012).

Wallbot (Wallbott, 1998) a épluché l’œuvre de Darwin (1998) en répertoriant les différents comportements non verbaux accompagnant la manifestation de diverses émotions. Le tableau suivant présente un résumé de ces comportements. Wallbot a également démontré qu’il existe des mouvements distinctifs ou des caractéristiques permettant de distinguer les émotions entre elles. L’intensité des mouvements est également un autre facteur permettant de distinguer les émotions.

Tableau 1.5 Les mouvements et postures accompagnant des émotions spécifiques Émotions Comportement

Joie Divers mouvements sans but, sauter, danser de joie, taper des mains, rire en faisant sautiller la tête, rire excessif en projetant le corps vers l’arrière, forte activité de mouvement

Tristesse Immobile, passif, avoir la tête basse Fierté Avoir le corps et la tête droite

Honte Mouvement nerveux, détournement du regard, maladresse des mouvements, se pencher

Peur/Terreur Tête entre les épaules, immobile, accroupie, mouvements convulsifs, se protéger en couvrant rapidement son visage avec ses mains, fermer et ouvrir les mains de façon répétitive, forte activité de mouvement Rage/Colère Tremblement du corps, intention de pousser ou de frapper, lancer des

objets, la tête haute, la poitrine gonflée, les pieds ancrés au sol, bras rigide, épaules carrées, forte activité de mouvement

Dégoût Geste pour repousser, geste de protection, cracher, les bras serrer sur les côtés

Les travaux les plus pertinents en lien avec notre étude sont ceux de Kleinsmith et Savva (Kleinsmith, Bianchi-Berthouze et Steed, 2011 ; Savva, Scarinzi et Bianchi-Berthouze, 2012).

Ces travaux effectuent de la détection d’émotions à partir des mouvements du corps sans acteurs. Kleinsmith classifie des états émotionnels à partir de postures du corps statiques alors que Savva classifie des états émotionnels à partir des mouvements dans le temps. Dans ces deux travaux, les données sont capturées par des utilisateurs debout jouant à un jeu vidéo avec la console Nintendo Wii. Pour ces deux cas, un système de capture de mouvement analysant l’ensemble du corps a été utilisé. Avec ces données, ils ont utilisé des algorithmes d’apprentissage machine pour effectuer l’entrainement et tester la reconnaissance d’états émotionnels. Les caractéristiques qu’ils ont analysées sont les articulations du corps humain et les valeurs pouvant être reliées à celles-ci comme la vitesse angulaire. Les utilisateurs ont expérimenté différents états émotionnels à travers les jeux vidéo et ceux-ci ont été identifiés par d’autres juges humains. Kleinsmith a entrainé un algorithme « Multilayer Perceptron (MLP) » pour classifier les états émotionnels et a obtenu une performance approximant 60%.

Savva a plutôt entrainé un algorithme « Reccurent Neural Net (RNN) » pour atteindre une performance approximant 61%. Les deux travaux ont été démontrés que la performance des algorithmes d’apprentissages utilisés est comparable aux jugements d’humains.

Aucune étude tentant de détecter des états émotionnels en utilisant un système de réalité virtuelle et la capture de mouvement n’a été identifiée. Cependant, certains avancements technologie existent dans ce sens comme le dispositif FACETEQ (Mavridou et al., 2017) pour les casques de réalité virtuelle. C’est un appareil permettant de faire de la reconnaissance d’expression faciale et d’émotions avec l’électromyogramme (EMG) qui détecte les mouvements des muscles du visage.

Ce qui est clair c’est que la réalité virtuelle peut générer des émotions de nombreuses façons : par les histoires narratives, par les interactions sociales, par l’ambiance et l’environnement, par les actions et la liberté de l’utilisateur, par des affordances émotionnelles (sons, images), par la difficulté des tâches demandées et par la communication d’informations avec l’utilisateur.