Modalités de communication

Dans une démarche de conception d’agents virtuels capables de mimer les comportements humains, de nombreux efforts ont été fournis dans la recherche d’une communication multimodale pour les ACAs, impliquant des comporte- ments verbaux et non verbaux multiples (e.g. gestuelles, expressions faciales, mouvements de tête, prosodie et intonation de la voix, orientation du regard).

Dans cette perspective, les chercheurs se sont notamment intéressés à l’im- pact de la communication multimodale des ACAs sur les perceptions et les comportements des utilisateurs (une revue de la littérature avant 2010 est dis- ponible dans Buisine (2007)). Les travaux de Buisine (2007) ont par exemple mis en évidence l’importance de la stratégie de communication multimodale, c’est à dire la manière dont les informations véhiculées au travers des com- portements verbaux et non verbaux se complètent ou au contraire se répètent, sur les perceptions et les performances d’apprentissage des individus. Portée par un courant de recherche grandissant en IHM, l’informatique affective (i.e. affective computing (Picard, 1999)), de nombreuses études se sont également concentrées sur l’expression multimodale de comportements socioémotionnels chez les ACAs (Pelachaud, 2009).

La littérature rapporte ainsi un ensemble d’études s’intéressant à la combi- naison de deux ou plusieurs comportements sociaux impliquant une communi- cation verbale et/ou non verbale : Buisine et al. (2014) ont par exemple étudié la combinaison des mouvements corporels (gestuelles et mouvements postu- raux confondus) et de l’expression faciale d’émotions d’un personnage virtuel sur la perception des utilisateurs. Les auteurs rapportent que les performances de reconnaissance faciale des émotions sont améliorées par la présence de mou- vements corporels. De plus, l’intensité perçue de l’émotion faciale apparaît renforcée par la présence de mouvements corporels émotionnels, en adéquation avec l’émotion exprimée. Plus récemment, Treal et al. (2020) ont observé que l’expression faciale de douleur d’un personnage virtuel est perçue de manière plus intense et plus crédible lorsqu’elle s’accompagne de mouvements « idle » correspondant à de subtiles oscillations du buste.

Dans leur étude, Ruijten et al. (2016) soulignent également l’importance de la cohérence dans l’expression d’indices sociaux chez un agent virtuel et montrent qu’une combinaison cohérente d’indices sociaux verbaux et non- verbaux, en l’occurrence, une expression faciale de colère associée à un contact

visuel, ou une expression faciale de tristesse associée à une aversion du regard, améliore la capacité des participants à reconnaître les émotions de l’agent. Les agents exprimant des indices sociaux cohérents sont également perçus par les participants comme plus persuasifs. En outre, ces récentes observations s’ins- crivent dans la continuité des travaux de Clavel et al. (2009) dans lesquels les auteurs ont montré d’une part, la contribution de la posture de l’agent dans la reconnaissance de l’émotion et d’autre part, l’importance de la cohérence entre expression faciale et posture.

Ces recherches mettent ainsi en exergue l’importance de la communica- tion multimodale, verbale et non verbale des agents virtuels dans l’expression de comportements sociaux et leur reconnaissance par les utilisateurs. Ces tra- vaux soulignent la nécessité d’intégrer une cohérence comportementale entre les différents indices sociaux exprimés par les agent virtuels. En complément de ce pend de littérature relatif à la communication multimodale, d’autres recherches se sont intéressées à un second aspect de la multimodalité et ont exploré l’impact du choix du canal de communication sur nos perceptions et nos comportements. Ainsi, Park (2015) s’est intéressé à l’influence de la mul- timodalité sur le processus d’apprentissage avec un agent virtuel pédagogique. L’auteur a étudié l’impact de différents canaux de communication verbale (i.e. narration avec une voix humaine, avec le texte à l’écran ou sans narration) et non verbale (i.e. incarné, non incarné) sur la charge cognitive des apprenants. Alors que la présence de l’incarnation ne montre aucun effet, le choix d’une communication verbale par narration avec une voix humaine est associé à une réduction de la charge cognitive, en comparaison des deux autres conditions de communication verbale.

Bien que l’influence d’indices sociaux dans la communication des agents vir- tuels soit particulièrement étudiée depuis deux décennies maintenant, il persiste dans la littérature un besoin accru d’explorer les effets de cette multimodalité de la communication sociale sur notre capacité à attribuer des facultés affec-

tives aux agents virtuels (Ruijten et al., 2016). Aujourd’hui, le challenge que représente la communication sociale chez les agents virtuels – en comparaison de la communication orientée-tâche – porte d’une part sur les indices sociaux véhiculés au travers d’une communication verbale et/ou non-verbale et d’autre part, sur les canaux de communication sélectionnés pour assurer l’interaction. Autant la présence d’indices sociaux dans la communication verbale et non verbale de l’agent virtuel que le choix des différents canaux de communication à sa disposition ont montré un impact sur les perceptions et les comporte- ments des utilisateurs. Nous soutenons ainsi que ces deux grands aspects de la communication multimodale nécessitent d’être étudiés de concert pour évaluer leur influence respective et combinée sur les processus socioperceptifs impliqués dans les interactions humain-agent.

3.2.4

Conclusion

Les interactions humain-agent sont le témoin d’un ensemble de processus cognitifs complexes comportant des similarités et des différences avec les in- teractions humaines. Il apparaît aujourd’hui primordial de mieux comprendre ces mécanismes afin d’en tirer profit pour concevoir des agents virtuels sociaux capables de s’adapter et de répondre à nos fonctionnements socioémotionnels. La prochaine section propose une revue sélective de la littérature sur les agents virtuels sociaux.