D´ efinition des composants de la branche ´ emotion

Nous avons donc introduit cinq types de composants pour la reconnaissance d’´emotions (figure 30). L’unit´e de capture, l’extracteur de caract´eristiques et l’interpr´eteur sont des com-posants remplissant des fonctions directement li´ees `a la reconnaissance d’´emotions. L’adap-tateur et le concentrateur sont des composants g´en´eriques. Ils ne reprennent pas de concept particulier `a la reconnaissance d’´emotions. Leur pr´esence est n´ecessaire pour la multimodalit´e. En effet, le composant unit´e de capture est une sp´ecialisation du composant dispositif pro-pos´e par ICARE. Les composants extracteur de caract´eristiques et interpr´etation permettent, d’un point de vue strictement syst`eme, de modifier le syst`eme repr´esentationnel utilis´e. Ils se rapportent donc aux composants syst`eme repr´esentationnel d’ICARE. N´eanmoins ces compo-sants ne couvrent pas tous les cas de changement de syst`eme repr´esentationnel : le composant adaptateur permet de pallier `a cette lacune. Enfin le composant concentrateur permet de g´erer la redondance et l’´equivalence dans notre syst`eme.

Fig. 30: Les composants de la branche ´emotion.

L’unit´e de capture

L’unit´e de capture a pour rˆole de faire l’interface avec le dispositif. Ce composant peut encapsuler le pilote du dispositif consid´er´e ou fournir une couche suppl´ementaire afin d’ajouter certaines informations (estampilles de temps par exemple) aux donn´ees du dispositif pour le bon fonctionnement du syst`eme. L’unit´e de capture peut pr´esenter des ports d’entr´ee lui permettant de recevoir des communications du dispositif physique. L’unit´e de capture d´elivre un flux de donn´ees. Ce flux ´etant ´emis depuis le niveau capture, nous le nommons flux de capture.

Ainsi, une unit´e de capture permet d’int´egrer n’importe quel dispositif au syst`eme. Au cha-pitre 6 par exemple, nous utilisons pour capter la gestuelle deux unit´es de capture g´erant pour la premi`ere une paire de capteurs `a six degr´es de libert´e et pour la seconde une combinaison de suivi de mouvement. Dans cette application, la premi`ere unit´e de capture est un composant encapsulant le pilote ; la deuxi`eme est bas´ee sur une socket r´eseau recevant les donn´ees de la combinaison ; son seul rˆole est donc de retraduire les coordonn´ees du corps pour les envoyer aux composants suivants.

L’extracteur de caract´eristiques

L’extracteur de caract´eristiques est le type de composant principal du niveau Analyse. Son rˆole est de traiter un ou plusieurs flux compl´ementaires en entr´ee pour en extraire une ou plusieurs caract´eristiques porteuses d’information ´emotionnelle. Id´ealement, afin de s´eparer au maximum le code et assurer ainsi une meilleure r´eusabilit´e, il est pr´ef´erable qu’un extracteur ne s’abonne qu’`a un minimum de flux et n’extraie qu’une caract´eristique. Cependant, pour des raisons d’optimisation, il est parfois pr´ef´erable de regrouper certains calculs et l’extraction de plusieurs caract´eristiques.

Typiquement, un extracteur de caract´eristiques s’abonne `a un flux de capture, en extrait une caract´eristique et produit un flux des valeurs de cette caract´eristique au cours du temps, appel´e flux de caract´eristiques. Par exemple, dans notre syst`eme de reconnaissance d’´emotions bas´e sur la gestuelle pr´esent´e au chapitre 6, une combinaison de capture du mouvement nous donne un flux continu (`a 100 Hz) des coordonn´ees de chaque segment du corps. Un extracteur de caract´eristiques calcule l’expansion des bras dans les valeurs Ind´etermin´e, Ferm´e,

5.3. La branche ´emotion : conception globale 103

Ouvert. Cet extracteur s’abonne au flux de capture des coordonn´ees du corps, et seuille la distance entre les poignets pour d´eterminer la valeur de sortie. Dans ce cas, `a chaque mesure correspond une valeur de caract´eristique. Il existe ´egalement des variables temporis´ees, n´ecessitant l’extraction sur un ensemble de donn´ees dans le temps. C’est le cas par exemple de la directivit´e d’un geste calcul´ee par Volpe dans [143] (voir section 3.4, page 59).

Un extracteur peut s’abonner `a un ou plusieurs flux de capture. Il peut ´egalement s’abonner au flux produit par un autre extracteur. Par exemple, dans [143], Volpe calcule la quantit´e de mouvement de l’utilisateur. Cette valeur peut-ˆetre utilis´ee telle quelle car la quantit´e de mouvement est d´ej`a repr´esentative de l’´emotion. Elle est ´egalement utilis´ee pour segmenter le mouvement en phases de pause et de mouvement, par seuillage. En transposant cet exemple dans une architecture `a composants, on obtient un extracteur de caract´eristiques calculant la quantit´e de mouvement, et un extracteur de caract´eristiques d´eterminant l’´etat de la phase courante {pause, mouvement}. Ce dernier prend en entr´ee le flux de quantit´e de mouvement.

L’interpr´eteur

La brique de base du niveau interpr´etation est l’interpr´eteur. Il s’abonne `a un ou plusieurs flux de caract´eristiques ´emis par le composant Analyse. Son rˆole est de d´eduire une ´emotion des valeurs qu’il re¸coit au temps t pour ces caract´eristiques.

Un interpr´eteur se d´efinit ainsi :

f{C→E}⁽{p}) (5)

O`u :

1. C, ensemble de d´epart, est l’ensemble de caract´eristiques extraites au niveau Analyse, sur lequel va se baser l’interpr´etation ;

2. E, ensemble d’arriv´ee, est l’ensemble d’´emotions consid´er´e par le syst`eme et le mod`ele de repr´esentation utilis´e pour cet ensemble ;

3. f , fonction d’interpr´etation, va fournir une ´emotion appartenant `a E `a partir des valeurs des caract´eristiques de C ;

4. Enfin l’ensemble{p} est l’ensemble des param`etres de la fonction f.

L’interpr´eteur d´elivre un flux de donn´ees d´ecrivant les ´emotions interpr´et´ees que nous appe-lons flux d’´emotions. Les composants “interpr´eteur” sont d´ependants du mod`ele d’´emotion (mod`ele discret, continu ou `a composants - voir section 1.3). Selon le mod`ele adopt´e, l’´ emo-tion n’est pas repr´esent´ee de la mˆeme mani`ere aussi nous ne figeons pas dans notre mod`ele d’architecture le format des sorties des composants interpr´eteurs.

L’adaptateur

En plus des composants li´es aux fonctions successives d’un syst`eme de reconnaissance d’´ emo-tions, chaque niveau peut ´egalement poss´eder des composants de type “adaptateur”. Un tel

composant a pour rˆole de retranscrire les donn´ees dans les flux selon un autre format. Il est g´en´erique dans le sens o`u il est ind´ependant d’un mod`ele d’´emotion particulier. Les adapta-teurs peuvent regrouper tout type de traitement n’ayant pas un rapport direct avec la tˆache d’extraire l’´emotion. Un adaptateur effectue un transfert de syst`eme repr´esentationnel qui n’est pas en relation avec la tˆache de reconnaissance d’´emotions. Ainsi, un adaptateur peut ˆetre utilis´e pour :

– transformer la mani`ere dont sont structur´ees les donn´ees.

– effectuer un traitement pr´ealable sur les donn´ees : par exemple, passer une image en niveaux de gris, ou extraire les informations spatiales du corps de l’utilisateur sous forme de coordonn´ees en prenant de la vid´eo en entr´ee.

– recalculer l’information : par exemple, replacer les coordonn´ees acquises par deux cap-teurs dans deux rep`eres diff´erents dans un rep`ere unique.

Le concentrateur

Une solution pour am´eliorer la robustesse d’un syst`eme est de le doter de plusieurs dispositifs de mesure et de m´ethodes pour un mˆeme calcul, puis de comparer et combiner les donn´ees ou les r´esultats obtenus. Ainsi dans notre architecture, des unit´es de capture ou des extracteurs de caract´eristiques peuvent produire des flux similaires, dont la finalit´e est d’ˆetre fusionn´es afin de ne fournir qu’un seul flux plus fiable.

Le terme “fusion” utilis´e ici d´esigne la fusion des donn´ees au sens traitement du signal : la redondance de deux flux permet de pallier aux erreurs de l’un d’entre eux ; deux flux peuvent ˆetre fusionn´es en favorisant le flux le plus fiable et en n’utilisant l’autre que comme compl´ement. Cependant, afin d’´eviter d’utiliser le terme “fusion”, dont la signification est diff´erente selon les domaines de traitement du signal et de l’interaction multimodale, nous parlons ici de concentration. Dans le cadre de la multimodalit´e, un concentrateur a pour rˆole d’effectuer le dernier traitement des composants redondance et redondance/´equivalence d’ICARE. En effet, notre syst`eme permet la synchronisation constante des flux de donn´ees, de fa¸con g´en´erique. Le seul traitement ad hoc `a fournir dans le cas d’´equivalence, redondance ou redondance/´equivalence est la fusion des donn´ees au sens signal (amalgamer les deux flux en un seul) et l’alternance entre plusieurs modalit´es sources.

Par exemple, en consid´erant notre application de reconnaissance d’´emotions par la gestuelle (voir chapitre suivant) permet l’utilisation redondante d’une combinaison de capture de mou-vement et d’une paire de capteurs `a six degr´es de libert´es. Les deux capteurs sont plac´es sur les poignets. Un adaptateur permet de recaler le syst`eme de coordonn´ees des capteurs dans celui de la combinaison. Un concentrateur permet de recalculer la position pr´ecise des poignets en utilisant les deux capteurs.

La concentration de deux flux en un seul a donc pour rˆole d’am´eliorer la fiabilit´e des donn´ees obtenues. Cette concentration est d´ecid´ee au moment de la conception du syst`eme. De la mˆeme mani`ere que le concepteur d’interaction multimodale d´ecide d’utiliser deux modalit´es de fa¸con compl´ementaire (par un assemblage de composants au sein d’ICARE), le concepteur d´ecide

5.3. La branche ´emotion : conception globale 105

ici d’utiliser deux sources d’information pour rendre la reconnaissance plus fiable en utilisant un composant concentrateur.