Relations entre modalit´ es : espace TYCOON et propri´ et´ es CARE

Pour caract´eriser la multimodalit´e, nous retenons deux espaces de conception qui carac-t´erisent les relations entre modalit´es d’interaction : l’espace TYCOON [94] et les propri´et´es CARE de la multimodalit´e [40].

Espace TYCOON

L’espace TYCOON pr´esente un cadre th´eorique `a l’´etude d’interfaces multimodales, un langage de sp´ecification et un module multimodal int´egrant les ´ev`enements provenant de plu-sieurs modalit´es. Le cadre th´eorique d’´etude d’interfaces multimodales se pr´esente comme un espace `a deux dimensions (voir figure 19). La premi`ere dimension est celle du type de coop´ e-ration de modalit´es. Martin identifie cinq types de coop´eration : le transfert, l’´equivalence, la sp´ecialisation, la redondance et la compl´ementarit´e. La seconde dimension est celle des buts que l’on cherche `a atteindre lors de la conception de l’interaction : par exemple, l’apprentis-sage ou une interaction rapide. Chaque coop´eration de modalit´es en abscisse peut permettre

d’atteindre des objectifs parmi ceux list´es en ordonn´ee.

Fig. 19: Cadre d’´etude th´eorique pour la multimodalit´e. Figure tir´ee de [94].

La coop´eration par transfert signifie qu’une unit´e informationnelle produite par une moda-lit´e est utilis´ee par une autre modalit´e. Par exemple, un utilisateur peut effectuer des gestes `

a la souris pour effectuer certaines commandes (par exemple, tracer un trait de droite `a gauche pour aller `a la page pr´ec´edente dans un navigateur internet). Dans ce cas, la modalit´e

<souris, couple de coordonn´ees (x,y)> est transf´er´ee vers une modalit´e <souris, geste> ; les coordonn´ees de la souris sont utilis´ees pour retrouver les gestes effectu´es par l’utilisateur.

La coop´eration par ´equivalence implique qu’une unit´e informationnelle peut ˆetre obtenue selon plusieurs modalit´es de fa¸con alternative. Un exemple d’´equivalence est un syst`eme o`u l’utilisateur peut ´enoncer une commande au syst`eme grˆace au clavier ou en l’´enon¸cant `a voix haute. L’´equivalence permet d’am´eliorer la reconnaissance et/ou la vitesse d’interaction en permettant de choisir la modalit´e la plus efficace et/ou la plus rapide ; elle permet ´egalement de s’adapter `a l’utilisateur qui peut choisir la modalit´e d’interaction.

La sp´ecialisation implique que l’information est analys´ee par la mˆeme modalit´e. Martin diff´erencie la sp´ecialisation de type modalit´e et la sp´ecialisation de type donn´ees. Par exemple, le son est sp´ecialis´e dans la notification d’erreurs (un bip est ´emis par un dispositif d´edi´e lors d’une commande interdite). Il s’agit d’une sp´ecialisation de type modalit´e si les sons ´emis par ce dispositifs ne sont utilis´es que pour ces erreurs. Il s’agit d’une sp´ecialisation de type donn´ees si une commande interdite ne d´eclenche qu’une notification sonore. La sp´ecialisation permet d’aider l’utilisateur `a interpr´eter les informations de sorties ; elle permet ´egalement d’aider `a la reconnaissance, par exemple en for¸cant l’entr´ee d’un param`etre de commande au clavier, plus facile `a reconnaˆıtre que par la voix.

La coop´eration par redondance signifie qu’une unit´e informationnelle est trait´ee par plu-sieurs modalit´es ´equivalentes, en mˆeme temps : par exemple, en ´enon¸cant une commande `a la fois au clavier et `a la voix. La redondance permet selon les cas une interaction plus rapide et un meilleur apprentissage.

4.2. Interaction Homme-Machine et multimodalit´e 75

Information identique Information diff´erente Pas de fusion ´equivalence sp´ecialisation

Fusion redondance compl´ementarit´e

Tab. 4: Comparaison de l’´equivalence, sp´ecialisation, redondance et compl´ementarit´e dans l’espace TYCOON. Tableau tir´e de [94].

Enfin, la coop´eration par compl´ementarit´e signifie que plusieurs unit´es informationnelles diff´erentes sont produites par plusieurs modalit´es mais doivent ˆetre fusionn´ees. Le paradigme “mets ¸ca l`a” est un exemple de compl´ementarit´e des modalit´es. La compl´ementarit´e permet une meilleure reconnaissance de la commande et une interaction plus rapide en attribuant les diff´erents ´el´ements d’une commande aux modalit´es les plus ad´equates.

A l’exception du transfert, Martin compare les diff´erentes coop´erations entre modalit´es selon qu’elles requi`erent une fusion ou non et la transmission d’informations diff´erentes ou identiques. La table 4 illustre cette comparaison.

Propri´et´es CARE

Coutaz et al. proposent quatre propri´et´es permettant de caract´eriser l’interaction multimo-dale : les propri´et´es CARE, pour Compl´ementarit´e, Assignation, Redondance, et Equivalence. Cet ensemble de propri´et´es se d´ecline en propri´et´es D-CARE pour les dispositifs, et L-CARE pour les syst`emes repr´esentationnels.

Soit un syst`eme informatique s permettant d’accomplir une tˆache t. Les propri´et´es D-CARE (resp. L-CARE) sont d´efinies de la fa¸con suivante.

La compl´ementarit´e entre n dispositifs {d1, ..., dn} (resp. n syst`emes repr´esentationnels {sr1, ..., srn}) signifie que tous ces dispositifs (resp. syst`emes repr´esentationnels) sont

n´eces-saires `a l’accomplissement de la tˆache t. t ne peut ˆetre effectu´ee s’il manque l’information de l’un des dispositifs ou syst`eme repr´esentationnel. Le “mets ¸ca l`a” de Bolt [10] que nous avons ´evoqu´e pr´ec´edemment est un exemple de compl´ementarit´e entre la commande vocale et le geste de pointage.

L’assignation d’un dispositif `a un syst`eme repr´esentationnel d´esigne l’obligation d’utiliser ce dispositif pour ce syst`eme repr´esentationnel ; l’assignation d’un syst`eme repr´ esentation-nel `a une tˆache d´esigne l’obligation d’utiliser ce syst`eme repr´esentationnel pour cette tˆache. L’assignation indique donc l’absence de choix.

L’´equivalence entre n dispositifs {d1, ..., dn} (resp. n syst`emes repr´esentationnels {sr1, ..., sr<sub>n</sub>}) signifie que tous ces dispositifs (resp. syst`emes repr´esentationnels) permettent

un mˆeme syst`eme repr´esentationnel (resp. d’accomplir une mˆeme tˆache) en produisant les mˆeme donn´ees. Par exemple, sous Windows, il est possible de sauvegarder un document `a la

souris par le menu “Fichier→Sauvegarder” ou par le raccourci clavier “Ctrl+S”. L’´equivalence

permet donc le choix des modalit´es.

Enfin, la redondance de n dispositifs {d1, ..., d_n} (resp. n syst`emes repr´esentationnels {sr1, ..., srn}) signifie que ces dispositifs (resp. syst`emes repr´esentationnels) sont ´equivalents

mais que leur utilisation de concert (de fa¸con s´equentielle ou parall`ele) est forc´ee. Cela corres-pond `a l’assignation de modalit´es ´equivalentes et ne permet donc plus le choix de la modalit´e. La redondance permet en revanche d’am´eliorer la robustesse du syst`eme.

Conclusion

Les types de coop´eration de TYCOON et les propri´et´es CARE de la multimodalit´e sont des propri´et´es bien ´etablies de l’interaction multimodale. Par rapport `a CARE, TYCOON propose le transfert de modalit´es et une granularit´e plus fine de la sp´ecialisation (assignation dans CARE). Cependant, la notion de transfert a ´egalement ´et´e impl´ement´ee par la r´ ecursi-vit´e de la d´efinition d’une modalit´e pr´esent´ee au paragraphe 4.2.1. Les propri´et´es CARE et l’espace TYCOON sont donc semblabes. Dans nos travaux, nous avons retenu les propri´et´es CARE. Celles-ci proposent un certain formalisme qui nous est utile dans la d´efinition de notre mod`ele d’architecture et l’int´egration de la reconnaissance d’´emotions en tant qu’interaction multimodale. De plus, les propri´et´es CARE ont ´et´e la base d’un mod`ele d’architecture concep-tuelle pour la conception d’applications interactives multimodales : le mod`ele ICARE (pour Interaction Compl´ementarit´e Assignation Redondance Equivalence) [15]. Ce mod`ele pour l’in-teraction multimodale fournit une base sur laquelle nous nous appuyons pour d´evelopper notre propre mod`ele d’architecture d´ecrit au chapitre 5.