Exemples de systèmes multimodaux

Nous présentons plusieurs systèmes interactifs multimodaux afin d’illustrer la multiplicité des modalités existantes, en termes de dispositifs physiques, de langages d’interaction, et de combinaisons de ces modalités. Pour cela nous illustrons trois des quatre formes de multimodalité identifiées par les propriétés CARE : Complémentarité, Redondance et Equivalence. L’assignation présente moins d’intérêt à être illustrée car elle correspond au cas le plus classique où une modalité permet de réaliser une tâche. De plus, nous présentons des exemples proposant des modalités très variées, à la fois du point de vue des dispositifs d’interaction que des langages d’interaction.

47

Chapitre 1 : Systèmes multiutilisateurs et multimodaux

2.3.1 Complémentarité

A l’origine de l’axe de recherche sur la multimodalité, le paradigme du "met ça là" (put that there)

[Bolt 1980] repose sur l’usage complémentaire de deux modalités. L’utilisation du système est illustrée à la Figure 11. Il s’agit pour l’utilisateur de désigner du doigt une cible qui peut être une forme géométrique (ici un cercle rose), et d’indiquer une nouvelle position pour cette forme, tout en

prononçant la phrase « put that there ». L’interaction avec le système repose ainsi sur une

combinaison complémentaire d’une modalité décrite par le couple <caméra, geste de désignation>, et d’une modalité décrite par le couple <microphone, langage pseudo naturel>.

Figure 11 : Met ça là, illustration tirée de [Bolt 1980].

Plusieurs systèmes multimodaux reposent sur cette forme d’interaction (parole + geste), et notamment les systèmes qui reposent sur la manipulation d’une carte [Oviatt 1999] et les systèmes plus récents sur tables interactives. Ainsi dans [Tse 2007], les utilisateurs d’un jeu de stratégie autour d’une table peuvent spécifier des commandes par un usage complémentaire de la parole et d’un geste de désignation sur la table, comme « déplacer un soldat ici ».

Cependant, d’autres modalités d’interaction peuvent être utilisées de façon complémentaire. La Figure 12 issue de [Juras 2008] illustre un mécanisme de zoom reposant sur l’usage complémentaire de deux modalités. La première est composée d’un dispositif de pointage à distance (une Wiimote de Nintendo) et d’un langage de désignation d’un point sur un écran. La deuxième est composée d’un capteur de pression intégré au sein d’un ballon en plastique et d’un langage reposant sur des seuils de pression. Pour zoomer sur un point de l’écran, l’utilisateur désigne ce point avec la WiiMote et presse le ballon en plastique.

Figure 12 : Utilisation complémentaire de deux modalités : (wiimote, pointage) et (ballon, seuil de pression) [Juras 2008].

2.3.2 Equivalence

L’équivalence de plusieurs modalités pour une tâche consiste à laisser à l’utilisateur le choix de la modalité qu’il souhaite utiliser pour accomplir la tâche. Ce choix peut être guidé par exemple par son niveau d’expertise du système. Ainsi, de nombreux utilisateurs préfèrent l’usage d’un raccourci clavier tel que CTRL + S pour sauvegarder un document, plutôt que de cliquer avec la souris sur le bouton sauvegarder.

Lorsqu’un système dispose de plusieurs modalités équivalentes, il offre beaucoup de flexibilité à l’utilisateur en lui permettant d’adapter l’utilisation du système au contexte d’usage. Le système de poste de commande militaire présenté dans [Myers 2002] (illustré à la Figure 13) propose ainsi de nombreuses modalités d’interaction pouvant être utilisées de manière équivalente pour certaines tâches. Par exemple, une annotation sur un objet peut être définie au clavier ou par écriture manuscrite. De même, le système permet de naviguer dans le système interne de cartographie aussi bien avec la souris que par manipulation directe sur l’écran. Enfin, toutes les commandes peuvent également être réalisées vocalement. Ainsi selon sa position par rapport à l’écran ou le nombre de personnes dans le poste de commande (niveau de bruit), l’utilisateur choisira une modalité différente.

Figure 13 : Poste de commande militaire, illustration issue de [Myers 2002].

2.3.3 Redondance

L’usage redondant de modalités en sortie est particulièrement utile pour renforcer par exemple l’immersion d’un joueur au sein de l’univers d’un jeu vidéo. Ainsi la vitesse de rotation du moteur, au sein du simulateur de conduite décrit dans [Sezgin 2009]

deux formes redondantes. La première forme est visuelle. Il s’agit d’afficher sur un écran un cadrant indiquant le nombre de tours par minute, sous une f

une voiture. La deuxième forme est auditive. Il s’agit de produire un son de moteur à une fréquence plus ou moins importante qui indique le nombre de tours.

Figure 14 : Simulateur de

En entrée d’un système interactif, la redondance est plus rare, puisqu’il s’agit d’une contrainte imposée à l’utilisateur : il doit utiliser deux modalités pour réaliser une tâche. Les auteurs de [

2009] proposent un exemple d’utilisation de deux modalités redondantes en entrée pour faire défiler Chapitre 1 : Systèmes multiutilisateurs et multimodaux

: Poste de commande militaire, illustration issue de [Myers 2002].

L’usage redondant de modalités en sortie est particulièrement utile pour renforcer par exemple d’un joueur au sein de l’univers d’un jeu vidéo. Ainsi la vitesse de rotation du moteur, au sein du simulateur de conduite décrit dans [Sezgin 2009] (Figure 14), est présentée à l’utilisateur sous deux formes redondantes. La première forme est visuelle. Il s’agit d’afficher sur un écran un cadrant indiquant le nombre de tours par minute, sous une forme analogue à celle d’un compte tours dans une voiture. La deuxième forme est auditive. Il s’agit de produire un son de moteur à une fréquence plus ou moins importante qui indique le nombre de tours.

: Simulateur de conduite, illustration issue de [Sezgin 2009].

En entrée d’un système interactif, la redondance est plus rare, puisqu’il s’agit d’une contrainte : il doit utiliser deux modalités pour réaliser une tâche. Les auteurs de [

] proposent un exemple d’utilisation de deux modalités redondantes en entrée pour faire défiler

49

Chapitre 1 : Systèmes multiutilisateurs et multimodaux

: Poste de commande militaire, illustration issue de [Myers 2002].

L’usage redondant de modalités en sortie est particulièrement utile pour renforcer par exemple d’un joueur au sein de l’univers d’un jeu vidéo. Ainsi la vitesse de rotation du moteur, au , est présentée à l’utilisateur sous deux formes redondantes. La première forme est visuelle. Il s’agit d’afficher sur un écran un cadrant orme analogue à celle d’un compte tours dans une voiture. La deuxième forme est auditive. Il s’agit de produire un son de moteur à une fréquence

En entrée d’un système interactif, la redondance est plus rare, puisqu’il s’agit d’une contrainte : il doit utiliser deux modalités pour réaliser une tâche. Les auteurs de [Serrano ] proposent un exemple d’utilisation de deux modalités redondantes en entrée pour faire défiler

un diaporama (Figure 15). La première modalité utilisée est constituée d’une manette de jeu vidéo (WiiMote de Nintendo) dont le langage d’interaction repose sur la rotation de la WiiMote. La deuxième modalité est constituée d’une « wiisoft » imaginée par les auteurs qui est en fait un capteur de torsion encapsulé au sein d’une protection de WiiMote, et dont le langage repose sur des seuils de torsion. Pour faire passer le diaporama à la diapositive suivante ou précédente, une interaction redondante est imposée à l’utilisateur. Il s’agit respectivement de faire tourner la WiiMote sur la droite ou la gauche et de tordre la « wiisoft » vers l’avant ou l’arrière.

Figure 15 : « Wiisoft » et Wiimote utilisés de manière redondante pour parcourir un diaporama [Serrano 2009].

L’utilisation redondante de la « wiisoft » et de la Wiimote permet d’éviter des changements dans les transparents qui ne soient pas voulus par le présentateur.

Une autre application possible de la redondance en entrée est proposée dans [Kaiser 2006] pour l’apprentissage par le système de nouveaux mots ou abréviations. Le système propose deux modalités : une modalité de reconnaissance de la parole et une autre de reconnaissance de l’écriture manuscrite sur un tableau. L’application proposée permet d’associer le nom d’une personne à une courbe dans un diagramme. Pour cela, l’utilisateur écrit le nom de la personne (Bob) sur le tableau à l’aide d’un feutre, et le relie avec un trait à une courbe. En même temps, il dit « ceci est la courbe de Bob ». Les deux interactions, manuscrite et orale, signifient toutes les deux « ceci est la courbe de bob » et sont utilisées conjointement pour réaliser la tâche : associer le nom Bob à une courbe. Il s’agit bien d’un usage redondant de deux modalités.

2.3.4 Synthèse

Nous avons présenté plusieurs systèmes multimodaux selon les trois principales formes de combinaison de modalités : Complémentarité, Redondance et Equivalence. A travers ces exemples d’applications multimodales, nous avons illustré la diversité des modalités existantes et des combinaisons de modalités possibles.