I. INTRODUCTION 14
3. Rôle de la perception haptique pour le déplacement 44
3.4. L’interaction multimodale 48
Dans le cadre de la conception d’un dispositif d’aide au déplacement qui mêle interaction visuelle (avec le smartphone) et interaction haptique, il est nécessaire de s’intéresser à l’interaction multimodale et au traitement cognitif de cette dernière.
Les interfaces multimodales intègrent une variété de signaux ou modalités. Elles permettent d’obtenir des interactions humain-‐machine plus naturelles et plus efficaces. Elles sont capables de répondre à de nombreuses exigences qui peuvent être liées à l’utilisateur, au type de tâche ou
d’activité à réaliser, à la nature de l’information à transmettre ou bien encore aux contraintes de l’environnement. Présenter l’information sous des modalités diverses peut libérer la surcharge de l’un des canaux et ainsi augmenter la capacité de traitement de l’information par l’utilisateur (Wickens, 1984). Les contraintes environnementales peuvent justifier l’utilisation d’une modalité supplémentaire pour pallier les limites de la modalité principale. Ainsi un affichage visuel sur le petit écran d'un appareil mobile peut être complété par une modalité auditive ou vibratoire. Une interface multimodale dans ces situations peut être considérée comme une interface unimodale multiple. L’efficacité d’une interface unimodale multiple est basée sur la redondance d’une information qui pourrait être non reçue ou reçue sous forme dégradée par le canal de transmission principal. La même information est transmise à travers une modalité sensorielle alternative ou additionnelle. L’avantage d’interfaces multimodales ne réside pas seulement dans le fait d’apporter de la redondance. Une interface multimodale permet également de répartir de façon optimale les informations sur différents canaux sensoriels spécifiques chacun étant adapté à certains informations. Il est donc important de connaître les caractéristiques de chaque modalité sensorielle.
3.4.1. Efficacité de l’interaction multimodale
Pour que l’interaction multimodale soit efficace, il faut que les informations présentées par l’intermédiaire des différents canaux sensoriels soient coordonnées et congruentes aussi bien dans l’espace que dans le temps (Kolers & Brewster, 1985). Bien que les stimuli puissent objectivement être synchronisés dans le temps et dans l’espace, cela ne conduit pas nécessairement à une perception harmonieuse dans toutes les modalités sensorielles. La connaissance de ces problèmes d’incongruence est importante pour la conception d’interfaces multimodales efficaces. Certaines modalités sensorielles ne sont pas pertinentes pour des interfaces unimodales. Des modalités sensorielles peuvent donner des effets spécifiques lorsqu’elles sont combinées dans une interaction multimodale, alors que ces effets ne sont pas présents lorsque ces interactions sont utilisées dans une interface unimodale.
3.4.2. Avantages et inconvénients de l’information multimodale
Les avantages de l’information multimodale sont importants pour les personnes présentant un déficit sensoriel ou cognitif, ou bien pour les personnes évoluant dans des environnements bruyants, saturés en informations. Dans ces situations, la redondance de l’information permet de pallier le déficit d’un des canaux de transmission. La transmission multimodale peut être utile pour des personnes ayant un déficit permanent d’un canal d’information (d’acuité visuelle par exemple) ou bien un besoin temporaire dans un environnement particulier (conduite d’un véhicule) Les inconvénients de l’information multimodale sont surtout liés aux difficultés de conception d’un dispositif multimodal. Le concepteur du dispositif doit déterminer quelle modalité sensorielle est la plus appropriée pour transmettre chaque composante de l’information.
Il est évident que l’éventail des modalités disponibles est large si l’on s’adresse à des sujets ayant des capacités sensorielles complètes. Il n’en est pas de même pour les sujets qui ont des capacités réduites de façon définitive ou temporaire. Nous présentons ci-‐dessous un récapitulatif des avantages et des inconvénients des différents canaux sensoriels pour transmettre différents types d’informations. Il faut cependant souligner qu’il ne s’agit que d’un aperçu général. L’intérêt d’une modalité sensorielle peut être altéré ou amplifié par différents facteurs tels que la technologie disponible, le contexte et l’activité pour laquelle l’information est donnée. Ces indications sont essentielles pour le concepteur de dispositif qui doit allouer chaque partie de l’information nécessaire à une modalité sensorielle préférentielle. Si l’on prend l’exemple d’un signal d’alarme, l’information comprend une phase de perception qui peut être en dehors de la zone d’intérêt principal, puis une phase de compréhension et une phase d’action. La modalité sensorielle préférée pour la première phase pourrait être plutôt auditive alors que la modalité utilisée pour les deuxième et troisième phases pourrait être plutôt visuelle. Il est donc important de comprendre l’activité et son contexte pour la conception d’interface multimodale réussie, qui sera finalement plus opérante que la somme de plusieurs interfaces unimodales.
Il existe différentes recommandations pour la conception multimodale (Tableau 2) : Caractéristiques de l’information Vision Audition Haptique Commentaires Information liée au temps (ex : durée, intervalle,
synchronisation et rythme) ☐ ++ +
Information spatiale (ex : taille, distance) ++ ☐ ☐ Information de localisation absolue et relative en
une ou plusieurs dimensions (ex : localiser la corbeille sur le bureau)
++ + +
Information privée à destination d’un utilisateur
ou d’un groupe spécifique ☐ -‐ ++
Information en dehors de la zone d’intérêt principal ou à l’extérieur de la zone d’attention spatiale
-‐ ++ + Le champ visuel de l’utilisateur est limité. Les dispositifs portés avec
interaction haptique sont adaptés à cette situation
Information d’alerte (combinaison perception,
compréhension, action) -‐ ++ Vision : champ de vision limité Haptique : Le dispositif doit être porté
Information représentant des changements au fil
du temps (ex : représentation d’un processus) ++ + + Généralité culturelle (sens général du symbole à
travers les cultures) -‐ + +/ ?
Mémorisation (facilité à reconnaître et identifier
d’un symbole perçu plus tard dans le temps) + ++ -‐/ ? Information représentant un objet physiquement
réel ++ -‐ ☐
Information doit être persistante ++ -‐-‐ ++
Information concernant des paramètres
quantitatifs relatifs + ++ + Ex : fréquence du son, luminosité, pression, intensité Information concernant des paramètres
quantitatifs absolus ++ -‐ --
Processus ambiant – l’information doit être transmise à la périphérie et traitement en arrière plan
-‐-‐ + -
Grand nombre d’items concernant la mémoire
sensorielle ou de travail + ☐ -
Usage des symboles :
++ : très adapté pour représenter l’information + : assez bon mais pas optimal
☐ : neutre
-‐ : pas très adapté mais possible -‐-‐ : guère possible ou impossible
Tableau 2. Récapitulatif de l’adéquation entre les caractéristiques de l’information et les différents canaux sensoriels (ETSI EG, 2002).
3.4.2.a) Effets de la modalité
Les interfaces multimodales ne sont pas des interfaces multi-‐unimodales. Le résultat d’une interface multimodale peut être différent de la somme de ses composants. Trois questions importantes doivent être considérées :
1 – L’interaction entre les modalités : une modalité peut-‐elle affecter la perception dans une autre modalité ?
2 – La congruence entre les modalités : est-‐ce qu’une information qui est objectivement la même dans deux modalités est perçue de façon identique par le sujet ?
3 – Le conflit entre modalités : Quand les informations transmises diffèrent selon les modalités, quelle est la perception globale ? L’objectif doit être de fusionner les perceptions de plusieurs modalités dans un ensemble cohérent.
Nous allons à présent décrire les possibilités de différentes combinaisons de modalité sensorielles.
Vision et audition
La vision est la modalité dominante dans le domaine spatial (Hay, Pick, & Ikeda, 1965). C’est cette modalité qui permet par exemple l’estimation d’une longueur et d’une la taille. Cependant, l’audition est la modalité dominante dans le domaine temporel (Kolers & Brewster, 1985). Il existe une incohérence sur la perception de la durée par les deux modalités, c’est à dire que les événements auditifs semblent plus longs que les évènements visuels (Behar & Bevan, 1961; (Walker & Scott, 981). Concernant le coût induit pas le changement d’attention au passage d’une modalité à l’autre, il n’existe aucune indication sur le fait que le passage de la vision à l’audition entrainerait des coûts supplémentaires (Spence & Driver, 1997).
Vision et kinesthésie
Les relations entre vision et kinesthésie sont similaires à celles qui existent entre vision et l’audition. La vision domine la kinesthésie dans le domaine spatial, mais par contre la kinesthésie domine la vision dans le domaine temporel (Handel & Buffardi). Il existe également une incongruité dans la perception de la durée, similaire à celle qui existe entre vision et audition. Les événements kinesthésiques semblent plus longs que les évènements visuels. En ce qui concerne le coût sur le plan du changement de l’attention, il existe des coûts supplémentaires lorsqu’on passe du toucher à la vision, mais pas dans le sens inverse. En général, toucher et vision fonctionnent souvent ensemble dans de nombreuses interfaces. Le point fort est la coordination œil-‐main bien développée pour de nombreux utilisateurs.
Audition et kinesthésie
Dans le domaine spatial, la kinesthésie domine l’audition, mais dans le domaine temporel c’est l’inverse. Les évènements temporels sont perçus avec une bonne congruence entre audition et kinesthésie. Le passage de la kinesthésie à l’audition entraîne des coûts d’attention additionnels. En général, l’audition et la kinesthésie ont les mêmes inconvénients, de sorte que la plus-‐value de leur association reste limitée. Cependant leur combinaison pourrait être utile pour construire de la redondance. Il faut également souligner que souvent les vibrations produisent également du son. Ajouter des informations kinesthésiques à de la parole ou à des icônes auditives peut être utile car les informations provenant de la parole peuvent être très faibles ou difficiles à utiliser ; ainsi la kinesthésie peut aider à supprimer l’ambiguïté d’icones auditives trop nombreuses.
L’avantage de la présentation d’informations redondantes est évident lorsque le canal sensoriel originel est dégradé, par exemple par des facteurs environnementaux, tels qu’un environnement visuellement encombré (Wogalter, Rashid, Clarke, & Kalsher, 1991). Cependant toutes les interfaces multimodales n’aboutissent pas à de meilleures performances. Il a été constaté que l’utilisation de la parole comme source d’information nuit à la performance de l’opérateur dans un environnement de salle de contrôle, alors que c’est typiquement un environnement où il existe un besoin de développer des interfaces multimodales afin de profiter des ressources non utilisées. Le succès d’une interface multimodale est donc aussi lié aux exigences de l’activité ou de la tâche. Les résultats favorables de la présentation redondante de l’information sont observés pour des tâches de niveau relativement bas. Des effets indésirables apparaissent pour des tâches qui exigent des niveaux plus élevés de traitement cognitif. Cependant il n’existe que peu de recherches systématiques concernant l’influence de la tâche ou à l’activité sur la performance des interfaces multimodales