Les modèles de conception des interfaces Homme-Machine multimo- multimo-dalesmultimo-dales

Les modèles de conception dédiés à la conception des IHM multimodales sont peu nombreux, ils sont souvent consacrés soit à la multimodalité en entrée soit à la multimodalité en sortie avec une prédominance de la multimodalité en entrée et restent souvent dédiés à des champs d’application limités. Ainsi, certains modélisent un problème technique spécifique tel que la fusion des modalités ([71] propose un cadre orienté-objet pour modéliser la fusion dans la multimodalité en entrée et [72] étend le modèle PAC-Amodeus par un mécanisme de fusion pour modéliser la multimodalité en entrée), la désambiguïsation mutuelle3 dans [73] et [71], l’adaptation des interfaces multimodales dans [74], soit ils sont dédiés à la

3. Utilisation conjointe de plusieurs modalités afin de lever l’ambiguïté sémantique induite par l’utilisation de chacune des modalités de manière séparée.

Chapitre 1. Les Interfaces Homme-Machine multimodales

modélisation d’une classe d’interfaces multimodales (les interfaces multimodales Web [75], les applications distribuées [76] ou les services Web [77]) ou à des modalités spécifiques telles que la reconnaissance des gestes [78], la reconnaissance de la parole [79] ou l’utilisation combinée de la parole et du geste [80].

D’autres consistent en des plate-formes de développement (voir étude comparative dans [81]) modélisant la composition multimodale des dispositifs d’interaction en entrée tel que ICON [82], ICARE [68] ou Open Interface [83] et d’entrée et sortie comme I*Chameleon [81], De manière plus ciblée, la multimodalité en entrée a donné lieu à un modèle formel [16] tandis que la multimodalité en sortie a fait l’objet de deux modèles semi-formels : le modèle SRM et le modèle WWHT.

9.2.1 Le modèle SRM (Standard Reference Model)

Le modèle SRM [84] (voir Figure1.11) est orienté but où le but représente l’information à présenter à l’utilisateur. Il construit la présentation multimodale au travers d’une architecture à cinq couches :

Figure 1.11–Le modèle SRM [4]

– Control layer ou couche contrôle qui consiste à sélectionner le prochain but à atteindre ou la commande de présentation à exécuter.

– Content layer ou couche contenu qui raffine dans un premier temps le but en sous-but plus spécialisés, puis sélectionne pour chaque but élémentaire, le couple (modalité, média) qui va le restituer à l’utilisateur ainsi que le contenu de la présentation (par exemple, la suite de caractères contenus dans un texte affiché sur un écran). Les contenus ainsi sélectionnés sont ensuite ordonnés.

1.9 Conception des IHM multimodales

– Design layer ou couche conception qui fixe les attributs morphologiques (par exemple, la police et la taille des caractères pour un texte affiché sur un écran) et assure la coordination spatio-temporelle des contenus.

– Realization layer ou couche réalisation qui se charge de générer de manière effective la présentation.

– Presentation display layer ou couche affichage de la présentation dont le rôle est de distribuer les différents composants de la présentation aux médias adéquats et de coordonner les différentes composants afin d’aboutir à la présentation.

Ainsi, le modèle SRM décrit le processus de construction du système interactif multimodal en sortie, il abstrait le fonctionnement du noyau fonctionnel et modélise :

– La sélection de la commande de présentation à exécuter. – Le raffinement du but de présentation en buts élémentaires.

– La sélection des couples modalité/média et contenus relatifs à chaque but élémentaire et leur ordonnancement.

– La détermination des attributs morphologiques et la coordination spatio-temporelle des contenus.

– La génération effective des présentations et leur coordination.

9.2.2 Le modèle WWHT (What, When, How, Then)

Le modèle conceptuel WWHT (What, Which, How, Then) [4] (voir Figure1.12), repose sur le même principe de développement de l’interface multimodale en sortie du modèle SRM. Il en reprend les étapes à l’exception de celles de la couche Control layer et des étapes de génération effective de la présentation, pour les réorganiser en quatre étapes. D’autre part, il enrichit le modèle SRM en introduisant un mécanisme d’adaptation de la présenta-tion multimodale au contexte d’interacprésenta-tion et la possibilité d’évoluprésenta-tion d’une présentaprésenta-tion multimodale en cas de changement du contexte. Il revient à se poser, lors du processus de conception d’une interface multimodale en sortie, les quatre questions suivantes :

– What : quelle information présenter ?

– Which : quelle présentation mutimodale choisir ? – How : comment instancier cette présentation ? – Then : comment faire évoluer cette présentation ?

Les réponses à ces questions conduisent à suivre le processus de conception de la pré-sentation multimodale en sortie présenté en Figure 1.12, il se compose des quatre étapes suivantes :

Chapitre 1. Les Interfaces Homme-Machine multimodales

Figure 1.12–Le modèle WWHT

– Fission sémantique : décomposition sémantique de l’information produite par le noyau fonctionnel en informations élémentaires à présenter à l’utilisateur. Cette dé-composition peut éventuellement se réaliser en plusieurs étapes successives. Généra-lement, la fission sémantique est réalisée de façon manuelle par les concepteurs de l’interface multimodale en sortie.

– Allocation de la présentation : sélection pour chaque unité d’information élémentaire, de la présentation multimodale adaptée à l’état courant du contexte d’interaction, et regroupement en une même présentation multimodale. Chaque présentation consiste en un ensemble de couples (modalité, média) liés par des propriétés de redondance et/ou de complémentarité.

– Instanciation : détermination, selon l’état du contexte d’interaction, des contenus lexico-syntaxiques et des attributs morphologiques des modalités de la présentation. – Evolution : évolution de la présentation multimodale suivant le changement du contexte.

Cette évolution peut ramener la conception de la présentation, selon le degré de chan-gement du contexte, soit à la phase allocation, soit à la phase d’instanciation.

Le modèle WWHT décrit le processus de construction du système interactif multimodal en sortie, il abstrait le fonctionnement du noyau fonctionnel et du contrôleur de dialogue et modélise le fonctionnement de la couche présentation qui construit les composants de l’interface.