Modélisation graphique pour la multimodalité sous mobile

La modélisation graphique est préférable pour la création des interfaces mobiles mul- timodales, car elle permet de donner une vue sur l’ensemble des interactions et de cacher les détails de l’implémentation. La vue d’ensemble facilitera la détection des conflits. Par exemple, un conflit peut se révéler entre des interactions traitées en même temps, surtout lorsque leurs capteurs sont basés sur le même périphérique physique (le capteur de gravité est un périphérique virtuel basé sur l’accéléromètre, le capteur de proximité est basé sur le capteur de lumière, etc.). Du point de vue multimodalité, la représentation graphique facilite la détection des modalités d’interaction non compatibles (un secouage du téléphone combiné en complémentarité avec un geste tactile) ainsi que les problèmes de synchronisation entre interactions. Les modèles graphiques peuvent être aussi un bon moyen de communication entre les participants (développeurs, concepteurs, ergonomes, etc.), comme ils peuvent faire partie d’une documentation facile à lire et à maintenir.

apprendre. Il faut non seulement prendre en compte les critères qui permettent de concevoir une notation de qualité (section 2.2.3), mais des tests et des évaluations doivent aussi être faits avec les utilisateurs finaux afin d’évaluer les réponses à leurs besoins.

Chapitre 3

État de l’art sur les approches orientées

modèles pour l’Ingénierie des interfaces

mobiles multimodales

Sommaire

3.1 Approches pour la création des interfaces multimodales . . . 44 3.1.1 Le paradigme état-transition . . . 44 3.1.1.1 SMUIML / HephaisTK . . . 45 3.1.1.2 MMIR . . . 47 3.1.1.3 IMBuilder / MEngine . . . 49 3.1.1.4 UMAR / SIHMM . . . 50 3.1.2 Paradigme réseau de Petri . . . 52 3.1.2.1 ICO / PetShop . . . 53 3.1.3 Paradigme hiérarchique . . . 54 3.1.3.1 CTT / DynaMo-AID . . . 54 3.1.3.2 UsiXML . . . 55 3.1.4 Paradigme de composants . . . 57 3.1.4.1 ICARE et ACICARE . . . 58 3.1.4.2 OpenInterface . . . 59 3.1.4.3 WWHT / ELOQUENCE . . . 60 3.1.4.4 DynaMo et i*Chameleon . . . 61 3.1.4.5 Squidy . . . 64 3.1.4.6 ICOM / ICON . . . 65

3.2 Outils logiciels pour la création des applications mobiles . . . 66 3.2.1 XDK de Intel . . . 67 3.2.2 App Inventor . . . 68 3.2.3 iStuff Mobile . . . 70 3.2.4 Amarino . . . 72 3.2.5 Les kits de développement (SDKs) mobiles . . . 74 3.2.5.1 SDK Android . . . 74 3.2.5.2 SDK iOS . . . 76 3.3 Synthèse . . . 77 3.4 Conclusion . . . 80

Dans les deux chapitres précédents, nous nous sommes concentrés sur l’informatique mobile, la multimodalité et l’IDM. Nous avons montré l’intérêt de la multimodalité pour mobile ainsi que l’intérêt d’une approche IDM pour la multimodalité mobile. Dans ce cha- pitre, nous présentons des approches que nous avons choisies pour illustrer les travaux qui utilisent les modèles pour le développement des applications multimodales et des applica- tions mobiles. Nous étudions d’abord les approches pour créer des interfaces multimodales, notamment celles qui s’intéressent au mobile. Nous décomposons ces approches en quatre catégories selon les quatre paradigmes de modélisation utilisée : état-transition, réseaux de Petri, hiérarchique et à base de composants [38]. Puis nous étudions les plateformes dédiées à la création d’applications mobiles, notamment celles qui permettent l’intégration des in- teractions multimodales à base de capteurs. Nous détaillons puis analysons ces approches en fonction des quatre points ci-dessous qui représentent, pour nous, les spécificités de la multimodalité mobile que chaque langage/approche doit respecter :

Support de la multimodalite : les approches doivent prendre en compte les interactions mobiles multimodales en entrée et en sortie. Le retour d’information (feedback) est très important pour les applications mobiles [36]. Les interactions en entrée ont des effets directs sur les sorties de l’application comme le déclenchement de vibrations, le changement d’affichage, etc. Lorsque l’utilisateur emploie une modalité inhabituelle, il est essentiel de l’informer qu’il a (bien) effectué cette commande. Pour les inter- actions non tactiles, on ne peut pas être sûr que l’utilisateur sera en mesure de voir l’écran. Ainsi, le créateur d’application mobile doit avoir la possibilité de choisir les modalités en entrée ainsi que les modalités adéquates en sortie pour fournir les bons feedbacks. La modélisation de ces interactions avec le même langage permet d’avoir une vue générale de l’interaction afin de faciliter la conception ergonomique.

L’approche doit intégrer aussi les combinaisons de modalités en entrée et/ou en sor- tie qui permettent de rendre l’interaction plus sécurisée (secouer le téléphone en cli- quant sur le bouton physique du volume pour effectuer une action est plus sécurisée par rapport au secouage seul, cette combinaison permet d’éviter le déclenchement des traitements en cas des secouages involontaires) ;

Support des capteurs mobiles : il est essentiel que les approches permettent d’exploiter les capteurs mobiles en interaction. Pour cela, le niveau d’abstraction doit être suf- fisamment élevé afin de cacher la complexité d’implémentation (les données de bas niveau, le bruit, etc.). En même temps, ce niveau doit permettre de définir les interac- tions en détails (pour la modalité « Accélération » par exemple, il faut savoir si c’est

« secouage », « chute libre », etc.). Cela permet de donner plus de lisibilité lors de la modélisation ;

Productivité des modèles : les approches qui permettent la génération de code sous les dif- férentes plateformes mobiles permettent d’améliorer la productivité, réduisent l’effort et les erreurs de programmation et rendent le code plus facile à lire et à maintenir [90] ; Traitement de l’hétérogénéité sur mobile : la prise en compte de l’hétérogénéité sur mo- bile est devenu nécessaire surtout avec la fragmentation de la façon dont les capteurs mobiles sont accessibles et configurés, l’évolution des différentes plateformes, l’appa- rition de nouveaux appareils mobiles, etc.

Nous concluons ce chapitre par une synthèse de l’état de l’art qui montre les limites des approches existantes et les besoins nécessaires pour faciliter la création des applications mobiles multimodales riches de nouvelles modalités à base de capteurs et de combinaisons de modalités en entrée et/ou en sortie.

3.1

Approches pour la création des interfaces multimodales

Nous avons décomposé les approches à base de modèles pour l’ingénierie des interfaces multimodales en quatre catégories selon les quatre paradigmes de modélisation de l’interac- tion multimodale :

– Paradigme état-transition – Paradigme réseaux de Petri – Paradigme hiérarchique – Paradigme des composants