Cette thèse apporte plusieurs contributions aux recherches en Réalité Virtuelle, mais également dans les domaines applicatifs visés.
Tout d’abord, notre approche se veut globale, générique, indépendante des dis-positifs et non spécifique à des applications. Ainsi, le processus de supervision et le moteur de décision sont conçus pour s’adapter à différentes applications et domaines d’activité. De plus, nous avons pris en compte les spécificités de la RV par rapport aux IHM non immersives, à savoir : un environnement 3d dynamique, des dispositifs de rendu riches, des tâches et un contexte d’interaction complexes et difficilement prévisibles (liés entre autres au fait que l’utilisateur est mobile) et un utilisateur hu-main présent à l’intérieur de l’EV, dont les caractéristiques psychophysiques doivent être prises en compte.
Ensuite, nous avons développé un modèle des interactions de RV, composé d’un modèle des tâches et d’un modèle du rendu multimodal. Le premier permet de décrire
la sémantique des tâches à l’aide d’éléments simples et génériques. Le second sert à représenter les capacités de communication d’information des systèmes de RV.
Le coeur du processus de supervision est le moteur de décision. Il est composé de trois éléments principaux : des règles de comportement ; une base de connaissances renfermant des règles de projection entre composants du modèle des tâches et com-posants du modèle du rendu ; une base du contexte contenant des informations qui peuvent influencer le rendu. Les connaissances internes à ces trois outils, et notam-ment les règles de projection, pourraient être utilisées indépendamnotam-ment du moteur, dans d’autres travaux sur le rendu multimodal.
Enfin, ce travail était à l’origine et au coeur du projet CoRSAIRe (Combinaison des Rendus Sensori-moteurs pour l’Analyse Immersive de Résultats) labellisé par l’Agence Nationale de la Recherche en décembre 2005. Dans ce contexte, nous avons participé à l’analyse et à l’élaboration des recommandations multimodales pour les applications de Bio-Informatique et de Mécanique des Fluides. Les interactions et les fonctionnalités en cours de développement par les partenaires nous semblent très prometteuses pour améliorer l’activité des chercheurs.
Ces contributions ont donné lieu à des publications scientifiques dans deux confé-rences internationales [Bouyer et al., 2007] [Bouyer et al., 2005], un chapitre d’ou-vrage [Bourdot et al., 2006b] et une communication nationale [Bouyer, 2004]. Dans le cadre du projet CoRSAIRe, le superviseur multimodal et ses liens avec les applica-tions ont également fait l’objet de plusieurs communicaapplica-tions, dont une internationale [Bourdot et al., 2006a].
Perspectives
Les travaux que nous avons présentés sont susceptibles d’être complétés à court terme, et ouvrent en outre de nouvelles pistes de recherche.
Dans un premier temps, il nous faut poursuivre l’amélioration du moteur de su-pervision, en perfectionnant les fonctionnalités présentées au chapitre 4 (section4.4) et en ajoutant celles discutées au chapitre 5 (section5.5). En particulier, les gestions temporelles et spatiales des rendus ainsi que le problème des retraitements et des transitions entre modalités nous semblent être des thèmes essentiels à traiter.
La seconde étape est l’intégration du superviseur multimodal dans une des ap-plications réelles du projet CoRSAIRe. Le choix entre l’exploration d’écoulements et le docking de protéines n’est pas encore établi. Les critères de choix sont à la fois matériels (plateforme d’implémentation, dispositifs disponibles) et fonctionnels (va-riété des interactions disponibles et des contextes possibles). Cette implémentation servira à valider les spécifications du processus de supervision.
Un travail fondamental est ensuite l’évaluation des interactions supervisées dans l’application choisie. La présence d’ergonomes et d’utilisateurs experts (chercheurs)
sont un avantage indéniable pour aboutir à des interactions multimodales pertinentes et utiles. La conception évolutive du superviseur permettra d’adapter la base de connaissances aux résultats des évaluations. Il sera d’ailleurs intéressant de créer des procédures automatisées d’apprentissage.
A long terme, les intégrations réussies du superviseur multimodal dans quelques applications représentatives des interactions de RV permettront, nous l’espérons, de valider la généricité du modèle et du moteur, et donc d’envisager une implémentation dans de nombreuses autres applications.
Néanmoins, la conception du superviseur n’a pas remplacé et a même un besoin naturel d’études particulières sur les nombreuses projections possibles entre infor-mations et modalités. Il existe donc ici un vaste travail de regroupement et d’analyse des résultats apportés par les communautés de recherches en IHM, RV et psycho-physique, afin d’en déduire de nouvelles règles génériques de rendu, respectant notre modèle des interactions. Le problème est (et nous en avons fait l’expérience au dé-but de nos travaux) que la synthèse et la généralisation de résultats particuliers est difficile. En effet, les études ne sont pas forcément reproductibles d’une application à l’autre, et sont souvent inconsciemment biaisées pour mettre en valeur certains ré-sultats. Il est donc probable que l’intégration de rendu multimodaux pertinents dans de nouvelles applications passe par des analyses ergonomiques poussées similaires à celles que nos partenaires du projet CoRSAIRe ont menées.
Toutefois, nous considérons justement notre superviseur multimodal comme un outil puissant permettant de regrouper les évaluations multimodales dans les appli-cations de RV, de pouvoir tester et comparer des rendus différents mais dans des conditions identiques et contrôlées.
En dehors des travaux sur les règles de projection, qui constituent le coeur de la supervision, d’autres problématiques de RV multimodale sont apparues et méritent une attention particulière.
Tout d’abord, les latences des dispositifs de rendu restent un point dur des ap-plications de RV. Si nous entrevoyons des solutions pour les gérer en amont, lors de la supervision, cela ne peut fonctionner que si elles sont connues, ou du moins pré-visibles. Une piste de recherche utile serait donc la détermination et la comparaison des latences de différentes modalités, sur les trois canaux principaux. Une autre piste est l’étude approfondie des effets psychophysiques et opératifs de la combinaison de modalités ayant des latences différentes.
Ensuite, certaines modalités, et notamment celles qui réclament un module de calcul de rendu externe, sont particulièrement utiles aux opérateurs, mais complexes à mettre en oeuvre. Nous pensons ici aux différents guides visuels, audio et haptiques, ainsi qu’au calcul de meilleur point de vue pour une tâche et un contexte donnés. Leurs études conjointes permettraient de déterminer les éléments nécessaires à leurs
calculs, et peut-être d’identifier des concepts génériques qui pourraient être intégrés dans le moteur de décision. En parallèle, si les algorithmes requis pour leur réalisa-tion apportaient trop de latence au rendu, il faudrait mener des recherches sur la substitution de ces modalités complexes par des modalités ou des combinaisons de modalités conduisant à un résultat similaire.
Deux autres fonctionnalités très utiles pour certaines applications (e.g. CAO, recherche scientifique) et relativement proches dans leur finalité sont l’annotation et la sauvegarde d’état. Dans les deux cas, il s’agit d’enregistrer ou d’ajouter des informations à l’EV, puis de pouvoir les observer à tout instant ou les retrouver. Cela permet notamment de recréer les conditions dans lesquelles un phénomène est apparu, ou les réflexions qui ont mené à une décision. Les études sur le rendu multimodal de ces annotations et de ces sauvegardes paraissent promises à un bel avenir. En particulier, ces deux fonctionnalités nécessitent une représentation des connaissances, qui pourrait être intégrée dans notre superviseur multimodal.
Les recherches dans le domaine de la présentation d’informations multi-utilisateurs nous intéressent également. L’intégration de la gestion de la coopération multimo-dale dans le superviseur actuel serait un pas de plus vers sa généricité.
Enfin, une information dont la supervision multimodale est totalement dépen-dante est la caractérisation de la tâche désirée par l’utilisateur. Dans ce contexte, une piste de recherche porte sur la capacité du gestionnaire d’interactions à décom-poser, décrypter en temps réel l’activité de l’utilisateur pour identifier les tâches et les représenter automatiquement selon notre modèle. Le paramètre de la tâche semble le plus difficile à reconnaître, car il est souvent lié aux attentes subjectives, implicites de l’humain, et cette sémantique n’est pas aisément formulable à partir d’indices concrets (comme les informations de tracking ou les données manipulées).