5.6 Résumé... 107
A S S I S T A N C E
Chapitre 1
Introduction
Introduction
«The only “intuitive” interface is the nipple. After that, it’s all learned.» Bruce Ediger
O
utre la possibilité de définir le virtuel d’un point de vue cognitif, la première partie de ce document nous a permis de mettre en évidence l’une des problématiques majeures du virtuel au niveau applicatif : alors que la réalité virtuelle immersive constitue l’un des principaux centres d’intérêt actuels, elle doit cependant faire face à un important retard tech-nologique : le manque de fiabilité ou d’utilisabilité, la lourdeur des interfaces immersives gênent l’opérateur (particulièrement le télé-opérateur) et nuisent à son efficacité. Une première raison pour s’intéresser à la notion d’assistance à l’opérateur s’impose donc d’elle-même : l’assistance comme palliatif temporaire au handicap technologique.Parallèlement à cette problématique, force est de constater que l’efficacité d’un opérateur ne dépend pas seulement de la qualité de l’interface homme-machine dont il dispose, mais aussi du type même d’opération dont il a la charge : en chirurgie assistée par ordinateur, par exemple, il peut s’avérer que telle ou telle opération sur les tissus du patient requière une précision de loin supérieure à celle qu’une opération manuelle pourrait offrir. Si l’opérateur connaît mieux que personne l’opération à effectuer, la machine, par contre, pourrait être mieux placée que quiconque pour l’exécuter. Une deuxième raison de s’intéresser à la notion d’assistance à l’opérateur se détache donc ici : l’assistance comme substitutif aux limites des capacités de l’opérateur.
Il existe enfin une spécificité toute particulière aux environnements réels qui donne à la notion d’assistance une dimension incontournable : le cas particulier de la télé-opération est d’autant plus critique que certaines opérations en environnement réel sont en général irréversibles, et ne laissent aucun droit à l’erreur. On imagine sans peine les conséquences que pourraient avoir une mauvaise décision en télé-opération chirurgicale, ou dans une zone radioactive. Dans de telles situations, l’opérateur ne doit pas être considéré seulement comme un «décideur» dont on est encore loin de savoir reproduire l’intelligence ou la connaissance, mais il est nécessaire de prendre en compte les aspects émotionnels qui peuvent, dans des situations critiques, altérer son jugement. L’assistance à l’opérateur apparaît donc également comme un garde-fou.
Ces trois points montrent d’une part l’intérêt de se pencher sur la notion d’assistance à l’opé-rateur, et justifient d’autre part le fait que cette activité soit déjà largement développée par les roboticiens ou les concepteurs de systèmes de réalité augmentée. Cela dit, il n’existe à l’heure actuelle aucune théorie mettant explicitement en relation les notions d’assistance à l’opérateur, et de réalité virtuelle : la notion d’assistance est en général mise à profit au cas par cas, parfois grâce à des outils, des techniques ou des concepts de réalité virtuelle, sans nécessairement qu’un processus d’abstraction y donne suite. Cette deuxième partie tend à combler ce manque.
A S S I S T A N C E 1. Introduction
Dans un premier temps, nous proposons l’élaboration d’un modèle permettant de décrire les situations de télé-opération, réalité augmentée ou réalité virtuelle. Bien qu’il soit très proche et largement inspiré du modèle MRIC, le modèle proposé ici ne se focalise pas sur les aspects cognitifs de l’interaction, mais sur les aspects fonctionnels de celle-ci. Il décrit donc plutôt les composantes matérielles impliquées dans les situations considérées.
Dans un deuxième temps, nous étudions un certain nombre de cas d’assistance à l’opérateur représentatifs des grandes classes d’applications actuelles. Ces exemples sont étudiés en réfé-rence à notre modèle selon deux axes : d’une part en termes de localisation des processus de traitement de l’information qu’ils mettent en œuvre, et d’autre part en termes de sémantique du traitement de l’information qu’ils opèrent.
Cette étude nous permet ensuite, par un procédé systématique de symétrisation, d’extrapoler les exemples étudiés à de nouveaux cas intéressants, et de montrer en quoi certaines notions comme celle de réalité augmentée on été jusqu’ici envisagées de manière incomplète.
Finalement, nous étudions l’influence de la présence de fonctionalités d’assistance à l’opéra-teur dans une situation donnée sur le niveau conceptuel de l’information véhiculée au travers du modèle, comparativement à la même situation non assistée.
A S S I S T A N C E
Chapitre 2
Le Modèle LiSA
Le Modèle LiSA
A
fin de pouvoir convenablement définir ce que nous entendons par «assistance à l’opéra-teur» dans un contexte de télé-opération en réalité virtuelle, il est important de décrire en premier lieu le cadre précis des situations considérées. L’objet de ce chapitre est donc de proposer un modèle générique de situations dans lesquelles une assistance à l’opérateur est susceptible d’intervenir. Ce modèle, appelé LiSA (Acronyme de «Localisation et Sémantique de l’Assistance»), s’inspire du modèle MRIC développé dans la partie précédente, et insiste cette fois non pas sur les aspects cognitifs mais sur les aspects fonctionnels du système considéré.Les deux composantes principales d’une situation de télé-opération en réalité virtuelle sont bien entendu l’opérateur et l’environnement sur lequel il travaille. Ces deux éléments ont été définis précédemment, nous ne reviendrons donc pas dessus. Par contre, d’un point de vue fonc-tionnel, nous devons également faire apparaître entre les deux, le «système» artificiel qui permet leur mise en communication.
2.1 Côté opérateur : l’interface
La vision du virtuel que nous avons développée dans la partie précédente nous impose une coupure totale entre l’opérateur et l’environnement de travail : soit cet environnement est synthé-tique, auquel cas la coupure est implicite, soit cet environnement est réel, auquel cas l’opérateur ne doit avoir aucun contact direct avec lui. Dans les deux cas, l’opérateur n’interagit qu’indirec-tement avec l’environnement cible, par l’intermédiaire d’une interface.
➤ L’interface doit tout d’abord permettre à l’opérateur de percevoir l’environnement. Elle contient donc un ensemble de périphériques matériels prévus à cet effet : écran, casque de visualisation, haut parleurs, dispositifs de retour d’effort, et plus généralement, tout dis-positif permettant de stimuler les sens humains.
➤ L’interface doit également permettre à l’opérateur de produire des actions sur l’environ-nement. Elle contient donc également un ensemble de périphériques matériels prévus à cet effet : joystick, trackball, gants de données, éventuellement un dispositif de reconnais-sance vocale, et plus généralement, tout dispositif permettant de recevoir de l’information en provenance d’un humain.
➤ Ce que nous entendons par «interface» ne se résume cependant pas aux seuls périphériques matériels, mais comprend également les processus de traitement de l’information élémen-taires associés. Par exemple, le traitement informatique consistant à générer une image de
2.2. Côté environnement : le manipulateur A S S I S T A N C E 2. Le Modèle LiSA
synthèse à partir d’un modèle tridimensionnel est considéré comme faisant partie de l’in-terface. De même pour le traitement consistant à fabriquer une information de déplacement à partir de la manipulation d’un joystick. Bien que ces traitements puissent utiliser une in-formation d’un niveau conceptuel non nul, comme la position courante du point de vue, ils restent cependant «élémentaires» dans le sens où ils peuvent être complètement câblés et ne requièrent aucune intelligence particulière.
Les éléments précédents peuvent être figés de la manière suivante :
Vocabulaire: Restitution
On qualifiera de restitution les processus consistant à mettre une information à disposition de l’opérateur, selon ses modalités perceptives propres. ●
Vocabulaire: Commande
On qualifiera de commande les processus consistant à saisir une information en provenance de l’opérateur, selon ses modalités actionnelles propres. ●
Définition 12: Interface
On appelle interface l’ensemble des processus de restitution et de commande, ainsi que des périphé-riques matériels du côté de l’opérateur qui en sont les supports. ■
☛ Remarquons que le caractère «élémentaire» des processus de restitution et de commande que nous venons de décrire ne présage en rien du niveau conceptuel de l’information traitée. Par exemple, l’interface peut manipuler une information de bas niveau comme le mouvement d’un joystick ou un retour d’effort particulier. Cependant, une interface de synthèse ou d’acquisition vocale manipulera de l’information en langage naturel, par conséquent d’un important niveau conceptuel.
2.2 Côté environnement : le manipulateur
Dans la mesure où l’opérateur n’est pas en contact direct avec l’environnement, les interac-tions physiques avec celui-ci se font indirectement et artificiellement, par l’intermédiaire d’un manipulateur.
➤ Le manipulateur doit tout d’abord être capable de saisir l’information issue de l’environne-ment (ou de lui-même), afin que celle-ci puisse être portée à la connaissance de l’opérateur. Il contient donc un ensemble de périphériques matériels prévus à cet effet : caméras, mi-crophones, capteurs et détecteurs de toutes sortes, réceptifs à toute modalité utile selon laquelle l’environnement est susceptible de générer de l’information.
➤ Le manipulateur doit également permettre de produire effectivement les actions qui ont été commandées par l’opérateur. Il contient donc un ensemble de périphériques matériels prévus à cet effet : roues motrices, bras articulés, émetteurs de toutes sortes susceptibles de modifier l’état de l’environnement.
➤ Ce que nous entendons par «manipulateur» ne se résume cependant pas aux seuls périphé-riques matériels, mais comprend également les processus de traitement de l’information
2. Le Modèle LiSA A S S I S T A N C E 2.3. Jonction : le système
élémentaires associés. Par exemple, le traitement informatique consistant à calculer la vi-tesse respective de chaque roue motrice afin d’obtenir un rayon de courbure particulier est considéré comme faisant partie du manipulateur. De même pour le traitement consistant à numériser une image acquise grâce à une caméra. Bien que ces traitements puissent utiliser une information d’un niveau conceptuel non nul, comme le rayon de courbure à obtenir, ils restent cependant «élémentaires» dans la mesure où ils peuvent être complètement câblés et ne requièrent aucune intelligence particulière.
Les éléments précédents peuvent être figés de la manière suivante :
Vocabulaire: Acquisition
On qualifiera d’acquisition les processus consistant à collecter de l’information issue de l’envi-ronnement ou du manipulateur lui-même, selon toute modalité utile, et ceci en vue d’une éventuelle
restitution. ●
Vocabulaire: Exécution
On qualifiera d’exécution les processus consistant à produire de l’information vers l’environnement ou le manipulateur lui-même, selon toute modalité utile, cette information provenant éventuellement d’une «commande», au sens précisé plus haut. ●
Définition 13: Manipulateur
On appelle manipulateur l’ensemble des processus d’acquisition et d’exécution, ainsi que des péri-phériques matériels, situés du côté de l’environnement, qui en sont les supports. ■
☛ Notons qu’il est intéressant de considérer que certains processus d’exécution, comme le calcul des vitesses respectives de chaque moteur, font partie du manipulateur lui-même : prenons l’exemple d’un bras manipulateur articulé à la manière d’un bras humain. Si l’opérateur a la possibilité de commander la vitesse globale du bras, une telle vitesse, constante, implique une modification permanente des vitesses de rotation de chaque moteur d’articulation. En localisant au manipulateur les processus consistant à traduire la vitesse globale en vitesses moteurs, on limite implicitement le débit nécessaire à une éventuelle communication réseau.
2.3 Jonction : le système
Après avoir décrit les composantes intervenant du côté de l’opérateur d’une part et du côté de l’environnement d’autre part, nous devons finalement ajouter un dernier élément permettant de faire la jonction : le système.
➤ D’un point de vue matériel, le système comprend tous les dispositifs permettant de relier l’interface au manipulateur. Ceci peut par exemple faire intervenir des outils de communi-cation à distance (réseau, radio. . . ) dans le cas d’une situation de télé-opération.
➤ Ce que nous entendons par «système» ne se résume cependant pas aux seuls périphériques matériels : nous y incluons également l’ensemble des processus de traitement de l’informa-tion non inclus dans l’interface ou le manipulateur. Ces processus peuvent être inexistants, ou se résumer à de simples traitements destinés au transport de l’information (compres-sion, encodage. . . ). Cependant, dans l’optique d’une assistance «intelligente» à l’opérateur,
2.4. Modèle complet A S S I S T A N C E 2. Le Modèle LiSA
où des processus de traitement de l’information non élémentaires doivent intervenir, ceux-ci seront également considérés comme faisant partie du système.
Les éléments précédents peuvent être figés de la manière suivante :
Définition 14: Système
On appelle système l’ensemble des processus de traitement de l’information non intégrés dans l’in-terface ou le manipulateur, ainsi que du matériel qui en est le support. ■
2.4 Modèle complet
L
es composantes décrites précédemment sont rassemblées pour former le modèle définitif, comme illustré sur la figure2.1. Les liens entre ce nouveau modèle et le modèle MRIC seront développés dans le chapitre5en page101. Le reste de cette section revient en détail sur certains aspects du modèle élaboré.Système Opérateur Interface Manipulateur Environnement
FIG. 2.1: Modèle LiSA complet
☛ Nous retrouvons ici le modèle communément utilisé pour décrire les situations de télé-opération assistée par ordinateur. L’utilisation que nous en faisons est cependant plus large, dans la mesure où en application à la réalité virtuelle, ce modèle permet également de représenter des situations d’interaction avec des mondes de synthèse, dans lesquels l’environnement est virtuel et le «manipulateur» correspond à un avatar de l’opérateur.
2.4.1 Chemins d’information
Le modèle proposé en figure2.1fait intervenir huit chemins d’information. Ces chemins sont notés A ou P selon leur sens (action ou perception), et indexées par leur source et destination. Par exemple, l’information transitant de l’interface vers le système est notée Ais, et celle transitant de l’environnement vers le manipulateur est notée Pem.
Afin d’illustrer chacun des chemins d’information mis en évidence sur le modèle, prenons le cas d’un bras manipulateur capable de saisir des objets. L’opérateur dispose, comme interface, d’un écran lui restituant une vue de l’environnement de travail et d’un joystick permettant de déplacer le bras. Le manipulateur est donc constitué du bras lui-même ainsi que de la caméra filmant la scène. Dans ces circonstances, les huit chemins d’information peuvent être décrits par les exemples qui suivent :
Aoi L’opérateur entame un mouvement physique sur le joystick afin de commander une sé-quence de mouvement.
2. Le Modèle LiSA A S S I S T A N C E 2.4. Modèle complet
Ais La nouvelle position du joystick est traduite en une vitesse de déplacement à appliquer au bras manipulateur.
Asm Le système se charge de transmettre cette information au manipulateur lui-même.
Ame Le bras manipulateur actionne ses moteurs, produisant ainsi le mouvement requis par l’opérateur.
Pem La caméra reçoit une information lumineuse émanant des objets présent dans l’environ-nement.
Pms Cette information lumineuse est traduite en un signal vidéo représentant l’image acquise.
Psi Le système se charge de transmettre cette information à l’interface elle-même.
Pio L’écran restitue l’image à l’opérateur en générant une information lumineuse analogue à celle produite par l’environnement.
2.4.2 Traitement de l’information
Les sections précédentes ont fait apparaître six processus élémentaires de traitement de l’in-formation. Ces processus peuvent maintenant être localisés sur le modèle LiSA complet :
Aoi=⇒ Ais Commande Asm=⇒ Ame Exécution Pem=⇒ Pms Acquisition Psi=⇒ Pio Restitution Ais=⇒ Asm Transport Pms=⇒ Psi Transport
Hormis ces processus élémentaires, il peut a priori exister d’autres traitements impliquant une combinatoire des chemins d’information analogue à celle présentée sur le modèle MRIC. Cepen-dant, aucun de ces processus de traitement de l’information ne figure explicitement dans le mo-dèle LiSA. L’étude de la notion d’assistance que nous menons dans cette partie consiste justement à les faire apparaître, quand ceux-ci présentent un intérêt particulier.
A S S I S T A N C E
Chapitre 3
Étude de Cas
Étude de Cas
Q
ue ce soit en réalité augmentée ou en télé-opération (Azuma,1997), l’assistance à l’opé-rateur est une notion qui a déjà fait son chemin dans les esprits. Dans ce chapitre, nous proposons d’examiner comment les concepts issus de la réalité virtuelle sont mis en œuvre dans les applications actuelles pour assister l’opérateur dans sa tâche. Cette étude est menée au travers de quelques cas d’assistance déjà opérationnels et représentatifs de l’activité actuelle dans ce domaine.Chaque cas d’assistance est étudié, en référence au modèle LiSA, selon deux axes : un axe de localisation tout d’abord, c’est à dire à quel(s) endroit(s) du modèle les processus d’assistance considérés interviennent, puis selon un axe de sémantique, c’est à dire quel type de traitement est opéré sur l’information concernée.
3.1 Génération de perception
L
e principe le plus répandu dans les applications de réalité augmentée est vraisemblablement celui consistant à mélanger des perceptions réelles et virtuelles, en particulier au niveau de l’image. Voici quelques exemples illustrant cette fonctionnalité.3.1.1 Exemples
➤ Rekimoto(1995),Nagao et Rekimoto(1995) décrivent un système permettant de superposer des annotations textuelles au champ visuel normal : ce système est basé sur un écran de type PalmTop, au moyen duquel l’utilisateur perçoit son environnement direct, soit par transpa-rence, soit par une image vidéo capturée à proximité de son regard. Une information de nature textuelle peut alors être affichée sur l’écran, en superposition à l’image réelle. Une application de ce système à l’acquisition d’information dans une bibliothèque est propo-sée : l’utilisateur positionne son écran vers un rayon ou un livre particulier. Si par exemple le point de vue se focalise sur un livre particulier, le système ajoute automatiquement de l’information sur le livre en question (nom de l’auteur, contenu, éditeur. . . ).
➤ Fertey et al.(1995) pour une application de simulation en réalité virtuelle etRekimoto(1997) pour un cas de réalité augmentée proposent des systèmes d’aide à la navigation par super-position d’information ou d’objets virtuels sur la scène d’origine. Par exemple, la navigation simulée dans une centrale nucléaire, ou réelle dans un immeuble de bureaux est assistée en superposant au moment opportun des flèches virtuelles indiquant la direction à prendre
3.1. Génération de perception A S S I S T A N C E 3. Étude de Cas
(par exemple vers une salle de réunion). L’opérateur a ainsi l’illusion que ces flèches sont imprimées sur le sol, ou que ce sont des objets flottants apparaissant quand ils peuvent lui être utiles.
Le concept d’annotation textuelle se retrouve à l’heure actuelle dans de nombreuses autres applications de réalité augmentée, d’autant que les périphériques d’augmentation de la réalité commencent à être «portables». Ronald Azuma et Steve Freiner ont ainsi présenté en 1999 les premiers dispositifs de réalité augmentée portables, permettant par exemple de visiter une ville avec un visiocasque et de voir apparaître le nom des bâtiments ou des rues présents dans le champ de vision.
Selon un axe plus orienté vers la télé-opération cette fois, de nombreux chercheurs travaillent également à l’incrustation d’objets virtuels sur des scènes réelles (Ernadotte et al.,1997) ou l’in-verse, par exemple l’incrustation de personnages réels dans des scènes virtuelles. Ce dernier cas revêt un intérêt particulier pour tout ce qui relève du travail coopératif ou de la téléconférence (Dugelay et al.,1998).
3.1.2 Sémantique
D’un point de vue sémantique, les processus d’assistance exploités dans ces exemples consistent à enrichir la perception normale de l’opérateur en y ajoutant de l’information supplémentaire. Ces processus sont caractérisés par les deux points suivants :
➤ L’information perceptive supplémentaire fournie à l’opérateur n’est pas initialement pré-sente, sous aucune forme que ce soit, dans l’environnement : cette information est tirée d’une base de données bibliographiques dans le cas de la librairie, et géographiques dans celui de la navigation. Dans tous les cas, le système dispose de cette information par un moyen autre que l’acquisition, c’est à dire sans passer par le manipulateur. Du point de vue de l’opérateur, l’information perceptive est donc «générée» dans la mesure où elle ne provient pas de l’environnement.
➤ Cependant, le système peut dans certains cas avoir besoin de la perception normale (infor-mation acquise par le manipulateur) afin de générer l’infor(infor-mation perceptive souhaitée au moment propice. Par exemple, pour afficher le nom de l’auteur du livre sur lequel le point de vue est focalisé, il faut déjà détecter de quel livre il s’agit. De même l’aide à la naviga-tion dépendra de la posinaviga-tion courante de l’opérateur dans l’immeuble. Dans ces exemples,