Exemples de modélisation avec IRVO

Afin de montrer l’usage qui peut être fait d’IRVO dans la modélisation de systèmes de Réalité Mixte nous nous proposons de faire de la « rétroconception » en prenant quelques exemples de la littérature et en les modélisant avec IRVO.

VI.3.1.1 Modélisation de CASPER-v2

Nous avons présenté cette application de chirurgie augmentée développée par Emmanuel Dubois [Dubois 2001b] au Chapitre II (§ II.2.6.1). La modélisation ASUR de CASPER-v2 a également été présentée au paragraphe IV.1.7.1.

Nous rappelons brièvement que ce dispositif permet d’assister un chirurgien qui doit réaliser une ponction péri-cardiaque, opération risquée car l’aiguille de ponction doit arriver très près du cœur du patient sans léser des organes vitaux comme les poumons ou le cœur lui-même. L’application est donc une aide au guidage pour la mise en place de l’aiguille de ponction.

La modélisation que nous proposons ici correspond à une version hypothétique où, en plus de la visualisation de la trajectoire idéale sous forme de cône, la partie cachée de l’aiguille est aussi représentée en continuité de celle-ci dans le casque de visualisation porté par le chirurgien. Pour différencier cette version du dispositif CASPER-v2 initial, nous la baptisons CASPER-v2+.

La modélisation de CASPER-v2+ avec notre modèle IRVO est présentée Figure 72. On voit l’action du chirurgien sur le support d’aiguille, outil réel (Tr) qu’il introduit dans le corps du patient, objet réel de la tâche (Or). Il perçoit directement la résistance à la pénétration par sa main (retour kinesthésique) et par son regard il perçoit visuellement le support et la partie de l’aiguille qui est encore visible. Ain Aout S Rtask Rtool U Rtask : Patient

Rtool : Aiguille de Ponction U : Chirurgien

Ain : localisateur

Aout : casque semi-transparent S : Système Informatique Chirurgien K H A V ↔ U Support ↔ Tr U Patient ⊗ Or Aiguille virtuelle × T+v Tr Trajectoire idéale × O+v Or O T R V localisateur ⊗ ^{S HMD} U× E Aiguille Liquide + +

Figure 72 : Modélisation de CASPER-v2+ avec IRVO (à droite) Le modèle ASUR du même dispositif est reproduit à gauche (Cf. Figure 31).

Le système, par l’intermédiaire d’un localisateur à 6 degrés de liberté (senseur S), suit les mouvements du support de l’aiguille et peut ainsi en déduire à tout instant la position réelle de l’aiguille et donc gérer une représentation virtuelle de celle-ci (augmentation virtuelle de l’outil,

T+v). Par ailleurs le système gère également une représentation virtuelle du patient ; en pratique, il s’agit d’une trajectoire idéale représentée sous forme de cône de sécurité (augmentation virtuelle O+v) et qui a été déterminée avant l’opération par le chirurgien à l’aide d’échographies. L’ensemble des augmentations est perçu par le chirurgien par l’intermédiaire d’un casque de visualisation semi-transparent (HMD qui a valeur d’effecteur, E) et qu’il porte (symbolisé par U ×). Le symbole ⊕ montre la fusion perceptuelle qui est opérée par le dispositif : l’outil réel est augmenté par une aiguille virtuelle (T=Tr+v) qui est perçu comme un tout, et l’objet réel de la tâche est augmenté par la trajectoire idéale (O=Or+v) qui est perçu comme un tout également.

L’action se situe clairement dans le monde réel et pour être précis l’outil est l’aiguille de ponction et l’objet véritable de la tâche, le liquide péri-cardien : cette action est représentée par une flèche normale sur le schéma. Cependant l’aiguille comme le liquide sont invisibles au chirurgien car ils sont cachés dans le corps du patient et c’est pourquoi nous les avons représentés en traits pointillés sur le schéma.

A l’inverse, l’aiguille virtuelle et la trajectoire idéale sont visibles au chirurgien (c’est pour cela qu’elles ont été construites !) mais l’action entre cet outil virtuel et l’objet du domaine virtuel est représentée par une flèche en traits pointillés car elle est secondaire vis-à-vis de la tâche. En pratique cela permet de déclencher une alarme lorsque l’aiguille s’approche trop près de la limite du cône.

Nous remarquons que, comme le patient est réputé fixe pendant l’opération ( !), il n’est pas utile d’utiliser le localisateur pour suivre la position de l’objet réel. Le localisateur est par contre très pratique pour calibrer le système au début de l’opération pour aligner la trajectoire idéale avec le patient, mais cela n’apparaît pas sur le schéma puisque il s’agit d’une autre tâche (qui pourrait éventuellement être modélisée avec IRVO). On pourrait cependant envisager de localiser le patient aussi pendant l’opération, par mesure de sécurité, pour s’assurer qu’il n’y a pas de dérive dans le système.

Par contre, le localisateur sert pendant toute la durée de l’opération pour suivre la position du casque de visualisation qui est porté par le chirurgien (et donc mobile). Ce suivi n’est volontairement pas représenté dans ce schéma car cela ne fait pas partie de l’interaction personne – système mais se trouve à un niveau technique : il s’agit concrètement de projeter un modèle 3D (aiguille + trajectoire) sur un écran 2D.

IRVO permet donc de modéliser tous les aspects liés à l’interaction entre l’utilisateur et le système : l’action de l’utilisateur sur l’outil ainsi que la perception des différents outils et objets. Il met bien en évidence les artefacts mis en œuvre tant réels que virtuels ainsi que les relations entre ces différents artefacts. Il fait également ressortir la nature mixte de l’outil et de l’objet de la tâche par l’utilisation du rectangle en traits pointillés et la perception « fusionnelle » de ces artefacts par l’utilisateur grâce au symbole ⊕.

VI.3.1.2 Modélisation de Audio Notebook

Nous avons présenté cette application [Stifelman 1996] au Chapitre II, § II.2.1.6. Nous avons choisi cette application car c’est l’une des rares à proposer une augmentation sonore d’un objet réel. Rappelons brièvement que ce dispositif maintient une synchronisation entre les pages d’un carnet sur lequel l’utilisateur prend des notes lors d’une conférence et un enregistrement audio réalisé en même temps.

Dans la Figure 73 nous représentons la modélisation IRVO de ce dispositif pour la tâche de relecture des notes. Lorsque l’utilisateur relit ses notes, il tourne les pages de son carnet, l’objet réel de la tâche (Or). La page est détectée par un dispositif ad hoc (S) ce qui déclenche la lecture de l’enregistrement audio (O+v) associé à cette page ; cet enregistrement audio est aussi perçu par l’utilisateur par l’intermédiaire du haut-parleur (E) simultanément à la lecture de la page. L’objet

physique est donc bien augmenté par l’enregistrement audio mais il n’y a pas fusion de la perception comme dans l’exemple précédent mais ici utilisation de deux modalités (sonore et visuelle).

Utilisateur K H A V ↔ U Carnet ↔ Or R V . . . Page ↔ Audio Notebook O Détecteur × Or S . . . Enreg. audio O+v HP × Or E

Figure 73 : Modélisation de la tâche « relecture des notes » de Audio Notebook avec IRVO.

Il n’y a pas d’outil dans cette tâche puisque l’utilisateur feuillette directement les pages du carnet avec sa main. Une autre vision serait de dire que le carnet est l’outil et que l’objet véritable de la tâche est le texte manuscrit. Cependant, ce genre de discussion pointilleuse ne nous semble pas fondamental ; en effet, cela ne change rien aux artefacts qui sont mis en œuvre dans ce dispositif mais seulement l’étiquette associée.

VI.3.1.3 Modélisation du DoubleDigitalDesk

Nous avons présenté le DoubleDigitalDesk [Wellner 1993b] au Chapitre II, § II.2.1.3. La modélisation avec IRVO est donnée Figure 74. Ce dispositif permet le travail collaboratif à distance entre deux utilisateurs (U1 et U2). La distance est représentée dans le schéma par le fait qu’il existe une frontière physique entre les deux utilisateurs qui les empêchent de communiquer directement. En remplacement, ils disposent d’un canal de communication audio symbolisé par la flèche double entre les canaux ‘A’ de chaque utilisateur et qui passe à travers le monde virtuel. Les transducteurs qui permettent le passage réel – virtuel (en l’occurrence deux paires de micros et haut-parleurs) ne sont pas représentés pour ne pas alourdir le schéma (Cf. § VI.2.7.2).

R V Utilisateur1 K H A V ↔ U1 Utilisateur2 K H A V ↔ U2 + Papier × O1 Vidéoproj. ⊗^E1 caméra ⊗ ^S1 Papier × O2 + Papier partagé O Stylo ↔ T2 U2 Vidéoproj. ⊗^E2 caméra ⊗ ^S2 Stylo ↔ T1 U1

Chaque utilisateur écrit avec un stylo réel (T1 et T2) sur une feuille de papier réelle (O1 et O2). Tout ce qui est tracé par l’utilisateur 1 est capturé par une camée fixe (S1) placée au-dessus de la table et affiché sur la feuille de papier de l’utilisateur 2 avec un vidéoprojecteur (E2) placé au-dessus de la table : il résulte de cette opération que l’utilisateur 2 perçoit simultanément ses propres tracés réels augmentés des tracés de l’utilisateur 1, le symbole ‘+’ mettant en évidence cette fusion perceptuelle. Symétriquement, une capture des tracés de U2 est effectuée par S2 puis restituée par E1 ce qui permet la perception augmentée pour l’utilisateur 1. Globalement les deux utilisateurs ont l’illusion d’écrire sur la même feuille de papier augmentée qui est l’objet du domaine de la tâche partagé (O, représenté en traits pointillés).

Grâce à la caméra, le stylo (ou même la main) de chaque utilisateur est visible par l’autre tant qu’il se trouve au-dessus de la feuille : il est ainsi possible de pointer des éléments du tracé qu’ils soient réels ou « virtuels » ce qui permet de supporter les activités de coordination par exemple.

Comme il est expliqué dans [Wellner 1993b], le signal provenant des caméras doit être soigneusement traité pour limiter les effets de boucle vidéo (la caméra ne doit pas filmer ce qui est affiché par le vidéoprojecteur car cela sera réaffiché sur le dispositif distant et ainsi de suite). Rien dans le formalisme d’IRVO n’est prévu pour exprimer ces contingences techniques car ce n’est pas son rôle. Cependant, le formalisme graphique met en évidence cette boucle passant par les caméras et les video-projecteurs ce qui permet d’aider les concepteurs à détecter ce type de problèmes.

VI.3.1.4 Modélisation du jeu de Mah-Jongg

Ce jeu proposé par [Szalavári 1998] est présenté au Chapitre II, § II.2.9.1. Il existe de nombreuses actions possibles dans ce jeu et nous avons choisi de ne représenter que deux d’entre-elles, la préparation de combinaisons sur la tablette individuelle (la main) et le jeu d’une combinaison sur la table de jeu commune.

Tâche de préparation de combinaisons

La tâche de préparation de combinaisons est individuelle et peut se faire concurremment avec les autres phases de jeu. La modélisation avec IRVO est donnée en Figure 75.

R V Main droite + Main O Stylet ↔ T+r U Pelle × Tv T+r tablette ↔ O+r U . . . Tuile ↔ Ov O+r T localisateur ⊗ ^S + Main gauche HMD1 × U1 E1 Joueur 1 K H A V ↔ U1 Joueur 2 K H A V ↔ U2 Joueur 3 K H A V ↔ U3 Joueur 4 K H A V ↔ U4

Figure 75 : Modélisation de la tâche « préparer des combinaisons » du jeu de Mah-Jongg avec IRVO. Le Joueur 1 tient dans sa main gauche (ou plus exactement sa main non-dominante) la tablette réelle (O+r) sur laquelle sont posées les tuiles virtuelles (Ov) le tout constituant sa main. Il tient dans sa main droite un stylet (T+r) dont la position en 6 degrés de liberté est suivie par un

localisateur (S), qui lui permet de manipuler l’outil virtuel représenté sous forme d’une petite pelle (Tv). L’utilisateur est muni d’un casque de visualisation semi-transparent (E1) qui lui permet d’avoir une fusion perceptuelle d’une part de l’outil (T=Tv+r) et d’autre part de l’objet (O=Ov+r).

C’est donc bien une application de la Virtualité Augmentée car l’action se situe dans le monde virtuel : avec la pelle le joueur prend et déplace des tuiles pour faire des combinaisons, le stylet et la tablette n’étant que des « augmentations » réelles de ces artefacts pour qu’ils puissent être « empoignable » par l’utilisateur, ce qui justifie bien l’utilisation des notations T+r et O+r pour ces artefacts.

Nous avons fait figurer dans ce schéma les 3 autres joueurs uniquement pour montrer qu’ils ne peuvent pas tricher car ils ne perçoivent que la tablette du joueur 1 (et son stylet) et non les tuiles qui ne sont visibles qu’à travers le casque du joueur 1. Ceci est en fait une simplification de l’application qui montre en réalité aux autres joueurs, à travers leur propre casque de visualisation, une représentation des tuiles du joueur 1 débarrassée des symboles : ils ne peuvent donc que voir le nombre de tuiles possédées par ce joueur mais pas le détail de sa main.

A nouveau, sur ce schéma, nous n’avons pas fait figurer la localisation du casque de visualisation du joueur par le localisateur S car cela ne fait pas partie de l’interaction. Par contre, la localisation de la tablette aurait pu être représentée car dans une certaine mesure, elle peut aussi être considérée comme un outil qui permet de déplacer les tuiles de la main toutes ensembles. Cependant, si on se place du point de vue de l’utilisateur, le véritable outil est bien la pelle, la tablette n’est qu’un support : l’utilisateur pourrait d’ailleurs la poser sur la table sans que cela modifie en rien ses possibilités de jeu. La liaison entre les tuiles et la tablette est malgré tout exprimée par la propriété de mobilité (O+r ↔) placée dans la Tuile virtuelle (Ov).

Tâche de jeu d’une combinaison

La tâche « poser une combinaison sur la table de jeu commune » est une tâche collaborative même si en pratique un seul joueur agit. La modélisation correspondante est représentée Figure 76.

R V + Table de jeu O Stylet ↔ T+r U Pelle × Tv T+r Table ⊗ O+r . . . Tuile ↔ Ov O+r T localisateur ⊗ ^S + HMD1 × U1 E1 Joueur 1 K H A V ↔ U1 Joueur 2 K H A V ↔ U2 Joueur 3 K H A V ↔ U3 Joueur 4 K H A V ↔ U4 Main droite HMD2 × U2 E2 + HMD3 × U3 E3 HMD4 × U4 E4 + +

Figure 76: Modélisation de la tâche « poser une combinaison sur la table de jeu commune » du jeu de Mah-Jongg avec IRVO.

Le joueur utilise toujours le stylet (T+r) prolongement réel de la pelle (Tv), outil virtuel, lui permettant de transporter la combinaison de tuiles depuis sa tablette jusqu’à la table de jeu ; celle-ci est composée d’une table réelle fixe (O+r) et des tuiles que déposent le joueur (Ov) qui constituent l’objet de cette tâche (sur la table de jeu se trouvent aussi les autres tuiles déjà jouées, la muraille,

etc. qui ne sont pas représentées ici car elles ne font pas partie de la tâche). A la différence de la tâche précédente, les autres joueurs voient la combinaison jouée par le joueur 1 dans leur propre casque de visualisation (E2 à E4) car cette fois-ci la combinaison devient publique (elle est jouée) : ils peuvent donc prendre connaissance des tuiles jouées ce qui va évidemment influer sur leur propre jeu ultérieur. Le stylet et la pelle du joueur 1 sont aussi observables par les autres joueurs mais cela n’est pas représenté sur le schéma pour ne pas l’alourdir par des relations secondaires. On a également représenté sous forme d’une flèche bidirectionnelle la communication orale possible entre les joueurs pour leur permettre de se coordonner et de faire tous les commentaires appropriés.

VI.3.1.5 Un autre exemple de modélisation

Jusqu’à maintenant nous avons montré que IRVO était tout à fait approprié pour modéliser l’interaction d’un ou de plusieurs utilisateurs avec un système de Réalité Mixte. Mais en fait, il peut tout aussi bien modéliser des interactions classiques avec des interfaces graphiques : nous avons vu en particulier comment représenter une souris avec IRVO au paragraphe VI.2.6.

Bien sûr cela ne présente pas beaucoup d’intérêt sauf dans le cas d’interactions avancées allant au-delà des interfaces WIMP telle que l’interaction avec des « outils transparents » (Toolglasses) proposés par Bier et al. [Bier 1993].

Prenons un exemple tiré de la littérature : il s’agit d’une application permettant l’édition de réseaux de Petri, CPN2000, qui utilise l’interaction bi-manuelle et les toolglasses [Beaudouin-Lafon 2000b]. Nous représentons Figure 77 la modélisation avec IRVO des tâches utilisant des toolglasses. L’outil à activer (Tn) est placé dans une palette d’outil T1 que l’utilisateur déplace avec sa main gauche à l’aide d’un trackball pour l’amener au-dessus d’une place ou d’une transition du réseau de Petri (c’est l’objet de la tâche, O) sur laquelle il veut appliquer cet outil : pour que cela soit faisable, il faut que la palette et les outils soient semi-transparents d’où le nom de toolglass. Pour activer l’outil, l’utilisateur vient avec le pointeur de la souris (qu’il manipule avec sa main droite comme d’habitude) cliquer sur l’outil et donc simultanément sur l’objet qui est derrière.

R V ^{Ecran ⊗} E Souris ↔ U S1 trackball ↔ U S2 Pointeur ↔ T2 U Palette ↔ T1 U Outil n Tn Place ou transition du réseau de Petri O Main gauche T Main droite Utilisateur K H A V ↔ U Figure 77 : Modélisation de l’interaction bi-manuelle avec un Toolglass.

Nous utilisons le cadre en traits pointillés pour montrer que globalement l’outil est composite (pointeur T2 et outil Tn) mais il ne s’agit pas ici d’un objet mixte au sens de la Réalité Mixte, car le rectangle en traits pointillés ne franchit pas de frontière. Cet exemple montre l’usage que nous pouvons faire d’IRVO pour modéliser des interactions complexes même s’il n’y a aucun objet réel impliqué dans l’interaction.