Syst`emes bas´es r´ealit´e augment´ee 3D

Nous introduisons ci-apr`es les syst`emes de RA permettant une visualisation 3D. Nous d´efinissons la RA 3D par la pr´esence d’une navigation par un suivi de mouvement par capteur, la possibilit´e de changement de point de vue personnel et le positionnement 3D des ´el´ements dans un espace commun (et de fa¸con optionnelle la vision st´er´eoscopique).

Nous pr´esenterons en premier lieu des des environnements plutˆot g´en´eriques : Seamless

Design(section 2.4.1),EMMIE (section 2.4.2),Studierstube (section 2.4.3),Shared Space

et Tiles(section 2.4.4). Puis nous pr´esenterons les environnements utilisant plus fortement

la pr´esence de la table :ARTHUR(section 2.4.5),MixDesign(section 2.4.6),MagicMeeting

(section 2.4.7),DWARF avec Sheep (section 2.4.8) et SCAPE (section 2.4.9).

(a) collaboration avec deux uti-lisateurs `a deux mains avec cap-teurs magn´etiques

(b) les diff´erentes interfaces de vi-sualisation hybride

(c) collaboration dans le cadre d’un storyboard 3D, avec de mul-tiples fenˆetres 3D

Fig. 3.9: (a)Seamless Design[KTY99b] , (b)EMMIE[BHF+99] et (c)Studierstube[SFH+02].

2.4.1. Seamless Design Description

Kiyoshi Kiyokawa [KTY99b] pr´esente le syst`eme d’interaction sur table, Seamless Design,

bas´e sur l’utilisation de deux casques optiques semi-transparents (suivi par capteur), les

utilisateurs ´etant ´equip´es de manettes d’interaction 3D (figure 3.9a). L’environnement

propos´e est d´edi´e au prototypage rapide d’objets 3D bas´e sur des contraintes. Il introduit diff´erents concepts d’interaction 3D : curseurs 3D, conteneurs de primitives 3D, widgets 3D pour le choix de couleur et un curseur de navigation.

Bas´e sur une ´etude de l’interaction en RA par rapport `a la RV, le syst`eme permet de

qui change le mode de fonctionnement du casque en mode RV et place le point de vue de l’utilisateur dans le monde virtuel `a la position de son avatar (peut ˆetre interpr´et´e comme

un d´eriv´e duWorld In Miniature, WIM). Leur prototype, utilisant plus le concept de table

que le concept de r´eunion face-`a-face, d´emontre l’assemblage d’objets virtuels en RA et repose sur des techniques classiques de contraintes (contraintes sur grilles, d´etection de collision, contraintes hi´erarchiques par graphe de sc`ene).

Analyse

Malgr´e la faible ergonomie du dispositif, ce projet reprend un certain nombre de tech-niques d’interaction 3D g´en´eralement utilis´ees en RV coupl´ees avec la communication et coordination naturelle support´ees par le contexte de la RA. Les utilisateurs peuvent ainsi naturellement ´echanger des id´ees, coop´erer sur des actions 3D tout en conservant un cadre naturel.

Nous notons que la table n’a pas ici un grand rˆole, servant principalement `a fixer un r´ef´erentiel visuel de support de la tˆache. Le projet ne propose malheureusement pas d’in-frastructure logicielle pour la r´ealisation d’autres applications. Les possibilit´es du r´eel sont aussi sous-estim´ees par rapport aux approches 2D, ne favorisant ici que la communication. Nous constatons qu’une ´etude approfondie a ´et´e men´ee concernant certains m´ecanismes collaboratifs, telle que la direction de regard des autres utilisateurs ou l’int´erˆet de la vision

du monde r´eel [KTY99a].

2.4.2. EMMIE Description

Feiner [BHF+99] propose l’environnement EMMIE9 bas´e sur la r´ealit´e augment´ee, qui

fournit un espace virtuel (nomme «ether») qui englobe les utilisateurs, les p´eriph´eriques

et les syst`emes (figure 3.9b). Les utilisateurs positionn´es autour d’une table peuvent alors

visualiser `a l’aide de casques ou d’´ecrans suivis des objets virtuels 3D dans cet espace. Grˆace `a des p´eriph´eriques sp´ecifiques, les utilisateurs peuvent manipuler le contenu mul-tim´edia, en les positionnant sur d’autres objets virtuels (repr´esentant des applications) ce qui permet de les ex´ecuter (e.g lire un son avec un lecteur).

Il introduit de plus un nouveau type d’interaction hybride : un utilisateur peut d´eplacer

des objets virtuels depuis les ´ecrans (repr´esentation 2D) vers un espace (repr´esentation 3D) d´efini au dessus de la table, mais aussi lier donn´ees 2D et 3D entre surface et espace (visible `a travers le casque par superposition d’un espace et une surface). Il propose des techniques de gestion de donn´ees priv´ees bas´ees sur des lampes virtuelles et des miroirs

ne r´efl´echissant que les donn´ees publiques des utilisateurs. Bas´e sur leur architecture

Co-terie [MF96], le syst`eme est enti`erement distribu´e et implant´e dans le langage compil´e

Modula. L’application d´emontr´ee est la gestion de documents multim´edias, l’architecture

logicielle ayant ´et´e valid´ee dans d’autres applications (telle que dans le projet MARS

(Mobile Augmented Reality Systems) [HFT+99]).

Analyse

Feiner propose ici `a partir de la RA un environnement introduisant - dans un contexte 3D - une interface de haut niveau pour la gestion de multiples ressources h´et´erog`enes. La conservation d’un rep`ere r´eel, le support de la table et la facilit´e de manipulation 3D en RA semble prometteuse.

De plus, dans le cadre de tˆaches de base (manipulation, navigation) peu de techniques nouvelles sont introduites, celles utilis´ees ne sont en g´en´eral ni ´evalu´ees ni justifi´ees. Des m´ecanismes de gestion du collaboratif sont explicitement trait´es (protection des donn´ees), mais d’autres fortement n´ecessaires manquent (support interaction simultan´ee).

2.4.3. Studierstube 9

Description

Studierstube [SFSG96] est un large projet men´e par Dieter Schmalstieg depuis de

nom-breuses ann´ees `a l’universit´e Technique de Vienne, comprenant un grand nombre de tra-vaux relatifs `a la RA, `a l’approche collaborative et ainsi que des applications d´edi´ees

(figure 3.9c). Studierstube est un environnement de r´ealit´e augment´ee multi-utilisateurs

bas´e sur des casques personnels et de multiples p´eriph´eriques d’interaction (pointeur, gant,

TouchPad, interface `a reconnaissance vocale, etc.). L’interaction repose initialement sur le

concept duPIP(Personal Interaction Panel) [SG97b], tablette personnelle suivie associ´ee

`a un stylo d’interaction suivi.

L’approche choisie repose sur une volont´e de fusion des concepts des environnements de bureau num´erique (standard), du travail collaboratif et de l’informatique ubiquitaire.

Dans un article, les auteurs [SFH00] proposent une d´ecomposition bas´ee sur trois ´el´ements

clefs : les notions de locale, window et context. Le context d´ecrit les composants d’une

application (donn´ee, repr´esentation, code). Leswindowd´efinissent une representation 3D

d’une application. Lelocale repr´esente des r´ef´erentiels r´eels («conteneur»de donn´ees) qui sert `a positionner des contextes.

La principale caract´eristique de ces travaux est une architecture logicielle coupl´ee `a une interface de haut niveau qui reproduit les environnements de bureau standard : les fe-nˆetres 2D sont ´etendues `a l’espace, les ´ev´enements 2D ´etendus `a la 3D, et l’interface de

programmation est pr´esent´ee sous de multiples formes (appel en retour callback, boucle

principale ou signal/slots). Ce travail a ensuite ´et´e ´etendu avec une version distribu´ee

[SRH02], ou une architecture sp´ecifique pour la gestion des p´eriph´eriques (OpenTracker

[SR01]) et avec une gestion haut niveau du contenu `a partir d’un langage descriptif de

sc´enario APRIL [FL03].

Les d´emonstrateurs sont tr`es nombreux : math´ematiques [HK03], visualisation

scienti-fique [FLSG98], m´edecine [Sys], navigation [GR03], jeu [Ulb03], etc. L’environnement est

suffisamment g´en´erique pour permettre une extension `a d’autres domaines.

Dans un cadre collaboratif, deux prototypes sur table ont ´et´e cr´ees : un jeu de mah-jong [SEG98] et le projetAR conferencing table[Taba]. Le premier introduit un concept de jeu,

la table d´efinissant l’espace partag´e par les joueurs o`u ils peuvent positionner leur pions (la

zone personnelle est repr´esent´ee par le PIP). Le deuxi`eme se base sur un concept d’´ecran de RA, ´equip´es de cam´eras vid´eos avec une visualisation du contenu virtuel positionn´e au centre de la table. L’interaction se limitant `a la s´election d’´el´ement par un capteur 3D sur un cahier (conteneur d’objets virtuels) ou un changement de l’´el´ement sur la table par une interface souris dans un menu.

Analyse

Cet environnement est sans doute un des plus ´evolu´es en terme d’architecture, d’infrastruc-ture de d´eveloppement, d’interfaces et de d´emonstrateurs. Le succ´es du projet (nombre et utilisabilit´e du d´emonstrateurs, collaboratif 3D) justifie les choix mat´eriels (casque, PIP) et logicielle (architecture, gestion des droits). Nous noterons que les prototypes sur table n’utilisent pas forc´ement tous les avantages apport´es par ce support (placement d’´el´ements personnels, retour pseudo haptique, etc.).

2.4.4. Shared Space et Tiles Description

Le projet Shared Space[BWF98] propose un environnement collaboratif o`u deux

utilisa-teurs ´equip´es de casques peuvent interagir grˆace `a une interface vocale dans une

applica-tion hypertexte collaborative, le contenu virtuel 2D ´etant posiapplica-tionn´e dans l’espace (figure

(t´el´econ-(a) navigation par interface vocale (b) collaboration avec l’interface tan-gible entre un utilisateur equip´ee d’un casque et l’autre par visualisation sur un ´ecran

Fig. 3.10: (a)Shared Space[BWF98] et (b)Tiles[PTB+02].

f´erence) . Dans ce projet, Ils pr´esentent alors l’utilisation de RA tangible (tangible AR) :

marqueurs r´eels associ´es `a des objets virtuels pour la manipulation et le positionnement d’´el´ements virtuels dans un r´ef´erentiel r´eel (dans son contexte des polygones textur´es avec l’image vid´eo des personnes en communication distante).

R´ecemment Poupyrev a propos´eTiles[PTB+02], un environnement reposant sur le concept

d’´el´ements virtuels associ´es `a des cartes r´eelles (figure 3.10b). Ces cartes r´eelles sont typ´ees (contenu, outils, container) et peuvent ˆetre associ´ees (par relation de proximit´e induisant une action pr´ed´efinie) introduisant un contexte d’interaction de haut niveau. Le d´emon-trateur propose une interface pour la conception d’interface de cabine de pilotage d’avion. Les utilisateurs conservent dans ce contexte les surfaces r´eelles pour positionner les ´el´e-ments (muraux) ou faire des annotations r´eelles. L’ensemble de ces travaux repose sur une

biblioth`eque d´edi´ee au suivi des marqueurs, ARToolkit[KB99].

Analyse

Au-del`a de la d´efinition de plusieurs configurations mat´erielles, Bilinghurst introduit prin-cipalement le concept d’interfaces avec association objet r´eel/virtuel en privil´egiant le

casque comme p´eriph´erique de visualisation. Tiles d´efinit v´eritablement un

environne-ment complet mais l’interaction se limite `a des objets virtuels 2D, mais manipulables dans un r´ef´erentiel 3D.

L’interface de couplage physique/virtuel peut ˆetre probl´ematique si on a un grand nombre d’objets ou des objets de petite taille (la taille minimale de suivi des marqueurs physiques

´etant assez grande pour une utilisation `a distance «normale»). L’architecture offre une

plate-forme tr`es facilement accessible, simple mais reste de bas niveau (peu de modules de gestion impl´ement´es). L’aspect collaboratif a aussi ´et´e tr`es ´etudi´e par Bilinghurst, telle que

les espaces de communication et d’interaction simultan´ee [BBGK02], mais peu d’´el´ements

ont ´et´e introduits dans le mˆeme environnement et r´e-utilis´es de prototype en prototype.

Il est `a noter que la biblioth`equeARToolkitest diffus´ee gratuitement et est tr`es largement

utilis´ee par d’autres auteurs (aussi int´egr´ee dans notre environnement comme nous le verrons dans le chapitre suivant). Malgr`es les avantages d’un suivi temps r´eel 6D et d’un suivi simultan´e de plusieurs marqueurs, cette librairie est encore peu robuste (probl`emes d’occultation et de jittering).

(a) un utilisateur changeant l’´echelle d’un bˆatiment

(b) maquette hybride : r´eel et virtuel (c) revue en RA avec le Cake Plat-ter et les marqueurs d’annotations

Fig. 3.11: Solutions sur table : (a)ARTHUR[GMS+03], (b)MixDesign[DMS+02] et (c)Magic Meeting

[RWB02].

Description

Wolfgang Broll propose le prototype CAMELOT (pr´ec´edemment projet Virtual Round

Table[BMS00]), suivi du prototype ARTHUR (Augmented Round Table for Architecture

and Urban Planning) [GMS+03] bas´e sur un mˆeme concept et d´edi´e `a la planification

urbaine et `a l’architecture (visible figure 3.11a). Le prototype CAMELOT introduit un

environnement de visualisation (avec casques) et d’interaction d’objets virtuels sur table,

bas´e sur une architecture mat´erielle l´eg`ere et se voulant `a faible coˆut (PC de bureau).

Dans le cadre du projet ARTHUR chaque utilisateur, ´equip´e d’un casque optique de

haute r´esolution suivi et de cam´eras, peut interagir avec des objets virtuels `a l’aide de

«placeholder», objet r´eel associ´e `a des objets virtuels (approche tangible avec un suivi par

vision). Plus r´ecemment, il propose en compl´ement des techniques de reconnaissances de geste par vision pour la manipulation et l’acc`es au contrˆole de l’application [MSL⁺04], ainsi que l’utilisation de la m´etaphore baguette magique. L’ensemble repose sur une architecture

logicielle distribu´ee d´evelopp´ee dans un cadre de RV :DWTP(Distributed World Transfert

and communication Protocol) [Bro98].

Analyse

Ce syst`eme proposant une interaction et une visualisation de haut niveau (suivi par vision, casque de haute qualit´e) mais qui n’a pas `a ce jour montr´e de r´esultats probants. Le suivi par vision reste tr`es limitant : initialement r´eduit `a un suivi `a 3 DDL, le syst`eme permet aujourd’hui un suivi `a 5 DDL pour la baguette magique (avec deux cam´era), mais aucun r´esultat n’a ´et´e publi´e dans un cadre multi-utilisateurs avec des performances acceptables (le suivi `a 3 DDL fonctionnait `a 10 Hz, celui `a 5 DDL `a 7 Hz). Peu de r´esultats sont donn´es sur le fonctionnement de l’association objet virtuel/r´eel, sur la manipulation ou sur la gestion du contrˆole de l’application.

Nous noterons aussi qu’`a ce jour aucune ´evaluation globale ni outils d´edi´es au domaine propos´es n’ont aussi ´et´e pr´esent´es (tel que le mixage avec des documents ou maquettes r´eels). Nous remarquons que les aspects collaboratifs, telle que la manipulation simultan´ee ou la gestion de zone personnelle autour de la table, ne semblent pas ´et´e ´etudi´es.

2.4.6. MixDesign Description

Dias pr´esente un nouveau prototype, MixDesign (figure 3.11b), d´edi´e `a l’architecture

[DMS+02]. Il permet l’interaction simultan´ee de plusieurs utilisateurs sur une maquette

mixte positionn´ee sur une table. Les utilisateurs sont ´equip´es de casques vid´eo semi-transparents. Au del`a de la description des int´erˆets identifi´es dans le domaine de l’archi-tecture, il introduit diff´erentes techniques d’interactions bas´ees sur des interfaces tangibles.

Il pr´esente l’utilisation de la palette virtuelle de Kato [KBP+00] pour d´eplacer des objets virtuels ou pour faire de la reconnaissance de geste et l’utilisation d’objets tangibles pour les transformations usuelles.

Plus r´ecemment [DJC+03], il a introduit l’utilisation de techniques digitales bas´ees sur

l’espace image pour manipuler les propri´et´es des objets ou acc´eder `a des menus 2D (deux marqueurs associ´es aux pouces des utilisateurs). Il propose une architecture bas niveau

[DSB+03] sous la forme d’une extension d’ARToolkit.

Analyse

Reposant fortement surARToolkit, la robustesse du suivi est limit´ee. Les techniques

d’in-teractions digitales r´ecentes semblent plus souples mais souffrent de l’approche bas´ee image et limitent donc l’interaction naturelle. L’aspect applicatif a ´et´e peu d´evelopp´e `a part l’ajout d’´el´ements virtuels ou le mode de repr´esentation.

2.4.7. MagicMeeting Description

Le projet MagicMeeting[RWB02], d´evelopp´e au centre de recherche deDaimler Chrysler,

s’int´eresse `a d´efinir un environnement de RA sur table pour des r´eunions dans le domaine

de l’automobile. Bas´e sur l’utilisation d’un suivi par la librairieARToolkit, chaque

utilisa-teur est ´equip´e d’un PDA, d’un casque vid´eo semi-transparent et peut manipuler un objet

virtuel positionn´e sur un ´el´ement r´eel tangible central, leCake Platter(plateau tournant).

Le syst`eme fournit en compl´ement deux ´ecrans positionn´es de chaque cˆot´e de l’espace libre (figure 3.11c).

Ils introduisent diff´erents outils d’interaction (´eclairage, plan de coupe, annotations), ainsi que des interfaces (souris 2D, souris 3D). On peut aussi utiliser les fenˆetres des applications de bureau directement dans l’espace virtuel (projet´ees sur une surface r´eelle). Il d´efinit en compl´ement le passage entre diff´erents espaces et surfaces :

– entre un PDA et Cake Platter;

– entre PDAs par communication infrarouge ;

– depuis leCake Platter vers une application 2D de bureau et inversement.

Tout ceci repose sur une architecture `a composant propri´etaire, largement inspir´e de

CORBA CCM [CCM].

Analyse

Le syst`eme propos´e prend fortement en compte les possibilit´es de la table (espace et outils personnels, support, orientation). Malheureusement, comme le souligne l’´evaluation, la robustesse du suivi est tr`es faible, ce qui rend l’interaction difficile. Les annotations sont tr`es limit´ees ne procurant pas une interface naturelle et de haut niveau. Le choix

d´elib´er´e du placement du contenu sur le Cake Platter limite l’interaction, la gestion de

grosses sc`enes et la manipulation des ´el´ements (pas de changement d’´echelle, ni de forte translation).

Les possibilit´es d’associations d’espaces/surfaces fournissent des m´ecanismes et des solu-tions d’interface de haut niveau plus ´etendus que ceux introduits dans le domaine par

EMMIE (section 2.4.2) mais elles restent d´emonstratives, non formalis´ees et tr`es limit´ees

(interaction PDA limit´ee au transfert). L’aspect collaboratif est partiellement ´etudi´e : actions simultan´ees (pas d´emontr´ees v´eritablement), identification des utilisateurs.

2.4.8. DWARF et Sheep Description

Ce projet est un cas limite tenant plus du prototype et de l’architecture logicielle que de l’environnement, mais ses propri´et´es nous semblaient assez int´eressantes pour le pr´esenter.

(a) vue ext´erieure avec les multiples surfaces (b) vue du syst`eme avec la table et le mur cylin-drique

Fig. 3.12: Autres approches : (a) Sheep [SMW+02] et (b) SCAPE [HBGA03].

permettant un d´eveloppement rapide d’applications. Dans ce contexte, une d´emonstration

a ´et´e d´evelopp´ee nomm´ee Sheep[SMW+02]. LA d´emonstration est une application de jeu

(de plateau, sur un concept de poursuite«loup-mouton», voirfigure 3.12a). Il propose un

grand nombre d’interfaces d’entr´ees : pion tangible suivi, reconnaissance vocale, interac-tion avec PDA, interacinterac-tion manuelle (saisie d’objet et modificainterac-tion) ou interface graphique standard sur portable. Il propose aussi beaucoup de dispositifs de sorties : PDA, ´ecran de portable, casque semi-transparent optique et projection sur table.

Divers outils ont ´et´e propos´es autant pour la gestion de l’application que pour son d´evelop-pement bas´e sur l’architecture distribu´ee `a composant de DWARF : outil de surveillance d’activit´es des composants, outils de deboguage ou outils de tests. D’un point de vue collaboratif, diff´erents utilisateurs peuvent alors interagir simultan´ement avec les diff´e-rents dispositifs, bas´e sur des m´etaphores d’interactions simples, le syst`eme contrˆolant automatiquement l’interaction multiple.

Analyse

L’h´et´erog´en´eit´e des solutions propos´ees par ce syst`eme constitue un fort int´erˆet pour la RA, permettant une adaptation `a la tˆache et aux pr´ef´erences de l’utilisateur. L’architec-ture logicielle de haut niveau permet la mise en œuvre rapide d’applications. Malgr´e la diversit´e des interfaces, les auteurs soulignent les limitations des m´etaphores propos´ees qui n´ecessitent de fortes am´eliorations. De plus l’aspect collaboratif n’a pas ´et´e ´etudi´e `a l’exception de la gestion de l’interaction simultan´ee de bases fourni par l’architecture.

2.4.9. SCAPE Description

Hong Hua [HBGA03] introduit un nouveau type de syst`eme collaboratif : SCAPE

(Ste-reoscopic Calibration in Augmented and Projective Environment), illustr´e figure 3.12b.

Bas´e sur des casques projectifs (HMPD), Hua combine l’utilisation d’une table r´etro-r´efl´echissante et un dispositif semi-cylindrique r´etro-r´efl´echissant. L’utilisateur peut alors acc´eder `a une visualisation de contenu 3D sur la table (vue exocentrique de la sc`ene) et une vue immersive sur l’´ecran cylindrique (vue ´egocentrique).

L’interaction se fait sous la forme de pions tangibles positionn´es sur la table et associ´es

`a un avatar (repr´esentant chaque utilisateur), une loupe tangible ou un CoCube [BH03]

(permettant de s´electionner des ´el´ements, leur visualisation et l’acc`es `a un compl´ement d’information sur ces ´el´ements). Une architecture logicielle est propos´ee reposant sur une

interface objet distribu´ee et sur le concept d’acteur. Le d´emonstrateur pr´esent´e est sp´e-cialis´e dans la navigation architecturale (arch´eologie).

Analyse

L’approche propos´ee permet de d´epasser les limitations techniques impos´ees par le faible champ de vue des casques classiques et les probl`emes d’occultations : en effet, le principe de fonctionnement permet de toujours avoir une occultation visuelle si un objet r´eel se trouve entre la surface r´etro-r´eflechisante et l’´ecran du casque de l’utilisateur. Malheureu-sement, cette technique reste difficile `a mettre en œuvre : elle n´ecessite un environnement adapt´e telle que la surface sp´ecifique de la table. De plus, l’occultation automatique fait d´efaut pour une interaction ais´ee avec les autres objets de l’environnement (on ne peut avoir d’objet virtuel sur un objet r´eel et donc devant lui dans l’axe de visualisation de l’utilisateur).

La possibilit´e de changement de mode de navigation et de type (AR/VR) offre `a

Dans le document Environnement de réalité augmentée 3D coopératif : approche colocalisée sur table (Page 58-65)