Approche : vers une esquisse du r´eel en RA

L’approche que l’on a retenu est dans la mˆeme esprit que Han [HM97], esquisse de r´eel,

mais ici `a partir d’un syst`eme interactif de RA comme Lee [LHS01]. Cette solution offre

un contrˆole fort et une forte adaptation au mod`ele. Un syst`eme de RA autorise l’usage d’algorithmes de vision (par l’image d’un casque semi-transparent vid´eo), un espace 3D

d’action (comme Agrawala [ABL95]), un espace de superposition de la reconstruction (tel

celui propos´e par Raskar [RLW01]) et une approche tangible. En effet, l’objet `a acqu´erir

est alors facilement manipulable (tel celui d´ecrit par Lee [LHS01]).

Les approches par digitalisation manuelle posent g´en´eralement des difficult´es dans le cas

de trac´e de ces arˆetes : Han l’´enonce bien dans son article [HM97] :«l’ˆetre humain a plus

de facilit´e `a tracer sur des surfaces planes que d´efinir arrˆete et coin 3D». Contrairement `a

Han, nous avons choisi un d´ecoupage en trois classes de g´eom´etries d’objets (figure 5.22) :

forme polygonale (e.g. boˆıte, plan), forme courbe (e.g. bouteilles, toiture) ou maillage quelconque (e.g. sculpture, jouet).

(a) (b) (c)

Fig. 5.22: D´ecomposition en trois ensembles : (a) polygonale (b) courbe et (c) maillage quelconque (c).

Nous pr´esentons dans la suite les premiers r´esultats obtenus pour chaque cat´egorie et une discussion des limitations des solutions.

6.2.1. Mod`ele polygonal

Ce cas s’inscrit dans une g´en´eralisation des premiers travaux de Grasset [Gra99a]. On

consid`ere dans cette cat´egorie tout objet se rapportant `a des primitives simples (cube, cylindre, t´etra`edre) mais aussi des objets d´efinissables par un ensemble de plan.

Nous nous basons sur les caract´eristiques g´eom´etriques d´efinissant les r`egles de construc-tion de l’objet. L’approche consiste alors `a les reproduire sur l’objet r´eel par superposiconstruc-tion

fonctionne actuellement sur les primitives suivantes : plan, cube, cylindre, sph`ere, cˆone, pyramide, t´etra`edre. Pour l’apparence, on utilise une m´ethode ad-hoc similaire `a celle de Lee, par extraction automatique de la radiance `a partir de la cam´era.

(a) (b)

(c) (d)

Fig. 5.23: Esquisse d’un mod`ele polygonal par primitive parall´el´epip´edique.

Fig. 5.24: Esquisse d’un mod`ele polygonale par primitive plan. L’utilisateur construit des plans

ind´e-pendant qu’il peut ais´ement connecter.

Le mod`ele g´en´er´e nous fournit alors un mod`ele initial de r´esolution satisfaisante pour

diff´erents contextes : gestion des occultations avec des objets virtuelsfigure 5.25), gestion

des ombres, ´etiquette et d´etection de collision.

6.2.2. Mod`ele courbe

On a repris le concept d’outils haut niveau pr´esent´e dans Fiorentino[FdAMS02] pour

l’esquisse d’objets virtuels courbes. On r´eutilise alors des m´ethodes telles que skinning,

extrusion ou surfaces de r´evolution pour d´efinir la surface d’un objet r´eel.

La m´ethode de skinningutilise celle de la librairie ACIS [ACI]. Les autres techniques sont

(a) (b)

Fig. 5.25: R´esultat pour l’esquisse sur mod`ele polygonal avec la gestion des occultations. Un mod`ele

fantˆome est associ´e `a la boˆıte sur les figures (a) et (b) et une intersection est faˆıte avec une sph`ere virtuelle.

Fig. 5.26: Esquisser un mod`ele courbe avec un outil de surface de r´evolution.

6.2.3. Mod`ele quelconque

Ce cadre d´efinit les mod`eles non assimil´es aux deux premi`eres cat´egories. On introduit deux approches.

La premi`ere technique utilis´ee est un ´echantillonage interactif associ´e `a un algorithme de reconstruction de surface. Contrairement aux outils d’acquisition manuelle, l’utilisateur a un retour visuel de la digitalisation directement sur la surface. Pour ce faire, l’utilisateur d´eplace un pointeur sur la surface de l’objet, ses diff´erentes positions sont alors

enregis-tr´ees. Pour la reconstruction on a retenu l’algorithme Power Crust [ACK01] offrant les

meilleures performances en terme de gestion d’un ´echantillonnage irr´egulier, de rapidit´e

et de disponibilit´e. Nous notons que l’utilisation de l’algorithme de Hoppes [HDD+92]

n´ecessite un maillage trop r´egulier, une forte r´esolution (divergence sur nos mod`eles de test).

L’exp´erimentation a ´et´e r´ealis´ee sur un mod`ele de grenouille en plastique offrant de bonnes caract´eristiques de test : objet de petite taille, des d´etails `a diff´erents niveaux, une surface courbe et lisse, diff´erents types de courbures et de concavit´e. Pour la mise en œuvre, nous avons choisi un affichage des points ´echantillonn´ees sous forme de sph`ere. Ce choix permet d’avoir un bon retour visuel `a l’utilisateur sur la position et la densit´e de points

positionn´es. Les r´esultats sont visibles surfigure 5.27.

En analyse, la reconstruction respecte la forme globale mais est de tr`es faible qualit´e (erreur et impr´ecision). Au vu des r´esultats, l’usage de notre solution se limite `a un usage

(a) (b)

(c) (d)

Fig. 5.27: (a) (b) esquisse d’un mod`ele quelconque (c) r´esultat de la reconstruction sous deux points de

vue.

La deuxi`eme technique repose sur le concept de sculpture: nous choisissons de supprimer

la mati`ere superflue d’un bloc de mati`ere virtuel dans lequel est plong´e un objet. Pour ce, l’utilisateur peut creuser cette mati`ere `a l’aide d’outils tangibles sp´ecialis´es. De cette fa¸con, il peut mimer le travail d’un artiste avec de la mati`ere brute (sculpture sur pierre, sur bois).

Ce concept a ´et´e mis en œuvre `a l’aide de la librairie ACIS, `a partir d’op´erations CSG entre l’outil et la mati`ere. On a r´ealis´e des tests `a partir du mˆeme mod`ele que pr´ec´edemment avec des outils d’extraction sous la forme d’une palette. On observe des r´esultats plutˆot

de mauvaise qualit´e (figure 5.28). On explique principalement cette erreur par la faible

pr´ecision du syst`eme de suivi utilis´e (ARToolkit) et des probl`emes de discr´etisation de

maillage avec ACIS.

(a) (b) (c)

Fig. 5.28: Esquisse d’un mod`ele quelconque avec l’approche par sculpture interactive.

Les techniques propos´ees d´emontrent l’approche g´en´erale mais l’interface et les r´esultats finaux restent fortement limit´es. On consid`ere que dans le cadre d’usage d’objets r´eels pour des TUI ou des d´ecors, elles procurent d´ej`a des solutions intuitives et simples `a mettre en œuvre.

Le syst`eme de suivi choisi r´eduit consid´erablement la d´emonstration de l’approche (pr´eci-sion trop limit´ee pour ce projet). Une premi`ere suite `a ce travail serait donc de porter l’ap-plication sur notre environnement standard. Ensuite, il faudrait am´eliorer les algorithmes pour se rapprocher d’un mode plus semi-automatique et respectant plus les principes d’esquisse (figure 5.29).

Fig. 5.29: Travaux futurs : nous souhaitons esquisser la tasse (a) de fa¸con tr`es naturelle en d´efinissant

les surfaces courbes ((b) ou (c)).

7. Conclusion

Nous nous sommes int´eress´es dans ce chapitre `a un mixage entre r´eel et virtuel. Nous avons propos´e une environnement original de calibrage bas´e sur des m´ethodes simples

et intuitives (publi´e dans [GDG01]). Les r´esultats d´emontrent l’efficacit´e et l’utilisabilit´e

de notre m´ethode. Nous avons ensuite exp´eriment´e une r´eduction de la latence par une minimisation du traitement syst`eme et l’usage d’algorithme de pr´ediction. Les r´esultats montrent une r´eduction apparente de la latence mais une difficult´e dans l’utilisation du filtre de Kalman qui n´ecessiterait une ´etude plus pous´ee.

L’approche la plus prometteuse nous semble ce situer dans la continuit´e des premiers

travaux de Shaw [SL92], en cherchant `a d´efinir un mod`ele de mouvement de la tˆete pour

le filtre de Kalman. En sus, l’usage d’algorithmes adaptatifs [MEJ02] permettrait une

meilleure gestion de la latence suivant l’utilisateur ou le contexte applicatif.

Nous avons ensuite introduit des m´ethodes pour le mixage entre des objets r´eels et une sc`enne virtuel, avec des nouvelles techniques permettant un ajout dynamique par une approche interactive. Nos premiers ´etudes sur une acquisition de la g´eometrie de l’ob-jets par esquisse montrent des premiers r´esultats int´eressants mais qui n´ecessitent d’ˆetre experiment´es plus en d´etails.

A partir de cette int´egration et `a l’aide de notre architecture, il semble maintenant int´e-ressant d’´etudier la possibilit´e d’interagir et de naviguer dans du contenu mixte grˆace `a notre environnement. Nous aborderons donc ce th`eme au chapitre suivant.

Chapitre 6

Interaction avec le virtuel : tˆaches de base

WIMP GUI based on the keyboard and the mouse are the perfect interface only for creature with a single eye, one or more single jointed fingers, and no other sensory organs.

—Bill Buxton (Alias/Wavefront)

1. Introduction

Dans ce chapitre, nous nous int´eressons `a l’interaction entre des utilisateurs et un contenu virtuel positionn´e dans l’espace de la table. Les ´el´ements propos´es dans les pr´ec´edents chapitres nous fournissent un bon cadre exp´erimental pour la d´efinition de telles m´ethodes d’interaction 3D.

La r´ealit´e virtuelle peut nous procurer une base int´eressante pour l’applicabilit´e des dif-f´erentes taxonomies, concepts et m´etaphores de l’interaction dˆıtes 3D. Toutefois, il nous semble que la RA pr´esente de nombreux nouveaux aspects par rapport `a la RV pouvant alors induire `a la proposition de concepts sp´ecifiques `a ce domaine.

Dans cette optique, nous pr´esentons dans cette partie diff´erentes m´etaphores d’interaction entre des utilisateurs et du contenu virtuel (3D ou 2D), dans un contexte collaboratif de RA sur table. L’interaction avec du contenu r´eel serra pr´esent´e au chapitre suivant. Un certains nombre de probl´ematiques peuvent cependant ˆetre d´ej`a intuitivement pos´ees,

nous servant de fil conducteur au cours du d´eveloppement de ce chapitre (figure 6.1) :

– Quelles implications la vision du monde r´eel at-elle sur l’interaction ?

– Comment interagir avec des ´el´ements virtuels dans le monde r´eel ? Faut il reprendre des m´etaphores provenant de la r´ealit´e virtuelle ? D’autres domaines ?

– Est ce que l’utilisateur doit manipuler les ´el´ements 3D directement dans l’espace au dessus de la table ? Quel rˆole peut jouer la table ?

?

Fig. 6.1: Probl´ematique de l’interaction 3D en RA sur la table : quelle relation ´etablir entre l’utilisateur

et le contenu 3D ?

Apr`es une pr´esentation du concept d’interaction 3D (section 2), nous introduirons notre d´ecomposition suivant le type de tˆache et un certains nombres de m´etaphores appropri´ees (section 3).

2. Interaction : terminologie et taxonomies

Nous commen¸cons tout d’abord par le concept d’interaction 3D, puis par l’interaction en r´ealit´e augment´ee et enfin par les sp´ecificit´es li´ees `a notre environnement.

Pour introduire le concept d’interaction 3D, nous revenons tout d’abord `a la terminologie de ce domaine.

2.1. D´efinitions

L’interaction, aussi nomm´ee interface utilisateur, peut ˆetre d´efinie comme le lien entre

l’individu et la tˆache (ainsi que son contenu). Unetechnique d’interaction peut se d´efinir

comme une m´ethode pour accomplir cette relation (on la d´esigne aussi de fa¸con moins

conceptuelle par une m´etaphore ou un paradigme d’interaction). La technique peut se

d´ecomposer en diff´erents ´el´ements ([BLMP00]) :

– des valeurs d’entr´ees fournient `a un syst`eme par un ou plusieurs p´eriph´eriques manipul´es par l’utilisateur ;

– La transformation de ces valeurs par unefonction de transfert vers des valeurs

compr´e-hensibles par l’application ;

– La pr´esentation du r´esultat `a l’utilisateur (sous forme visuelle, tactile, etc.).

Nous notons que la notion d’interface d´efinit aussi g´en´eralement la repr´esentation

mat´e-rielle et logicielle de cette m´etaphore.

Les principales classes usuelles d’interface utilisateur sont : interface textuelle (ligne de commande), interface graphique (s´election directe et interface de bureau), orale (recon-naissance vocale), gestuelle (recon(recon-naissance de gestes), tangible (`a l’aide d’un ´el´ement physique) voir multimodale.

Les degr´es de libert´es (DDL) d´efinissent le nombre de variables en ´evolution dans le syst`eme associ´e. On parle de DDL de p´eriph´erique d’entr´ee, DDL d’une tˆache ou DDL d’une technique d’interaction.

L’interaction 2Dd´efini la classe dominante d’´etudes en IHM, historiquement associ´e sur des interfaces de type souris qui recouvre donc les applications de bureau.

L’interaction 3D est reli´ee au type d’interaction manipulant du contenu `a repr´esen-tation tridimensionnelle. Un grand nombre de classes usuelles d’interfaces 2D ont ´et´e reprises en interaction 3D, mais l’utilisation d’un rendu dit r´ealiste (voir st´ereoscopique) a conduit `a favoriser les approches par interface graphique et principalement des techniques 3D directes. L’interface physique standard recouvre g´en´eralement l’usage de capteurs 6D permettant de mesurer `a la fois 3 positions et 3 angles (3 translations et 3 rotations). A partir de ces d´efinitions, nous ´etudions plus en d´etails les caract´eristiques de l’interaction 3D par l’´etude des taxonomies et des m´ethodes de conception.

2.2. Taxonomies

Bowman [Bow99] et Mine [Min95] se sont int´eress´es aux tˆaches ´el´ementaires usuelles que

l’on retrouve dans toutes les applications utilisant des m´etaphores d’interaction 3D et qui peuvent ˆetre regroup´ees en quatre cat´egories :

– las´election: identifier pour le syst`eme l’´el´ement sur lequel une action va ˆetre effectu´ee (comprenant la d´esignation et la validation de ce choix). Les techniques de validations sont tr´es vari´es : clic m´ecanique (bouton souris), temps de pause ou geste comme la d´et´ection d’un mouvement de tape sur un support physique (commme un doigt sur une table) ;

– la manipulation : li´ee `a la tˆache de d´eplacement rigide d’objets 3D. On distingue principalement les param`etres de rotation et translation (voir l’´echelle de l’objet) ; – la navigation : correspond au d´eplacement du point de vue de l’utilisateur dans un

monde virtuel ;

– lecontrˆole d’application: correspond la modification des param`etres de l’application. On retrouve par exemple dans cette cat´egorie le type d’outil ou le type de repr´esentation

de l’application.

Chacune de ces tˆaches a ´et´e d´ecompos´e en diff´erentes ´etapes par Bowman qui fournit un guide pour la r´ealisation de nouveaux paradigme d’interaction. Nous nous baserons sur cette taxonomie au cours de notre ´etude.

D’un autre point de vue, Uchiyama [UYKT97] classifie quand `a lui les techniques

d’inter-action en trois sous-cat´egories bas´ees sur une augmentation de la perception du r´ealisme :

– interaction auniveau 0: rendu temps r´eel et d´eplacement facile du point de vue (d´edi´e

`a des applications de type walk-through) ;

– interaction au niveau 1 : translation/rotation des objets et interf´erence entre objets,

d´etection de collision ;

– interaction auniveau 2: d´eformation des objets et introduction de champ de

gravita-tion, de contrainte d’´elasticit´e, etc.

Dans notre th`ese nous nous appuierons principalement aux niveaux 0 et 1 ; le cas 2 reste

encore difficile `a effectuer en temps r´eel. En effet le coˆut de ce type de simulation reste

´elev´e [Deb00] et difficile `a mettre en œuvre en sus de la r´ealisation d’un syst`eme interactif

performant.

Comme le souligne Kato [KBP+00], les m´etaphores peuvent ˆetre class´ees en deux

cat´ego-ries : naturelles oumagiques. Les m´etaphores naturelles se basent sur la reproduction

d’une action du monde r´eel (elles sont isomorphiques). Les m´etaphores magiques n’ont pas de correspondance directe avec des actions r´eelles, et sont donc d´efinies avec des m´etaphores artificielles (non-isomorphiques).

Dans un cadre d’interaction 3D, la r´ealisation de tˆaches annexe reste n´ecessaire telle que la d´efinition de contenu alpha-num´erique (ou de trac´e 2D). Nous nous pencherons sur ce besoin dans la suite de notre ´etude.

2.3. M´ethodes de conception

La mise en œuvre de m´ethodes d’interaction 3D reste intrins`equement difficile et ce pour plusieurs raisons :

– aucun standard ou m´ethode n’est disponible pour fournir une base commune pour la r´ealisation d’interfaces 3D (contrairement aux environnements de bureau tel quel le

concept duWIMP) ;

– utilisation forte de p´eriph´eriques 3D offrant une mauvaise pr´ecision, une mauvaise sta-bilit´e, une faible facilit´e naturelle d’utilisation (affordance) par rapport au p´eriph´erique 2D (e.g souris) ;

– manque de contraintes induites par un certains nombre de p´eriph´eriques (mauvaise ad´equation des DDLs, trop souvent superieur a ceux necessite par la tache telle que ne nombre de DDL possibles sup´erieur `a ceux de la tˆache) ;

– difficult´es ergonomiques telle que la fatigue visuelle, musculaire, etc ;

– gestion non triviale de la perception 3D qui introduit un facteur de difficult´e tr`es im-portant pour le positionnement et l’arrangement des ´el´ements.

Nous retiendrons les crit`eres suivants (d´efini par Bowman [Bow99]) pour la r´ealisation

d’une m´etaphore d’interaction :

– laperformance : efficacit´e, pr´ecision, productivit´e ;

– l’utilisabilit´e : facilit´e d’utilisation, d’apprentissage, confort de l’utilisateur ;

– l’la transparence(usefullness) : permet a l’utilisateur de se concentrer sur la tˆache au lieu du fonctionnement de la m´etaphore.

Comme le montre Poupyrev [BLMP00] le d´eveloppement de nouvelles m´etaphores

d’inter-action peut ˆetre bas´e sur une inclusion entre diff´erents ´el´ements (figure 6.2). Dans notre

cadre, le rˆole jou´e par les techniques d’interactions de RV et d’interactions 2D constitue des ´el´ements essentiels pour la r´ealisation de nouvelles techniques d’interaction en RA.

inventer des interfaces 3D re-utiliser des composants IU 3D existant utiliser les facteur humains experimenter, classifier

Fig. 6.2: Composants pour la r´ealisation d’une interface graphique d’apr`es Poupyrev [BLMP00].

´

Etudions plus pr´ecis´ement les sp´ecificit´es et le contexte de l’interaction en r´ealit´e augmen-t´ee.

2.4. Sp´ecificit´es

Nous avons choisi un cadre de travail particulier. Nous revenons dans cette section sur plusieurs concepts et sp´ecificit´es propos´ees.

2.4.1. Sp´ecificit´es de l’interaction 3D

Zhai [ZM94] a largement ´etudi´e les propri´et´es des p´eriph´eriques de bureau et a ´etabli

diff´erentes taxonomies et relations avec le contrˆole des m´ethodes d’interaction (voirannexe

A pour une introduction `a la terminologie). Il montre que les p´eriph´eriques isotoniques

favorisent le contrˆole de position, tandis que les p´eriph´eriques isom´etriques favorisent un

contrˆole de vitesse. Il montre aussi dans [ZM98] que le temps de r´ealisation d’une tˆache (de

docking) est plus court pour un p´eriph´erique `a mouvement libre que pour un p´eriph´erique

´elastique, mais la trajectoire de mouvement est moins coordonn´ee. Il introduit alors un nouveau crit`ere qui repr´esente la coordination entre les multiples degr´es de libert´es (avec la m´etrique associ´ee). Il discute alors de l’isomorphisme et compare l’usage d’outils lui

conduisant `a proposer une taxonomie (visible figure 6.3).

Il ´enonce alors que l’approche isomorphique est plus intuitive et n´ecessite moins de temps d’apprentissage (ce qui les rend applicables aux jeux vid´eos), mais entraˆıne de forts risques de fatigue, un contrˆole de mauvaise qualit´e et des restrictions du mouvement contraint anatomiquement. A contrario, les p´eriph´eriques de types outils n´ecessitent un plus fort temps d’apprentissage, mais r´eduisent la fatigue, offrent de meilleurs mouvements de co-ordination et soufrent moins de limitations anatomiques (p´eriph´eriques applicables `a la t´el´e-op´eration, `a la visualisation).

Jacob [JSMM94] a ´etudi´e la relation entre la structure de contrˆole d’un p´eriph´erique et

la structure perceptuelle de la tˆache `a r´ealiser. Il se base sur la th´eorie de la structure perceptuelle de Garner qui consid`ere qu’un objet peut poss´eder des attributs int´egraux ou s´eparables : les attributs int´egraux se combinent perceptuellement, formant un ensemble, tandis que ceux qui peuvent se distinguer sont dits s´eparables. Il ram`ene alors ces ´el´e-ments `a son cadre d’´etude et montre alors que les performances sont meilleures si l’espace de contrˆole du p´eriph´erique correspond `a l’espace perceptuel de la tˆache d’interaction

position control

absolute

Fingerball Glove ^Egg Spaceball Joystick rate control higher -order control relative (clutch) Tablet C/D isospace C/D off-set 6 DOF Examplesles 3 DOF Examplesles Transfor- or-mation Isomorphism Tools Directness Indirectness

Fig. 6.3: Continuum d’isomorphisme de Zhai [ZM98] : taxonomie de diff´erents p´eriph´eriques d’entr´ees.

L’axe des abscisse repr´esente la relation d’utilisation du p´eriph´erique pour l’utilisateur (contrˆole en position, vitesse ou autre). L’axes des ordonn´ees repr´esente des exemples suivants le nombre de DDL du p´eripherique. La notation C/D d´efini les espaces de control (C) et d’affichage (D), et d´enote ici leurs relations de superposition. La notion d’espace absolu et relatif d´efini la relation entre le mouvement physique de l’interface est le mouvement obtenu par rapport `a un repere

Dans le document Environnement de réalité augmentée 3D coopératif : approche colocalisée sur table (Page 126-200)