Au dela de l’alignement entre r´eel et virtuel, le mixage des deux mondes peut aussi n´eces-siter l’ajout d’objets r´eels (e.g. maquette, tasse, document papier). En effet, la possibilit´e d’ajouter de fa¸con simple et efficace des objets dont on connaˆıt un mod`ele num´erique peut ˆetre une fonction int´eressante pour notre environnement.
-100 -80 -60 -40 -20 0 20 40 60 80 0 50 100 150 200 250 300 350 400 450 500 valeur (cm) numero de mesure Prediction avec le filtre de Kalman
mesure prediction
Fig. 5.15: Evolution d’un mouvement de la tˆete (composante Y) et sa pr´ediction `a 70 ms avec un filtre
de Kalman. On note le retard qu’a le filtre sur les changements de mouvements.
Pour pouvoir utiliser un objet r´eel avec un syst`eme de RA, il faut fournir les
caract´eris-tiques de cet ´el´ement au syst`eme. Nous avons retenus l’ identification/la classe de l’objet,
sa g´eom´etrie et sa position spatiale(figure 5.16).
Tasse (id 0x42)
Position (23.,23.,43.) Orientation (0.,0.,0.,1.) Modèle
Fig. 5.16: Crit`eres minimum pour l’ajout d’objets `a notre environnement : forme (et apparence) et
position.
Cette probl´ematique se ram`ene alors `a la mise en œuvre de technique pour l’alignement d’objets dans le monde r´eel dont le mouvement peut ˆetre suivi. Peu des travaux en RA ne proposent la possibilit´e d’ajouter un objet 3D durant la session.
5.2. Approche
Nous nous sommes concentr´es sur l’ajout dynamique, c.-`a-d. l’ajout et la sp´ecification des caract´eristiques au cours d’une session. Cette approche est motiv´ee par deux types d’applications :
– l’utilisation de tangibles user interfaces qui sont associ´es `a du contenu ou des outils
virtuels ;
no-tamment int´eressante pour l’architecture dans la mesure o`u elle permet l’int´egration `a une maquette virtuelle de maquettes r´eelles, arbres, pierre, etc.
Nous avons choisi d’aborder cet objectif selon une approche interactive, celle-ci semblant permettre le plus de flexibilit´e. De notre point de vue la reconnaissance automatique de mod`ele 3D reste encore un probl`eme non r´esolu. Nous pr´esentons nos choix pour l’obtention des diff´erentes caract´eristiques d’un objet r´eel.
Obtention de la g´eom´etrie : Suivant le type d’application nous consid´erons le mod`ele de l’objet r´eel connu ou non. Nous disposerons parfois directement du mod`ele 3D de l’objet r´eel (application de CAO, par exemple). Pour les autres cas, nous introduirons une m´ethode ad-hoc permettant d’obtenir une repr´esentation simpliste du mod`ele (voir section 6).
Obtention de la position : l’approche choisie repose sur une mise en correspondance
manuelle sous contraintes, entre le mod`ele r´eel et sa repr´esentation virtuelle. Cette
m´e-thode est souvent utilis´ee en vision comme proc´edure d’initialisation dans l’espace image. Elle ici r´ealis´ee dans l’espace 3D. L’int´erˆet est de pouvoir v´erifier l’alignement sous dif-f´erents angles de mani`ere `a r´eduire l’erreur par rapport `a un alignement fait en 2D. On propose alors deux techniques `a partir de ce concept de mise en correspondance.
Technique 1 : une repr´esentation virtuelle de l’objet est affich´e `a une position pr´ed´efinie
dans le monde r´eel. L’utilisateur doit alors superposer l’objet r´eel `a cette repr´esentation. L’utilisateur valide la manipulation d`es qu’il est satisfait.
Cette approche, de type spatial, n´ecessite un espace libre devant l’utilisateur pour po-sitionner la repr´esentation virtuelle : on utilisera principalement l’aire partag´ee pour un ajout avant la session et la zone personnelle de l’utilisateur pour un ajout pendant la session. Cette approche peut aussi ˆetre utilis´ee dans le cadre d’ajout d’un objet dont le mouvement est suivi avec un capteur attach´e rigidement `a cet objet. En effet, une fois l’alignement effectu´e on connaˆıt la position du centre de l’objet et la transformation entre le capteur et le centre de l’objet peut donc ˆetre d´eduite.
Technique 2: contrairement `a la premi`ere approche, on va ici aligner le mod`ele virtuel sur
l’objet r´eel. Cette approche est constitu´e des ´etapes suivantes : 1 Placer un mod`ele r´eel dans l’espace de reconnaissance. 2 Obtenir un mod`ele virtuel de l’objet.
3 Aligner le mod`ele virtuel sur le mod`ele r´eel ce qui nous permet d’en d´eduire sa position. La phase d’alignement de l’objet n´ecessite l’obtention des 6 DDL de l’objet r´eel (position et orientation, le mod`ele r´eel ´etant naturellement«`a l’´echelle»). Dans notre contexte nous pouvons nous ramener `a un cas plus simple `a partir de quelques remarques :
– d’apr`es les lois de la gravit´e, les objets r´eels reposent n´ecessairement sur un support physique. Chaque ´el´ement ´etant positionn´e sur la table (ou sur un support en relation avec la table de fa¸con transitive), on pourra toujours obtenir la position de ce support ; – on consid`ere que les objets se placent debout (axe vertical pr´ed´efini).
La m´etaphore se r´eduit alors `a la sp´ecification de 3 DDL : 2 DDL position, 1 DDL de rotation. Il nous semble que ce choix est assez g´en´eral, les cas d´eg´en´er´es (e.g surface sur un pic) n’´etant que peu pr´esents dans des applications typique (jeu, architecture, planification urbaine etc.). La technique 2 se ram`ene alors `a deux ´etapes : une ´etape d’alignement 2D en position (la troisi`eme dimension obtenue automatiquement) et un alignement 1D en rotation.
Quel type d’interface peut alors ˆetre utiliser pour r´ealiser cet alignement ? Dans Grasset [Gra99a] nous consid´erions l’alignement par arˆete ou par boˆıte englobante. Nous propo-sons ici une nouvelle approche qui n´ecessite uniquement de pouvoir s´electionner un point
quelconque du mod`ele virtuel ; par contact avec celui ci, la transformation rigide d´eduite contraint le placement.
Pour finir on retiendra que les deux techniques peuvent ˆetre ´etendus par une m´ethode ad-hoc pour le suivi de ces objets. Une fois la position d’un objet r´eel d´efinie, l’utilisateur peut y fixer dynamiquement un capteur. On utilise une d´etection de collision qui permet alors de connaˆıtre la position du contact entre les deux objets (capteur et objet r´eel). Nous obtenons alors automatiquement la transformation correspondante.
5.3. Mise en œuvre
Nous avons r´ealis´es les deux techniques. La premi`ere technique a ´et´e r´ealis´e dans notre
architecture«standard»`a l’aide du syst`eme de suivi optique. Cette technique a ´et´e reprise
dans le cadre d’initialisation statique pour le syst`eme de peinture pr´esent´echapitre 8. La
deuxi`eme a ´et´e r´ealis´ee `a partir de notre premi`ere version de notre architecture. L’interface reposait sur l’usage du syst`eme magn´etique et du clavier.
Pour l’alignement dans les deux techniques, on pr´econise un mode d’affichage fil de fer facilitant la mise en relation visuel sur les arˆetes de l’objet quand il y’en a. Dans le cas contraire il semble ´evident que la texture joue alors un rˆole essentiel : un affichage par transparence aidera alors `a l’alignement.
5.4. R´esultats, ´evaluation et discussion
(a) avant alignement (b) durant alignement (c) alignement effectue sous ce point de vue
(d) alignement sous un autre point de vue
(e) r´esultat sous un troisi`eme point de vue avec affichage du fantˆome
Fig. 5.17: Ajout d’objet avec mod`ele pr´ed´efini avec la premi`ere approche. Le mod`ele r´eel est une boite
en carton, le mod`ele virtuel sa repr´esentation en fil de fer positionn´ee `a l’origine.
La figure figure 5.17 montre le r´esultat avec le premier prototype de la technique 1. La
figure 5.18 montre le r´esultat avec un objet ´equip´e d’un capteur. La figure figure 5.19
montre le r´esultat avec le premier prototype de la technique 2. Le syst`eme est fiable, facile `a utiliser avec une erreur visuel inf´erieur `a 5 mm (´evaluation visuel et empirique).
On ´evalue le r´esultat d’un ajout d’objets r´eels `a l’aide de test d’occultations pour les deux
(a) avant l’alignement (b) durant l’alignement (c) apr`es l’alignement : le fantˆome est superpos´e `a la maquette
Fig. 5.18: Ajout d’objet avec mod`ele pr´ed´efini avec la premi`ere approche, pour un objet suivi. Le mod`ele
r´eel est une maquette de maison, le mod`ele virtuel sa repr´esentation en fil de fer positionn´ee `
a l’origine. le suivi est par capteur optique.
(a) alignement en position (b) confirmation de fin d’alignement en position.
(c) alignement en rotation. (d) confirmation de fin d’alignement en rotation.
Fig. 5.19: Ajout d’objet avec mod`ele pr´ed´efini dans le premier prototype. Le mod`ele r´eel sont deux boˆıtes
superpositionn´es. Le mod`ele virtuel utilis´e est affich´e en bleu.
objets virtuels que l’on int`egre avec le mod`ele r´eel pour ´etudier la coh´erence d’occultation
entre les ´el´ements (figure 5.20). On note un d´ecalage faible mais suffisant pour gˆener une
int´egration parfaite.