5.4 R´ ealit´ e augment´ ee
5.4.1 Etat de l’art (en toute modestie) ´
Beaucoup de recherches et de logiciels visent `a m´elanger des ´el´ements graphiques r´eels et virtuels dans une sc`ene. Tr`es approximativement, ces combinaisons peuvent ˆetre plac´ees sur une ´echelle (le « continuum r´eel-virtuel » de Milgram, [Mas04] p3) :
virtualité Virtuel Réel environnement virtuel environnement réel réalité augmentée augmentée
Dans cette ´echelle :
– le r´eel correspond `a des images produites par une cam´era ; – le virtuel comprend uniquement des images de synth`ese ;
– la r´ealit´e augment´ee consiste `a ajouter dans des images r´eelles des ´el´ements de synth`ese (les augmentations). Par exemple, de nombreux effets sp´eciaux de films visent `a ra- jouter des objets 3D dans une sc`ene film´ee ;
– la virtualit´e augment´ee consiste `a ajouter dans un environnement synth´etique un objet r´eel. Dans cette cat´egorie se trouvent les logiciels de communication o`u les partici- pants sont repr´esent´es par des figurines (des avatars) dans une sc`ene virtuelle. La tˆete de ces avatars est souvent une photo du visage du participant qu’ils repr´esentent : c’est l’´el´ement r´eel.
Ces deux derniers cas sont regroup´es sous le terme de « r´ealit´e mixte », ils n´ecessitent `
a la fois des techniques d’analyse et de synth`ese d’images. Nous nous int´eressons parti- culi`erement `a la r´ealit´e augment´ee, parce que c’est la sc`ene r´eelle qui d´etermine la position et l’orientation de la cam´era, la partie de synth`ese devant s’y adapter.
Pour produire les images de synth`ese, on utilise une sc`ene virtuelle comprenant les augmentations, une cam´era virtuelle et des sources de lumi`eres. L’image produite par la cam´era virtuelle est combin´ee avec l’image r´eelle. Dans le cas le plus simple, la combinaison revient simplement `a superposer l’image virtuelle, partiellement transparente, `a l’image r´eelle.
Azuma et al. ([ABB+01] p35) classifient les logiciels de r´ealit´e augment´ee selon :
– le type d’application. Le logiciel doit-il fonctionner en temps r´eel (cas des visites virtuelles) ou hors-ligne (cas des effets sp´eciaux) ? Selon eux, seules les applications interactives rel`event de la r´ealit´e augment´ee ;
5.4. R ´EALIT ´E AUGMENT ´EE 147 – le type de donn´ees en entr´ee. L’incontournable cam´era est-elle ´etalonn´ee ? y-a-t-il des capteurs d´edi´es de position et d’orientation ? des marqueurs ? des donn´ees a priori sur la sc`ene ?
– le support d’affichage. Est-ce un ´ecran d’ordinateur ou des lunettes semi-transparentes sur lesquelles peuvent ˆetre affich´ees des augmentations ?
Dans notre cas, l’application est en temps r´eel, la seule entr´ee est le flux vid´eo et l’affichage se fait sur un ´ecran.
5.4.1.1 La visualisation en r´ealit´e augment´ee
La production d’images en r´ealit´e augment´ee n´ecessite de mette en coh´erence l’image de la sc`ene r´eelle et les augmentations. Ce probl`eme a deux aspects : g´eom´etrique et photom´etrique ([Gib04] p3).
La coh´erence photom´etrique. Elle concerne la visualisation des couleurs :
– l’environnement lumineux de la sc`ene virtuelle doit ˆetre le mˆeme que celui de la sc`ene r´eelle. Ainsi, les objets ont une luminosit´e et une ombre propre compatibles avec leur environnement ;
– les interactions lumineuses entre objets doivent ˆetre prises en compte. Les ombres port´ees des objets virtuels sur les objets r´eels (et vice-versa) sont synth´etis´ees. La visualisation hors-ligne r´ealiste des augmentations est possible depuis le d´ebut des ann´ees ’90 en utilisant le lancer de rayons. De nos jours, elle peut se faire en temps r´eel ([GCHH03] § 2) grˆace `a :
– une utilisation astucieuse des cartes vid´eo, dont la vitesse croˆıt « exponentiellement » et qui peuvent faire des op´erations de plus en plus complexes ;
– des hypoth`eses simplificatrices tant sur le mod`ele d’´eclairage que sur les objets dans les zones d’ombre.
Quelle que soit la technique appliqu´ee, un mod`ele 3D approximatif de la sc`ene r´eelle (objets et lumi`eres) est n´ecessaire.
La coh´erence g´eom´etrique. Elle est soumise `a deux contraintes :
– les param`etres intrins`eques des cam´eras r´eelle et virtuelle doivent ˆetre identiques, ainsi que leur pose dans leurs sc`enes respectives (la position est d´efinie `a un facteur d’´echelle pr`es). De cette mani`ere, les objets synth´etiques immobiles dans la sc`ene virtuelle paraissent immobiles dans la vue augment´ee, quel que soit le mouvement de la cam´era ;
– les interactions entre objets r´eels et virtuels doivent ˆetre r´ealistes. Ceci concerne tout particuli`erement les occultations et les collisions.
5.4.1.2 Les contraintes g´eom´etriques
Pour r´ealiser l’augmentation des s´equences vid´eo, le mod`ele g´eom´etrique de la cam´era virtuelle peut ˆetre d´eduit d’un suivi visuel de points de r´ef´erence immobiles dans la sc`ene. Cette approche qui n´ecessite de connaˆıtre enti`erement la trajectoire 2D (dans la vid´eo) des points de r´ef´erence, permet d’estimer simultan´ement les coordonn´ees 3D de ces derniers et la pose de la cam´era pour chaque image. Elle ne peut donc pas fonctionner en temps r´eel. Faugeras ([Fau98] p23) augmente des vid´eos avec des objets synth´etiques qui paraissent immobiles par rapport `a un objet r´eel de r´ef´erence. Les occultations de l’objet de synth`ese par des objets r´eels ne sont pas g´er´ees, mais grˆace `a un mod`ele 3D simplifi´e de l’objet de r´ef´erence, une ombre port´ee peut ˆetre introduite.
Le probl`eme des occultations d’objets virtuels par des objets r´eels est relativement facile `
a traiter quand un mod`ele 3D complet de la sc`ene est disponible.
Lepetit et Berger [LB00] utilisent l’information minimale pour traiter les occultations, `
a savoir le r´esultat d’un d´etourage des objets r´eels occultants sur quelques « images-cl´es ». Ces r´egions sont interpol´ees pour les images interm´ediaires. Lors de la visualisation, elle sont affich´ees au premier plan, masquant les augmentations. Comme la technique n´ecessite une action de l’utilisateur sur les « images-cl´es » de la vid´eo augment´ee, elle ne peut pas fonctionner en temps r´eel.
5.4.1.3 Le temps r´eel
La r´ealit´e augment´ee en temps r´eel doit satisfaire `a deux conditions :
la causalit´e. Le traitement de l’image courante ne d´epend pas des images suivantes de la vid´eo ;
la rapidit´e. Les images sont trait´ees au rythme de la vid´eo (en moins de 40 ms).
La r´ealit´e augment´e en temps r´eel est possible en utilisant des informations a priori sur la sc`ene, par exemple :
– les param`etres intrins`eques de la cam´era et quatre points sur un plan textur´e. Sur cette base, Simon et Berger ([SB02] § 3) ajoutent un objet solidaire de ce plan. Le suivi peut ˆetre rendu plus robuste en ´etendant le traitement `a plusieurs plans du mˆeme objet rigide ;
– la d´efinition d’un rectangle dans la sc`ene. Il sert de mire d’´etalonnage (param`etres intrins`eques) de la cam´era ([SB02] § 4). En y rajoutant la dimension 3D d’un objet (par exemple la longueur d’un des cˆot´es du rectangle), le facteur d’´echelle peut ˆetre estim´e ([PrM04] § 3). Les objets virtuels sont alors d´efinissables dans un espace m´etrique ;
– le mod`ele 3D d’un objet de r´ef´erence. Lepetit et al. ([LVTF03] § 2) proc`edent `a une phase d’apprentissage s’appuyant sur un mod`ele 3D de l’objet et quelques images de r´ef´erence (keyframes) de celui-ci, pour d´etecter des points caract´eristiques de sa texture. Lors de l’exp´erience de r´ealit´e augment´ee, pendant l’initialisation et quand le suivi ´echoue, la phase d’apprentissage leur permet de localiser la cible sans utiliser
5.4. R ´EALIT ´E AUGMENT ´EE 149 l’hypoth`ese de petits changements. Ils pr´esentent des exemples d’applications o`u l’objet de r´ef´erence est un objet manufactur´e, un bˆatiment ou un visage.
Ces informations sont d’autant plus faciles `a obtenir que l’environnement est contrˆol´e (typiquement, un contexte urbain).
5.4.1.4 Ce que nous en retenons
Dans le contexte de la r´ealit´e augment´ee, nous nous attachons `a satisfaire les contraintes g´eom´etriques. Nous pouvons faire ceci en temps r´eel grˆace `a notre cadre exp´erimental tr`es simplifi´e : le centre optique de la cam´era est immobile.
D’un point de vue g´eom´etrique, ceci permet de :
– remplacer les param`etre (intrins`eques et extrins`eques) de la cam´era par ceux d’une homographie ;
– r´eduire l’information `a connaˆıtre sur l’image r´eelle et les augmentations `a deux di- mensions.
D’un point de vue photom´etrique, l’absence d’information 3D limite les possibilit´es d’adaptation des lumi`eres `a une correction de la balance des blancs.