G´eom´etrie d’une vue

Chacune des sections 2.3.2 `a 2.3.5 est accompagn´ee d’un sch´ema de synth`ese des relations g´eom´etriques possibles `a partir d’une, de deux, de trois et de N vues. Ces sch´emas illustrent princi- palement le texte de ces sections et ils ne se veulent pas exhaustifs. Dans ces sch´emas, les sources de donn´ees sont identifi´ees en fonction de leur provenance. Les objets g´eom´etriques calcul´es (par exemple la matrice de calibrage) sont symbolis´es par des ellipses contenant le symbole math´ematique de l’objet (par exemple, (( K ))). Les rectangles repr´esentent les applications correspondant `a certains des objets g´eom´etriques calcul´es (par exemple (( calcul de la pose )) pour le calcul de R et t). Les fl`eches entre les sources de donn´ees et les objets g´eom´etriques repr´esentent soit l’apport d’une contrainte, soit le calcul d’un objet g´eom´etrique (par exemple la r´esolution d’un syst`eme d’´equations). Parfois, la nature de la contrainte ou du calcul est pr´ecis´ee par un symbole sur la fl`eche. Enfin, un code de couleur permet de pr´eciser l’espace (projectif, affine ou euclidien) associ´e `a la source de donn´ees, l’objet g´eom´etrique ou encore l’application.

L’essentiel de la g´eom´etrie d’une vue est sch´ematis´e sur la figure 2.8.

2.3.2.1 G´en´eralit´es

Projections et r´etroprojections. Nous avons vu que l’effet de la cam´era du mod`ele st´enop´e est de projeter les primitives g´eom´etriques de P3 en primitives g´eom´etriques de P2, en garantissant les axiomes de la g´eom´etrie projective comme l’incidence, etc. Plus pr´ecis´ement, l’application d’une cam´era projective P transforme un point 3D X en un point 2D x par l’´equation x = PX. La projection d’une r´egion d’un plan est une r´egion dans l’image. Les points du plan, rep´er´es dans ce plan, sont li´es `a leurs projections dans la r´egion par une homographie. Une droite se projette en une droite. Une quadrique se projette en une conique.

Puisque nous disposons des images 2D comme donn´ees, il est d’int´erˆet de se demander ce que nous pouvons obtenir dans P3 _{`a partir des primitives 2D. Par exemple, la r´etroprojection d’un point 2D de}

l’image est une demi-droite appel´ee rayon de r´etroprojection, dont l’´equation est

X(λ) = P+x + λC, (2.34)

o`u λ param`etre la position de X sur la droite et le symbole + _{d´enote la pseudo-inverse. La}

r´etroprojection d’une droite est un plan contenant le centre optique et cette droite. La r´etroprojection d’une conique est une quadrique (ou plus exactement un cˆone). Les expressions des diff´erentes projec- tions et r´etroprojections sont d´ecrites dans [Hartley 03, chapitre 8].

Points de fuite et ligne de fuite. Dans la section 2.2.2.2, nous avons parl´e des points 3D id´eaux, intersections dans P3 _{de droites parall`eles de R}3_{. La figure 2.6 montre un plan π sur lequel se situent}

deux paires de droites parall`eles. Dans P3_{, ces droites s’intersectent en deux points id´eaux V et V}′_.

Ces points appartiennent `a la droite `a l’infini l∞ du plan π, et ´egalement au plan `a l’infini π∞de P3.

Les projections de V et V′

dans l’image sont les points v et v′

, appel´es des points de fuite associ´es au plan π. Dans l’image, ces points appartiennent `a la ligne de fuite l du plan π, projection dans l’image de l∞, associ´ee `a π. Sc`ene dans P3 Image l<sub>∞</sub> V′ V π<sub>∞</sub> π l v v′ π Sc`ene dans R3

Fig. 2.6 – Formation des points de fuite et des lignes de fuite.

Conique absolue. Sur le plan `a l’infini se trouve une conique particuli`ere, appel´ee la conique absolue (CA) et not´ee Ω∞ (voir figure 2.7). La CA est compos´ee uniquement de points imaginaires,

qui vont par paire de points conjugu´es. Sur π∞, dans tout rep`ere euclidien, sa matrice canonique est

Ω∞ = I. La projection de la CA dans l’image, que nous appellerons l’image de la CA (ICA), est

not´ee ω. C’est ´egalement une conique compos´ee de points imaginaires. L’ICA est une primitive tr`es int´eressante car elle est directement reli´ee au param`etres internes de la cam´era par la d´ecomposition (dite de (( Cholesky ))) suivante :

ω= K−⊤K−1. (2.35)

Points cycliques. Si on ajoute dans la sc`ene un plan π, la droite `a l’infini de ce plan coupe la CA en deux points, appel´es les points cycliques (PC), relatifs au plan π, not´es I±. Les PC sont deux

points complexes conjugu´es et leurs coordonn´ees canoniques, dans tout rep`ere euclidien du plan, sont I± = (1, ± i,0)⊤. Leurs projections dans l’image sont les images des points cycliques (IPC), not´ees

x±. Les IPC sont ´egalement des points complexes conjugu´es. Ils appartiennent `a la ligne de fuite de

ce plan (voir figure 2.7). Ainsi, pour chaque plan de P3_{, il existe une paire de points cycliques et une}

paire d’images de ces points cycliques. La conique absolue est form´ee par l’union de tous les points cycliques de tous les plans de P3 et son image est form´ee de toutes les images des points cycliques.

Sc`ene Image l_∞ I+ I₋ π_∞ π l x+ x₋ Ω_∞ ω

Fig. 2.7 – Conique absolue Ω∞ et son image ω, points cycliques I± et leurs images x±.

2.3.2.2 Calibrage `

A partir d’une seule image, il est possible de calibrer compl`etement la cam´era, c’est-`a-dire de calculer le calibrage et la pose de la cam´era, en d’autres termes, de calculer PE_{. Pour cela, il suffit d’utiliser}

des points 3D Xi de la sc`ene, connus, et leurs projections xi dans l’image. On utilise g´en´eralement

une mire dont la structure 3D est connue. Les points xi peuvent ˆetre rep´er´es manuellement ou ˆetre

d´etect´es automatiquement. Chaque correspondance entre deux points Xi et xi nous donne la relation

xi = PEXi. Il faut alors r´esoudre le syst`eme lin´eaire xi = PEXi, i = 1,..,n. Une correspondance donne

deux ´equations ind´ependantes, et puisque PE _{poss`ede 11 degr´es de libert´e, cinq correspondances et}

demi (donc six) sont n´ecessaires. En prenant n ≥ 6 correspondances bruit´ees, nous obtenons un syst`eme surd´etermin´e dont une estimation des inconnues peut ˆetre ais´ement r´ealis´ee. En effet, ce syst`eme ne poss`ede pas de solution et le probl`eme est alors transform´e en un probl`eme d’optimisation (lin´eaire). Un crit`ere de minimisation est choisi. On peut par exemple utiliser la somme des carr´es des r´esidus des ´equations. Notons que ce crit`ere de minimisation est alg´ebrique et qu’il n’a pas de signification g´eom´etrique. Dans les probl`emes de g´eom´etrie de plusieurs vues, il est souvent pr´ef´erable de minimiser une fonction de coˆut g´eom´etrique, faisant intervenir une distance g´eom´etrique dans l’image, comme l’erreur de reprojection [Hartley 03, section 4.2]. Cette erreur est la distance euclidienne entre les

points mesur´es dans l’image et les points 3D projet´es dans l’image grˆace aux valeurs estim´ees des inconnues (PE _{dans notre exemple). L’expression de cette erreur est}

Points de fuite, lignes de fuite (associ´es `a des plans)

Propri´et´es affines de plans Longueurs _M´etrologie Une vue Longueur(s) connue(s) ICA ω Plusieurs plans contenant des motifs carr´es IPC K Calibrage Hypoth`eses internes sur K Points 3D connus <sub>P</sub>E Calibrage complet R,t Calcul de la pose Plans textur´es Reconstruction de sc`enes planes par

morceaux Rectification affine Rectification euclidienne Espace : Projectif Affine Euclidien Source de donn´ees : Image Sc`ene Param`etres internes Param`etres externes Solution : Lin´eaire Directe Directe, ambigu¨e Non lin´eaire Plans Objet(s) g´eom´etrique(s) calcul´e(s) Application

Relation entre application et objet(s) g´eom´etrique(s) calcul´e(s)

Fig. 2.8 – G´eom´etrie d’une vue.

Ereprojection= n X i=1 d(xi,bxi)2, (2.36) o`u d(x,x′

) est la distance euclidienne entre deux points de l’image, x et x′

. Dans notre exemple, b

dans un premier temps, `a calculer une solution avec la m´ethode lin´eaire. Cette solution est ensuite utilis´ee comme initialisation de la minimisation non lin´eaire de l’erreur de reprojection. Notons qu’en pratique, les donn´ees (ici, les points 3D Xi et les points 2D xi) sont normalis´ees selon la m´ethode

d´ecrite dans [Hartley 03, chapitre 4]. Remarquons aussi que cette m´ethode de calibrage fonctionne ´egalement avec des correspondances de droites.

Si la cam´era est d´ej`a calibr´ee (K est connue), nous pouvons calculer la pose de la cam´era. Il reste six degr´es de libert´e `a d´eterminer. Trois correspondances de points semblent ˆetre suffisantes mais dans ce cas il y a une ind´etermination car il existe quatre solutions. Il faut donc utiliser au moins quatre correspondances.

Une autre mani`ere de calibrer, sans mire cette fois-ci, est d’estimer l’ICA ω. Pour cela, on utilise des contraintes de plusieurs origines. Une premi`ere possibilit´e est d’utiliser des points de fuite et des lignes de fuite. Si v1 et v2 sont deux points de fuite, correspondants `a deux ensembles de droites

parall`eles, perpendiculaires entre elles (comme c’est le cas sur la figure 2.6), alors nous avons la relation v⊤

1ωv2 = 0. C’est une contrainte donnant une ´equation lin´eaire sur ω. D’autres contraintes peuvent

ˆetre obtenues `a partir des points de fuite et des lignes de fuite. Une liste de ces contraintes peut ˆetre trouv´ee dans [Hartley 03, page 224]. Des d´etails sur la d´etection des points de fuite et des lignes de fuite sont donn´ees dans [Hartley 03, section 8.6]. ´Emettre des hypoth`eses sur les param`etres internes, comme celles pr´esent´ees dans la section 2.3.1.2, apporte une seconde source de contraintes, permettant ainsi de r´eduire le nombre d’inconnues dans K et, de mani`ere ´equivalente, dans ω. Enfin, il est ´egalement possible d’utiliser des IPC associ´es `a un plan (calcul´es par exemple `a partir de l’image d’un carr´e, voir [Hartley 03, page 211]). Chaque paire d’IPC donne deux ´equations lin´eaires sur ω. Puisque l’ICA ω poss`ede cinq inconnues, il faut cinq ´equations. Ainsi, si nous supposons, par exemple, que les pixels de l’image sont carr´es et que le point principal est au centre de l’image, alors ω poss`ede une seule inconnue, la distance focale α. Deux points de fuite correspondant `a des directions orthogonales suffisent alors pour estimer ω, puis K, grˆace `a la relation (2.35). Bien sˆur, la pr´ecision du r´esultat du calibrage est tr`es sensible `a la pr´ecision de la localisation dans l’image des points de fuite et des lignes de fuite.

Notons enfin qu’une vue ne permet pas de r´ealiser l’autocalibrage de la cam´era.

2.3.2.3 Reconstruction

Une fois l’ICA calcul´ee, la connaissance de la ligne de fuite d’un plan dans l’image permet d’effectuer une rectification euclidienne de la r´egion de l’image correspondant `a ce plan (voir chapitre 4), de sorte qu’elle simule une vue fronto-parall`ele du plan, c’est-`a-dire telle que le plan soit parall`ele au plan image. Les propri´et´es, telles que le parall´elisme ou les angles, sont alors retrouv´ees. Cette technique convient `

a des sc`enes planes par morceaux, telles que des sc`enes d’architecture. Chaque r´egion de l’image correspondant `a un plan est identifi´ee puis rectifi´ee. Des r´egions planes sont alors plac´ees aux positions correspondant aux plans de la sc`ene, puis les r´egions rectifi´ees de l’image sont plaqu´ees sur celles-ci. Notons que cette m´ethode s’av`ere plus compliqu´ee si les plans 3D de la sc`ene ne sont pas orthogonaux entre eux. Criminisi a appliqu´e cette id´ee `a la reconstruction 3D `a partir de peintures [Criminisi 99].

Une autre application de la reconstruction `a partir d’une seule vue concerne la m´etrologie. Il est en effet possible d’estimer des longueurs dans la sc`ene. Afin d’y parvenir, nous pouvons, `a partir de points de fuite et de lignes de fuite, calculer une rectification euclidienne d’une r´egion de l’image et restaurer ainsi les rapports de longueurs. En connaissant de plus une longueur de r´ef´erence dans la sc`ene, nous pouvons retrouver certaines longueurs dans la sc`ene, comme par exemple la taille d’une personne. Notons qu’une rectification affine peut ˆetre suffisante en choisissant certains plans de la sc`ene [Criminisi 00, Hartley 03, page 222]. Horry, Liebowitz et Sturm ont ´egalement d´ecrit ce qu’il est possible de reconstruire `a partir d’une vue dans [Horry 97, Liebowitz 99, Sturm 99a].