G´eom´etrie de deux vues

L’essentiel de la g´eom´etrie de deux vues est sch´ematis´e sur la figure 2.12.

2.3.3.1 G´en´eralit´es

Nous consid´erons deux cam´eras, la cam´era gauche et la cam´era droite, rep´er´ees par leurs centres optiques C et C′

et une position relative (R,t), o`u R repr´esente l’orientation relative entre les cam´eras et t est le vecteur de translation joignant les centres optiques. Les cam´eras sont repr´esent´ees par leurs matrices PE et P′E, dites (( cam´eras euclidiennes )). Les matrices de calibrage des deux cam´eras sont not´ees K et K′

. Les matrices des cam´eras peuvent alors s’´ecrire

PE _{= K(I | 0) et P}′E = K′_{(R | t).} (2.37)

Chaque cam´era forme une image, l’image gauche et l’image droite. Si les matrices K et K′

sont connues, alors on parle de (( cam´eras calibr´ees )). Dans le cas contraire, on parle de (( cam´eras non calibr´ees )). Nous d´efinissons ´egalement des matrices de cam´eras dites (( projectives )), P et P′

, d´efinies `a partir de

P = PEH et P′ = P′EH, (2.38)

o`_{u H est une transformation projective, de taille 4×4, quelconque. On peut toujours choisir P = (I | 0),} de sorte qu’on puisse ´ecrire, sans perte de g´en´eralit´e :

P = (I | 0) et P′ = (A | a), (2.39)

o`_{u A est une matrice de taille 3 × 3 et a un vecteur.}

G´eom´etrie ´epipolaire. La g´eom´etrie de deux vues, qui d´ecrit les relations g´eom´etriques entre deux vues, est commun´ement appel´ee la g´eom´etrie ´epipolaire. Elle est illustr´ee sur la figure 2.9. Dans cette repr´esentation, nous distinguons le plan ´epipolaire π qui contient les centres optiques des cam´eras, C et C′

, un point 3D X et ses projections, x et x′

, respectivement dans l’image gauche et l’image droite. Les ´epipˆoles gauche et droite, e et e′

, sont les projections respectives des centres optiques gauche et droite dans les images droite et gauche. Enfin, les droites ´epipolaires gauche et droite, l et l′

, sont les intersections du plan ´epipolaire avec le plan image gauche et le plan image droite, respectivement. Le plan ´epipolaire contient ´egalement les ´epipˆoles, le segment de droite joignant les centres optiques et les deux droites ´epipolaires.

La g´eom´etrie ´epipolaire exhibe une contrainte importante reliant le point x de l’image gauche `a la droite ´epipolaire droite l′

de l’image droite. Cette contrainte est une aide pr´ecieuse `a la mise en correspondance car, si l’on dispose des param`etres de la g´eom´etrie ´epipolaire de la sc`ene, alors nous pouvons limiter la recherche d’un correspondant d’un point de l’image gauche `a une droite de l’image droite.

La connaissance de cette g´eom´etrie permet aussi d’effectuer une rectification ´epipolaire des images, c’est-`a-dire de les transformer de sorte que les droites ´epipolaires soient parall`eles et confondues avec les lignes des images. Les ´epipˆoles sont alors localis´es `a l’infini. La rectification ´epipolaire est souvent utilis´ee comme une ´etape pr´eliminaire `a la mise en correspondance. Elle permet en effet de faciliter l’´ecriture d’algorithmes de mise en correspondance puisque le correspondant d’un point de l’image gauche est situ´e sur la mˆeme ligne dans l’image droite.

Les param`etres de la g´eom´etrie ´epipolaire peuvent ˆetre exprim´es sous la forme de la matrice fonda- mentale F (ces param`etres sont (( encapsul´es )) dans F). Cette matrice est de taille 3 × 3, de rang deux et poss`ede sept degr´es de libert´e. Elle a ´et´e introduite notamment dans [Hartley 92] et [Faugeras 93b].

La matrice fondamentale transforme un point x de l’image gauche en une droite, la droite ´epipolaire droite l′

= Fx. La contrainte ´epipolaire signifiant que le correspondant x′

doit appartenir `a cette droite s’exprime par la relation x′⊤<sub>l</sub>′<sub>= 0, d’o`u la contrainte ´epipolaire</sub>

x′⊤Fx = 0. (2.40)

De nombreuses formules sont disponibles pour calculer les ´epipˆoles `a partir de F, pour calculer F `a par- tir de cam´eras projectives, etc. Elles peuvent ˆetre consult´ees dans [Hartley 03, chapitre 9]. Remarquons que la g´eom´etrie ´epipolaire ne fait intervenir que des consid´erations d’alignement de points ou d’inter- sections de droites et de plans, c’est-`a-dire des invariants projectifs. Les ´equations impliqu´ees dans la g´eom´etrie ´epipolaire sont donc invariantes `a toute transformation projective globale (transformation `

a la fois des points des deux images et de la matrice fondamentale).

La matrice fondamentale se calcule g´en´eralement `a partir de correspondances de points d’int´erˆet, sans aucune information pr´ealable sur les cam´eras. Une solution minimale peut ˆetre obtenue avec sept correspondances de points. De nombreux algorithmes ont ´et´e d´evelopp´es pour r´ealiser l’estimation de la matrice fondamentale. Ces m´ethodes utilisent diff´erents param´etrages, conduisant `a des fonctions de coˆut diff´erentes. D’un autre cˆot´e, des contraintes sur la pose des cam´eras (un mouvement dans un plan ou une translation pure par exemple) ou des contraintes sur la sc`ene (pr´esence de plans par exemple) facilitent le calcul de F. Une revue de ces techniques peut ˆetre trouv´ee dans [Hartley 03, chapitre 11] ou dans [Bartoli 03].

Image gauche C x C′ x′ Image droite X e e′ Plan ´epipolaire π

Fig. 2.9 – G´eom´etrie ´epipolaire.

Homographie. Un cas int´eressant de sc`enes particuli`eres est celui de sc`enes planes par morceaux. Un plan de la sc`ene induit une homographie 2D (voir les transformations de P2, section 2.2.3) qui est une transformation point `a point entre les points de l’image gauche et ceux de l’image droite (situ´es dans les r´egions correspondant aux projections du plan dans les images). Sur la figure 2.10, l’homographie H transf`ere le point x vers

x′ _{∼ Hx.} (2.41)

Une homographie est une application bijective de P2 _{vers P}2 _{car elle est repr´esent´ee par une matrice}

de taille 3 × 3 et de rang trois. Par des consid´erations de dualit´e, une homographie permet ´egalement de transf´erer des droites, des coniques ou des coniques duales. Son estimation peut s’effectuer `a partir de quatre correspondances de points. Une homographie peut faciliter la mise en correspondance.

En effet, lorsque l’homographie d’un plan est d´etermin´ee, le calcul de tous les correspondants des points correspondant `a ce plan est direct [Bocquillon 05a, Bocquillon 05b]. Une ´etude compl`ete sur les homographies est pr´esent´ee dans [Hartley 03, chapitre 13].

π Sc`ene Image gauche x Image droite x′ X H

Fig. 2.10 – Sc`ene plane et homographie.

Homographie du plan `a l’infini. Le plan `a l’infini induit une homographie au mˆeme titre que n’importe quel plan de la sc`ene. Celle-ci est not´ee H∞. La matrice H∞ peut s’´ecrire

H∞= K′RK−1. (2.42)

L’homographie H∞ transf`ere de l’image gauche vers l’image droite les projections des primitives du

plan `a l’infini, telles que les points de fuite, les lignes de fuite ou l’ICA. Par exemple, sur la figure 2.11, on a v′ ∼ H∞v, l′ ∼ H−⊤∞ l et ω ′ ∼ H−⊤ ∞ ωH −1 ∞. 2.3.3.2 Calibrage et autocalibrage

Comme pour le cas de la g´eom´etrie d’une vue, le calibrage complet des cam´eras PE _{et P}′_E est possible `a partir de points 3D connus.

En revanche, l’autocalibrage n’est toujours pas possible car deux vues n’apportent pas assez de contraintes pour identifier l’ICA. N´eanmoins, en apportant suffisamment d’autres contraintes, nous pouvons estimer l’ICA, puis la matrice de calibrage. Comme nous l’avons d´ej`a mentionn´e, nous pouvons pour cela utiliser des points de fuite et des lignes de fuite, des rapports de longueurs, des hypoth`eses sur les param`etres internes de la cam´era ou encore une pose relative (R,t) particuli`ere des cam´eras. Si les distances focales des deux cam´eras sont identiques (le zoom n’a pas ´et´e utilis´e), alors nous avons K = K′

et ω = ω′

. En consid´erant ce cas, souvent rencontr´e, nous pouvons distinguer deux pratiques courantes pour autocalibrer `a partir de deux vues :

– Calcul direct de l’ICA : on estime directement ω, par exemple `a partir d’hypoth`eses sur K et de points de fuite correspondant `a des directions orthogonales, d´etect´es dans les images (comme dans le cas d’une seule vue).

Sc`ene Image gauche l_∞ π_∞ π l v Ω_∞ ω Image droite l′ v′ ω′ V H_∞

Fig. 2.11 – Homographie du plan `a l’infini.

– Calcul stratifi´e : on estime d’abord une primitive affine, l’homographie du plan `a l’infini, puis l’ICA elle-mˆeme. Lorsque l’on dispose de l’homographie du plan `a l’infini, on peut estimer lin´eairement ω en ajoutant des contraintes provenant d’hypoth`eses sur les param`etres internes. `

A partir de la connaissance de K, il est possible de transformer la matrice fondamentale F en la matrice essentielle E, par la formule

E = K′⊤FK. (2.43)

La matrice essentielle est analogue `a la matrice fondamentale, mais pour des cam´eras calibr´ees. Elle est directement reli´ee `a la pose relative des cam´eras :

E = [t]∧R = R[R⊤t]∧. (2.44)

La matrice E poss`ede cinq degr´es de libert´e. Elle peut se d´ecomposer afin de retrouver la pose relative (R,t) des cam´eras (il y a en fait une ambigu¨ıt´e, avec quatre solutions, qui peut ˆetre lev´ee en testant si un point reconstruit est bien devant les deux cam´eras).

Notons qu’un autocalibrage minimal `a partir de deux images est possible, en utilisant seulement des contraintes sur les param`etres internes. Des solutions directes ont ´et´e propos´ees dans le cas de param`etres internes connus sauf :

– une focale constante dans [Sturm 05] (solution faisant intervenir deux ´equations lin´eaires et une ´equation quadratique) ou

– une focale variable, par exemple dans [Bougnoux 98] (solution faisant intervenir deux ´equations quadratiques).

Correspondances de points (et/ou de droites) Homographie H Deux vues ICA ω, ω′ K, K′ Reconstruction projective PE_{, P}E′ Reconstruction euclidienne H∞ Plan Hypoth`eses internes sur K, K′ Mouvement de translation XE i P, P′ Xi Mouvements particuliers Matrice fondamentale F Matrice essentielle E R,t Points de fuite et lignes de fuite Reconstruction affine H∞ K, K′ Espace : Projectif Affine Euclidien Source de donn´ees : Image Sc`ene Param`etres internes Param`etres externes Solution : Lin´eaire Directe Directe, ambigu¨e Non lin´eaire Objet(s) g´eom´etrique(s) calcul´e(s) Application

Relation entre application et objet(s) g´eom´etrique(s) calcul´e(s)

2.3.3.3 Reconstruction

Une fois calcul´ee, la matrice fondamentale peut ˆetre d´ecompos´ee afin d’obtenir des cam´eras projec- tives sous une forme canonique :

P = (I | 0) et P′

= ([e′

]∧F | e′). (2.45)

Avec ces cam´eras et les correspondances de points 2D xi←→ x′i, nous pouvons reconstruire les points

3D Xi de la sc`ene, grˆace `a des m´ethodes de triangulation. Plusieurs m´ethodes sont possibles dont

certaines sont lin´eaires (reposant sur la r´esolution d’´equations lin´eaires), et d’autres sont non lin´eaires et minimisent un crit`ere comme l’erreur de reprojection dans les images. Souvent, la m´ethode lin´eaire est utilis´ee pour fournir une initialisation d’une m´ethode non lin´eaire. Les cam´eras et les points ainsi reconstruits dans l’espace projectif comportent une ambigu¨ıt´e projective. En effet, si nous appliquons une homographie H, de taille 4 × 4, sur les cam´eras et les points, qui se transforment en PH−1_,

P′

H−1_{, et HX}

i, alors la nouvelle reconstruction est ´equivalente `a l’ancienne (toutes les relations telles

que xi∼ PXi sont encore v´erifi´ees). Parmi toutes ces reconstructions projectives ´equivalentes, il faut

trouver celle qui poss`ede les propri´et´es euclidiennes de la sc`ene. Pour transformer cette reconstruction projective en reconstruction euclidienne, c’est-`a-dire calculer les points XE

i et les cam´eras PE et P ′E_,

nous devons trouver la bonne transformation H, celle qui transf`ere le plan `a l’infini dans sa position canonique et qui transf`ere la CA dans sa position canonique. Cette transformation s’exprime d’une part en fonction de l’ICA et d’autre part du plan `a l’infini ou, de mani`ere ´equivalente, de l’homographie du plan `a l’infini. Ainsi, si nous avons calcul´e H∞puis ω, pour autocalibrer, alors nous pouvons obtenir

cette reconstruction euclidienne.

Une autre mani`ere d’obtenir une reconstruction euclidienne est la suivante. Avec la connaissance ou le calcul du calibrage, K et K′

, nous pouvons calculer la matrice essentielle E, puis estimer la pose (R,t). Ainsi, nous pouvons former les cam´eras euclidiennes PE et P′E. Nous pouvons alors r´ealiser la triangulation des points 2D avec ces cam´eras pour obtenir les points XE

i .

Notons enfin que, comme pour une vue, une reconstruction directe des cam´eras PE_{, P}′E _{est faci-}

lement r´ealisable en se servant de points de la sc`ene connus. Il faut ensuite effectuer la triangulation des points 2D.

2.3.3.4 Autres applications

Un banc st´er´eoscopique, calibr´e ou non, est g´en´eralement constitu´e de deux cam´eras fixes, dont la pose relative peut ˆetre connue (vis microm´etriques, etc.). Un tel dispositif donne des contraintes suppl´ementaires qui facilitent le calibrage ou la reconstruction. Pour plus de d´etails, nous invitons le lecteur `a consulter [Brooks 98].