4.9 Conclusion
Dans ce chapitre, nous avons examin´e le probl`eme de la reconstruction `a partir de deux vues, ´etant donn´ees les matrices de projection. Nous avons montr´e que les m´ethodes classiques sont inadapt´ees au cas de la reconstruction projective ou affine, dˆu `a l’utilisation de principes qui ne sont valables que dans l’espace euclidien. Un crit`ere de minimisation pour la reconstruction a ´et´e propos´e qui combat le bruit l`a o`u il se manifeste – dans la position des primitives dans les images. Nous avons d´evelopp´e une m´ethode (POLY) qui minimise ce crit`ere globalement, ainsi donnant une reconstruction optimale. Pour ce qui est de l’optimalit´e de notre m´ethode, il faut pr´eciser qu’elle donne le r´esultat qui est optimal pour les matrices de projection donn´ees. Une optimisation non lin´eaire ult´erieure, portant sur les matrices de projection et les points 3D simultan´ement, va en g´en´eral encore am´eliorer la reconstruction (cf. aussi le paragraphe sur l’estimation de la matrice fondamentale en 2.3.2).
La nouvelle m´ethode a ´et´e test´ee en concurrence avec d’autres m´ethodes. Elle donne les r´esultats les plus stables, mais les m´ethodes lin´eaires it´eratives sont ´egalement tr`es performantes. L’atout de POLYest son optimalit´e statistique. Nous avons aussi d´ecrit des simplifications de notre m´ethode pour des mouvements particuliers entre les deux vues. Contrairement aux m´ethodes lin´eaires, elle n’est pas g´en´eralisable `a plus de deux images.
Des op´erations similaires `a la correction des points image dans notre m´ethode sont ´eventuellement possibles pour d’autres primitives. Dans [39], Cross et Zisserman effectuent une correction de la position de coniques dans les images comme ´etape pr´ealable `a la reconstruction de quadriques. Leur m´ethode n’est pas optimale mais les coniques sont donn´ees avec une haute pr´ecision ce qui fait qu’une correction sous-optimale peut ˆetre suffisante. Une ´etude plus profonde de ce cas serait int´eressante `a mener.
5.
Reconstruction projective multi-image
Reconstruction projective multi-image
Dans ce chapitre, nous pr ´esentons une m ´e-thode de reconstruction (et calibrage) projec-tive `a partir de plusieurs images. La m ´ethode est bas ´ee sur la factorisation d’une matrice con-tenant les coordonn ´ees de tous les points image vus dans toutes les images. Notre m ´ethode est une extension des m ´ethodes de Tomasi, Poel-man et Kanade [202, 149] des projections af-fines aux projections perspectives. Contraire-ment au cas affine, la factorisation n’est pos-sible que si les coordonn ´ees homog `enes des points image sont correctement ´echelonn ´ees.
L’une des contributions de notre travail est une m ´ethode pour la d ´etermination des facteurs d’ ´echelle n ´ecessaires, `a partir des seules ma-trices fondamentales. Nous d ´ecrivons ´egale-ment des d ´etails num ´eriques qui contribuent de mani `ere significative `a la bonne performance de notre m ´ethode de reconstruction. Les r ´e-sultats d’exp ´eriences ´evaluant la m ´ethode sont donn ´es en fin de chapitre.
Le travail d ´ecrit dans ce chapitre a ´et ´e ef-fectu ´e en collaboration avec Bill Triggs et a ´et ´e publi ´e dans [192, 193].
5.1 Introduction
Le probl`eme de la reconstruction projective a principalement ´et´e ´etudi´e pour le cas de deux vues (voir chapitre 4 pour une revue de quelques m´ethodes) ou de trois vues [81, 162, 175]. Il existe quelques m´ethodes pour des s´equences d’images que nous passons en revue dans la suite. Grossi`ere-ment, on peut distinguer quatre types de m´ethodes. La plus simple, propos´ee par Hartley [79], consiste `a reconstruire la structure projective `a partir de deux vues et de d´eterminer les matrices de projection des autres vues en utilisant les points reconstruits qui sont visibles dans ces vues. Ensuite, les points non encore reconstruits peuvent ˆetre triangul´es.
Mohr et al. et Szeliski & Kang d´ecrivent des m´ethodes d’ajustement it´eratif non lin´eaire (ajuste-ment de faisceaux) qui prennent en compte toutes les observations [129, 130, 196, 198]. Ce type de m´ethode n´ecessite g´en´eralement une bonne initialisation des param`etres, ici `a la fois de la structure et du mouvement projectifs. Il semble que pour de courtes s´equences d’images, une initialisation ad hoc peut ˆetre suffisante pour faire converger l’estimation it´erative. Le comportement de ce proc´ed´e pour des s´equences plus longues n’est pas clair. Un ajustement it´eratif peut toujours ˆetre appliqu´e comme ´etape finale de tout algorithme de reconstruction afin d’optimiser le r´esultat.
Laveau propose de fusionner des paires de reconstructions obtenues `a partir de triplets de vues, en estimant l’homographie entre les nuages de points [109] (voir la section 5.7).
Finalement, il existe des approches r´ecursives de filtrage qui sont initialis´ees par une reconstruc-tion `a partir de deux ou trois vues [14, 126, 217, 218].
Plus r´ecemment, Heyden a propos´e un formalisme qui permet de reconstruire simultan´ement plu-sieurs points `a partir de pluplu-sieurs vues [85, 87]. La cl´e de ce formalisme est l’affectation de coordon-n´ees canoniques `a trois points, dans l’espace (reconstruction) et dans toutes les images. Les matrices fondamentales et les tenseurs trifocaux prennent alors une forme r´eduite (((reduced fundamental ma-trix/tensor ))). Les matrices de projection correspondantes d´ependent de seulement 5 param`etres et il est possible de les estimer simultan´ement avec la structure 3D par des m´ethodes lin´eaires. Un autre avantage de cette m´ethode est qu’elle ne n´ecessite pas que tous les points soient visibles dans toutes les vues. Par contre, le r´esultat est fortement biais´e par le choix des points de r´ef´erence. En outre, l’affectation de coordonn´ees canoniques `a ces points se fait par des transformations affines ce qui peut rendre la m´ethode de r´esolution mal conditionn´ee.
En r´esum´e, plusieurs des approches mentionn´ees ont l’inconv´enient de fixer le rep`ere de recons-truction en privil´egiant quelques points ou des vues, auxquels sont associ´ees des coordonn´ees ca-noniques. La qualit´e de la reconstruction d´epend de la qualit´e du rep`ere choisi, par exemple de la pr´ecision de la localisation des projections de 5 points de r´ef´erence n´ecessaires pour fixer le rep`ere projectif 3D. G´en´eralement, on peut dire qu’il n’existe pas de m´ethode qui prenne en compte toutes les donn´ees (les coordonn´ees image) simultan´ement et de mani`ere unifi´ee.
De telles m´ethodes existent pour la reconstruction multi-image supposant un mod`ele de projection affine ; il s’agit l`a des m´ethodes de factorisation bien connues de Tomasi, Poelman et Kanade [202, 149]1. Le sch´ema est simple : les coordonn´ees de tous les points image sont stock´ees dans une seule matrice qui, ce qui est la cl´e de la m´ethode, est id´ealement de rang 3. Cette contrainte permet de factoriser cette matrice en deux matrices, l’une contenant les coefficients des matrices de projection, l’autre contenant les coordonn´ees des points 3D reconstruits de mani`ere affine. Ce proc´ed´e est d´ecrit plus en d´etail en section 5.3.
Dans la suite du chapitre, nous proposons une m´ethode de reconstruction projective qui applique
1. Une m´ethode similaire pour la reconstruction affine de droites a ´et´e d´evelopp´ee par Quan et Kanade [165, 166] ; voir aussi les m´ethodes de factorisation incr´ementielle de Morita et Kanade [132, 133] et la m´ethode de Costeira et Kanade [38] pour des objets avec des mouvements diff´erents.