Etat de l’art et approche proposée

Nous donnons un état de l’art puis introduisons l’approche proposée et la situons par rapport aux autres approches. Nous abordons les phases d’initialisation puis d’ajustement de faisceaux plan par morceaux.

5.3.1 Initialisation 5.3.1.1 Etat de l’art

Une des premières questions posée pour l’initialisation concerne l’ordre de reconstruction des différentes entités, parmi les caméras, les plans et les points, c’est à dire les principales étapes du processus. La difficulté est de produire des méthodes linéaires. La plupart des auteurs utilisent l’ordre montré sur la figure 5.3 (a) : caméras, points en ignorant les contraintes géométriques, ajustement de plans aux groupes de points censés être coplanaires, et enfin correction de la position des points pour qu’ils satisfassent les contraintes de multi-coplanarité. Cette approche est simple mais a plusieurs défauts, voir ci-dessous.

5.3. ETAT DE L’ART ET APPROCHE PROPOSÉE 85

D’autres ordres de reconstruction sont possibles. On peut difficilement parler de la reconstruction des points avant que celle des caméras soit estimée. Par contre, on peut calculer les homographies induites par les diffé-rents groupes de points coplanaires, puis estimer la matrice fondamentale (c’est à dire une reconstruction des caméras) à partir de ces homographies, comme proposé par Luong et Faugeras [129] et Sinclair et al. [184]. Szeliski et Torr [200] montrent que ces algorithmes sont très instables. Notons que Zelnik-Manor et Irani [232] exhibent un jeu de contraintes sur les homographies 2D induites par un ensemble de plans. Elles montrent que ces contraintes peuvent être utilisées, entre autres, pour améliorer des homographies 2D estimées indépendam-ment. Certains auteurs, par exemple Rother [169] ou Sun et al. [199], proposent d’intégrer entre autres des contraintes de coplanarité à des méthodes de factorisation de points et de caméras¹. Rother [169] factorise di-rectement les plans, les points et les caméras, alors que l’idée de Sun et al. [199] est de projetter la matrice de mesure sur les contraintes.

Nous passons en revue différentes techniques pour les phases de reconstruction caméras - points non contraints - ajustement de plans et correction des points.

Reconstruction des caméras. La reconstruction des caméras est souvent effectuée de manière conjointe à celle des points. Nous renvoyons au chapitre 3, §3.2 pour un exposé plus détaillé des différentes méthodes. La reconstruction des caméras est identique quel que soit l’ordre de reconstruction utilisé car elle en est la première étape.

Triangulation des points. La triangulation non contrainte des points est une phase sensible. Il serait préfé-rable de pouvoir profiter des contraintes géométriques pour la stabiliser, même s’il existe des algorithmes de triangulation optimaux, voir [92].

Ajustement des plans. Une fois les caméras et points reconstruits, et connaissant les relations de multi-coplanarité, on peut former des ensembles de points censés être coplanaires. Pour chaque ensemble, on peut ajuster un plan en fonction d’un critère d’erreur. SiQ est un point sur le plan Π , alors la contrainte Q^TΠ = 0 doit être satisfaite.

La méthode classique est d’empiler ces équations pour tous les points censés être sur le planΠ . On ob-tient alors un système linéaire. Le critère d’erreur minimisé par sa résolution au sens des moindres carrés est la somme des carrés des distances algébriques entre les points et le plan. Notons que si la reconstruction est métrique, et en assurant une normalisation appropriée des équations, alors ce critère est équivalent à la somme des carrés des distances Euclidiennes entre les points et le plan. Cette solution peut donner de bons résultats en espace métrique mais le critère est dépourvu de sens en espace projectif. Dans ce cas, il faudrait minimiser un critère basé image. Un tel critère est facile à formuler dans le cas de deux vues, en faisant intervenir l’homogra-phie de plan induite. Nous proposons une méthode de ce type en §5.4.1.2 pour le cas de deux vues et l’étendons au cas multi-vues en §5.5.1.2.

Notons que l’étape d’ajustement de plans est importante car elle conditionne l’étape suivante, la correction des points.

Correction des points. La correction des points consiste à trouver, pour chaque point reconstruit, un point le plus proche possible et satisfaisant les contraintes de multi-coplanarité. Une telle correction introduit inévi-tablement un biais. En espace métrique, on peut imaginer projeter orthogonalement les points sur les plans les contenant. En espace projectif, un telle projection n’existe pas.

Une solution possible pour la correction d’un point sur un plan est la suivante. Notons qu’elle ne prend pas toutes les données en compte de manière uniforme, mais qu’elle minimise un critère de correction basé image. Pour un point Q censé être sur un plan Π , on considère sa projection dans une des images. Le point 3D contraint est obtenu par intersection du rayon de projection émanant de cette image avec le plan Π . Afin d’obtenir le meilleur résultat possible, on mesure l’erreur de reprojection induite par la correction du point

1

dans toutes les images où ce point est visible. On essaye itérativement toutes les images afin de sélectionner la meilleure solution.

Pour le cas d’un point sur deux plans, la solution suivante minimise l’erreur de reprojection dans une des images. SoitQ un point censé être sur deux plans Π et Π
. Pour assurer que le point corrigé se trouve bien sur les deux plans, on projette orthogonalement le point image sur la projection de la droite représentant l’intersection des deux plans. On reconstruit ensuite le point 3D comme dans le cas précédent, par intersection du rayon de vue issue du point image corrigé et avec un des deux plans. Cette solution n’est pas satisfaisante dans la mesure où toutes les observations des points ne sont pas prises en compte de manière uniforme.

points non contraints ^plans correction des points plans caméras points contraints caméras (a) (b)

FIG. 5.3 – Illustration des différentes étapes de l’initialisation, (a) : une approche classique et (b) : approche proposée.

5.3.1.2 Approche proposée

La reconstruction initiale est effectuée de la manière suivante, illustrée sur la figure 5.3 (b) : les caméras sont reconstruites, puis les plans et enfin les points, sous contraintes de multi-coplanarité. Cet ordre induit des fonctions de coût dont la forme est proche de celle de l’erreur de reprojection, et limite donc le biais introduit par rapport à la solution optimale. Cet ordre de reconstruction est possible grâce au fait que les points n’appartiennent pas à plus de trois plans. Les plans sont indépendants les uns des autres et les points dépendent des plans. Notons que la détermination des caméras est identique au cas précédent. Nous renvoyons donc à la section 5.3.1.1 pour leur reconstruction.

Reconstruction des plans. La détermination des plans avant la reconstruction des points fait appel à un critère d’erreur basé image, par exemple dans le cas de deux vues, cela correspond à l’estimation de l’homographie de plan induite. La généralisation de cette idée au cas multi-vues induit une fonction de coût de forme plus complexe. Nous proposons une méthode de ce type en §5.4.1.2 pour le cas de deux vues et l’étendons au cas multi-vues en §5.5.1.2. Le critère que nous formulons est linéaire, basé image et ne dépend pas des points 3D, mais seulement des points image. C’est cette propriété qui nous permet de reconstruire les plans sans reconstruire les points au préalable. L’utilisation d’un critère basé image a donc deux avantages principaux : il peut être utilisé indifféremment en espaces métrique et projectif, et il permet la reconstruction des plans avant les points. Ces derniers peuvent alors être reconstruits directement sur les plans.

Triangulation de points sur plans. La reconstruction de points contraints d’appartenir à des plans est ef-fectuée par des méthodes de triangulation contrainte par multi-coplanarité que nous proposons. Ces méthodes sont basées sur des paramétrisations des points incluant les contraintes de multi-coplanarité. Elles sont linéaires et minimisent une erreur basée image. Elles sont présentées en §5.4.1 pour le cas de deux vues et en §5.5.1 pour le cas multi-vues.

5.3. ETAT DE L’ART ET APPROCHE PROPOSÉE 87

5.3.2 Ajustement de faisceaux plan par morceaux

L’ajustement de faisceaux consiste à minimiser l’erreur de reprojection sur la structure et les caméras. Le chapitre 3 examine différentes techniques d’optimisation non-linéaire utilisées pour résoudre ce problème. Chaque itération requiert la résolution d’équations normales. Le coût d’une telle optimisation est réduit en utilisant des techniques de résolution éparse des équations normales (voir chapitre 3, §3.6.3). L’état de l’art donné ci-dessous montre que les méthodes existantes n’induisent pas toutes des équations normales avec une structure éparse par bloques, contrairement à l’approche proposée.

5.3.2.1 Etat de l’art

L’ajustement de faisceaux plan par morceaux se formule comme la minimisation de l’erreur de reprojec-tion sous contraintes de multi-coplanarité : c’est un problème de minimisareprojec-tion non-linéaire sous contraintes non-linéaires. Les méthodes existantes sont sous-optimales ou font appel à des techniques d’optimisation sous contraintes compliquées. Le tableau 5.2 résume les caractéristiques de différentes méthodes.

méthode optimale paramètres # paramètres éparse réf.

Szeliski et Torr non Q₁, . . . , Q_m, Π₁, . . . , Π_z 3m + 3z non [200]

McGlone non idem idem non [138]

Xu et al. oui ˆq₁, . . . , ˆq_m, Π₁, . . . , Π_z 2m + 3z oui [231]

Bondyfalat et Bougnoux oui voir légende minimal non [35]

McLauchlan et al. oui Q₁, . . . , Qm, Π₁, . . . , Πz, γjl 3m + 3z + # cont oui [139] TAB. 5.2 – Résumé de l’état de l’art des méthodes d’ajustement de faisceaux permettant de prendre en compte une structure plane par morceaux. m est le nombre de points et z le nombre de plans. La colonne “éparse” indique si une résolution éparse par bloques des équations normales est possible. Toutes ces méthodes, à l’ex-ception de la méthode de Xu et al., fonctionnent avec plusieurs vues et modélisent la multi-coplanarité. Les paramètres de la structure obtenus par Bondyfalat et Bougnoux sont des fonctions polynomiales non triviales des paramètres “naturels” (coordonnées homogènes) des points et des plans. La méthode de McLauchlan et al. produit un nombre de paramètres faisant intervenir le nombre de contraintes modélisées noté “# cont”. Son approche est semblable aux techniques standards utilisées en photogrammétrie.

Une pratique courante pour la reconstruction plane par morceaux, au moins lorsque deux vues sont consi-dérées, est de faire intervenir les homographies de plan induites entre les deux images par les plans modélisés. Ceci permet de paramétrer les points sur un plan, le cas de multi-coplanarité le plus courant, par un seul point image. Xu et al. [231] proposent un système complet de reconstruction et calibrage en ligne de deux caméras observant une scène plane par morceaux. La phase finale est un ajustement de faisceaux. Seule la coplanarité simple est modélisée : chaque point Qj est paramétré par un point de la première image ˆq_1j. La fonction de

coût minimisée est : 

j,l

c_jl

d²(q_1j, ˆq_1j) + d²(q_2j,H_Πlqˆ_1j)

,

où H_Πl est l’homographie de plan induite par le plan Πl. Cette méthode n’est optimale que dans le cas où seuls des points sur un plan sont traités. Son extension au cas multi-vues est difficile. Les travaux présentés ci-dessous montrent qu’il est plus approprié d’utiliser une paramétrisation basée sur des entités 3D pour le cas multi-vues. Une méthode de reconstruction inspirée de celle de Xu et al. est comparée aux nôtres en §5.7.

Szeliski et Torr [200] incorporent des contraintes de multi-coplanarité dans un système d’ajustement de faisceaux métrique par l’ajout de pénalités fortement pondérées à l’erreur de reprojectionQ. Leur méthode est

inspirée de la méthode pour la résolution de systèmes linéaires sous contraintes linéaires présentée en §2.6.4.1, chapitre 2. La fonction de coût minimisée est :

Q + γ^

j,l

Le facteur γ est fixé à une valeur très élevée, de l’ordre de 2⁶⁰≈ 1020. La structure obtenue n’est qu’approxi-mativement plane par morceaux. De plus, des termes d’un ordre de grandeur important entrent dans la fonction de coût, ce qui modifie l’estimation et déséquilibre l’estimateur non-linéaire d’un point de vue numérique. Cette méthode est comparée aux nôtres en §5.7.

McGlone [138] propose l’incorporation de contraintes géométrique à un système d’ajustement de faisceaux assez complet. Les contraintes sont traitées comme des mesures. La fonction de coût minimisée par le système est similaire à celle de Szeliski et Torr. La différence est que chaque contrainte est pondérée indépendamment par l’introduction de facteurs γjl:

Q +^

j,l

γ_jlc_jlQ^T_jΠ_l. (5.1)

Les facteurs γ_jlsont déterminés en fonction de l’incertitude associée à chaque contrainte. La manière dont sont gérées les contraintes, qui peuvent être très générales (colinéarité, parallélisme de droites ou de plans, etc.), entraîne la violation de la structure éparse par bloques des équations normales. L’optimisation non-linéaire devient alors très coûteuse.

Bondyfalat et Bougnoux [35] modélisent des contraintes plus générales que la multi-coplanarité (incidence, parallélisme, orthogonalité, etc. entre points, droites et plans). Une technique d’élimination polynomiale des variables redondantes, la méthode de Ritt-Wu, permet d’obtenir une paramétrisation minimale. Le processus est très coûteux et viole la structure des équations normales. De plus, la résolution des équations polynomiales conduit à des ambiguïtés car plusieurs solutions sont possibles (la fonction de paramétrisation n’est pas bijec-tive). La paramétrisation minimale est donc hautement non-linéaire, ce qui réduit les performances de l’optimi-sation non-linéaire. Les résultats sont optimaux, sous réserve de la bonne convergence de l’estimateur.

McLauchlan et al. [139] utilisent des multiplicateurs de Lagrange pour modéliser les contraintes. La fonc-tion de coût utilisée est celle de McGlone [138], équafonc-tion (5.1). La différence est que les poids γ_jk sont les multiplicateurs de Lagrange et sont donc estimés au cours de l’optimisation non-linéaire. McLauchlan et al. montrent comment préserver la structure éparse des équations normales. Cette méthode conduit à un résultat optimal, dans le sens où les contraintes sont respectées et l’erreur de reprojection minimisée. Les inconvénients de la méthode sont qu’en pratique l’utilisation de multiplicateurs de Lagrange soulève certains problèmes, notamment celui de l’initialisation. De plus, chaque contrainte modélisée ajoute une inconnue au système, aug-mentant le coût de sa résolution en conséquence. Cette approche est similaire aux techniques standards d’ajus-tement de faisceaux en photogrammétrie, où des multiplicateurs de Lagrange sont systématiquement utilisés pour modéliser des contraintes. C’est l’approche photogrammétrique. Un ouvrage de référence est le recueil d’Atkinson [6], et plus particulièrement pour ce problème, la contribution de Cooper et Robson [43]. Van Den Heuvel et Vosselman [221] utilisent l’approche photogrammétrique pour la reconstruction de bâtiments à l’aide de contraintes géométriques variées, coplanarité, colinéarité, etc. Shan et al. [176] proposent une approche de ce style, basée sur la linéarisation des contraintes, et un calcul analytique permettant de déterminer les multipli-cateurs de Lagrange correspondant. Ces derniers ne sont donc plus inclus dans l’optimisation. Cette approche est attirante, mais présente certaines faiblesses, notamment l’approximation linéaire des contraintes et le fait que la détermination analytique des multiplicateurs de Lagrange ajoute des termes non-linéaires de forme non triviale à la fonction de coût. Wilczkowiak et al. [227] éliminent les variables redondantes avec un jeu de règles d’élimination.

Debevec et al. [50] reconstruisent des primitives géométrique de haut niveau (cube, pyramide, etc). Leur fonction de coût s’exprime en termes des segments prédits par le modèle et des segments mesurés. Elle conduit à un résultat sous-optimal.

Si l’on veut résumer cet état de l’art en se concentrant sur le critère de l’optimalité statistique des mé-thodes, seules les approches de Bondyfalat et Bougnoux [35] et McLauchlan et al. [139] peuvent théoriquement conduire à un résultat optimal, mais accroîssent notoirement le coût de calcul par rapport à une reconstruc-tion non contrainte. Ces méthodes font intervenir des techniques d’optimisareconstruc-tion non-linéaire compliquées. Le nombre de degrés de liberté d’une structure plane par morceaux est généralement inférieur à celui d’une struc-ture non contrainte. Il devrait donc être possible de réduire le coût de calcul de la reconstruction non contrainte par la modélisation d’une structure plane par morceaux, et non de l’augmenter.

5.4. LE CAS DE DEUX VUES 89

5.3.2.2 Approche proposée

Notre approche est de transformer le problème original en un problème d’ajustement de faisceaux non contraint, qui peut alors être résolu par une méthode standard. Ceci est effectué par une paramétrisation mini-male de la structure incorporant les contraintes de multi-coplanarité. Cette approche a l’avantage que le nombre d’inconnues est minimal, par opposition par exemple aux méthodes basées sur des multiplicateurs de Lagrange, où chaque contrainte ajoute une inconnue au système. Notre paramétrisation préserve la structure éparse par bloques des équations normales.