Séquence des cubes

La séquence des cubes est une paire d’images d’une scène d’intérieur, montrées en figure 5.23. Nous dé-finissons 82 correspondances de points, montrées sur la figure 5.24 (a), indiquant aussi le nombre de plans contenant chaque point. Nous définissons 9 plans pour modéliser la surface de la scène, montrés en figure 5.24 (b). Parmi ces 82 points, 2 ne sont sur aucun des plans, 68 sont sur un plan, 7 sur deux plans et 5 sur trois plans. Le nombre de paramètres de la structure est 9× 3 = 27 pour les 9 plans, 2 × 3 = 6 pour les 2 points non

5.7. RÉSULTATS EXPÉRIMENTAUX 117 l₁ l_{2 l3 l4 l5 l} 6 l₇ l₈ l₉ l₁₀ l₁₁ l₁₂ α₁ α₆ α₇ α₁₂ α₁₃ σ₁ σ₂ µ non contraint 0,0146 0,0543 0,0633 contraint 0,0082 0,0267 0,0413

FIG. 5.22 – Mesures de qualité sur la reconstruction métrique à partir de la séquence “game system I”, pour l’ajustement de faisceaux “non contraint” et “contraint”. Plus les valeurs de σ₁, σ₂et µ (voir texte) sont faibles, meilleure est la reconstruction. Ces valeurs sont liées à la variance des longueurs censées être égales, les seg-ments rouges d’une part et bleus d’autre part et les angles censés être droits.

FIG. 5.23 – Séquence des cubes.

marqueur # plans 0 1 2 3 (a) (b)

FIG. 5.24 – (a) montre les points image utilisés avec le nombre de plans les contenant, ainsi que la délimitation des 9 plans considérés. (b) montre les plans modélisés.

pour les 5 points sur trois plans, soit un total de 176 degrés de liberté. Une modélisation non contrainte indé-pendante des 82 points a 82× 3 = 246 paramètres. Notre paramétrisation contrainte minimale apporte donc

une réduction de plus de 28% par rapport à une paramétrisation minimale individuelle de chaque point. Nous appliquons notre méthode de reconstruction pour deux vues. L’erreur de reprojection obtenue pour la reconstruction contrainte est de 0,78 pixels puis de 0,56 pixels pour les phases d’initialisation et d’ajustement de faisceaux plan par morceaux respectivement. La figure 5.25 montre le modèle projectif obtenu. Notons que l’erreur de reprojection obtenue par ajustement de faisceaux non contraint est de 0,39 pixels. Cette erreur passe à 1,67 pixels, après ajustement de plans et correction des points sur ces plans. Nous utilisons la technique décrite

FIG. 5.25 – Modèle projectif obtenu pour la séquence des cubes.

dans [36] pour estimer les distances focales des caméras, avec l’hypothèse que la distortion entre les axes est zéro, le rapport d’aspect est un et le point principal est au centre de l’image. Ce calibrage permet de transférer le modèle projectif dans un espace métrique. La figure 5.26 montre le modèle métrique obtenu.

La figure 5.27 montre des mesures métriques sur les reconstructions non contraintes et contraintes. Dans ce tableau, σ₁et σ₂sont les variances des longueurs l₁, l₂et l₃ et l₄, . . . , l₇ respectivement. La valeur de µ est calculée comme la moyenne des|1 − 2αi/π|, où les αisont des angles censés être droits.

5.8 Conclusions et perspectives

Conclusions. Nous avons considéré le problème de l’utilisation de contraintes de multi-coplanarité pour la reconstruction. Ces contraintes permettent la modélisation de scènes planes par morceaux.

L’hypothèse que les points n’appartiennent pas à plus de trois plans permet de modéliser la structure comme un ensemble de plans indépendants et de points sur ces plans. Cette hypothèse simplifie la conception du sys-tème sans toutefois limiter les scènes modélisables : l’observation de points sur plus de trois plans est très rare. Elle permet la mise en œuvre de paramétrisations et d’algorithmes de reconstruction simples et performants.

Nous avons proposé des méthodes pour la reconstruction initiale. Contrairement à la méthode classique basée sur la reconstruction non contrainte des points, l’ajustement de plans puis la correction des points, nos méthodes reconstruisent les plans puis des points sous contraintes de multi-coplanarité. Elles sont linéaires et minimisent des critères d’erreur basés image. Les points sont reconstruits par des méthodes de triangulation

contrainte par multi-coplanarité.

Nous avons ensuite étudié l’incorporation des contraintes de multi-coplanarité à un système d’ajustement de faisceaux. Le problème original, formulé comme la minimisation de l’erreur de reprojection sous des contraintes non-linéaires, est transformé en un problème d’ajustement de faisceaux standard, en utilisant une

paramétrisa-tion minimale de la structure incorporant les contraintes géométriques. Cet ajustement de faisceaux plan par morceaux est optimal car il minimise l’erreur de reprojection en garantissant les contraintes géométriques.

Nous avons utilisé des données réelles et simulées pour comparer nos algorithmes aux méthodes exis-tantes. La comparaison avec la vérité terrain et la mesure de quantités métriques révèlent que l’utilisation des

5.8. CONCLUSIONS ET PERSPECTIVES 119

contraintes de multi-coplanarité améliore la qualité de la reconstruction par rapport à un ajustement de faisceaux non contraint. Ceci montre aussi que l’utilisation d’une méthode optimale comme celle que nous proposons améliore la précision de la reconstruction comparé à d’autres méthodes (sous-optimales). Nous avons évalué expérimentalement les limites de validité des contraintes de multi-coplanarité lorsque la planarité par morceaux est perturbée. Cette étude révèle que dans une grande majorité des conditions d’observation, ces contraintes permettent d’améliorer la qualité de la reconstruction.

Perspectives. Une piste d’extension des méthodes proposées concerne l’utilisation de droites, en préservant la simplicité et l’optimalité de notre approche. La simplicité est basée sur l’hypothèse qu’un point n’est pas sur plus de trois plans. Les contraintes peuvent donc être vues comme exercées par les plans sur les points. L’incorporation de droites pourrait être effectuée en imaginant un schéma où les plans contraindraient les droites et les points ; et les droites contraindraient les points, basé par exemple sur les hypothèses que deux droites concourantes devraient appartenir au même plan, et qu’un point ne pourrait pas être sur plus de deux droites (mis à part les bords des plans). Les droites pourraient alors être modélisées indépendamment des points. On pourrait modéliser les plans comme précédemment, certains points sur les plans, puis des droites sur des plans, et enfin des points sur des droites. Un tel ordre de dépendance devrait permettre de concevoir des méthodes de reconstruction initiale efficaces, et des paramétrisations simples pour l’ajustement de faisceaux.

Finalement, une perspective de travail est l’étude d’un système de reconstruction de scènes planes par mor-ceaux, à partir d’une séquence d’images continue. L’intérêt d’un tel système serait d’obtenir une reconstruction très précise, car basée sur beaucoup d’images, et de manière automatique, par suivi des primitives ou des plans au travers de la séquence. On pourrait utiliser un système de suivi de plan, voir par exemple le travail récent de Jurie et Dhome [105], couplé à une estimation consistante de la géométrie, c’est à dire aux contraintes multi-vues entre les homographies de plan.

l₁ l₂ l₃ l₄ l₆ l₇ α₁ α₂ α₃ α₅ contraint 0,0020 0,0000 0,0134

FIG. 5.27 – Mesures de qualité sur les reconstructions métriques obtenues par ajustement de faisceaux “non contraint” ou “contraint” par multi-coplanarité. Plus les valeurs de σ₁, σ₂et µ (voir texte) sont faibles, meilleure est la reconstruction. Ces valeurs sont liées à la variances des longueurs censées être égales, les segments rouges d’une part et bleus d’autre part et les angles censés être droits.

CHAPITRE

6

6

RECONSTRUCTION DE DROITES ET

DE CAMÉRAS

RECONSTRUCTION DE DROITES ET

DE CAMÉRAS

Ce chapitre est consacré à la reconstruction de droites et de caméras à partir de correspondances multi-vues. Nous abordons les problèmes de la re-construction initiale et de l’ajustement de faisceaux final. La difficulté principale est la représentation al-gébrique des droites 3D : il n’existe pas de repré-sentation “naturelle”, ni de paramétrisation non sin-gulière, minimale et simple de leurs 4 degrés de li-berté. Le chapitre commence par une étude de dif-férentes représentations, évaluées en vue de leur utilisation dans des algorithmes linéaires et non-linéaires.

Concernant la reconstruction initiale, nous adop-tons une approche basée sur la reconstruction des caméras puis des droites par triangulation. Nos con-tributions concernent la triangulation. L’étude précé-dente des représentations oriente notre choix sur les coordonnées de Plücker. Une propriété clef est

que les coordonnées des droites reprojetées sont linéaires en termes des coordonnées de Plücker. Nous proposons un algorithme de triangulation ité-ratif simple minimisant l’erreur de reprojection.

Concernant l’ajustement de faisceaux, les

représentations existantes induisent des paramétri-sations inadaptées, dans le sens où elles sont par-tielles (les droites 3D ne sont pas toutes repré-sentées) ou soumises à des contraintes de consis-tance interne, par exemple la contrainte de Plü-cker. Nous proposons la représentation

orthonor-male des droites 3D. Elle permet d’effectuer

l’optimi-sation non-linéaire sur un nombre minimal de 4 pa-ramètres, sans contrainte interne ni liberté de jauge. Finalement, nos algorithmes sont validés sur des données simulées et réelles.

Ces travaux ont été effectués en collaboration avec Peter Sturm et ont été publiés dans [26].

6.1 Introduction

Le but de ce chapitre est la conception de méthodes pour la reconstruction de droites à partir de correspon-dances entre plusieurs vues. Notre étude et nos propositions portent sur la reconstruction initiale et l’ajustement de faisceaux final. Les droites sont utilisées dans de nombreux domaines tels la visualisation scientifique ou la modélisation géométrique. Leur étude fait l’objet du livre de Pottmann et Wallner [161]. Si la primitive la plus utilisée en vision par ordinateur et en photogrammétrie est le point, la plupart des problèmes étudiés avec des points le sont aussi avec des droites lorsque cela est possible. On trouve entre autres des solutions pour la détection dans une image [39], le suivi dans une séquence d’image [77, 234] et l’appariement [173]. On trouve des applications telles le calcul de pose [125], l’asservissement visuel [4, 151] et l’estimation des distorsions optiques d’une caméra [162].

Les avantages à utiliser des droites sont multiples. C’est une primitive souvent présente, notamment en en-vironnements humains. Sa localisation dans les images, et particulièrement la détermination de la direction, est plus précise que celle des points. Sa mise en correspondance est plus fiable que celle des points et elle est plus utile pour des tâches du “haut niveau” telle la reconnaissance d’objets. Les inconvénients sont que contraire-ment aux points, il n’existe pas de représentation algébrique naturelle des droites 3D, et que la reconstruction de droites et de caméras à partir de deux vues n’est pas possible. En outre, l’erreur de reprojection, souvent mi-nimisée par les algorithmes de reconstruction, est moins naturelle à formuler sur les droites que sur les points, car il n’existe pas de distance Euclidienne pour ces dernières.

En vision par ordinateur, la reconstruction de caméras et de droites a une histoire liée à la découverte du tenseur trifocal, voir en particulier les travaux de Hartley [92] et de Shashua [178]. Il existe de nombreux travaux portant sur la reconstruction de trois caméras à partir de correspondances de droites, entre autres ceux de Liu et Huang [123, 124], Spetsakis et al. [187, 188], Weng et al. [226] et Navab et al. [153]. La géométrie multi-vues des droites à été bien étudiée, voir par exemple les travaux de Faugeras et al. [62] et de Hartley et al. [93]. Les différentes méthodes de reconstruction multi-vues sont souvent inspirées des algorithmes basés sur des points, et héritent de caractéristiques similaires. La section 3.2 du chapitre 3 passe en revue les différentes méthodes basées sur des points, qui apparaissent comme séquentielles ou directs. Les algorithmes directs traitent toutes les vues simultanément alors que les algorithmes séquentiels procèdent par sous-ensembles de vues. Il existe de nombreux algorithmes séquentiels pour la reconstruction de caméras et de droites [142, 155, 175, 203, 225], en particulier les algorithmes de Ayache et Faugeras [56] et de Navab et Zhang [154].

Les algorithmes directs sont basés sur la factorisation ou les contraintes de fermeture. On renvoie à la section 3.2.1 du chapitre 3 pour plus de détails sur ces méthodes. La méthode de factorisation étendue de la version pour les points en une version pour les droites par Quan et Kanade [164] (modèle de caméra affine) et par Triggs [214] puis Martinec et Pajdla [135] (modèle de caméra perspectif) nécessite que les droites considérées soient visibles dans toutes les vues. La méthode basée sur les contraintes de fermeture proposée par Triggs [216] pour un modèle de caméra perspectif puis spécialisée au modèle de caméra affine par Heyden et Kahl [99] permet d’obtenir toutes les caméras (non calibrées) en résolvant un système linéaire construit à partir des tenseurs d’appariement multi-vues. La structure est ensuite reconstruite par triangulation. Notons que Govindu [72] propose une approche similaire à celle de Triggs mais pour des caméras calibrées.

En photogrammétrie, Mulawa et Mikhail [150] introduisent le concept de l’utilisation de droites comme observations à la place des points. Depuis, de nombreux travaux basés sur les droites ont été publiés dans ce domaine, voir entre autres Habib et al. [75, 76], Tommaselli et al. [205], Heikkinen [94], Kubik [114] et Roberts [166]. Les différences entre ces travaux portent principalement sur le choix de la représentation algébrique des droites 3D et de la fonction de coût minimisée.

Ce chapitre a des implications en vision par ordinateur et en photogrammétrie. On y présente une méthode de triangulation multi-vues (le problème de l’intersection en photogrammétrie) auto-initialisante permettant la reconstruction initiale des droites ainsi qu’une nouvelle représentation des droites 3D, la représentation

orthonormale, dont la caractéristique principale est de permettre une reconstruction par ajustement de faisceaux

impliquant le minimum de 4 paramètres par droite reconstruite. Ces méthodes minimisent toutes deux l’erreur de reprojection, garantissant sous certaines hypothèses une solution optimale. Nous ne faisons pas d’hypothèse sur le calibrage des caméras. Nous supposons que les correspondances de droites considérées donnent assez de

6.1. INTRODUCTION 123

contraintes pour permettre la reconstruction.

Nous ne traitons pas la reconstruction initiale des caméras. Ces dernières peuvent être reconstruites en utilisant par exemple les contraintes de fermeture de Triggs [216] induites par les tenseurs trifocaux entre triplets d’images, dont l’estimation est possible à partir de correspondances de droites, par exemple avec l’algorithme de Hartley [92]. Un schéma d’estimation robuste permettant d’estimer le tenseur trifocal tout en réalisant la mise en correspondance des droites est donné par Torr et Zisserman [211]. L’appariement de droites a été étudié en particulier dans [173]. Dans le domaine de la photogrammétrie, les positions des caméras sont souvent déterminées parGPSou par une centrale inertielle. Nous n’abordons pas non plus le problème des configurations singulières pour la reconstruction de caméras à partir de correspondances de droites, pour lequel nous renvoyons aux travaux de Buchanan [38] et de Navab et Faugeras [152].

La reconstruction de droites par triangulation et ajustement de faisceaux est abordée en détails dans ce chapitre. Ces problèmes soulèvent la difficulté principale de l’utilisation de droites : leur représentation algé-brique. En effet, il n’existe pas de représentation minimale, complète et globalement non singulière de l’espace de dimension 4 des droites 3D, voir par exemple [93, §2.2]. En conséquence, les droites 3D sont la plupart du temps surparamétrées. Différentes représentations et leurs caractéristiques sont examinées en §6.2. Bien sûr, la représentation la mieux adaptée dépend du problème considéré. Par exemple, l’algorithme de calcul optimal du tenseur trifocal donné par Hartley [92] est basé sur une représentation par deux droites image, alors que l’algorithme de reconstruction séquentiel de Seo et al. [175] est basé sur les coordonnées de Plücker.

La triangulation, consiste à reconstruire les droites étant donnée une reconstruction des caméras. La trian-gulation de chaque droite est indépendante. Il existe peu de travaux sur la triantrian-gulation multi-vues de droites car ces dernières sont souvent reconstruites simultanément aux caméras. Hartley [92] propose une méthode de triangulation linéaire basée sur une représentation des droites 3D par deux points 3D. Son algorithme minimise une erreur algébrique entre les points reprojetés et les droites image observées.

L’ajustement de faisceaux, est une procédure itérative impliquant les paramètres des caméras et des droites, et minimisant l’erreur de reprojection. Le chapitre 3 décrit des méthodes numériques standard d’ajustement de faisceaux. Les représentations existantes des droites 3D ne sont pas bien adaptées aux algorithmes d’optimisa-tion non-linéaire. Par exemple, les paramétrisad’optimisa-tions par deux points ou deux plans ont 4 degrés de liberté de jauge chacune¹, ce qui peut entraîner des instabilités numériques. La paramétrisation basée sur deux droites image a 2 degrés de liberté de jauge, implique le choix d’images où la droite considérée est visible et admet d’importantes singularités. L’estimation directe de coordonnées de Plücker n’a du sens que si la technique d’op-timisation garantit la contrainte de Plücker. Une représentation appropriée n’implique ni contraintes internes, ni libertés de jauge.

Contributions. Nos contributions portent sur la triangulation et l’ajustement de faisceaux. Concernant la triangulation, nous montrons qu’avec une représentation des droites 3D en coordonnées de Plücker, on obtient une solution linéaire minimisant une erreur algébrique, dont la forme est proche de l’erreur de reprojection. Ceci n’est possible que si la contrainte de Plücker est ignorée puis appliquée à l’issue de l’estimation sur le vecteur calculé, de manière similaire à l’estimation de la matrice fondamentale par l’algorithme des huit points où la contrainte de singularité est ignorée puis appliquée à l’issue de l’estimation. Cette approche présente deux biais. Le premier biais est introduit par l’utilisation d’une erreur algébrique, par rapport à l’erreur de reprojection. Le deuxième biais est dû à la non prise en compte directe de la contrainte de Plücker. Nous proposons des solutions pour corriger ces deux biais. Notre algorithme est simple, minimise l’erreur de reprojection et ne nécessite pas d’initialisation externe. Le premier biais est corrigé par un schéma d’optimisation de type quasi-linéaire. Le deuxième biais est corrigé par l’incorporation au premier ordre de la contrainte de Plücker dans l’estimation.

Concernant l’ajustement de faisceaux, nous proposons une représentation orthonormale des droites 3D. Cette représentation est complète, c’est à dire que toutes les droites 3D sont représentées. Elle permet d’effectuer l’ajustement de faisceaux avec le nombre minimal de 4 paramètres pour chaque droite 3D. Ces derniers ne sont donc pas soumis à des contraintes internes et n’ont pas de liberté de jauge. Ils correspondent géométriquement

1

Pour les deux points : leur position le long de la droite (jauge géométrique) et le facteur d’échelle pour leur représentation en coordonnées homogènes (jauge algébrique).

d’une part, à l’orientation d’une base orthonormale donnant entre autres la direction de la droite et d’autre part, à la distance entre la droite et l’origine.

Organisation du chapitre. Nous passons en revue plusieurs représentations des droites 3D en §6.2. Nous abordons ensuite le problème de la triangulation en §6.3 puis celui de l’ajustement de faisceaux en §6.4. Nous donnons des résultats expérimentaux en §6.5 puis concluons et donnons des perspectives de travail en §6.6.