The DART-Europe E-theses Portal

(1)

HAL Id: tel-01405555

https://hal.archives-ouvertes.fr/tel-01405555

Submitted on 30 Nov 2016

HAL is a multi-disciplinary open access archive for the deposit and dissemination of sci- entific research documents, whether they are pub- lished or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers.

L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.

Structure from motion with hybrid cameras using point and line features

Dieu Sang Ly

To cite this version:

Dieu Sang Ly. Structure from motion with hybrid cameras using point and line features. Computer Vision and Pattern Recognition [cs.CV]. Université de Picardie Jules Verne, 2011. English. �tel- 01405555�

(2)

UNIVERSITÉ DE PICARDIE JULES-VERNE

ÉCOLE DOCTORALE

SCIENCE ET SANTÉ

T H È S E

pour obtenir le titre de

Docteur en Sciences

de l’Université de Picardie Jules-Verne Mention : Automatique

Présentée par

Dieu Sang Ly

Structure from motion with hybrid cameras using point and

line features

préparée à l’UPJV au sein du laboratoire Modélisation, Information et Systèmes

soutenue le 24 octobre 2011

Jury :

Rapporteurs : PeterSturm - INRIA Grenoble

Youcef Mezouar - LASMEA, Université de Clermont-Ferrand Directeurs : CédricDemonceaux - Le2i, Université de Bourgogne

ClaudePégard - MIS, Université de Picardie Jules Verne Examinateurs : Malik Mallem - IBISC, Université d’Evry

PascalVasseur - LITIS, Université de Rouen

(3)

(4)

Acknowledgments

First and foremost I would like to express my profound attitude to my supervisor, Mr. Cédric Demonceaux, Assistant Professor at Université de Bourgogne, for his guidance throughout 3 years of my thesis. Despite of being his first Ph.D. student, I truly appreciate his knowledge, experience and personality which have been of great value for me to accomplish my thesis. The enthusiasm he has for research was really motivational for me, even during tough times in the Ph.D. pursuit.

I am deeply grateful to Mr. Pascal Vasseur, Professor at Université de Rouen, for his detailed and constructive comments, and for his important contributions throughout this work.

I gratefully acknowledge Mr. Claude Pégard, Professor at Université de Picardie Jules-Verne, for his support and pedagogic guidance during the last 3 years. This work has been done with the sponsorship of the Ministry of Higher Eduction and Research that we could never have obtained without his support.

I wish to express my sincere thanks to Mrs. Valérie Faqui and Mr. El Mustapha Mouaddib, Université de Picardie Jules-Verne, for their time, support and effective help during the preparation and completion of this thesis.

I would like to thank my reading committee members, Mr. Peter Sturm, Re- search Director at INRIA Grenoble and Mr. Youcef Mezouar, Assistant Professor at Université de Clermont-Ferrand, for their detailed review, constructive comments and helpful advice during the preparation of this thesis. I would also like to thank the other two members of my oral defense committee, Mr. Malik Mallem, Professor at Université d’Evry Val d’Essonne and Mr. Pascal Vasseur, for their attendance and insightful questions.

My colleagues at MIS laboratory, Ali Ghorayeb, Ashutosh Natraj, Damien Ey- nard, Guillaume Caron, Romain Marie and Pauline Orzekowska (Merveilleux), have contributed immensely to my personal and professional time. The group has been a source of friendships as well as advice and collaboration.

Finally, I owe my deepest attitude to my family in Vietnam and the Sauvadet family in France for their love and support all the time.

(5)

(6)

Synthèse en français

Contents

1.1 Introduction . . . . 2

1.2 Méthodes d’estimation de mouvement et de reconstruction 3D . . . . 3

1.2.1 SfM basée points pour la vision perspective . . . . 3

1.2.2 SfM basée droites pour la vision perspective . . . . 4

1.2.3 SfM pour la vision omnidirectionnelle . . . . 5

1.2.4 SfM pour des caméras hybrides en utilisant des primitives hybrides . . . . 6

1.3 Estimation de mouvement de caméras . . . . 6

1.3.1 La détection et la mise en correspondance de primitives . . . 7

1.3.2 Estimation de rotations . . . . 7

1.3.3 Estimation de translations à partir de droites . . . . 7

1.3.4 Estimation de translations à partir de points et droites. . . . 10

1.4 Reconstruction 3D et ajustement de faisceaux . . . . 11

1.4.1 Reconstruction de points . . . . 11

1.4.2 Reconstruction de droites . . . . 12

1.4.3 Ajustement de faisceaux . . . . 13

1.5 Résultats expérimentaux . . . . 15

1.5.1 Simulation . . . . 15

1.5.2 Données réelles . . . . 18

1.6 Conclusion . . . . 30

(11)

2 Synthèse en français

1.1 Introduction

Il est possible d’acquérir l’information sur la pose et le mouvement à l’aide de dif- férents types de capteurs. Alors que les pertes de signaux sont fréquentes pour les GPS (Global Positioning System) et que les centrales inertielles peuvent accumuler les erreurs relatives au cours du temps, les approches basées vision semblent être un choix judicieux. C’est la raison pour laquelle les caméras ont été largement util- isées dans de nombreuses applications : la surveillance de zone, la reconstruction d’une scène tri-dimensionnelle (3D), le calcul du déplacement d’un robot mobile, l’estimation de la position d’un visage relativement à une caméra, etc. Pour chacun de ces problèmes, il peut être judicieux d’utiliser différents types de caméras. Par exemple, pour surveiller une zone et reconstruire sans grande précision les objets en déplacement, une caméra catadioptrique peut suffire. A l’inverse, pour une reconstruction 3D plus fine, il est préférable d’utiliser une ou plusieurs caméras de grande résolution. En effet, les caméras à large champ de vue (caméras omnidirectionnelles) permettent d’obtenir une vue importante de la scène mais avec une faible résolution, par contre les caméras perspectives ont une résolution importante mais un champ de vue limité. C’est pourquoi, nous nous intéressons ici à une approche d’estimation de mouvement et de reconstruction 3D (Structure from Motion ou SfM) valide pour ces deux systèmes de vision.

Une question s’est posée ici sur le type de primitives à utiliser. A part des points, les droites ont été largement utilisées, particulièrement en milieu urbain. Comparées aux points, les droites sont moins nombreuses mais portent plus d’informations [Gros et al., 1998]. Ces primitives sont plus stables que les points et moins sus- ceptibles d’être produites par hasard (bruit par exemple), surtout dans des environnements urbains [David et al., 2003]. De plus, les droites sont moins affectées par les occultations car chaque droite peut être reconstruite à partir de ses segments dans plusieurs images. L’inconvénient majeur des droites pour le calcul de pose concerne la nécessité d’utiliser au moins trois images là où deux images suffisent pour les points. Le second défaut concerne l’absence de droites dans des environnements naturels. Par conséquent, nous présentons une méthode de SfM basée droites et éventuellement points dans la scène 3D.

Contributions

• Nous allons introduire une technique linéaire d’estimation de mouvement qui ne requiert que les droites. Ces primitives sont dominantes en milieu urbain et ont plusieurs caractéristiques favorables par rapport à des points.

• Nous allons proposer une méthode linéaire pour calculer les translations qui peut intégrer à la fois des points et des droites. Par conséquent, elle est flexible sur les types de primitives à utiliser selon leur disponibilité : les droites (et éventuellement les points) dans les scènes urbaines et les points dans les scènes naturelles (où les droites sont rarement présentes). Nous allons également

(12)

1.2. Méthodes d’estimation de mouvement et de reconstruction 3D 3 montrer que la combinaison de deux types de primitives améliore le résultat d’estimation.

• Nous allons présenter un détecteur de droites pour les images capturées par tout type de caméras à point de vue unique. C’est une extension de l’algorithme de détection de droites dans les images catadioptriques dévelop- pée dans [Bazin et al., 2010].

• Une solution complète pour le problème de SfM sera développée. Elle est composée de 3 étapes : l’estimation de mouvement, la reconstruction 3D et l’ajustement de faisceaux. Le modèle de projection unifié sera utilisé à travers de ces étapes. Ce modèle en- globe des caméras à point de vue unique (perspectives, catadioptriques centrales) [Geyer and Daniilidis, 2000, Barreto and Araujo, 2001] ou encore fisheye [Ying and Hu, 2004]. Ce modèle a été utilisé dans l’étalonnage en utilisant des damiers [Mei and Rives, 2007], des droites ou des sphères [Barreto and Araujo, 2002, Hu and Ying, 2003], l’extraction de droites [Mei and Malis, 2006, Bazin et al., 2010] et l’estimation de mouvement [Shakernia et al., 2003, Mei and Malis, 2006, Bazin et al., 2010, Radgui et al., 2011]. Il a été prouvé dans [Kim et al., 2010] que l’approximation sphérique d’un système à point de vue unique a simplifié l’estimation de mouvement, l’étalonnage et que le résultat de calcul de dé- placement est plus précis et stable.

• Comme une combinaison de la vision perspective et la vision omnidirectionnelle reçoit de plus en plus d’attention, cette méthode promet plusieurs applications en vision et robotique.

1.2 Méthodes d’estimation de mouvement et de recon- struction 3D

Le problème d’estimation de mouvement de caméras et de reconstruction 3D a été largement étudié dans la littérature. [Sturm et al., 2011] présente une vue générale sur la modélisation de caméras, l’étalonnage ainsi que sur les approches d’estimation de mouvement et de reconstruction 3D. Il existe de nombreuses techniques qui utilisent une large gamme de dispositifs tels que des capteurs de vision perspective ou omnidirectionnelle, des systèmes stéréoscopiques ou des systèmes couplant une caméra avec un projecteur laser, etc. Cette section est dédiée à présenter des travaux précédents sur l’estimation de mouvement et la reconstruction 3D en utilisant des caméras perspectives ou omnidirectionnelles.

1.2.1 SfM basée points pour la vision perspective

Les approches de SfM basées points peuvent être classées en 3 catégories : les méthodes de factorisation, les méthodes basées sur l’estimation de la matrice fon-

(13)

4 Synthèse en français damentale/essentielle et les méthodes d’optimisation en norme infinie.

L’idée de la factorisation est de retrouver les caméras et la structure 3D à partir d’une matrice de mesure. Tomasi et Kanade [Tomasi and Kanade, 1992] ont pro- posé une technique de factorisation basée sur des correspondances de points dans une séquence d’images. La mise en oeuvre de cette méthode est simple et four- nit des résultats fiables. Toutefois, son utilisation est limitée aux caméras affines et exige que tous les points soient visibles dans toutes les images. La factorisation projective, qui s’apparente à une extension de la méthode précédente aux caméras projectives, a été développée dans [Sturm and Triggs, 1996,Heyden, 1997, Mahamud and Hebert, 2000]. Martinec et Pajdla [Martinec and Pajdla, 2005] ont amélioré la méthode de Jacobs [Jacobs, 1997] pour résoudre le problème de données manquantes.

Dans le cas des méthodes basées sur le calcul de la matrice fondamentale, l’exemple le plus connu est l’algorithme de 8 points [Hartley, 1997a]. Il existe d’autres méthodes dans le cas calibré qui nécessitent moins de points telles que les algorithmes de 5 points [Triggs, 1999, Quan and Lan, 1999, Nistér, 2004].

La transformation entre 2 caméras est calculée à partir de correspondances de points en minimisant une fonction de coût algébrique. La solution de cette technique est utilisée pour initialiser un ajustement de faisceaux [Triggs et al., 1999], [Hartley and Zisserman, 2004, chap. 18], [Ma et al., 2005, chap. 11].

Récemment, les méthodes d’optimisation en norme infinie (L∞ optimisation) ont été introduites pour le problème de SfM. [Sim and Hartley, 2006, Kahl and Hartley, 2008] ont présenté une approche basée sur la programma- tion conique du second ordre (Second Order Cone Programming - SOCP) pour retrouver les translations et les points 3D avec les rotations connues. Dans [Martinec and Pajdla, 2007], la reconstruction a été faite en 2 étapes : calcul des rotations par des moindres carrés (Least Squares) et calcul des translations par SOCP. Une technique similaire d’optimisation quasi-convexe a été développée dans [Ke and Kanade, 2006].

1.2.2 SfM basée droites pour la vision perspective

Il existe de nombreux travaux de calcul de pose utilisant les droites [Liu and Huang, 1988, Spetsakis and Aloimonos, 1990, Weng et al., 1992b, Taylor and Kriegman, 1995, Hartley, 1997b, Navab et al., 2003, Bartoli and Sturm, 2005]. Ces méthodes peuvent être classées en 2 catégories : les approches de factorisation et les approches séquentielles.

Les premières, pour lesquelles aucune hypothèse sur le calibrage de caméra et les droites, estiment la pose des caméras et des droites dans un espace pro- jectif [Triggs, 1996,Martinec and Pajdla, 2003] ou affine [Quan and Kanade, 1997].

Néanmoins, cette technique requiert que les droites soient visibles dans toutes les vues.

Les méthodes séquentielles décomposent le problème en trois étapes : (i) estimation du déplacement de la caméra, (ii) triangulation pour obtenir la structure

(14)

1.2. Méthodes d’estimation de mouvement et de reconstruction 3D 5 3D et (iii) optimisation par ajustement de faisceaux [Hartley and Zisserman, 2004, chap. 18], [Ma et al., 2005, chap. 11]. La première étape peut être résolue à l’aide d’un tenseur trifocal reliant les informations géométriques des droites dans trois vues [Triggs, 1997, Hartley, 1997b, Fitzgibbon and Zisserman, 1998]. Concernant les deuxième et troisième étapes, les principales différences entre les méthodes pro- posées résident dans la modélisation paramétrique des droites 3D. En effet, dif- férentes représentations des droites peuvent être utilisées, par exemple une projection des droites sur les plans x = 0 et y = 0 [Spetsakis and Aloimonos, 1990], une paramétrisation à partir de deux points 3D [Hartley, 1997b], un point et une direction [Weng et al., 1992b,Taylor and Kriegman, 1995] ou encore les coordonnées de Plücker [Bartoli and Sturm, 2005]. Notons que ces différentes représentations et leurs caractéristiques ont été détaillées dans [Bartoli and Sturm, 2005]. Pour la phase d’ajustement de faisceaux, la structure 3D des droites et la position des caméras sont simultanément affinées par une minimisation non linéaire d’une erreur de re-projection. Hartley [Hartley, 1997b] a utilisé une représentation à partir de 2 images de la droite et propose un ajustement de faisceaux basé sur l’algorithme de Levenberg-Marquardt. Bartoli et al. [Bartoli and Sturm, 2005] ont proposé une représentation orthonormale des droites 3D qui permet d’estimer seulement 4 paramètres à chaque fois.

1.2.3 SfM pour la vision omnidirectionnelle

Récemment, les caméras omnidirectionnelles ont fait l’objet de nombreuses études pour résoudre le problème de SfM. La vision omnidirectionnelle peut être obtenue à l’aide (i) d’un ensemble de plusieurs caméras regardant différentes directions ou une caméra tournant autour d’un axe fixe, (ii) des objectifs grand-angle (lentilles fisheye) ou (iii) des caméras catadioptriques avec des miroirs convexes.

Micusik et Pajdla [Micusik and Pajdla, 2006] ont proposé une approche d’auto- calibrage basée sur le modèle de projection centrale et en utilisant des correspondances de points. Les paramètres intrinsèques et la pose relative de caméras ont été estimés sous un problème polynomial des valeurs propres incorporé dans le RANSAC. Ensuite, la structure 3D de la scène a été reconstruite par la triangulation et affinée par l’ajustement de faisceaux basé sur le modèle de projection entièrement non-centrale. Lhuillier [Lhuillier, 2008] a présenté une méthode similaire à [Micusik and Pajdla, 2006] sauf qu’il a utilisé la technique de 7 points [Hartley and Zisserman, 2004] au lieu de la méthode de 9 points ou 15 points dans [Micusik and Pajdla, 2006]. Le travail de Lhuillier a mis l’accent sur la définition de l’erreur à minimiser par l’ajustement de faisceaux et les conditions offrant une convergence rapide.

De nombreuses approches sont basées sur un découplage des rotations et des translations. Dans [Antone and Teller, 2002], les rotations sont estimées à partir de points de fuite de droites parallèles en 3D et les translations calculées en utilisant la transformée de Hough. Dans [Kim and Hartley, 2005], les auteurs ont présenté une estimation de translations entre les caméras omnidirectionnelles à partir des corre-

(15)

6 Synthèse en français spondances de points et des rotations connues en utilisant une contrainte de minimisation. Bazin et al. [Bazin et al., 2010] ont introduit une approche d’estimation de mouvement de caméras catadioptriques composée de 2 étapes : les rotations ont été retrouvées à partir de points de fuite de droites parallèles et les translations ont été calculées à partir d’au moins 2 points mis en correspondance (l’algorithme des 2 points). Cette méthode a été démontrée comme meilleure que l’algorithme des 5 points [Nistér, 2004] en termes de précision et de temps de calcul. Néanmoins, elle nécessite 2 types de primitives : des droites pour le calcul de la rotation et des points pour le calcul de la translation. Lim et al. [Lim et al., 2010] ont utilisé les correspondances de points antipodaux pour estimer des rotations et des translations entre des caméras à large champ de vue.

Il existe également des méthodes basées sur l’estimation de la matrice essen- tielles. Kang et Szeliski [Kang and Szeliski, 1997] ont estimé cette matrice en utilisant l’algorithme des 8 points. Svoboda [Svoboda, 1999] a présenté la normalisation de coordonnées pour bien conditionner le système d’estimation. [Chang, 2000] a con- clu que la SfM en utilisant des caméras omnidirectionnelles était meilleur que la SfM par des caméras perspectives quand la scène observée était loin des caméras.

D’autres approches sont basées sur l’estimation du flot optique [Nelson and Aloimonos, 1988,Gluckman and Nayar, 1998,Shakernia et al., 2003].

Gasparini et Caglioti [Gasparini and Caglioti, 2011] ont étudié des caméras catadioptriques non-centrales et développé une approche de reconstruction de droites à partir d’une seule image.

1.2.4 SfM pour des caméras hybrides en utilisant des primitives hybrides

Dans quelques travaux précédents comme [Vieville et al., 1996, Hartley, 1997b, Morris and Kanade, 1998, Ansar and Daniilidis, 2003, Rother, 2003], la méthode d’estimation de mouvement de caméras peut être appliquée à la fois aux points et aux droites. Gasparini et Sturm [Gasparini and Sturm, 2008] ont proposé une technique basée sur des correspondances de droites à travers des caméras dites génériques. Dans [Ramalingam et al., 2006, Bastanlar et al., 2010], les auteurs ont présenté une solution composée de plusieurs étapes : l’étalonnage de caméras, la triangulation de points 3D et l’ajustement de faisceaux. Ce processus est semblable à notre approches, sauf qu’ils utilisent le modèle générique de cameras et nous utilisons le modèle sphérique pour des caméras calibrées.

1.3 Estimation de mouvement de caméras

Dans cette section, nous présentons une méthode linéaire pour calculer le mouvement de caméras en découplant les rotations et les translations. Dans un premier temps, les rotations sont obtenues à partir des points de fuite de droites parallèles dans la scène. Dans un second temps, nous estimons les translations à partir des rotations désormais connues et des droites. Le calcul linéaire des transformations de caméras

(16)

1.3. Estimation de mouvement de caméras 7 est basé sur le modèle de projection unifié qui est valide pour tout types de caméras à point de vue unique (perspectives, catadioptriques centrales) et encore fisheye. De plus, la reconstruction et l’ajustement de faisceaux qui suivent sont aussi formalisés sur le modèle sphérique.

Notations : Dans la suite, nous noterons les matrices par une police Sans Serif, les vecteurs en caractères gras et les scalaires en italique.

1.3.1 La détection et la mise en correspondance de primitives La détection et la description de primitives sont des étapes préliminaires de l’estimation de mouvement basée des correspondances de primitives. Ce problème a été largement étudié et évalué dans la littérature, surtout pour des points. Plusieurs méthodes de détection et description de primitives sont présentées dans l’annexeA.

Afin de détecter et mettre en correspondance des points, nous avons util- isé le tracker largement employé dans l’état de l’art, développé par Kanade, Lu- cas et Tomasi [Kanade and Lucas, 1981, Tomasi and Kanade, 1992]. Bazin et al.

[Bazin et al., 2010] ont proposé une technique de détection de droites pour les caméras catadioptriques avec des miroirs paraboliques. Elle est composée de 4 étapes : (i) détecter les contours, (ii) connecter les contours en chaînes en utilisant un seuil sur la longueur de chaînes, (iii) diviser les chaînes en chaînons et (iv) fu- sionner les chaînons appartenant à la même droite. Nous avons modifié le modèle de projection dans le travail de Bazin et al. pour obtenir un détecteur applicable à toutes les caméras à point de vue unique. La mise en correspondance de droites est basée sur la différence entre deux voisinages de deux droites en considération.

1.3.2 Estimation de rotations

Le point de fuite est une intersection des droites parallèles dans l’espace 3D. La projection d’un point de fuite sur la sphère définit la direction du faisceau de droites correspondantes comme illustrée figure 1.1. Ainsi, la rotation R entre 2 caméras a et b peut être obtenue à partir de points de fuite dans 2 images par la technique linéaire proposée dans [Horn, 1987]

[V¹_b...Vⁿ_b] =R[V¹_a...Vⁿ_a] (1.1) 1.3.3 Estimation de translations à partir de droites

Les problématiques de la géométrie multi-vues de droites ont été bien étudiées [Faugeras and Mourrain, 1995, Hartley and Zisserman, 2004, Ma et al., 2005].

Torii et al. [Torii et al., 2005] ont développé la géométrie multi-vues pour des caméras sphériques, mais n’ont pas discuté l’utilisation du tenseur d’appariement multi-vues. De la même manière, nous rappelons dans cette section la géométrie multi-vues de droites entre des caméras sphériques et développons une méthode linéaire qui permet d’estimer des translations à partir des rotations connues et des correspondances de droites à travers au moins 3 vues.

(17)

Figure 1.1: Images fisheye projetées sur la sphère. Les points de fuite de droites horizontales en rouge et de droites verticales en bleue

Supposons que la scène est composée demcaméras à point de vue uniqueC_i(i= 1...mavecm≥3) comme illustrées figure1.2. Considérons le centre de la première caméra comme origine du repère monde. Notons [R_i|t_i] la [Rotation|translation]

entre C_i et l’origine, ainsi [R1|t₁] = [I|0]. La projection sur les images sphériques d’une droite L dans l’espace 3D est un grand cercle l_i. Nous pouvons exprimer L vectoriellement par L =X₀+µd où L,X₀,d ∈ R³ et µ ∈ R. Enfin, nous notons n_i∈R³ les normales aux plans passant la droite L et le centreC_i.

Comme la ligne Lest projetée sur des grands cercles l_i de normales respectives n_i dansC_i, nous avons la relation suivante

n^T_i (RiL+t_i) = 0 (1.2) Considérons un triplet de caméras composé de la première et deux autres aet b. Nous notons ce triplet par (1,a,b) où2≤a, b≤m eta6=b. La relation entre ces trois vues peut être décrite par l’équation (1.2) avec i = 1, a, b et réécrite comme suit

(18)

1.3. Estimation de mouvement de caméras 9

−0.02

−0.01 00.01

0.02

−0.02

−0.01

0

0.01

−0.04

−0.02

0

0.04 0.02

0.06

−0.02−0.0100.010.02

−0.02−0.0100.01

−0.04

−0.02

0

0.02

0.04

0.06

−0.02

−0.01

0.010 0.02

−0.02

−0.01 0.010

−0.04

−0.020

0.02 0.04

0.06

−0.02

−0.01 0 0.01 0.02

−0.02

−0.01 0 0.01

−0.04

−0.02 0 0.02

0.04 0.06

Figure 1.2: Projection sphérique d’une droite dans l’espace 3D

ALˆ = 0 (1.3)

où

A=





n^T₁ 0 n^T_aR_a n^T_at_a n^T_bR_b n^T_bt_b



 et Lˆ = (L^T,1)^T

Comme ce système admet une solution non-nulle, la matrice A de taille 3×4 associée doit être de rang 2. Il existe donc une dépendance entre les trois lignes r₁,r₂ etr₃ de Aqui peut s’écrirer₁=αr₂+βr₃. En remarquant quer₁₄= 0, nous pouvons poserα =γt^T_bn_b etβ =−γt^T_an_a pour une valeur quelconque deγ. Ainsi, nous obtenons les relations suivantes

n^T₁ =αn^T_aR_a+βn^T_bR_b (1.4) n₁=αR^T_an_a+βR^T_bn_b (1.5)

n₁=γt^T_bn_bR^T_an_a−γt^T_an_aR^T_bn_b (1.6) [n₁]_×R^T_an_an^T_bt_b−[n₁]_×R^T_bn_bn^T_at_a= 0 (1.7) L’équation (1.7) relie les correspondances de droites dans un triplet de vues par les transformations [Ra|t_a] et [R_b|t_b]. Elle permet une estimation linéaire de translations t_a,b à partir de rotationsR_a,bet de normales n_1,a,b.

Avec une correspondance de droite entremcaméras, nous avons(m−1)(m−2)/2 triplets de vues (1, a, b) ou relations trilinéaires dans (1.7). Ces relations peuvent être combinées dans un seul système qui permet une estimation linéaire de translations t_2...m à partir de rotationsR_2...m et correspondances de normalesn_1...m

(19)

BX= 0 (1.8)

oùB est une matrice de taille3(m−1)(m−2)/2-par-3(m−1) B=



 −[n₁]_×R^T₃n₃n^T₂ [n₁]_×R^T₂n₂n^T₃ . . . 0 0

. . . .

0 0 . . . −[n₁]_×R^T_mn_mn^T_m₋₁ [n₁]_×R^T_m₋₁n_m−1n^T_m





et

X= (t^T₂,t^T₃, . . . ,t^T_m)^T

L’ajout d’une autre correspondance de droite augmente la taille de la matrice B de 3(m−1)(m−2)/2 lignes. Ainsi, avecnL correspondances de droites entre m cameras, B devient une matrice de taille 3n_L(m−1)(m−2)/2-par-3(m−1). Par conséquent, nous pouvons obtenir la solution de Xà l’aide d’une décomposition en valeur singulière (Single Value Decomposition - SVD) de la matrice Bsuivante

B=







−[n¹₁]_×R^T₃n¹₃n^1T₂ [n¹₁]_×R^T₂n¹₂n^1T₃ . . . 0 0

. . . .

−[nⁿ₁^L]_×R^T₃nⁿ₃^Lnⁿ₂^L^T [nⁿ₁^L]_×R^T₂nⁿ₂^Lnⁿ₃^L^T . . . 0 0

. . . .

0 0 . . . −[n¹₁]_×R^T_mn¹_mn^1T_m−1 [n¹₁]_×R^T_m₋₁n¹_m−1n^1T_m

. . . .

0 0 . . . −[nⁿ₁^L]_×R^T_mnⁿ_m^Lnⁿ_m−1^L^T [nⁿ₁^L]_×R^T_m₋₁nⁿ_m−1^L nⁿ_m^L^T







1.3.4 Estimation de translations à partir de points et droites Dans cette section, nous montrons une intégration de deux primitives, points et droites dans l’estimation de translations. Dans [Bazin et al., 2010], les auteurs ont montré que deux points en correspondance p_aetp_b entre deux caméras sphériques aetb liées par la transformation[R|t]satisfont la relation suivante

(Rp_a×p_b)^Tt= 0 (1.9)

Il est évident que la contrainte bilinéaire dans (1.9) et la contrainte trilinéaire dans (1.7) peuvent être enveloppées dans un système linéaire qui permet le calcul des translations à partir de points et droites. Par exemple, considérons 3 caméras avec n_L correspondances de droites(n^1...n₁ ^L,n^1...n₂ ^L,n^1...n₃ ^L) entre 3 vues (1, 2 et 3), n12 correspondances de points (p^1...n₁ ¹²,p^1...n₂ ¹²) entre 2 vues (1 et 2), etn13 correspondances de points(p^1...n₁ ¹³,p^1...n₃ ¹³) entre 2 vues (1 et 3), le système suivant peut résoudre les translations t₂ ett₃ en utilisant la décomposition en valeur singulière de la matrice G

(20)

1.4. Reconstruction 3D et ajustement de faisceaux 11

G t₂

t₃

= 0 (1.10)

où

G=







(R₂p¹₁×p¹₂)^T 0

... ...

(R₂pⁿ₁¹²×pⁿ₂¹²)^T 0 0 (R3p¹₁×p¹₃)^T

... ...

0 (R₃pⁿ₁¹³×pⁿ₃¹³)^T

−[n¹₁]_×R₃^Tn¹₃n^1T₂ [n¹₁]_×R^T₂n¹₂n^1T₃

... ...

−[nⁿ₁^L]_×R^T₃nⁿ₃^Lnⁿ₂^L^T [nⁿ₁^L]_×R^T₂nⁿ₂^Lnⁿ₃^L^T







Cependant, la combinaison des correspondances entre les vues (1 et 2) et (1 et 3) réduit quelques relations dépendantes. Par conséquent, au lieu d’utiliser les correspondances de points entre les vues (1 et 2) et (1 et 3), nous relions n₂₃ correspondances de points (p^1...n₂ ²³,p^1...n₃ ²³) entre 2 vues (2 et 3) et intégrons cette contrainte dans la matrice G

G=







−(R3R₂^Tp¹₂×p¹₃)^TR₃R₂^T (R3R₂^Tp¹₂×p¹₃)^T

... ...

−(R₃R₂^Tpⁿ₂²³×pⁿ₃²³)^TR₃R₂^T (R₃R₂^Tpⁿ₂²³ ×pⁿ₃²³)^T

−[n¹₁]_×R₃^Tn¹₃n^1T₂ [n¹₁]_×R^T₂n¹₂n^1T₃

... ...

−[nⁿ₁^L]_×R^T₃nⁿ₃^Lnⁿ₂^L^T [nⁿ₁^L]_×R^T₂nⁿ₂^Lnⁿ₃^L^T







1.4 Reconstruction 3D et ajustement de faisceaux

1.4.1 Reconstruction de points

Figure 1.3: Reconstruction de points

(21)

12 Synthèse en français Chaque point Pdans l’espace 3D est reconstruit par la triangulation des lignes de vues, chacune passant parP, le centre de caméraC_i et le point image projeté sur la sphère p_i (1.11) comme illustrée figure 1.3. La solution linéaire de Ppeut être obtenue à partir de l’équation (1.12) en utilisant le pseudo-inverse de la matriceM.

P=C_i+λ_i(p_i−C_i) (1.11)

MPˆ =C (1.12)

où

M=







I C₁−p₁ 0 ... 0

I 0 C₂−p₂ ... 0

...

I 0 0 ... C_m−p_m







Pˆ = (P^T, λ₁, λ₂, ..., λ_m)^T

C= (C^T₁,C^T₂, ...,C^T_m)^T 1.4.2 Reconstruction de droites

Figure 1.4: Reconstruction de droites

Chaque droite 3D est reconstruite par l’intersection des plans 3D passant par les correspondances de droites entre les vues. Elle est calculée à partir de la transformation entre des caméras et les correspondances de normales

NLˆ = 0 (1.13)

où

(22)

1.4. Reconstruction 3D et ajustement de faisceaux 13

N=







n^T₁ 0 n^T₂R₂ n^T₂t₂

... ... n^T_mR_m n^T_mt_m





 et Lˆ = (L^T,1)^T

La décomposition en valeur singulière de N = UDV^T peut être utilisée pour définir la droite d’intersection des plans [Hartley and Zisserman, 2004, chap. 12].

1.4.3 Ajustement de faisceaux

L’ajustement de faisceaux est une étape d’optimisation pour affiner les paramètres de caméras et de structure 3D en minimisant l’erreur de re-projection. Nous présen- tons premièrement la paramétrisation de caméras, points et droites 3D et puis la procédure de minimisation.

1.4.3.1 Paramétrisation

Le faisceau de lignes de vue passant par les centres de caméras et les primitives dans l’espace 3D est défini par les paramètres de caméras et primitives 3D.

• Chacune des caméras est paramétrée par un vecteurc_i=(r₀, r₁, r₂, r₃, t_x, t_y, t_z)_i (i = 1...m) où (r0, r₁, r₂, r₃) est la représentation par les quaternions de la rotation et(tx, ty, tz) la translation.

• Chacun des nP points 3D est décrit par un vecteur P^j = (px, py, pz)^j (j = 1...n_P).

• Chacune des n_L droites 3D est représentée par un vecteur L^k=(e¹_x, e¹_y, e¹_z, e²_x, e²_y, e²_z)^k (k = 1...nL) établi par deux points e¹ et e² sur cette droite.

Le vecteur de paramètres dans l’optimisation est défini par l’ensemble des paramètres décrivant mcaméras,nP points et nL droites

W= (c₁. . .c_m,P¹. . .Pⁿ^P,L¹. . .Lⁿ^L) 1.4.3.2 La fonction de coût et la minimisation

L’ajustement de faisceaux minimise l’erreur de re-projection suivante

min

ci,P^j,L^k( Xm

i=1 n_P

X

j=1

d_P(ˆp^j_i,s(c_i,P^j))²+ Xm

i=1 n_L

X

k=1

d_L(ˆn^k_i,s(c_i,L^k))²) (1.14) où

dP =||pˆ^j_i ×_||^R_Rⁱ_i^P_P^jj^+t+tⁱi|||| et dL=||nˆ^k_i ×_||^(R_(Rⁱ_i^e_e^1k1k^+t+tⁱi^)×(R)×(Rⁱi^ee^2k^2k^+t+tⁱi⁾)||||

(23)

Figure 1.5: L’erreur de re-projection de points et droites définie sur la sphère où

• s est la projection sphérique du point 3D P^j ou de la droite 3D L^k dans la camérac_i.

• pˆ^j_i etnˆ^k_i sont les re-projections sur la sphère du point d’imagejet de la droite d’image kdans la caméra i.

• dP représente la distance géodésique entre 2 points : le point observé et le point prédit sur la sphère. Sur la gauche de la figure1.5, le point observé dans l’image et sa re-projection sur la sphère sont en rouge. Le point en bleu est prédit à partir de paramètres de caméras et de points 3D.

• d_Lreprésente la différence angulaire entre 2 normales : la normale de la droite observée et la normale de la droite prédite sur la sphère. Sur la droite de la figure 1.5, la droite image et sa re-projection sphérique sont en rouge. Le grand cercle et la normale en bleu sont prédits à partir des paramètres des caméras et des droites 3D.

La minimisation peut être résolue par l’algorithme non-linéaire de Levenberg- Marquardt. La valeur initiale du vecteur de paramètres W₀ est fournie par l’estimation de mouvement et la reconstruction 3D.

Chaque ligne de la matrice Jacobienne est calculée pour chaque point ou chaque droite dans chaque caméra

Points :

∂d_P

∂W = [∂d_P

∂c1

. . . ∂d_P

∂cm

,∂d_P

∂P¹ . . . ∂d_P

∂Pⁿ^P,0. . .0] (1.15) Droites :

∂d_L

∂W = [∂d_L

∂c1

. . . ∂d_L

∂cm

,0. . .0,∂d_L

∂L¹ . . . ∂d_L

∂Lⁿ^L] (1.16)

En pratique, la dérivation de d_P et d_L définies dans l’équation (1.14) est assez complexe. Ainsi, nous représentons la différence entre l’observation et la prédiction par les vecteurs d_P = ˆp^j_i ×(RiP^j+t_i) etd_L= ˆn^k_i ×[(Rie^1k+t_i)×(Rie^2k+t_i)].

(24)

1.5. Résultats expérimentaux 15 En notant que ∆ = ^∂d_∂c^P,Γ = ^∂d_∂P^P,Υ = ^∂d_∂c^L and Ω = ^∂d_∂L^L, la Jacobienne a pour expression :

J=







∆¹₁ 0 . . . 0 Γ¹₁ 0 . . . 0 0 0 . . . 0

0 ∆¹₂ . . . 0 Γ¹₂ 0 . . . 0 0 0 . . . 0

... ... . .. ... ... ... . .. ... ... ... . .. ...

0 0 . . . ∆¹_m Γ¹_m 0 . . . 0 0 0 . . . 0

... ... ... ... ... ... ... ... ... ... ... ...

∆ⁿ₁^P 0 . . . 0 0 0 . . . Γⁿ₁^P 0 0 . . . 0

0 ∆ⁿ₂^P . . . 0 0 0 . . . Γⁿ₂^P 0 0 . . . 0 ... ... . .. ... ... ... . .. ... ... ... . .. ... 0 0 . . . ∆ⁿ_m^P 0 0 . . . Γⁿ_m^P 0 0 . . . 0

Υ¹₁ 0 . . . 0 0 0 . . . 0 Ω¹₁ 0 . . . 0

0 Υ¹₂ . . . 0 0 0 . . . 0 Ω¹₂ 0 . . . 0

... ... . .. ... ... ... . .. ... ... ... . .. ...

0 0 . . . Υ¹_m 0 0 . . . 0 Ω¹_m 0 . . . 0

... ... ... ... ... ... ... ... ... ... ... ...

Υⁿ₁^L 0 . . . 0 0 0 . . . 0 0 0 . . . Ωⁿ₁^L

0 Υⁿ₂^L . . . 0 0 0 . . . 0 0 0 . . . Ωⁿ₂^L ... ... . .. ... ... ... . .. ... ... ... . .. ... 0 0 . . . Υⁿ_m^L 0 0 . . . 0 0 0 . . . Ωⁿ_m^L







(1.17)

1.5 Résultats expérimentaux

1.5.1 Simulation

L’approche d’estimation de rotations à partir de points de fuite de droites parallèles a été évaluée dans l’état de l’art. C’est pourquoi nous allons analyser le résultat de l’estimation de translations à partir de droites et de combinaison de points et droites.

La méthode que nous avons proposée suppose des rotations connues. Ainsi, nous la comparons à une approche similaire développée dans [Bazin et al., 2010]. Notons que la dernière estime des rotations à partir de points de fuite et translations à partir d’au moins 2 points (algorithme des 2 points) et a été prouvée meilleure que l’algorithme des 5 points [Nistér, 2004] en termes de et de temps de calcul. L’objectif de cette simulation est de comparer la précision de l’estimation de translations basée droites à celle basée points. De plus, nous examinons la performance du calcul des translations à partir de points et droites. Nous avons créé 100 points et 100 droites en 3D qui sont répartis au hasard dans une sphère d’un rayon de 5 mètres. Qua- tre caméras avec une baseline moyenne de 0.5 mètres observaient ces primitives à une distance de 10 mètres. Les translations entre ces caméras ont été estimées en utilisant l’algorithme des 2 points, notre méthode basée droites (section1.3.3) et la

(25)

16 Synthèse en français combinaison de points et droites (section 1.3.4). Comme les points de l’algorithme des 2 points et les normales de notre proposition sont définis sur la sphère unitaire, nous pouvons les paramétrer par les angles d’azimut et d’élévation. Pour vérifier la sensibilité des méthodes aux bruits de mesure, nous avons ajouté un bruit blanc Gaussien (moyenne de zéro et écart type de 0 à 0.1 degré) à chaque angle. De plus, pour simuler l’imprécision dans l’estimation de rotations, nous avons perturbé chaque angle de rotation par un bruit blanc Gaussien. La figure1.6montre l’erreur angulaire moyenne du calcul des translations après 1000 essais. Nous pouvons remarquer que la méthode basée droites est plus robuste en présence de bruit. Ceci montre un apport important de notre méthode par rapport aux méthodes basées points car expérimentalement, les rotations ne sont jamais connues précisément. De plus, l’approche basée droites est plus simple car elle ne nécessite qu’un seul type de primitive, des droites.

0 0.01 0.02 0.03 0.04 0.05 0.06 0.07 0.08 0.09 0.1

0 0.2 0.4 0.6 0.8 1 1.2 1.4

Noise in points and line normals (deg)

Translation direction error (deg)

2!point algo Line!based algo Point!line!based algo

0 0.01 0.02 0.03 0.04 0.05 0.06 0.07 0.08 0.09 0.1

0 0.2 0.4 0.6 0.8 1 1.2 1.4

Rotation error (deg)

Figure 1.6: L’erreur de l’estimation de translations par l’algorithme des 2 points (rouge), la méthode basée droites (verte) et la méthode basée points et droites (bleue)

(26)

1.5. Résultats expérimentaux 17 Afin d’évaluer l’ajustement de faisceaux, nous avons réalisé une autre simulation dans laquelle nous avons créé 10 points et 10 droites aléatoirement dans une sphère d’un rayon de 5 mètres. Trois caméras avec une baseline moyenne de 0.5 mètres observaient ces primitives à une distance de 10 mètres. Les points et les normales sont perturbés de la même manière que la première simulation. Tout d’abord, la pose des caméras a été calculée en utilisant l’algorithme des 5 points [Nistér, 2004]

implémentée par Stewénius et al. [Stewénius et al., 2006]. Ensuite, en utilisant les rotations estimées, nous avons re-estimé les translations à partir de points et droites.

Enfin, nous avons affiné la pose des caméras et de la structure 3D par l’ajustement de faisceaux proposé dans la section 1.4.3. L’objectif de cette simulation est de comparer l’algorithme des 5 points à la combinaison de points et droites et de vérifier l’optimisation de l’ajustement de faisceaux. La figure1.7 montre l’erreur angulaire moyenne de l’estimation de translations après 1000 essais. Nous pouvons observer que la combinaison de points et droites a amélioré l’estimation en utilisant seulement des points et que l’ajustement de faisceaux a réussi à réduire l’erreur de l’estimation.

0 0.001 0.002 0.003 0.004 0.005 0.006 0.007 0.008 0.009 0.01 0

0.1 0.2 0.3 0.4 0.5 0.6 0.7

Noise in points and line normals (deg)

Translation direction error (deg)

5!point algo

Point!line!based algo

Point!line!based algo after BA

0 0.01 0.02 0.03 0.04 0.05 0.06 0.07 0.08 0.09 0.1

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7

Rotation error (deg)

Figure 1.7: L’erreur de l’estimation de translations par l’algorithme des 5 points (rouge), la méthode basée points et droites (verte) et l’ajustement de faisceaux (bleue)

(27)

18 Synthèse en français Par simulation, nous avons également vérifié la configuration minimale de caméras et de primitives qui assure l’estimation de translations. Avec des caméras non-planaires et des primitives qui ne sont pas dans un même plan, nous avons constaté que l’estimation linéaire de translations requiert un nombre minimal de correspondances présenté dans le tableau 1.1. En cas de combinaison de points et droites, nous avons vérifié le nombre de droites nécessaires en conjonction avec une correspondance de point car deux correspondances de points suffisent l’estimation de translations en utilisant l’algorithme des 2 points.

Nombre de vues Nombre de droites Nombre de points

3 5 0

3 3 1

4 4 0

Table 1.1: Configuration minimale

1.5.2 Données réelles

1.5.2.1 Calcul de pose à partir de droites

Une séquence d’images d’un damier a été capturée par une caméra fisheye.

Cette caméra a été calibrée par la méthode de calibrage développée dans [Mei and Rives, 2007]. Puis, nous avons détecté les droites dans ces images. A partir de 6 images de cette séquence comme illustrées figure 1.8, nous avons fait la mise en correspondance de droites, retrouvé la pose des caméras et reconstruit le damier en 3D. Notre estimation a été comparée aux paramètres extrinsèques fournis par le calibrage, dont la différence est donnée dans le tableau1.2. La différence entre 2 rotations est définie par la distance quaternion [Dai et al., 2009] : la différence entre 2 rotations R_i etR_j ayant les vecteurs de quaternion r_i et r_j respectivement est déterminée par l’équation (1.18). La différence entre 2 translations est définie par l’angle entre leur directions. Nous pouvons remarquer que la pose des caméras calculée par notre méthode est proche de celle fournie par le calibrage. La reconstruction 3D est illustrée sur la figure 1.9.

d(R_i,R_j) = min(||r_i−r_j||,||r_i+r_j||) (1.18) 1.5.2.2 Calcul de pose à partir de points et droites

Dans cette section, nous évaluons les différentes approches d’estimation de pose basées : (i) points (l’algorithme des 5 points), (ii) droites (section 1.3.3) et (iii) points et droites (section 1.3.4). Trois images capturées par deux caméras fisheye (C₁ etC₂) et une caméra perspective (C₃) sont montrées sur la figure1.10. A partir de correspondances de points et droites, nous avons estimé la pose des caméras et

(28)

1.5. Résultats expérimentaux 19

Figure 1.8: Images fisheye d’un damier avec la détection et l’appariement de droites R_i Différence de rotations t_i Différence de translations (degrés)

R₂ 0.003 t₂ 1.473

R₃ 0.003 t₃ 1.819

R₄ 0.006 t₄ 0.981

R₅ 0.008 t₅ 2.658

R₆ 0.002 t₆ 1.338

Table 1.2: Différence entre le calcul de pose basé droite et le calibrage extrinsèque la structure 3D et affiné le résultat par l’ajustement de faisceaux. Une vue de la reconstruction est illustrée sur la figure1.11.

Afin d’évaluer la reconstruction à l’échelle, nous avons vérifié la dimension des portes reconstruites (tableau1.3). Quatre portes avec les bordures extraites comme illustrées figure 1.10) sont notées Porte 1 à 4 de gauche à droite. En utilisant le rapport entre le hauteur de la largeur de chaque porte obtenu par la reconstruction, nous avons déduit et comparé son hauteur estimée à son hauteur réelle. L’approche basée droites a fourni de meilleur résultat que l’algorithme des 5 points et il n’y avait pas de différence importante entre l’estimation basée droites et l’estimation basée points et droites. La raison pour cette différence peut être que l’estimation basée droites est moins sensible aux bruits que l’estimation basée points. Toutefois, le résultat n’était pas satisfait pour la Porte 1 car elle se situe près du bord de l’image où se trouve une distorsion importante, particulièrement dans les images fisheye. La re-projection de droites 3D dans une des images fisheye est montrée sur la figure 1.12. Nous pouvons percevoir que l’approche basée points a produit une erreur de re-projection importante tandis que les approches basées droites fonctionnaient bien.

Cette technique de calcul de pose peut être appliquée dans l’estimation de topologie d’un réseau de caméras hybrides composé de différents types de capteurs de vision.

(29)

Figure 1.9: La pose des caméras et le damier en 3D

Figure 1.10: Images fisheye et perspectives avec les correspondances de points et droites

Méthodes Porte 1 Porte 2 Porte 3 Porte 4

5-point 242 199 215 212

Basée droites 228 206 206 200

Basée points et droites 229 206 206 204

Vérité terrain 203 203 203 203

Table 1.3: Reconstruction à partir de la séquence de portes

(30)

1.5. Résultats expérimentaux 21

Figure 1.11: La pose des caméras et la structure 3D

Points Lines Points+Lines

Figure 1.12: La re-projection dans l’image fisheye de la droite reconstruite en 3D

(31)

22 Synthèse en français 1.5.2.3 Estimation de mouvement à partir de droites

Dans cette section, nous évaluons l’estimation de mouvement basée droites à l’aide du robot Pioneer équipé d’une caméra catadioptrique avec un miroir parabolique qui s’est déplacé dans un parking comme montré figure1.13. A partir de la séquence acquise, nous avons suivi les étapes suivantes

1. Calibrer la caméra avec la méthode de calibrage développée par Mei et al.

2. Extraire les droites dans toute la séquence.

3. Mettre en correspondance de droites.

4. Estimer les rotations et translations de chaque triplet d’images de la séquence.

5. Calculer la position de chaque vue par rapport à la première.

Figure 1.14 montre quelques images de la séquence avec le suivi de droites.

Chaque colonne sur cette figure illustre trois images ayant les correspondances de droites. Le résultat d’estimation de mouvement est montré sur la figure 1.15 et comparé avec la vérité terrain.

Figure 1.13: Le robot mobile Pioneer équipé d’une caméra catadioptrique et son parcourt dans le parking