Contributions à l'autocalibrage des caméras : modélisations et solutions garanties par l'analyse d'intervalle

D

D

O

O

C

C

T

T

O

O

R

R

A

A

T

T

D

D

Discipline ou spécialité :

Présentée et soutenue par

Contributions à l'autocalibrage des caméras :

modélisations et solutions garanties par l'analyse d'intervalle

Rapporteurs : M. Jean-Marc LAVEST

M. Peter STURM

Examinateurs : M. Adrien BARTOLI

M. Patrice DALLE

M. Frédéric MESSINE

Encadrants : M. Alain CROUZIL

M. Pierre GURDJOS

Ecole doctorale : Mathématiques, Informatique et Télécommunications Unité de rec Directeur

T

T

H

_H

È

_È

S

_S

_E

_E

D

D

E

E

L

L

’

’

U

U

N

N

I

I

V

V

E

E

R

R

S

S

I

I

T

T

É

É

D

D

E

E

T

T

O

O

U

U

Discipline ou spécialité : Informatique

Présentée et soutenue par Benoît BOCQUILLON Le 3 octobre 2008

Titre :

Contributions à l'autocalibrage des caméras :

modélisations et solutions garanties par l'analyse d'intervalle

JURY

Marc LAVEST Professeur UdA, Clermont-Ferrand

M. Peter STURM Directeur de recherche INRIA,

M. Adrien BARTOLI Chargé de recherche CNRS, LASMEA, Clermont Ferrand

M. Patrice DALLE Professeur UPS, Toulouse M. Frédéric MESSINE Maître de conférences ENSEEIHT

ROUZIL Maître de conférences UPS, Toulouse M. Pierre GURDJOS Ingénieur d'études INP, Toulouse

Mathématiques, Informatique et Télécommunications Unité de recherche : IRIT- UMR 5505

Directeur de Thèse : M. Alain CROUZIL

U

U

L

L

O

O

U

U

S

S

E

E

Benoît BOCQUILLON

modélisations et solutions garanties par l'analyse d'intervalle

Ferrand

INRIA, INRIA Rhône-Alpes Chargé de recherche CNRS, LASMEA, Clermont-

ENSEEIHT, Toulouse UPS, Toulouse INP, Toulouse

Les travaux de cette th`ese s’inscrivent dans le cadre de la vision par ordinateur et en particulier de l’autocalibrage des cam´eras. L’autocalibrage est une phase d´elicate n´ecessaire dans de nombreuses applications comme la reconstruction tridimensionnelle ou la m´etrologie. Par autocalibrage, nous en-tendons la d´etermination des param`etres du mod`ele de la cam´era, `a partir d’un ensemble d’images et sans connaissance a priori sur la sc`ene. Les m´ethodes d’autocalibrage ont pris un essor consid´erable ces derni`eres ann´ees car elles permettent entre autres de s’affranchir de l’utilisation d’une mire de calibrage et de g´erer des variations de distance focale. Dans ce contexte, nous avons ´etudi´e l’autocali-brage plan (impliquant une sc`ene plane) et l’autocalil’autocali-brage 3D (impliquant une sc`ene quelconque). Nos principales contributions se situent `a la fois au niveau de la mod´elisation g´eom´etrique de ces probl`emes et au niveau de leur r´esolution math´ematique.

D’une part, au niveau de la mod´elisation g´eom´etrique du probl`eme et concernant l’autocalibrage plan, nous avons mis en ´evidence un surparam´etrage dans le formalisme g´en´eralement utilis´e et propos´e par Triggs en 1998. Nous avons alors propos´e un param´etrage minimal, permettant de r´eduire le nombre d’inconnues et de mieux comprendre le probl`eme. Concernant l’autocalibrage 3D, nous avons r´ealis´e une ´etude exhaustive des mouvements critiques, c’est-`a-dire les mouvements de cam´era pour lesquels l’autocalibrage est impossible, dans le cas pr´ecis o`u les param`etres internes sont constants et connus, except´ee la distance focale qui reste inconnue. Bien que Sturm et Kahl aient largement ´etudi´e les mouvements critiques de l’autocalibrage avec une distance focale constante ou variable, ce cas n’avait pas encore ´et´e abord´e.

D’autre part, au niveau de la r´esolution du probl`eme, l’autocalibrage se ram`ene g´en´eralement `a un syst`eme d’´equations alg´ebriques qui se r´esout par la minimisation d’une fonction de coˆut. Des m´ethodes de minimisation locale sont g´en´eralement utilis´ees ; elles n´ecessitent une bonne estimation initiale et n’offrent aucune garantie sur la solution trouv´ee (pr´esence de nombreux minima locaux `a cause de la non lin´earit´e du probl`eme). ´Etant donn´e que les erreurs commises dans l’´etape d’autocalibrage ont des cons´equences importantes dans les ´etapes qui suivent (par exemple l’´etape de reconstruction), nous avons cherch´e `a obtenir des garanties sur les solutions. Pour cela, nous nous sommes int´eress´es `

a l’analyse d’intervalle, une arithm´etique dans laquelle les r´eels sont remplac´es par des intervalles. L’analyse d’intervalle permet de borner une fonction de coˆut en transformant les variables du probl`eme en intervalles. En combinant l’analyse d’intervalle avec des algorithmes dits de (( branch and bound )), on obtient une m´ethode d’optimisation globale par intervalles qui offre la garantie d’obtenir le minimum global, s’il existe, d’une fonction de coˆut. Cependant, l’utilisation de cette m´ethode n’est pas directe. En effet, l’analyse d’intervalle poss`ede des propri´et´es inhabituelles (comme la sous-distributivit´e de la multiplication). Si aucun effort n’est r´ealis´e lors du passage en intervalles de la fonction de coˆut, le temps de calcul n´ecessaire pour obtenir le minimum global est tel que cette m´ethode ne peut pas ˆetre utilis´ee. Nous avons donc dˆu adapter les contraintes de l’autocalibrage, notamment en r´ealisant des factorisations symboliques dans leurs expressions. Nous avons appliqu´e la m´ethode `a l’autocalibrage plan et `a l’autocalibrage 3D et nous avons obtenu des r´esultats garantis sur des s´equences d’images r´eelles en moins d’une minute.

Mots-cl´es : calibrage, autocalibrage, reconstruction 3D, optimisation globale par intervalles, so-lutions globales garanties.

This work deals with computer vision and more precisely camera self-calibration. Self-calibration is an important step involved in numerous applications such as tridimensional reconstruction or me-trology. By self-calibration, we mean estimation of the camera model parameters, from a sequence of images and without a priori knowledge. Self-calibration methods have been widely used these last years since they allow calibration without a calibration target and since they can handle focal length variations. In this context, we have focused on plane-based self-calibration and 3D self-calibration. Our main contributions are concerned with the geometric modelisation of these problems and their mathematical resolution.

The first main part of our work deals with geometric modelisation of self-calibration. In the plane-based case, we have revealed an inter-dependence in the model usally used and proposed by Triggs in 1998. In the light of this, we have proposed a minimal parameterization of the problem in which the number of unknowns is reduced. In the 3D case, we provide a thorough study of the critical motion sequences, i.e. camera motions for which self-calibration is ambiguous, in the constant focal length case. Although Sturm and Kahl have given a complete classification of the critical motion sequences in the variable focal length case, this special case has not been studied yet.

Secondly, we have investigated the resolution part of the self-calibration problems. These problems usually lead to an algebraic equation system which is solved by minimizing a cost function. Local minimization methods are generally used. They need a good initial solution and they do not provide any guaranty on the found optimum (many local minima are present, due to the non linearity of the cost function). The calibration step is a crucial step and affects the other steps such as reconstruction. Thus, we have tried to obtain guaranties on the solutions. To do this, we have looked at the Interval Analysis which is an arithmetic of intervals instead of the classical arithmetic of reals. Interval Analysis can bound a cost function by interchanging real variables and interval variables. Combining Interval Analysis and the so-called Branch and Bound methods gives a global optimization method which assures to obtain the global minimum of a cost function, if it exists. However the use of this method is not straightforward. Interval Analysis has indeed unusual arithmetic properties (such as multiplication sub-distributivity). If we directly transform the cost function into an interval cost function, then the computation time to obtain the global minimum is too high for pratical uses. We have transformed the self-calibration equations, by applying symbolic factorizations for instance. Thus we have obtained guaranteed solutions on real image sequences in less than a minute.

Keywords : Calibration, self-calibration, 3D reconstruction, interval global optimization, guaran-teed global solutions.

Remerciements

Je tiens `a remercier M. Jean-Marc Lavest et M. Peter Sturm d’avoir accept´e d’ˆetre rapporteurs de la th`ese et de l’int´erˆet qu’ils ont bien voulu accorder `a mon travail.

Je remercie sinc`erement Adrien Bartoli de m’avoir accueilli au LASMEA et d’avoir accept´e d’ˆetre examinateur.

Je remercie ´egalement Fr´ed´eric Messine de nous avoir ´eclair´e sur le monde des intervalles et d’avoir accept´e d’ˆetre examinateur

Je souhaite remercier Patrice Dalle de m’avoir accueilli dans son ´equipe et d’avoir accept´e d’ˆetre examinateur.

Je remercie vivement Pierre Gurdjos pour son encadrement, sa disponibilit´e et son enthousiasme. C’est grˆace aux apr`es-midi pass´ees avec lui devant le tableau que je me suis form´e `a la g´eom´etrie projective.

Je remercie chaleureusement Alain Crouzil, pour son soutien sans faille, ses multiples relectures, la bonne humeur dans le bureau mais aussi ses connaissances avis´ees en vin et en champignons. Merci de m’avoir ´ecout´e, compris et encourag´e durant toutes ses ann´ees.

Un grand merci `a l’´equipe TCI, pour la bonne ambiance et les pots du Sud-Ouest presque l´egendaires. Merci aux anciens doctorants comme Sylvie, Fr´ed´eric, Hugo ou Julien de m’avoir fait profiter de leur exp´erience. Merci `a Fr´ed´eric et Guillaume de m’avoir encourag´e `a goˆuter `a la pomme. J’exprime ma gratitude `a l’ensemble du personnel de l’IRIT, dont, entre autres, Anne-Marie Poc-quet, Jean-Pierre et Agathe Baritaud, Fran¸coise Agar.

Je remercie ´egalement tous mes amis et ma famille, en particulier tous ceux qui ont compris que je ne pouvais pas toujours ˆetre pr´esent parmi eux.

Merci `a toutes les sources diverses d’omega 3 pour m’avoir inspir´e le jour comme la nuit.

Je remercie particuli`erement Capucine pour sa compr´ehension et sa patience. Merci de m’avoir ´epous´e dans la tumulte de la r´edaction de ce manuscrit.

Table des mati`

eres

Table des figures xiii

Liste des tableaux xv

1 Introduction 1

1.1 Vision par ordinateur . . . 1

1.2 G´eom´etrie de plusieurs vues . . . 1

1.3 Calibrage et autocalibrage . . . 2

1.4 Solutions temps r´eel ou solutions globales garanties . . . 2

1.5 Motivations . . . 3

1.6 Organisation du m´emoire . . . 4

2 G´eom´etrie de plusieurs vues 7 2.1 Notations et terminologie . . . 7

2.2 Notions de g´eom´etrie projective . . . 8

2.2.1 Espaces projectifs . . . 10

2.2.2 Primitives . . . 11

2.2.3 Transformations . . . 15

2.3 G´eom´etrie de plusieurs vues . . . 21

2.3.1 Mod`eles de cam´era . . . 21

2.3.2 G´eom´etrie d’une vue . . . 25

2.3.3 G´eom´etrie de deux vues . . . 30

2.3.4 G´eom´etrie de trois vues . . . 35

2.3.5 G´eom´etrie de N vues . . . 36

2.4 M´ethodologie de r´esolution d’un probl`eme de g´eom´etrie de plusieurs vues pour la vision 40 2.4.1 Introduction . . . 40

2.4.2 Rassembler les donn´ees . . . 40

2.4.3 Formuler le probl`eme . . . 40

2.4.4 Exprimer les contraintes . . . 41

2.4.5 R´esoudre les ´equations . . . 41

2.4.6 Interpr´eter les r´esultats . . . 41

2.5 Conclusion . . . 42

3 Analyse d’intervalle et optimisation globale par intervalles 43 3.1 Analyse d’intervalle . . . 43

3.1.1 Introduction . . . 43

3.1.2 Concepts de base . . . 45

3.1.3 Racines d’une fonction . . . 51

3.1.4 R´esolution de syst`emes d’´equations . . . 54

3.1.5 Impl´ementation sur machine . . . 56

3.2 Optimisation globale par intervalles . . . 57

3.2.1 Introduction . . . 57

3.2.2 Pr´esentation de la m´ethode . . . 60

3.2.3 Algorithme g´en´eral . . . 62

3.2.4 Illustration sur une fonction d’une variable . . . 63

3.2.5 Remarques . . . 63

3.2.6 Illustration sur une fonction de deux variables . . . 64

3.2.7 Am´eliorations de l’algorithme . . . 67

3.3 Applications diverses . . . 68

3.4 Etat de l’art de l’utilisation des intervalles en vision par ordinateur . . . .´ 69

3.4.1 Calibrage et triangulation . . . 69

3.4.2 Autocalibrage plan et autocalibrage 3D . . . 71

3.5 Passer aux intervalles . . . 71

3.5.1 Par o`u commencer? . . . 71

3.5.2 Logiciels . . . 72

3.5.3 Transformer un code en intervalles . . . 73

3.5.4 Appliquer l’analyse d’intervalle `a un probl`eme concret . . . 74

3.6 Conclusion . . . 74

4 Autocalibrage plan 77 4.1 Introduction . . . 77

4.2 El´ements de calibrage plan´ . . . 79

4.3 G´eom´etrie de l’autocalibrage plan . . . 82

4.3.1 Position du probl`eme . . . 82

4.3.2 Les ´equations ponctuelles de l’autocalibrage plan . . . 85

4.3.3 Les ´equations duales de l’autocalibrage plan . . . 86

4.3.4 Param´etrage minimal . . . 87

4.3.5 Lien avec la contrainte de Malis . . . 88

4.3.6 Lien avec la contrainte de Menudet . . . 88

4.3.7 Formulation du probl`eme . . . 89

4.4 Une solution garantie . . . 89

4.4.1 Probl´ematique . . . 89

4.4.2 Mod`ele simplifi´e de cam´era . . . 90

4.4.3 Etude de la fonction objectif . . . .´ 91

4.4.4 Impl´ementation . . . 95

4.5 Exp´erimentations . . . 96

4.5.1 Donn´ees de synth`ese . . . 96

4.5.2 Images r´eelles . . . 97

4.6 Application aux mosa¨ıques rectifi´ees . . . 100

4.6.1 Principe . . . 100

4.6.2 R´esultats . . . 101

4.7 Discussion . . . 101

4.7.1 Influence du nombre d’inconnues . . . 101

4.8 Efficacit´e des tests d’´elimination de boˆıtes . . . 102

4.9 Remarque sur les mouvements critiques . . . 103

5 Autocalibrage 3D 107 5.1 Introduction . . . 107 5.2 G´eom´etrie de l’autocalibrage 3D . . . 108 5.2.1 Position du probl`eme . . . 108 5.2.2 Equations de l’autocalibrage 3D . . . 110´ 5.2.3 M´ethodes d’autocalibrage 3D . . . 112 5.3 Strat´egie propos´ee . . . 117 5.4 Singularit´es g´en´eriques . . . 118 5.4.1 Travaux ant´erieurs . . . 118

5.4.2 Distance focale constante inconnue . . . 123

5.5 Une solution garantie . . . 129

5.5.1 Travaux ant´erieurs . . . 129 5.5.2 Notre strat´egie . . . 130 5.6 R´esultats . . . 131 5.6.1 Donn´ees de synth`ese . . . 131 5.6.2 Donn´ees r´eelles . . . 132 5.7 Conclusion . . . 136

6 Conclusions, r´eflexions et perspectives 139 6.1 Bilan des contributions . . . 139

6.2 Recherche d’un crit`ere g´eom´etrique de minimisation pour l’autocalibrage plan . . . 139

6.3 Gestion des mouvements critiques . . . 141

6.4 Potentiels de l’optimisation globale par intervalles . . . 142

6.5 Vers une solution garantie g´en´erique? . . . 143

Annexe 145

Bibliographie 149

Table des figures

1.1 Diverses approches de r´esolution d’un probl`eme non lin´eaire. . . 4

2.1 Relations entre les images et la sc`ene. . . 10

2.2 Relations entre les espaces intervenant dans la g´eom´etrie de plusieurs vues. . . 10

2.3 Passage d’un carr´e dans plusieurs espaces successifs en appliquant des transformations. 20 2.4 Rectifications affines et euclidiennes d’une sc`ene 2D ou d’une sc`ene 3D. . . 21

2.5 Formation des images dans le mod`ele st´enop´e. . . 23

2.6 Formation des points de fuite et des lignes de fuite. . . 26

2.7 Conique absolue Ω∞ et son image ω, points cycliques I± et leurs images x±. . . 27

2.8 G´eom´etrie d’une vue. . . 28

2.9 G´eom´etrie ´epipolaire. . . 31

2.10 Sc`ene plane et homographie. . . 32

2.11 Homographie du plan `a l’infini. . . 33

2.12 G´eom´etrie de deux vues. . . 34

2.13 G´eom´etrie de trois vues. . . 37

2.14 G´eom´etrie de N vues. . . 38

3.1 Comparaison de la qualit´e de l’encadrement de trois extensions naturelles. . . 49

3.2 Comparaison de la qualit´e de l’encadrement de quatre fonctions d’inclusion. . . 51

3.3 Convergence de la largeur de l’encadrement de trois fonctions d’inclusion. . . 52

3.4 Convergence de l’´ecart entre la largeur de l’encadrement de trois fonctions d’inclusion. 52 3.5 Repr´esentation graphique de la solution du syst`eme d’´equations (3.20). . . 55

3.6 _{Repr´esentation des cas possibles dans une multiplication de deux intervalles, x × y. . .} 57

3.7 Repr´esentation graphique de la fonction f `_{a minimiser sur [−3,3]. . . .} 58

3.8 Classification simplifi´ee et non exhaustive des m´ethodes d’optimisation globale. . . 61

3.9 _{Repr´esentation graphique de la fonction de Rastrigin sur [−5.12,6.12]}2_{. . . . 65}

3.10 Quelques exemples de parties du domaine ´elimin´ees au cours de la minimisation. . . . 66

3.11 Reprojection dans une image et boˆıtes correspondantes. . . 70

3.12 Strat´egie possible pour l’optimisation globale par intervalles. . . 76

4.1 G´eom´etrie du calibrage plan. . . 79

4.2 Principe du calibrage plan et de l’autocalibrage plan. . . 80

4.3 Deux exemples de mires de calibrage 2D. . . 81

4.4 G´eom´etrie de l’autocalibrage plan. . . 84

4.5 G´eom´etrie duale de l’autocalibrage plan. . . 86

4.6 Evaluation de la qualit´e d’encadrement de plusieurs fonctions d’inclusion. . . .´ 93

4.7 Evaluation de la qualit´e d’encadrement de la fonction d’inclusion semi-symbolique. . .´ 94

4.8 Comportement de l’algorithme pour diff´erents niveaux de bruit. . . 98

4.9 Comportement de l’algorithme pour diff´erents nombres d’images. . . 99

4.10 R´esultats pour des images r´eelles. . . 100

4.11 Mosa¨ıque rectifi´ee pour la s´equence tagger. . . 105

4.12 Mosa¨ıque rectifi´ee pour la s´equence sol. . . 106

5.1 G´eom´etrie de l’autocalibrage 3D. . . 110

5.2 G´eom´etrie duale de l’autocalibrage 3D. . . 111

5.3 Les trois approches de l’autocalibrage 3D. . . 112

5.4 Classification des singularit´es de l’autocalibrage 3D. . . 120

5.5 Entit´es g´eom´etriques virtuelles utilis´ees pour la recherche des mouvements critiques. . 120

5.6 Une conique Φ vue comme un cercle par une cam´era plac´ee en V. . . 121

5.7 Mouvements critiques g´en´eriques dans le cas d’une distance focale variable. . . 124

5.8 Mouvements critiques g´en´eriques dans le cas d’une distance focale constante inconnue. 128 5.9 Exemple de bornes de deux fonctions d’inclusion d’un r´esidu. . . 131

5.10 Exp´eriences de synth`ese : erreur 3D et temps de calcul. . . 133

5.11 Dispositifs exp´erimentaux dans les cas de singularit´es artificielles. . . 134

5.12 Erreur 3D et ´ecart-type pour des mouvements proches de singularit´es artificielles. . . . 135

5.13 Exp´erience sur une s´equence d’images r´eelles. . . 135

5.14 Images de la s´equence Valbonne. . . 137

Liste des tableaux

2.1 Principaux objets g´eom´etriques utilis´es dans ce document et symboles correspondants. 9

2.2 Quelques primitives 2D de P2. . . 13

2.3 Quelques primitives 3D de P3. . . 16

2.4 R`egles d’application d’une transformation H sur quelques primitives 2D. . . 17

2.5 Transformations 2D. . . 18

2.6 R`egles d’application d’une transformation H sur quelques primitives 3D. . . 18

2.7 Transformations 3D. . . 19

2.8 Terminologie des probl`emes rencontr´es en g´eom´etrie de plusieurs vues. . . 24

3.1 Evaluations de la fonction (3.1) pour diff´erents types de donn´ees.´ . . . 44

3.2 Comparaison de quatre fonctions d’inclusion. . . 50

4.1 Estimation et temps de calcul pour des variations des param`etres internes. . . 98

5.1 Avantages et inconv´enients des trois approches d’autocalibrage 3D. . . 116

5.2 Liste des mouvements critiques pour le cas d’une distance focale constante inconnue. . 127

5.3 Historique des m´ethodes d’autocalibrage 3D cherchant une solution globale. . . 129

Chapitre 1

Introduction

1.1

Vision par ordinateur

Nous vivons dans un monde dans lequel les images sont omnipr´esentes. La d´emocratisation des tech-nologies num´eriques durant ces vingt derni`eres ann´ees a offert au grand public la possibilit´e de r´ealiser des acquisitions de photographies et de vid´eos de qualit´e avec des appareils bon march´e. Le monde en trois dimensions (3D) qui nous entoure est ainsi (( captur´e )) sur des images en deux dimensions (2D). Nous perdons une dimension et donc manifestement une certaine information. Un processus similaire de formation des images prend place chez l’ˆetre humain : des images en 2D se forment sur la r´etine des yeux. Dans ce cas, le cerveau humain analyse et interpr`ete ces images afin d’acc´eder au monde en 3D. Il est capable de r´ealiser des op´erations complexes, qui nous semblent pourtant naturelles, comme la perception de la profondeur, la perception du mouvement ou la reconnaissance d’objets ou de formes. La vision par ordinateur essaie de r´ealiser de telles tˆaches, en inf´erant des informations sur le monde `

a partir des images. Le dispositif d’acquisition de ces images, que nous appelons (( cam´era )), joue le rˆole de l’œil et l’ordinateur joue le rˆole du cerveau.

La vision par ordinateur s’oriente vers plusieurs axes, dont les principaux sont : – l’analyse du mouvement ;

– la reconnaissance des formes ; – la reconnaissance du relief.

Dans ce m´emoire, nous nous int´eressons `a la reconnaissance du relief, et en particulier `a la reconstruc-tion tridimensionnelle, qui consiste `a reconstruire en 3D, `a partir d’images 2D, une sc`ene fixe observ´ee par une cam´era en mouvement ou une sc`ene rigide en mouvement observ´ee par une cam´era fixe.

La vision par ordinateur a ´etabli de nombreux r´esultats fondamentaux dont certains ont trouv´e des applications dans la vie de tous les jours dans des domaines aussi vari´es que le cin´ema, les jeux vid´eos, la robotique, la s´ecurit´e automobile, la localisation g´eographique, la chirurgie, l’accessibilit´e aux handicap´es, etc.

1.2

G´

eom´

etrie de plusieurs vues

Nous disposons de mod`eles math´ematiques de la cam´era qui d´ecrivent la transformation d’un point de la sc`ene en un point de l’image. On utilise g´en´eralement un mod`ele g´eom´etrique de cam´era fond´e sur la notion de st´enop´e ou (( trou d’aiguille )), qui constitue une approximation de la formation de l’image par une projection centrale, ce qui correspond `a la majorit´e des appareils. Si ce processus g´eom´etrique est tr`es simple, son inverse, retrouver un point de la sc`ene `a partir d’un point de l’image, l’est beaucoup moins. Pour y parvenir, nous exploitons l’information dont nous disposons, les images

principalement, afin de mettre en ´evidence des relations g´eom´etriques entre des primitives (telles que des points) des diff´erentes images et entre des primitives des images et des primitives de la sc`ene. La g´eom´etrie de plusieurs vues a pour rˆole l’´etude de ces relations. Elle s’appuie sur la g´eom´etrie projective. D’une part, cet outil poss`ede un aspect pratique qui permet de simplifier les manipulations math´ematiques, par exemple en rendant lin´eaires de nombreuses relations. D’autre part, la g´eom´etrie projective est n´ecessaire pour appr´ehender l’(( infini )) et ainsi manipuler certaines entit´es g´eom´etriques particuli`eres. Lorsque suffisamment de relations g´eom´etriques sont r´eunies, le probl`eme peut alors ˆetre mis en ´equations. La r´esolution math´ematique de ces ´equations nous donne les param`etres des entit´es g´eom´etriques recherch´ees.

1.3

Calibrage et autocalibrage

Le mod`ele de cam´era que nous utilisons poss`ede onze param`etres, dont six (les param`etres externes) permettent de localiser la cam´era dans l’espace et cinq (les param`etres internes) caract´erisent la partie interne de celle-ci. Le calibrage de la cam´era est l’action de d´eterminer une partie ou la totalit´e de ces param`etres. Mˆeme s’il est possible de r´ealiser certaines tˆaches de vision par ordinateur sans calibrage, la plupart des algorithmes requi`erent les param`etres de la cam´era. Par exemple, `a partir de quelques images et sans calibrage, il est possible d’obtenir une reconstruction 3D de la sc`ene. Cependant, cette reconstruction n’est pas conforme `a ce que nos yeux voient : les angles et les longueurs de la sc`ene reconstruite, entre autres, ne correspondent pas `a la r´ealit´e. Le calibrage est ainsi n´ecessaire pour obtenir une reconstruction fid`ele au monde que nous observons.

Pour calibrer une cam´era, on utilise g´en´eralement une mire, un objet 3D dont on connaˆıt la forme et les dimensions. Cette structure g´eom´etrique connue permet d’´etalonner le mod`ele de la cam´era et d’en trouver les param`etres, `a partir de points de r´ef´erence connus dans la mire et de leurs projections dans les images. Il est ´egalement possible de calibrer avec une mire plane (2D). De nombreuses m´ethodes de calibrage dites flexibles proposent de se fabriquer une mire plane soi-mˆeme en imprimant un motif `

a coller sur une surface plane.

Plus r´ecemment, les m´ethodes de calibrage ont encore gagn´e en flexibilit´e puisqu’il est possible de se passer de mire et de calibrer la cam´era `a partir uniquement des images et de quelques hypoth`eses tr`es peu restrictives sur ses param`etres internes. Ces m´ethodes sont appel´ees m´ethodes d’autocalibrage et ont ´et´e largement ´etudi´ees. Notamment, on sait depuis 1998 qu’il est possible d’autocalibrer avec une surface plane. Un autre avantage des m´ethodes d’autocalibrage est la possibilit´e de consid´erer que les param`etres internes de la cam´era sont variables, ce qui permet alors d’utiliser le zoom ou bien l’autofocus par exemple. Le principe de l’autocalibrage est d’utiliser des cibles virtuelles, contraintes g´eom´etriquement par des informations a priori ´eventuelles sur les param`etres internes de la cam´era. Ces cibles sont des entit´es imaginaires (sans r´ealit´e physique), localis´ees `a l’infini, qui sont invariantes lors des mouvements de la cam´era. Les m´ethodes d’autocalibrage n´ecessitent g´en´eralement un traitement math´ematique plus complexe que les m´ethodes de calibrage.

Notons que les probl`emes de calibrage et d’autocalibrage poss`edent des mouvements critiques, qui sont des mouvements de la cam´era pour lesquels l’autocalibrage ou la reconstruction 3D sont ambigus, donc impossibles. Parmi ces mouvements, on distingue les mouvements critiques g´en´eriques, inh´erents `a la mod´elisation du probl`eme, et les mouvements critiques artificiels, issus de la r´esolution du probl`eme.

1.4

Solutions temps r´

eel ou solutions globales garanties

La r´esolution math´ematique des ´equations intervenant dans un probl`eme li´e `a la g´eom´etrie de plu-sieurs vues est un probl`eme `a part enti`ere. Il n’est d’ailleurs pas rare de voir des travaux d´edi´es `a la

r´esolution d’un probl`eme dont la mod´elisation est d´ej`a bien connue. De ce fait, les solutions lin´eaires exhibent un certain attrait. Elles garantissent l’obtention de la solution, `a condition d’avoir suffisam-ment d’´equations, `a partir de m´ethodes que l’on peut mettre en œuvre facilesuffisam-ment et rapidesuffisam-ment. `A ce titre, un certain engouement pour la rapidit´e d’ex´ecution des algorithmes s’est d´evelopp´e dans la communaut´e de la vision par ordinateur. La possibilit´e d’embarquer des algorithmes de vision sur des cam´eras a particip´e `a cet envol.

Si les ´equations sont lin´eaires, il est tout `a fait logique de chercher une solution lin´eaire. Lorsqu’elles ne sont pas lin´eaires, les ´equations sont formul´ees sous la forme d’une fonction de coˆut `a minimiser et on a souvent recours `a une m´ethode d’optimisation non lin´eaire, locale et it´erative, n´ecessitant une bonne solution initiale. Nous simplifions alors volontairement le probl`eme (ajout d’hypoth`eses, abandon d’´equations, etc.) et les ´equations sont ainsi rendues lin´eaires dans le but de calculer cette solution initiale. Il y a plusieurs inconv´enients `a cette approche qui consiste `a rendre les ´equations lin´eaires. D’une part, la bonne convergence de l’algorithme d’optimisation (la convergence vers le minimum global et pas vers un minimum local) est tr`es d´ependante de la qualit´e de la solution initiale. Rien ne garantit d’atteindre le minimum global de la fonction de coˆut. D’autre part, la simplification du probl`eme peut entraˆıner des singularit´es artificielles, non pr´esentes dans les ´equations initiales.

La puissance de calcul des machines augmentant, l’utilisation de m´ethodes d’optimisation globale, permettant souvent de s’affranchir de la solution initiale, s’est d´emocratis´ee. Plus r´ecemment, nous avons assist´e `a l’apparition en vision par ordinateur de m´ethodes d’optimisation globale et (( garanties )). Celles-ci garantissent de trouver le minimum global sans simplifier le probl`eme (donc en gardant le formalisme non lin´eaire) ou en simplifiant le probl`eme mais en tenant compte pendant la minimisation des inconv´enients alors provoqu´es. Ces m´ethodes ont l’inconv´enient majeur d’ˆetre bien plus lentes que les m´ethodes locales, de par le caract`ere exhaustif de la recherche de la solution, mais elles offrent une certaine s´ecurit´e quant `a l’obtention de la solution. Ces diff´erentes approches sont rassembl´ees sur la figure 1.1.

1.5

Motivations

Dans ces travaux, nous nous int´eressons aux probl`emes de g´eom´etrie de plusieurs vues et en parti-culier `a l’autocalibrage d’une cam´era, dans le cadre de la reconstruction 3D d’une sc`ene quelconque. Nous consid´erons d’une part le probl`eme de l’autocalibrage plan dans lequel il existe manifestement une redondance dans les param`etres de la formulation introduite initialement par Triggs [Triggs 98]. Nous nous int´eressons ´egalement `a l’autocalibrage 3D. Nous constatons que ce probl`eme est souvent rendu lin´eaire afin d’obtenir une solution initiale. Ceci introduit des mouvements critiques de la cam´era suppl´ementaires, qu’il est probable d’effectuer en pratique. Un exemple d’un tel mouvement est un d´eplacement de la cam´era fixant toujours approximativement le mˆeme point dans la sc`ene. Nous pen-sons qu’il est plus judicieux de disposer d’un algorithme d’autocalibrage 3D qui souffre du plus petit nombre de mouvements critiques et qui offre la garantie de la solution globale.

D’un autre cˆot´e, nous cherchons `a obtenir des solutions garanties `a des probl`emes de g´eom´etrie de plusieurs vues. Pour cela, nous avons choisi d’´etudier l’optimisation globale par intervalles. Cette m´ethode est fond´ee sur l’analyse d’intervalle, dans laquelle les r´eels sont remplac´es par des intervalles. Le fondement du caract`ere garanti de l’optimisation globale par intervalles est la capacit´e de l’analyse d’intervalle `a encadrer des fonctions analytiques quelconques. La complexit´e des ´equations `a r´esoudre n’est pas une limitation r´eelle de cette m´ethode. En revanche, le nombre d’inconnues est un facteur limitant. Actuellement, la m´ethode est capable de traiter des probl`emes d’une dizaine de variables. C’est suffisant pour certains probl`emes de g´eom´etrie comme l’autocalibrage. Nous allons donc essayer de comprendre dans quelle mesure cette m´ethode d’optimisation peut ˆetre appliqu´ee aux probl`emes qui nous concernent et quels sont les efforts n´ecessaires pour obtenir une solution dans un temps

Simplification du probl`eme

Solution lin´eaire, n’existe pas toujours

(singularit´es artificielles) Solution non garantie Solution non garantie Solution garantie Solution garantie Solution garantie

Probl`eme lin´eaire <sub>non lin´eaire</sub>Probl`eme

Probl`eme simplifi´e, lin´eaire Optimisation lin´eaire Optimisation locale non lin´eaire, avec solution initiale Optimisation globale non lin´eaire sans solution initiale Optimisation globale lin´eaire avec contraintes Optimisation globale non lin´eaire

Rapidit´e, facilit´e de mise en œuvre

S´ecurit´e par rapport aux mouvements critiques, garantie de la solution

Fig. 1.1 – Diverses approches de r´esolution d’un probl`eme non lin´eaire.

raisonnable.

1.6

Organisation du m´

emoire

Ce m´emoire est organis´e comme suit :

– Chapitre 2 : nous examinons les fondements de la g´eom´etrie de plusieurs vues, dont les bases nous serviront par la suite. Nous tentons ´egalement de synth´etiser ce qu’il est possible de faire, d’un point de vue g´eom´etrique et applicatif, avec un nombre fix´e de vues.

– Chapitre 3 : nous pr´esentons l’analyse d’intervalle, dont les propri´et´es ne sont pas toutes intuitives compar´ees `a celles de l’analyse r´eelle. Nous ´etudions ´egalement les algorithmes qui constituent la m´ethode d’optimisation globale par intervalles.

– Chapitre 4 : il concerne l’autocalibrage plan, dont le formalisme th´eorique est tout d’abord rappel´e. Nous montrons les redondances dans la formulation et nous proposons un param´etrage minimal, qui est compar´e aux autres approches connues. Le probl`eme est non lin´eaire par essence et nous proposons de calculer une solution garantie dans un temps raisonnable. Pour cela, nous ´etudions et transformons les ´equations afin d’utiliser l’optimisation globale par intervalles. – Chapitre 5 : l’autocalibrage 3D est ´etudi´e ici. Nous nous attardons sur les approches existantes et

nous constatons que la plupart de celles-ci simplifient le probl`eme et ne respectent pas certaines contraintes g´eom´etriques, introduisant des mouvements critiques artificiels. D’une part, nous proposons d’´etudier les mouvements critiques g´en´eriques (inh´erents au formalisme et non `a la r´esolution) dans le cas de param`etres internes connus sauf une distance focale constante et inconnue, cas qui n’avait pas encore ´et´e ´etudi´e jusqu’`a pr´esent. D’autre part, nous proposons un algorithme g´en´eral, qui ne simplifie pas le probl`eme et qui permet l’obtention d’une solution garantie.

Chapitre 2

G´

eom´

etrie de plusieurs vues

L’analyse sous-jacente de nombreux probl`emes de vision par ordinateur peut ˆetre mod´elis´ee en utilisant la g´eom´etrie de plusieurs vues. C’est par exemple le cas de la reconstruction tridimensionnelle ou de la r´ealit´e augment´ee. La g´eom´etrie de plusieurs vues est un outil math´ematique qui permet l’´etude des relations liant, d’une part, les diverses primitives g´eom´etriques (des points, des plans, etc.), pr´esentes dans la sc`ene ou dans les images et, d’autre part, des transformations g´eom´etriques (une rotation, une homographie, etc.), appliqu´ees `a ces primitives. Ces relations math´ematiques sont g´en´eralement appel´ees des contraintes et permettent une mise en ´equation du probl`eme pos´e. La d´ecouverte de ces contraintes est une ´etape importante mais la mise en œuvre de leurs propri´et´es en est une autre. En effet, celles-ci vont d´eterminer la mani`ere de r´esoudre le probl`eme math´ematique (solution lin´eaire, optimisation, etc.).

Les notations que nous utilisons sont rassembl´ees dans la section 2.1. La section 2.2 pr´esente quelques notions de la g´eom´etrie projective. La g´eom´etrie de plusieurs vues est ensuite ´etudi´ee dans la section 2.3. Enfin, dans la section 2.4, nous donnons les grandes lignes de la d´emarche g´en´eralement adopt´ee pour r´esoudre un probl`eme li´e `a cette g´eom´etrie.

2.1

Notations et terminologie

La compr´ehension de ce document n´ecessite des pr´erequis d’alg`ebre et de g´eom´etrie affine. Une grande partie des notations utilis´ees dans ce document sont issues de [Hartley 03]. Une matrice M est not´ee en lettres majuscules et en caract`eres gras. Un vecteur t est not´e en lettres minuscules et en caract`eres gras. Les termes I et 0 repr´esentent respectivement la matrice identit´e et le vecteur nul, de taille variable, identifi´ee selon le contexte. Le contenu des matrices et des vecteurs est repr´esent´e `

a l’int´erieur de parenth`eses. En particulier, la matrice A = (a1 | a2 | a3) est la matrice obtenue

par la concat´enation des vecteurs colonnes a1, a2 et a3. De plus, nous utilisons quelques notations

issues de Matlab. La notation 1 : n d´ecrit l’ensemble des entiers entre 1 et n. L’´ecriture M(1:r,1:c)

repr´esente la sous-matrice de taille r × c de M s´electionn´ee par l’ensemble des lignes 1 : r et l’ensemble des colonnes 1 : c. La notation M_(:,1:c), respectivement M_(1:r,:), s´electionne les c, respectivement r, premi`eres colonnes, respectivement lignes, de M. Les op´erateurs Diag(t), Rang(M), Ker(M), Im(M) et Vect(t1,t2) d´esignent la matrice diagonale, de diagonale t, le rang de M, le noyau de M, l’image

de M et l’espace vectoriel engendr´e par les vecteurs t1 et t2, respectivement.

La notation i, lorsqu’elle n’est pas utilis´ee en indice ou en exposant, fait r´ef´erence au nombre imaginaire √_{−1. Le produit vectoriel de deux vecteurs x et y est not´e x ∧ y . La matrice [x]}∧, avec

x = (x1,x2,x3)⊤, fait r´ef´erence `a la matrice antisym´etrique, [x]∧ =   0 _−x3 x2 x3 0 −x1 −x2 x1 0   , (2.1)

d’ordre trois et telle que [x]∧y = x∧y, y ∈ R3. Le symbole ∼ d´esigne l’´egalit´e `a un facteur multiplicatif

pr`es.

La tableau 2.1 regroupe la plupart des symboles utilis´es. Certains symboles, comme les points 2D, sont g´en´eriques et peuvent prendre d’autres notations. D’autres, comme la conique absolue, sont parti-culiers et sont fix´es. Sauf indication explicite, nous confondrons volontairement les objets g´eom´etriques, que nous manipulons, et leurs repr´esentations matricielles. Ainsi, (( le point p )) d´esigne `a la fois un point g´eom´etrique 2D et le vecteur de coordonn´ees qui le repr´esente. Nous d´esignerons par le terme (( sc`ene )) le monde observ´e par la cam´era et par les termes (( vue )) ou, indiff´eremment, (( image )), l’image obtenue par la cam´era observant la sc`ene.

2.2

Notions de g´

eom´

etrie projective

Dans cette section et dans ce document en g´en´eral, nous ferons souvent des raccourcis ou des simplifications concernant les notions de g´eom´etrie projective. Le lecteur d´esireux d’avoir un appro-fondissement sur ces aspects peut consulter [Berger 90] et [Faugeras 01]. La g´eom´etrie projective est souvent d´efinie comme la branche des math´ematiques qui recherche et ´etudie les invariants. Elle est `

a la base de la g´eom´etrie de plusieurs vues, puisque le mod`ele de cam´era le plus couramment utilis´e s’appuie sur la g´eom´etrie projective. Essayons de mieux comprendre comment. Le sch´ema de la figure 2.1 montre grossi`erement l’effet d’une cam´era observant une sc`ene 3D : `a partir d’une sc`ene 3D eu-clidienne (dont les primitives g´eom´etriques, telles que les points, appartiennent `a R3), nous obtenons une ou plusieurs images 2D euclidiennes (des ensembles de pixels que nous pouvons mesurer dans R2). Nous avons ´egalement plac´e sur cette figure la tˆache principale de la g´eom´etrie de plusieurs vues, la reconstruction 3D, qui consiste `a retrouver la sc`ene 3D `a partir des images 2D. La g´eom´etrie projective est un outil qui introduit des espaces projectifs, non euclidiens, permettant de simplifier les mod`eles math´ematiques impliqu´es dans la formation des images. En utilisant ces espaces, la figure 2.1 peut ˆetre r´e´ecrite comme le montre la figure 2.2. La sc`ene 3D de R3 est d’abord vue dans l’espace projectif P3, qui peut ˆetre vu comme R3auquel est ajout´e l’infini (en fait, le plan `a l’infini). Les entit´es g´eom´etriques de la sc`ene peuvent alors ˆetre d´ecrites dans cet espace P3<sub>. De la mˆeme mani`ere, une image 2D peut</sub>

ˆetre d´ecrite dans l’espace projectif P2 (aussi appel´e le plan projectif), qui peut ˆetre vu comme R2 augment´e de l’infini (en fait, la droite `a l’infini). Les entit´es g´eom´etriques de l’image peuvent alors ˆetre d´ecrites dans P2_{. Enfin, la cam´era (projective) transforme les primitives g´eom´etriques de P}3 _en

primitives g´eom´etriques de P2.

Lorsque nous effectuons une reconstruction 3D (par exemple une reconstruction de points 3D), nous voyons que nous devons :

1. D´ecrire les images (les points 2D euclidiens de R2) dans P2. C’est une ´etape directe.

2. Transformer (reconstruire) les points 2D de P2 afin de retrouver leurs correspondants 3D dans P3_{. Cette ´etape, difficile, n´ecessite de mettre en correspondance des images et de retrouver les} positions relatives des cam´eras dans P3.

3. Transformer les points 3D projectifs de P3 en points 3D euclidiens de R3. Cette ´etape, difficile ´egalement, n´ecessite le calibrage (interne) des cam´eras. Nos travaux concernent principalement ce point.

La g´eom´etrie projective nous permet ainsi de mod´eliser et d’´etudier le passage des ´el´ements d’une sc`ene `a ceux des images et vice versa. Dans cette section, nous rappelons quelques bases de la g´eom´etrie

Symboles Objets g´eom´etriques repr´esent´es

x, d, X Point 2D, droite 2D, point 3D

L, L∗

Matrice de Pl¨ucker et matrice de Pl¨ucker duale d’une droite 3D

π Plan

K Matrice de calibrage

R, t Matrice de rotation et vecteur de translation d´ecrivant la position d’une cam´era

Pj_{, P}jA_{, P}jE Matrices de projection d’une cam´era correspondant `a la vue j,

dans un rep`ere projectif, affine et euclidien

Xi, XAi , XEi

i`eme point 3D de la sc`ene, dans un rep`ere projectif, affine et euclidien

xj_i i`eme point 2D de la vue j

N Nombre de vues

n Nombre de points dans la sc`ene ou dans la vue

F Matrice fondamentale

ei_{, e}j _{Epipˆ´ oles relatifs `a deux vues i et j}

E Matrice essentielle

π∞ Plan `a l’infini

l∞, l Droite `a l’infini, associ´ee `a un plan π, et sa projection, la ligne

de fuite de π

Ω∞, ω

Conique absolue (CA) et sa projection, l’image de la conique absolue (ICA)

Ω⋆∞, ω⋆

Conique absolue duale (CAD) et sa projection, l’image de la conique absolue duale (ICAD)

Q⋆

∞ Quadrique absolue duale (QAD)

I±, x±

Points cycliques (PC) et leurs projections, les images des points cycliques (IPC)

C∗

∞, C

∗ Conique duale aux PC (CDPC) et sa projection, l’image de la

conique duale aux points cycliques (ICDPC)

H∞ Homographie du plan `a l’infini

Hij _{Homographie de la vue i vers la vue j}

Hj _{Homographie de la vue-clef vers la vue j}

Tab. 2.1 – Principaux objets g´eom´etriques utilis´es dans ce document et symboles correspondants. Le terme (( projection )) fait r´ef´erence `a la projection d’un objet g´eom´etrique dans une vue.

projective, utiles `a la compr´ehension de la suite de ce manuscrit. Il s’agit principalement, en 2D et en 3D, de primitives, de transformations et d’invariants g´eom´etriques. Ces invariants et leurs propri´et´es permettent de formuler les contraintes d´ej`a ´evoqu´ees.

Sc`ene 3D

Images 2D

Reconstruction 3D Formation des images

Fig. 2.1 – Relations entre les images et la sc`ene.

Sc`ene 3D euclidienne (primitives euclidiennes de R3<sub>)</sub> Images 2D euclidiennes (primitives euclidiennes de R2<sub>)</sub> Reconstruction 3D projective Projection perspective projective Sc`ene 3D projective (primitives projectives de P3_{= R}3 ∪ ∞) Images 2D projectives (primitives projectives de P2_{= R}2 ∪ ∞) Reconstruction 3D euclidienne Projection perspective Rectification euclidienne Immersion dans P3 Immersion dans P2 Conversion dans R2

Fig. 2.2 – Relations entre les espaces intervenant dans la g´eom´etrie de plusieurs vues.

2.2.1 Espaces projectifs

L’espace projectif est l’espace support de la g´eom´etrie projective. En 2D, l’espace projectif est appel´e le (( plan projectif )) P2_{. Il est d´efini comme l’ensemble des directions de R}2 _{(l’ensemble des droites}

vectorielles de R2). Pour se repr´esenter P2, on peut imaginer l’œil d’un observateur plac´e `a l’origine de R2<sub>: chaque ´el´ement de P</sub>2 <sub>est une direction de son regard. Contrairement `a R</sub>2_{, P}2 _{ne poss`ede pas de</sub> point particulier et donc pas d’origine. Le plan projectif P2<sub>est associ´e `a l’espace vectoriel R}3_−(0,0,0)⊤

((0,0,0)⊤

ne correspond pas `a une direction de R2). Les ´el´ements de P2 sont exprim´es en coordonn´ees homog`enes sous la forme (x1,x2,x3)⊤. `A chaque point (x1,x2,x3)⊤ correspond une famille de vecteurs

de P2 sont d´efinis `a un coefficient multiplicatif pr`es : (x1,x2,x3)⊤ et (kx1,kx2,kx3)⊤ repr´esentent le

mˆeme point de P2 _{et la mˆeme direction dans R}2_{, quel que soit k 6= 0. Afin de rep´erer ses ´el´ements, P}2

peut ˆetre muni d’une base de quatre points dont aucun triplet n’est align´e (quatre droites vectorielles de R2 dont trois ne sont pas parall`eles). Dans P2, il est usuel d’utiliser la base projective canonique constitu´ee des vecteurs

e1= (1,0,0)⊤, e2 = (0,1,0)⊤, e3= (0,0,1)⊤ et e4 = (1,1,1)⊤. (2.2)

En 3D, les notions ´evoqu´ees pr´ec´edemment sont similaires. L’espace projectif P3 _{est associ´e `a}

l’es-pace vectoriel R4_{− (0,0,0,0)}⊤

et ses ´el´ements sont exprim´es en coordonn´ees homog`enes de la forme (x1,x2,x3,x4)⊤. La base canonique associ´ee est compos´ee des vecteurs

e1= (1,0,0,0)⊤, e2 = (0,1,0,0)⊤, e3 = (0,0,1,0)⊤, e4= (0,0,0,1)⊤ et e5 = (1,1,1,1)⊤. (2.3)

2.2.2 Primitives

2.2.2.1 Primitives 2D Les points (x,y)⊤

de R2sont vectoriellement ´equivalents `a des directions (ils peuvent ˆetre vus comme des vecteurs directeurs de droites passant par l’origine). On peut donc repr´esenter les points de R2 dans P2 <sub>avec des coordonn´ees homog`enes. Un point 2D (x,y)</sub>⊤

de R2 _{peut alors ˆetre repr´esent´e par}

x = (x1,x2,1)⊤ = (x,y,1)⊤ dans P2. Puisque les coordonn´ees homog`enes repr´esentent une primitive

`

a un coefficient multiplicatif pr`es, ce point peut ˆetre repr´esent´e de mani`ere ´equivalente par x = (kx1,kx2,k)⊤= (kx,ky,k)⊤, quel que soit k 6= 0. R´eciproquement, un point (x1,x2,x3)⊤tel que x3 6= 0,

de P2 correspond au point 2D de R2 de coordonn´ees (x1/x3,x2/x3)⊤. Les droites sont repr´esent´ees de

la mˆeme mani`ere que les points en coordonn´ees homog`enes, appel´ees parfois coordonn´ees tangentielles. Une droite d’´equation ax + by + c = 0 dans R2 _{est repr´esent´ee par le vecteur l = (a,b,c)}⊤

. Les relations entre les points et les droites s’´ecrivent simplement avec les coordonn´ees homog`enes. Ainsi, un point x = (x1,x2,x3)⊤ appartient `a une droite l = (a,b,c)⊤ ssi :

x⊤l = l⊤x = 0. (2.4)

Le point d’intersection x de deux droites l et l′

, s’obtient simplement par

x = l ∧ l′. (2.5)

La droite l passant par deux points x et x′

s’´ecrit

l = x ∧ x′. (2.6)

Nous pouvons remarquer que, dans ces formules, le rˆole des points et celui des droites sont interchan-geables. D’apr`es le principe de dualit´e [Hartley 03, chapitre 20], ceci est vrai en 2D dans toutes les relations impliquant des points et des droites. Dans P2, deux droites s’intersectent toujours. Si nous calculons l’intersection x de deux droites parall`eles de R2_{, l = (a,b,c)}⊤

et l′ = (a,b,c′ )⊤ , nous obtenons x = l ∧ l′ = (b, − a,0)⊤

. Dans P2_{, ces droites ne sont plus parall`eles et leur intersection x est appel´ee}

(( point id´eal )). La derni`ere coordonn´ee de sa repr´esentation en vecteur est nulle et il correspond `a un point situ´e (( `a l’infini )) dans R2. N´eanmoins, c’est un point comme les autres dans P2. Si nous calculons la droite passant par deux points id´eaux quelconques, (x1,x2,0)⊤ et (x′1,x

′ 2,0) ⊤ , on obtient la droite `a l’infini, l∞= (0,0,1)⊤, (2.7)

qui relie tous les points id´eaux. Cette droite, qui repr´esente la (( direction infinie )) ou encore l’ensemble des points d’intersection des droites parall`eles de R2_{, n’existe pas dans R}2_{. Dans P}2_{, l}

∞existe et c’est

une droite quelconque.

Dans nos travaux, nous utiliserons r´eguli`erement des coniques. Pour d´efinir une conique, au moins cinq points sont n´ecessaires. Une conique est repr´esent´ee en coordonn´ees homog`enes par une matrice de taille 3 × 3, regroupant les six coefficients de l’´equation du second degr´e qui la d´ecrit. Si cette ´equation est ax2 + bxy + cy2+ dx + ey + f = 0 pour des points (x,y) de R2, alors elle peut s’´ecrire ax2

1+ bx1x2+ cx22+ dx1x3+ ex2x3+ f x3= 0 pour des points (x1,x2,x3) de P2, et la matrice C associ´ee

` a la conique est : C =   a b/2 d/2 b/2 c e/2 d/2 e/2 f   . (2.8)

La matrice C poss`ede cinq degr´es de libert´e (six param`etres moins un car elle est homog`ene, c’est-`a-dire d´efinie `a un facteur multiplicatif pr`es). Elle est toujours sym´etrique et est de rang trois dans le cas g´en´eral. Un point x appartient `a la conique C ssi :

x⊤Cx = 0. (2.9)

La droite l = Cx est la droite polaire de x par rapport `a C et, r´eciproquement, x = C−1_{l est le}

pˆole de l par rapport `a C. Lorsque x (( se rapproche )) de C, l (( se rapproche )) de la tangente `a C en x, et lorsque x est un point de C, alors la droite Cx repr´esente la tangente `a C au point x. Si C n’est pas de rang trois, alors la conique est dite d´eg´en´er´ee. Elle n’est plus une conique unique, mais une famille de coniques. Si C est de rang deux, alors la conique d´eg´en´er´ee est form´ee de deux droites l et l′

et on a C = ll′⊤

+ l′

l⊤

. Si C est de rang un, alors la conique d´eg´en´er´ee est form´ee d’une droite double l (une droite r´ep´et´ee) et on a C = ll⊤

. Les coniques peuvent ˆetre class´ees selon la classification affine en ellipse, parabole et hyperbole. Il existe ´egalement une classification projective des coniques [Hartley 03, page 60].

Puisqu’on peut, d’apr`es le principe de dualit´e, ´echanger le rˆole des points et des droites, on peut d´efinir une conique comme un lieu de points ou une enveloppe de droites. Dans le second cas, nous appelons la conique ainsi obtenue, une (( conique duale )), not´ee C∗

. Une droite l appartient `a C∗

ssi :

l⊤

C∗

l = 0. (2.10)

Si C est de rang plein, alors sa duale est obtenue par

C∗ = det(C)C−1_{∼ C}−1. (2.11)

Une conique duale peut ´egalement ˆetre d´eg´en´er´ee. Si le rang de C∗

est deux, alors C∗

est constitu´ee de deux points x et x′

. On a alors

C∗ = xx′⊤+ x′x⊤. (2.12)

Si le rang de C∗

est un, alors C∗

est constitu´ee d’un point double x (r´ep´et´e), et la conique duale s’´ecrit

C∗ = xx⊤. (2.13)

Primitives Repr´esentation

alg´ebrique Illustration

Points et droites x =   x1 x2 x3   , l =   l1 l2 l3   x⊤_{l = 0} x l x = l ∧ l′ l = x ∧ x′ x x ′ _l l′ l x C =   a b/2 d/2 b/2 c e/2 d/2 e/2 f   Rang(C) = 3 x⊤_{Cx = 0} C x l Tangente en x : l = Cx x l Pˆole de l : x = C−1_l Droite polaire de x : l = Cx Coniques C = ll ′⊤_{+ l}′_l⊤ Rang(C) = 2 l l′ C = ll⊤ Rang(C) = 1 l C∗ ∼ C−1 Rang(C) = 3 l⊤_C∗_{l = 0} C∗ Coniques duales C ∗ = xx′⊤ + x′ x⊤ Rang(C) = 2 x x′ C∗ = xx⊤ Rang(C) = 1 x

2.2.2.2 Primitives 3D

Dans l’espace projectif P3, les points 3D sont trait´es de mani`ere similaire aux points 2D. Un point 3D est repr´esent´e en coordonn´ees homog`enes par un vecteur de la forme X = (X1,X2,X3,X4)⊤et si X4 6=

0, alors il correspond au point (X1/X4,X2/X4,X3/X4)⊤de R3. Le principe de dualit´e existe toujours en

3D, mais il concerne maintenant les points et les plans : un plan π, d’´equation aX + bY + cZ + d = 0 dans R3, et de normale n = (a,b,c)⊤

, s’´ecrit π = (a,b,c,d)⊤

en coordonn´ees homog`enes, ce qui est vectoriellement ´equivalent `a la repr´esentation d’un point 3D. Le rˆole des points 3D et celui des plans sont ainsi interchangeables dans les formules. Un point X appartient `a un plan π ssi

π⊤X = X⊤π= 0. (2.14)

Trois points X1, X2 et X3, en configuration g´en´erale, d´efinissent un plan π, solution de X⊤1π = 0,

X⊤

2π = 0 et X ⊤

3π = 0. Tout ´el´ement du noyau de la matrice (X1 | X2 | X3)⊤ repr´esente le plan π.

De la mˆeme mani`ere, trois plans π1, π2 et π3, en configuration g´en´erale, d´efinissent un point X, qui

est leur point d’intersection et qui est le noyau de la matrice (π1 | π2 | π3)⊤.

Les points 3D id´eaux sont de la forme (X1,X2,X3,0)⊤ et appartiennent au plan `a l’infini π∞

d’´equation

π∞= (0,0,0,1)⊤. (2.15)

La repr´esentation des droites 3D est moins directe. En effet, une droite 3D poss`ede quatre degr´es de libert´e ; elle devrait donc ˆetre repr´esent´ee par un vecteur de coordonn´ees homog`enes de taille cinq. Un tel vecteur s’int`egre mal avec les repr´esentations des points et des plans (de taille quatre) pour construire des relations entre points, plans et droites. Plusieurs repr´esentations existent et ont pour point commun de d´efinir une droite `a partir de deux points 3D. Nous pr´esentons ici la repr´esentation qui utilise les matrices de Pl¨ucker. Avec cette repr´esentation, une droite passant par deux points X et X′

de P3 est d´efinie par

L = XX′⊤_{− X}′X⊤. (2.16)

La matrice de Pl¨<sub>ucker L est une matrice homog`ene de taille 4 × 4, antisym´etrique, de rang deux</sub> et poss`ede quatre degr´es de libert´e. Une droite peut ´egalement ˆetre d´efinie de mani`ere duale, par l’intersection de deux plans π et π′

. La droite est alors d´ecrite par la matrice de Pl¨ucker duale

L∗= ππ′⊤_{− π}′π⊤. (2.17)

Il est possible de passer de L `a L∗

en ´echangeant certaines coordonn´ees [Hartley 03, page 71]. Des relations combinant L, des points et des plans sont maintenant possibles. Par exemple, un point X appartient `a la droite L ssi

L∗

X = 0. (2.18)

Le plan π passant par une droite L et un point X est donn´e par

π= L∗X. (2.19)

Le point d’intersection X d’un plan π et d’une droite L est donn´e par

X = Lπ. (2.20)

Enfin, une droite L appartient `a un plan π ssi

Parmi les autres repr´esentations des droites, nous pouvons citer les coordonn´ees de Pl¨ucker [Hartley 03, page 72] et la repr´esentation en noyau / recouvrement [Hartley 03, page 69].

Les quadriques sont des primitives 3D dont les propri´et´es sont similaires `a celles des coniques 2D. Une quadrique est d´efinie g´en´eralement par au moins neuf points. Elle est repr´esent´ee par une matrice Q, de taille 4 × 4, homog`ene et sym´etrique. La matrice Q regroupe les coefficients de l’´equation de la quadrique dans R3 _{et poss`ede ainsi neuf degr´es de libert´e. Un point X appartient `a une quadrique Q}

ssi

X⊤QX = 0. (2.22)

Le plan tangent en X `a Q est donn´e par π = QX. Si X n’appartient pas `a Q, alors π = QX d´esigne le plan polaire de X par rapport `a Q, et r´eciproquement X = Q−1_{π repr´esente le pˆole de π par}

rapport `a Q. Notons que l’intersection d’une quadrique et d’un plan est une conique. Si Q n’est pas de rang quatre, la quadrique est d´eg´en´er´ee. Grˆace `a la dualit´e entre points et plans, une quadrique Q peut ˆetre d´efinie par sa quadrique duale Q∗

form´ee de l’ensemble de ses plans tangents. Si Q n’est pas d´eg´en´er´ee, on a Q∗ = det(Q)Q−1_{∼ Q}−1_{. (2.23)} Un plan π appartient `a Q∗ ssi π⊤Q∗π = 0. (2.24)

Comme pour les coniques, il existe une classification des quadriques [Hartley 03, page 74]. Le tableau 2.3 illustre les primitives 3D que nous avons pr´esent´ees dans cette section.

2.2.3 Transformations

Une transformation est une op´eration qui transforme une primitive g´eom´etrique d’un espace projectif en une autre du mˆeme espace. On peut aussi voir cette transformation comme un d´eplacement de la primitive. Si la transformation est appliqu´ee `a toutes les primitives consid´er´ees, alors c’est ´egalement un changement de base. Dans P2, une transformation est repr´esent´ee par une matrice H, de taille 3 × 3, homog`ene, et donc d´efinie `a un facteur multiplicatif pr`es. Sous l’action de H, les primitives se transforment diff´eremment selon leur nature. Le tableau 2.4 regroupe les r`egles de transformation des primitives 2D ´evoqu´ees dans la section pr´ec´edente.

Ces transformations sont hi´erarchis´ees, divis´ees en classes, selon la forme de la matrice H ou, de mani`ere ´equivalente, selon les propri´et´es conserv´ees ou selon les primitives invariantes par cette transformation. La forme la plus g´en´erale de H correspond `a une transformation projective, appel´ee ´egalement (( homographie )), qui transforme par exemple un point de P2 _{en un autre point de P}2_{. Si}

nous transformons les quatre sommets d’un quadrilat`ere, nous obtenons un autre quadrilat`ere, dont les cˆot´es dans R2 n’ont pas les mˆemes longueurs que celles du quadrilat`ere original, car les longueurs n’existent pas dans un espace projectif (ici P2_{) et donc cette propri´et´e n’est pas conserv´ee sous l’action}

de H. Il en est de mˆeme pour le parall´elisme ou les angles par exemple. En revanche, trois points align´es seront transform´es par H en trois points align´es car l’alignement est une propri´et´e projective et elle est donc conserv´ee.

Si, maintenant, nous sp´ecialisons H en HA _{telle que}

HA=  A t 0⊤ 1  , (2.25)

o`<sub>u A est une matrice 2 × 2 inversible, alors nous obtenons une transformation affine qui conserve,</sub> entre autres, le parall´elisme. Ainsi, deux droites parall`eles sont transform´ees par HA en deux droites parall`eles. `A chaque type de transformation correspond un espace particulier qui poss`ede certaines propri´et´es invariantes. Ces propri´et´es sont conserv´ees par les transformations correspondantes. Ainsi,

Primitives Repr´esentation

alg´ebrique Illustration

Points, plans et droites (matrices de Pl¨ucker) X =         X1 X2 X3 X4         , π =         π1 π2 π3 π4         et L = XX′⊤ − X′ X⊤ X L X L _π L∗ X = 0 π= L∗ X L π X L π X = Lπ Lπ = 0 Quadriques Q = (Qij), 1 ≤ i,j ≤ 4 Rang(Q) = 4 Q X π Q X π X⊤_{QX = 0 Pˆole de π : X = Q}−1_π

Plan tangent : Plan polaire de X :

π = QX π = QX Quadriques duales Q ∗ = (Q∗ ij), 1 ≤ i,j ≤ 4 Rang(Q∗ ) = 4 Q∗ π π⊤ Q∗_π = 0

Primitives R`egle de transformation Points x′ = Hx Droites l′ = H−⊤ l Coniques C′ = H−⊤ CH−1 Coniques duales C∗′ = HC∗ H⊤

Tab. 2.4 – R`egles d’application d’une transformation H sur quelques primitives 2D.

la transformation projective H agit dans l’espace projectif et la transformation affine HA _{agit dans}

l’espace affine. L’espace affine h´erite des propri´et´es de l’espace projectif. La sp´ecialisation suivante de HA _{est une similitude H}S_{, agissant dans la strate m´etrique de l’espace projectif. La repr´esentation}

matricielle de cette transformation est

HS =  sR t 0⊤ 1  , (2.26)

o`<sub>u R est une matrice orthogonale de taille 2 × 2 (R repr´esente donc une rotation ou une sym´etrie par</sub> rapport `a une droite ´eventuellement compos´ee avec une rotation), t repr´esente une translation et s est le facteur d’homoth´etie. L’espace m´etrique conserve, entre autres, les mesures d’angles et les rapports de longueurs. Enfin, la derni`ere sp´ecialisation est une isom´etrie (ou transformation rigide, compos´ee d’une rotation et d’une translation), agissant dans l’espace euclidien. Elle s’´ecrit

HE =  R t 0⊤ 1  . (2.27)

Une isom´etrie conserve les longueurs et les aires.

Le tableau 2.5 r´esume la hi´erarchie des transformations et cite quelques invariants correspondants. Chaque couche de cette stratification h´erite des invariants et des propri´et´es des couches sup´erieures.

Les transformations 3D sont similaires aux transformations 2D. Une transformation 3D est repr´esent´ee par une matrice homog`ene H, de taille 4 × 4. La mˆeme hi´erarchie de transformations s’applique en 3D. Les diff´erentes sp´ecialisations de H, ainsi que quelques invariants sont rassembl´es dans le tableau 2.7.

Si nous examinons `a nouveau le sch´ema de la figure 2.2, nous voyons que nous avons plong´e l’image dans l’espace projectif P2 _{afin de pouvoir utiliser les outils de la g´eom´etrie projective. Le r´esultat}

de la reconstruction 3D `a partir de primitives de P2 est une reconstruction projective, c’est-`a-dire un ensemble de primitives 3D de P3. Cette reconstruction projective ne poss`ede pas les propri´et´es euclidiennes (parall´elisme, angles, longueurs, etc.) qui sont celles du monde dans lequel nous vivons et elle est donc peu utilisable en pratique. Pour une reconstruction 3D projective donn´ee, il existe un ensemble de transformations 3D H particuli`eres dont les inverses permettent de transformer les primitives projectives en primitives euclidiennes. Par exemple, un point 3D euclidien XE _{s’obtient `a}

partir d’un point 3D projectif X en ´ecrivant XE _{= H}−1_{X. Le probl`eme de la rectification euclidienne}

consiste `a d´eterminer cette transformation H.

Le calcul de H s’effectue en localisant dans les images ou dans la sc`ene des primitives g´eom´etriques invariantes (qui seront d´ecrites `a partir de la section suivante). Prenons un exemple ´el´ementaire en 2D, sch´ematis´e sur la figure 2.3. Consid´erons un carr´e de R2, compos´e de quatre sommets, XE

i , i = 1,...,4.

Espace Matrice D´eformation Invariants Projectif      h11 h12 h13 h21 h22 h23 h31 h32 h33     

Colin´earit´e, intersection, birapport (rapport de rapports de longueurs).

Affine      a11 a12 tx a21 a22 ty 0 0 1     

Parall´elisme, rapport d’aires, droite `a l’infini l∞. M´etrique      sr11 sr12 tx sr21 sr22 ty 0 0 1     

Angle, rapport de longueurs, points cycliques I±. Euclidien      r11 r12 tx r21 r22 ty 0 0 1      Longueur, aire.

Tab. 2.5 – Transformations 2D : forme de la matrice associ´ee `a la transformation, effet de la d´eformation sur un carr´e et principaux invariants. La matrice A = (aij) est une matrice 2 × 2

in-versible, R = (rij) est une matrice orthogonale 2 × 2 et t = (tx,ty)⊤ est un vecteur de translation

2D.

Primitives R`egle de transformation

Points X′ = HX Plans π′ = H−⊤ π Droites (matrices de Pl¨ucker) L ′ = HLH⊤ Quadriques Q′ = H−⊤ QH−₁ Quadriques duales Q∗′ = HC∗ H⊤

Tab. 2.6 – R`egles d’application d’une transformation H sur quelques primitives 3D.

carr´e, `a une isom´etrie pr`es (`a une translation et `a une rotation pr`es). Revenons au carr´e initial et appliquons maintenant aux sommets une transformation projective H quelconque : le carr´e a perdu ses propri´et´es euclidiennes et il est devenu un quadrilat`ere quelconque. Le (( carr´e )) poss`ede n´eanmoins les propri´et´es projectives inh´erentes `a P2, telles que l’alignement des sommets, c’est-`a-dire que trois des quatre sommets du carr´e ne peuvent devenir align´es sous l’action d’une transformation projective. Puisque nous connaissons H, nous pouvons appliquer H−₁

aux sommets et retrouver le carr´e euclidien initial. Revenons au quadrilat`ere projectif et supposons maintenant que nous ne connaissons pas H. Nous avons vu que la droite `a l’infini l∞ est une droite quelconque dans P2, mais si nous sommes

Espace Matrice D´eformation Invariants Projectif         h11 h12 h13 h14 h21 h22 h23 h24 h31 h32 h33 h34 h41 h42 h43 h44        

Intersection de surfaces, points de contact de surfaces. Affine         a11 a12 a13 tx a21 a22 a23 ty a31 a32 a33 tz 0 0 0 1        

Parall´elisme de plans, rapport de volumes. M´etrique         sr11 sr12 sr13 tx sr21 sr22 sr23 ty sr31 sr32 sr33 tz 0 0 0 1         Conique absolue Ω∞. Euclidien         r11 r12 r13 tx r21 r22 r23 ty r21 r22 r33 tz 0 0 0 1         Volume.

Tab. 2.7 – Transformations 3D : forme de la matrice associ´ee `a la transformation, effet de la d´eformation sur un cube et principaux invariants (en plus de ceux h´erit´es des transformations 2D). La matrice A = (aij) est une matrice 3 × 3 inversible, R = (rij) est une matrice orthogonale 3 × 3 et

t = (tx,ty,tz)⊤ est un vecteur de translation 3D.

nous pouvons construire une transformation

H1 = HA   1 0 1 0 1 0 l1 l2 l3   , (2.28)

o`u l∞ = (l1,l2,l3)⊤ est la localisation de la droite `a l’infini dans le plan projectif P2 et HA est une

transformation affine quelconque. L’inverse de cette transformation H1 permet de repositionner l∞

dans sa position canonique puisque H−⊤₁ (l1,l2,l3)⊤= (0,0,1)⊤. L’application de H−11 aux sommets du

carr´e les plongent dans l’espace affine A2 et permet de retrouver les propri´et´es affines du carr´e. Nous obtenons alors un quadrilat`ere dont les cˆot´es oppos´es sont parall`eles. Le parall´elisme est donc recouvr´e et sera conserv´e sous l’action de toute transformation affine HA_{, puisqu’une telle transformation ne}

change pas la position de l∞: HA⊤l∞= l∞. Pour passer de l’espace affine `a l’espace m´etrique, nous

devons identifier les points cycliques I+ et I−, regroup´es sous la notation I±, qui sont deux points

particuliers sur l∞. La position de ces points permet de construire une transformation H2 qui les

repositionne dans leurs positions canoniques. L’application de H−₂1 aux sommets du carr´e permet de retrouver les propri´et´es m´etriques comme les angles ou le rapport de longueurs. Ce carr´e, dans l’espace

m´etrique, diff`ere du carr´e euclidien initial par une similitude. L’application de toute similitude HS

laisse les points I± invariants. Enfin, la connaissance de la longueur d’un des cˆot´es du carr´e initial

permet de construire une transformation H3, permettant d’obtenir le carr´e initial `a une isom´etrie pr`es.

La rectification euclidienne d’un cube euclidien plong´e et transform´e dans l’espace projectif P3 fait intervenir un m´ecanisme similaire `a ce que nous venons de voir pour le carr´e. Tout d’abord, pour effectuer une rectification affine, nous cherchons `a repositionner le plan `a l’infini π∞ de P3 dans

sa position canonique. Puis, pour obtenir une rectification m´etrique, nous cherchons `a localiser une conique sur π∞, la conique absolue Ω∞. Enfin, la longueur d’un cˆot´e du cube permet d’obtenir le

cube `a une isom´etrie pr`es.

En pratique, lorsque nous voulons obtenir une reconstruction 3D `a partir d’images, nous ne disposons pas syst´ematiquement de la connaissance de longueurs dans la sc`ene. Aussi, il est usuel de calculer une reconstruction m´etrique. Les reconstructions m´etrique et euclidienne diff`erent uniquement par le fait que la reconstruction m´etrique ne recouvre pas l’´echelle globale de la sc`ene. Si l’application vis´ee ne s’apparente pas `a la m´etrologie, alors une reconstruction m´etrique est tout `a fait satisfaisante puisque l’´echelle globale de reconstruction 3D sera de toute fa¸con modifi´ee en fonction de l’application. Toutefois, nous ferons la confusion entre les termes (( m´etrique )) et (( euclidien )) et nous parlerons de (( reconstruction euclidienne )) bien qu’il s’agisse d’une reconstruction m´etrique dans la plupart des cas.

La figure 2.4 sch´ematise la reconstruction euclidienne d’une sc`ene 2D et celle d’une sc`ene 3D en pr´ecisant les primitives g´eom´etriques utilis´ees. Remarquons qu’il est possible de calculer une trans-formation permettant une rectification euclidienne sans calculer une rectification affine. Pour cela, nous utilisons d’autres primitives g´eom´etriques plus complexes, comme la conique duale aux points cycliques, C∗

= I+I⊤− + I−I⊤₊, et la quadrique absolue duale, Q∗. Celles-ci seront ´etudi´ees dans les

chapitres 4 et 5. La conique absolue Ω∞ et les points cycliques I± sont d´ecrits dans la section 2.3.2.1

et sont ´etudi´es dans le chapitre 4. Notons ´egalement que, dans certains cas, nous ne calculerons pas directement ces primitives particuli`eres mais nous estimerons `a la place leurs projections dans les images.

Euclidien Projectif Affine M´etrique Euclidien

Euclidien Affine M´etrique

HE H H−1 1 H−1 Euclidien HA H−1 2 H−13 HS

Fig. 2.3 – Passage d’un carr´e dans plusieurs espaces successifs en appliquant des transformations. La rectification euclidienne est le passage de l’espace projectif `a l’espace euclidien.