Une nouvelle méthode d'appariement de points d'intérêt pour la mise en correspondance d'images

HAL Id: tel-00786054

https://tel.archives-ouvertes.fr/tel-00786054

Submitted on 7 Feb 2013

HAL is a multi-disciplinary open access

archive for the deposit and dissemination of

sci-entific research documents, whether they are

pub-L’archive ouverte pluridisciplinaire HAL, est

destinée au dépôt et à la diffusion de documents

scientifiques de niveau recherche, publiés ou non,

pour la mise en correspondance d’images

Jean-Louis Palomares

To cite this version:

Jean-Louis Palomares. Une nouvelle méthode d’appariement de points d’intérêt pour la mise en

correspondance d’images. Traitement du signal et de l’image [eess.SP]. Université Montpellier II

-Sciences et Techniques du Languedoc, 2012. Français. �tel-00786054�

Thèse

présentée pour obtenir letitre de DOCTEUR en

INFORMATIQUE DE L'UNIVERSITÉ DE MONPELLIER II

Une nouvelle méthode

d'appariement de points

d'intérêt pour la mise en

orrespondan e d'images

Jean-Louis Palomares

Soutenue publiquement le 22/05/2012 devant un jury omposé de :

Rapporteurs Pierre Bonton Université BlaisePas al, Clermont-Ferrand. Ludovi Ma aire Université de LilleI, Villeneuve d'As q. Examinateurs René Zapata Université de Montpellier II.

OlivierStrauss Université de Montpellier II. Dro Désiré Sidibe Université de Bourgogne.

Par Georges Besse 30000 NIMES edex 01 Tél :+33 (0) 4 663870 88 Fax: +33 (0) 4 6638 7074 Web : http ://www.lgi2p.ema.fr

Sous la dire tion de PhilippeMontesinos Philippe.Montesinosmines-ales.fr

Adresses mails Palomares jean-louis palomares.jean-louisvoila.fr jldenimesgmail. om

Ce mémoirede thèse traite de la mise en orrespondan e d'imagespour des appli a-tions de visionstéréos opique oude stabilisation d'imagesde améras vidéo. Les méth-odesdemiseen orrespondan ereposentgénéralementsurl'utilisationdepointsd'intérêt dansles images, 'est-à-dire de points quiprésentent de fortes dis ontinuités d'intensité lumineuse. Nous présentons tout d'abord un nouveau des ripteur de points d'intérêt, obtenu au moyen d'un ltre anisotropique rotatif qui délivre en haque point d'intérêt unesignaturemono-dimensionnellebaséesurun gradientd'intensité.Invariantàla rota-tion par onstru tion, e des ripteur possèdede très bonnes propriétés de robustesse et de dis rimination. Nousproposons ensuite une nouvelle méthode d'appariement invari-ante aux transformations eu lidiennes et anes. Cette méthode exploite la orrélation dessignaturessousl'hypothèsedefaiblesdéformations,etdénitunemesurededistan e, né essaire àl'appariement de points.Les résultatsobtenus sur des images di iles lais-sent envisager des prolongementsprometteurs à ette méthode.

Mots lés : stéréovision, stabilisation, points d'intérêt, des ripteur, mise en orre-spondan e, appariement.

Abstra t

This thesis addresses the issue of image mat hing forstereos opi vision appli ations and image stabilization of video ameras. Methods of mapping are generally based on theuseofinterestpointsinthe images,i.e.ofpointswhi hhavestrongdis ontinuitiesin lightintensity.Werst presentanewdes riptorofpointsofinterest,obtained by means of ananisotropi rotary lter whi h delivers at ea h point of interest aone-dimensional signature based onanintensity gradient.Invariantto rotationby onstru tion, this de-s riptor has very good properties of robustness and dis rimination. We then propose a new mat hing method invariant to Eu lidean and ane transformations. This method exploitsthe orrelationofsignaturessubje ttomoderatewarping,anddenes adistan e measure, ne essary for the mat hing of points. The results obtained on di ult images augurpromisingextensions tothis method.

Keywords :stereos opi vision, amerastabilization,interestpoint,feature des rip-tor, mapping, mat hing.

Table des matières 5

Table des gures 8

Liste des tableaux 11

1 Introdu tion 12

2 Introdu tion à la mise en orrespondan e 17

2.1 Contraintes géométriques liées aux appli ations . . . 19

2.1.1 Modèle de améra, lemodèle pinhole . . . 19

2.1.2 Miseen orrespondan e pour la stéréo-vision . . . 21

2.1.2.1 Géométrieépipolaire . . . 22

2.1.3 Autres ontraintes ourammentutilisées en stéréo-vision . . . 24

2.1.4 Contraintes pour lemouvement . . . 27

2.1.4.1 Méthodes diérentielles, ot optique . . . 27

2.2 Contraintes photométriqueset invarian e olorimétrique . . . 30

2.2.1 Conservation naïve des intensitéslumineuses . . . 30

2.2.2 Conditionsd'illumination . . . 31

2.2.3 Diérentstypes de réexions . . . 31

2.2.4 Cas de la diusionlambertienne . . . 32

2.2.5 Modélisationdes hangements internes de la sour e . . . 32

2.2.6 Invarian e olorimétriqueane . . . 33

2.3 Te hniques de mise en orrespondan e . . . 33

2.3.1 Cal uld'attributs . . . 34

2.3.2 Cal uldes s ores . . . 34

2.3.3 Miseen orrespondan e dire te . . . 36

2.3.4 Miseen orrespondan e par véri ation roisée. . . 37

2.3.5 Miseen orrespondan e par relaxation . . . 37

2.3.6 Te hniques de votes . . . 38

2.3.7 Miseen orrespondan e dense . . . 39

2.4 Changements de pointde vue ettransformationsgéométriques de l'image 39 2.4.1 Rotationimage . . . 39

2.4.3 Changementd'é helle . . . 40

2.4.4 Transformationsanes et proje tives . . . 40

2.4.4.1 Importan ede l'invarian eane . . . 41

2.5 Quelques te hniques de mise en orrespondan e . . . 42

2.5.0.2 Miseen orrespondan e globale . . . 42

2.5.0.3 Miseen orrespondan e de régions . . . 42

2.5.0.4 Miseen orrespondan e de ontours ousegments . . . . 43

2.5.0.5 Appariement par orrélation . . . 43

2.5.1 Miseen orrespondan e de pointsd'intérêt . . . 44

2.5.1.1 Correlation . . . 44

2.5.1.2 Invariantsdiérentielseu lidiens . . . 46

2.5.1.3 Des riptionsinvariantes . . . 46

2.6 Con lusion . . . 48

3 Extra tion de points d'intérêt 49 3.1 La déte tion de pointsd'intérêt . . . 51

3.1.1 Ledéte teur de Harris . . . 51

3.1.2 SUSAN . . . 53

3.2 Les méthodes àinvarian ed'é helle . . . 54

3.2.1 Ledéte teur Harris-Lapla e . . . 54

3.2.2 SIFT . . . 56

3.3 Les méthodes àinvarian eane . . . 57

3.3.1 Ledéte teur HarrisAne . . . 57

3.3.2 Lesdéte teurs EBR et IBR . . . 58

3.3.3 Ledéte teur MSER . . . 60

3.3.4 Ledéte teur de régionssaillantes . . . 61

3.3.5 ASIFT . . . 61

3.4 La des ription des points d'intérêt . . . 62

3.4.1 SIFT . . . 63

3.4.2 PCA-SIFT. . . 64

3.4.3 GLOH . . . 64

3.4.4 Shape ontext . . . 65

3.4.5 Lesinvariants diérentiels ouleur . . . 66

3.4.6 Lesltres orientables (steerable lters) . . . 67

3.4.7 DAISY . . . 68

3.4.8 Laméthode Ferns . . . 69

3.4.9 Con lusion. . . 70

4 Un nouveau des ripteur ir ulaire 72 4.1 Primitive Point retenue . . . 72

4.1.1 Séle tion des points . . . 73

4.2 Des demi-ltres dire tionnels pour lasegmentationd'image . . . 74

4.2.1 FiltresOrientables . . . 74

4.2.3 Miseen ÷uvre des ltres gaussiens anisotropes . . . 77

4.2.3.1 Implémentatione a e des ltres gaussiens anisotropes 80 4.2.4 Des demi-ltresorientables pour la segmentationd'images . . . . 81

4.3 Demi-ltres dire tionnelspour la ara térisationde pointsd'intérêt . . . 88

4.3.1 Filtresdire tionnelsanti-aliasés . . . 89

4.3.2 Implémentatione a e . . . 92

4.3.3 Undes ripteur invariant aux hangements lo aux anes . . . 92

5 Une nouvelle méthode de mise en orrespondan e 98 5.1 Distan e eu lidienne entre des ripteurs . . . 99

5.2 Distan e ane entre des ripteurs . . . 103

5.2.1 Re alagede signaux . . . 103

5.2.2 Re alagedes signatures par DTW . . . 104

5.2.3 Re alage ontraint . . . 106

5.3 Mise en orrespondan e . . . 117

5.3.1 Uneméthode de vote pour éliminerlesfaux appariements . . . . 118

5.4 Résultats. . . 121

5.4.1 RésultatsStéréo grandebase . . . 121

5.4.1.1 Séquen e Gwenaelle . . . 121

5.4.1.2 Séquen e Eri . . . 121

5.4.1.3 Séquen e Buste . . . 126

5.4.2 Résultatsde mise en orrespondan e dans une séquen e vidéo . . 130

5.4.3 Comparaisonave SIFT . . . 133

5.4.3.1 Séquen e 'Buste' . . . 133 5.4.3.2 Séquen e 'Grati' . . . 133 5.4.3.3 Séquen e 'Claviers' . . . 133 5.4.4 Con lusion. . . 138 6 Con lusion 139 Bibliographie 141

2.1 Modèle de amérapinhole. . . 20

2.2 Modèle sténopéde améra. . . 20

2.3 Système d'a quisition stéros opique à deux améras. . . 22

2.4 Re onstru tion 3D à partir de deux imagesstéréos opiques. . . 23

2.5 La géométrie épipolaire entre deux vues. . . 25

2.6 Obtention des droitesépipolaires grâ e àla matri efondamentale. . . . 25

2.7 Illustrationde lagéométrie épipolaire sur un ouple stéréos opique réel. 26 2.8 Repère de Frénet liéà lasurfa e image. . . 28

2.9 Le ot optique.. . . 29

2.10 Réexion etdiusion d'une sour e lumineuse sur une surfa e. . . 31

2.11 Mise en orrespondan e dire te (image

I

1

vers image

I

2

). . . 36

2.12 Mise en orrespondan e roisée des primitivesentre deux images. . . 37

2.13 Exemple transformation proje tive entre deux images. . . 41

2.14 Mise en orrespondan e de régionspar MSER. . . 43

2.15 Mise en orrespondan e dense par orrélation. . . 45

3.1 Transformations géométriques 2D. . . 50

3.2 Mesure de Harrisaux ontours, aux oins etaux régionshomogènes. . . 52

3.3 Déte tion de points d'intérêt ave les déte teur de Harriset SUSAN. . . 53

3.4 Méthode SUSAN. . . 54

3.5 Déte teur multié helle Harris-Lapla e. . . 55

3.6 Déte tion dans l'espa eé helle. . . 57

3.7 Méthode EBR. . . 59 3.8 Méthode IBR. . . 60 3.9 ASIFT. . . 62 3.10 Des ripteur SIFT. . . 64 3.11 Le des ripteur GLOH.. . . 65 3.12 Le des ripteur SURF. . . 66 3.13 Shape ontext. . . 67 3.14 Filtresorientables. . . 68 3.15 Le des ripteur DAISY. . . 69

4.1 Séle tion des points. . . 75

4.3 Filtresgaussiens orientés. . . 77

4.4 Appli ationdes ltres gaussiens orientés. . . 78

4.5 Filtre de lissage gaussienorientéselon l'axe des X. . . 79

4.6 Résultats ltresgaussiens anisotropes. . . 80

4.7 Appli ationdes demi-ltres gaussiens orientés sur le ontour d'un objet. 82 4.8 Demi-Filtres. . . 83

4.9 Résultats : demi-ltres. . . 86

4.10 Signatures. . . 87

4.11 Exemples de signatures sur une image synthétique. . . 90

4.12 Dis rétisation des demi-ltres. . . 91

4.13 Courbe sigmoïde. . . 91

4.14 Prol du ltre de lissage anti-aliaséselon l'axe

Y

. . . 92

4.15 Exemples de ltres anti-aliasés. . . 93

4.16 Signatures anti-aliaséespour une image synthétique. . . 95

4.17 Signatures anti-aliaséespour dans un as réel.. . . 96

4.18 Signatures pour deux points en orrespondan e. . . 97

5.1 Re alagedes signatures par orrélation : point0. . . 101

5.2 Re alagedes signatures par orrélation : point1. . . 102

5.3 Cal ul de distan e entre signatures par re alage. . . 104

5.4 Transformation des ourbes. . . 105

5.5 Fon tionsde pénalisation de la déformation. . . 107

5.6 Résultat de warping obtenu sur la séquen e buste,point1. . . 108

5.7 Résultat de warping obtenu sur la séquen e buste,point1. . . 110

5.8 Résultat de warping obtenu sur la séquen e buste,point0. . . 111

5.9 Résultat de warping obtenu sur la séquen e buste,point0. . . 112

5.10 Re alagede signatures dans le as de faux appariements. . . 113

5.11 Résultats de re alagepour lepoint0. . . 114

5.12 Résultats de re alagepour lepoint1. . . 115

5.13 Résultats : warping sans ontrainte. . . 116

5.14 Espa e des translations. . . 119

5.15 Résultats d'a umulation. . . 120

5.16 Mise en orrespondan e (Gwenaelle). . . 122

5.17 Re onstru tion 3D (Gwenaelle). . . 123

5.18 Mise en orrespondan e (Eri ). . . 124

5.19 Re onstru tion 3D (Eri ). . . 125

5.20 Restauration des images (buste). . . 127

5.21 Mise en orrespondan e (buste). . . 128

5.22 Re onstru tion 3D (buste). . . 129

5.23 Images extraites de la séquen e vidéoParking. . . 131

5.24 Mouvement dans leplan image : séquen e vidéo Parking. . . 132

5.25 Comparaison : 'Buste'. . . 134

5.26 Comparaison : 'Grati'. . . 135

2.2 Exemple de al ul de distan es entre ve teurs de ara téristiques. . . 35

3.1 Propriétés des prin ipauxdéte teurs de pointsd'intérêt. . . 70

5.1 Exemples de al ul de distan es entre signatures. . . 109

Introdu tion

Cettethèseàétéinitiéeparl'entrepiseXAP,ets'estdérouléedansle adred'un parte-nariatave lelaboratoireLGI2Pde l'é oledesminesd'Alès.L'entrepriseXAPdéveloppe des systèmes d'a quisition vidéoembarqués et plus généralement des équipements éle -troniques,pour la ourseautomobile. La problématique initialeétait la stabilisation de vidéos fortement perturbées, ependant en ours d'étude le sujeta pris une orientation vers la vision stéréos opique et la3D. Dans e ontexte nous nous sommes rapidement tournésverslamiseen orrespondan e d'images,quiapparait ommeleprin ipalverrou s ientique ette hnique des appli ations envisagées.

Enjeux

Dans e travail,l'enjeu s ientique est lairement d'obtenir une méthode de mise en orrespondan e robuste et rapide, pour laquelle l'hypothèse de petits dépla ement des stru tures ontenues dans les images n'est pas valide. En stéréo, le dépla ement des stru tures peut être important, en vidéo embarquée en ourse automobile, la vitesse du véhi uleentraine de fortes modi ationsentre lesimages su essives d'uneséquen e vidéo. De plus, en vidéo, leux d'imagenous impose un rythme de traitementqui doit rester ompatibleave letemps réel.

La mise en orrespondan e d'images est une étape fondamentale dans le domaine de l'analyse d'images. Parmi les nombreuses appli ations qui utilisent ette te hnique, on peut iter la vision stéréos opique et la re onstru tion de s ènes en 3D, la syn-thèse de nouveaux points de vue pour la réalité virtuelle ou la réalité augmentée, la re onnaissan e d'objets, l'analyse du mouvement, ou en ore l'assemblage d'images de grandetaille( artes,vues panoramiques).Etantdonnées deux ouN imagesd'unemême s ènetridimensionnelle, prisesselon des pointsde vue diérents,le problème de lamise en orrespondan e onsiste à trouver un ensemble de points dans une image qui peu-vent être identiés omme les mêmespointsdans une autre image.Les images peuvent provenir de diérents points de vue, ou bien être prises à des instants diérents, et les objets de la s ène peuvent être en mouvement par rapport à la améra. Les méthodes

de mise en orrespondan e utilisent généralement des ara téristiques lo ales asso iées à es points d'intérêt. D'autres appro hes existent, basées sur une des ription globale, elles sont ependant sensibles aux hangements d'arrière-plans, aux o ultations etaux prin ipalestransformations de l'image.

On distingue deux appro hes pour re her her des pointset lesapparier :

La première onsiste à trouver des pointset les ara tériser pour ensuite lessuivre par deste hniquesdere her helo alestellesquela orrélationoulesmoindres arrés (tra k-ing).Cetteappro he onvientpourdesimagespro hes (pointsde vuepro hesouimages sesu édant rapidement, ommeen vidéo).

Lase onde appro he onsisteàdéte terde façonindépendantedespointsd'intérêtdans haqueimage,pourensuitelesapparier.Cettese ondeappro he,plusgénérale,re her he des orrespondan es dans des imagestrès diérentes, et onvient par exemple,pour as-sembler plusieursimages dans une mêmevue panoramique.

Compte tenudes obje tifs visés,nous noussitueronspluttdans lase ondeappro he, quisuit habituellementun s héma en plusieursétapes :

•

Toutd'abord,ladéte tionde pointsd'intérêtséle tionnedespointsfa ilement repéra-bles dansuneimage.Pourêtreutilisabledansun appariement,unpointd'intérêtdoit présenter un haut degré de répétabilité, 'est-à-dire être stable lorsde perturbations lo alesou globalesqui peuvent ae ter l'image,telles queles transformations proje -tivesou lesvariationsd'intensitélumineuse.

•

Dans une deuxième phase d'extra tion de ara téristiques, le voisinage autour des points d'intérêt est analysé, de manière à fournir un des ripteur stable, ompa t et invariant, qui pourra être omparé à d'autres des ripteurs. Parmi les méthodes de déte tion et de des ription, la méthode SIFT et ses variantes (SURF, ASIFT, GLOH,

· · ·

) ont permis un saut qualitatif permettant de les utiliser dans des as di iles de hangement d'illuminationoude hangement de pointde vueimportant.

•

Enn, laphased'appariementétablitune orrespondan e entrelespointsdedeux im-ages présentantdes ara téristiquessimilaires.Pour limiterla ombinatoireetréduire le temps de al ul, en stéréo-vision, onintroduit en général des ontraintes issues de la géométrie épipolaire : si un point est donné sur une image, alors le point en or-respondan e sur l'autreimage est àre her her sur une droite.Ensuite, des méthodes d'élimination des fausses orrespondan es telles que RANSAC permettent de ltrer les erreurs pendant l'estimation de la matri e fondamentale qui dé rit la géométrie épipolaire.

Contributions

Le point de départ de e travail a été d'étudier un nouveau des ripteur de points d'intérêt, autorisant une mise en ÷uvre susamment simple et des al uls susam-ment rapides pour être utilisable en stéréovision et re onstru tion 3D, aussi bien que

pour traiter des ux vidéo. Notre hoix s'est porté vers un des ripteur à base de ltres anisotropestournantsdéveloppésdansnotre laboratoirepour lasegmentationd'images, et 'est l'objet de notrepremière ontribution. L'idée est d'appliquer en un pointd'une image une série de demi-ltres selon des dire tions orientées, 'est-à-dire de

0

◦

à

360

◦

selon un pas angulaire arbitraire. Nous obtenons de ette façon une famille de ltres baséssur unefon tionsemi-gaussienne :ltres delissages,ltresde dérivation,quivont permettre de faire une des ription ne de l'image. C'est ainsi que nous proposons de ara tériser un point d'intérêt par une signature, résultat du ltrage de dérivation à l'ordre1 dans toutes lesdire tions.

Dans une se onde étape, nous nous sommes intéressés à la mise orrespondan e des points d'intérêt ainsi ara térisés. Notre deuxième ontribution a don porté sur une méthode de mise en orrespondan e apable de prendre en ompte naturellement les rotations et les déformations proje tives d'une image à une autre. Nous avons déni une nouvelle méthode d'appariement basée sur d'une part, la orrélation et d'autre part, la déformation (warping) des signatures obtenues. Contrairement à des métho-des omme SIFT, notre méthode est mono-é helle, elle est en ela bien adaptée aux appli ationsvisées. Dansle adre de nos appli ations, ette méthode donnesouvent des résultats supérieurs à SIFT, qui laissent envisager une extension au as multi-é helle très prometteuse.

Organisation de e mémoire

Ce mémoireest divisé en quatre hapitres : deux hapitres bibliographiques,et deux hapitres onsa rés àl'apport s ientique de e travail.

Le deuxième hapitre présente un état de l'art de la mise en orrespondan e, il est dédiéd'une partaux problèmes géométriquesliésaux appli ations(mouvement, stéréo-vision) et d'autre part aux problèmes photométriques liés aux éventuelles variations d'é lairage. Dans e hapitre, sont abordées, diérentes méthodes d'appariement et les primitivessur lesquelles elles s'appuient.

Le troisième hapitre se fo alise sur les méthodes basées sur des points d'intérêt : type de primitive et appariement.Nous présentons les méthodes a tuelles de déte tion de points et les prin ipes utilisés dans la représentation des ara téristiques et l'ap-pariement.

Au hapitrequatre, nousintroduisonsun nouveau des ripteurde points,basésur une te hnique de ltrageanisotrope. Les ltres utilisés sont onstruits à partir de demi no-yaux gaussiens anti-aliaséspar une fon tion sigmoïde,et génèrent auniveau des points d'intérêt une signature ir ulairefortement dis riminante.

Ledernier hapitreprésentelanouvelleméthoded'appariementquenousavons dévelop-pée au ours de ette thèse. Cette méthode est basée sur la orrélation et le warping

des signatures dé rites au hapitre trois. De nombreux résultats on rets de mise en orrespondan e, de re onstru tion 3D et d'analyse du mouvement dans le plan image illustrent e hapitre etmontrent la validité de ette appro he.

Publi ations

Ce travaila donnélieu àdeux publi ations :

P.Montesinos,B.Magnier,JL.Palomares.ANewPer eptuallyEdgeDete tor.IWIA2010. Pro eedingsof the third International Workshopon Image Analysis.pp. 185-192.Presse des Mines 2011, ISBN 978-2911256-55-4.

JL. Palomares, P. Montesinos, D. Diep. A New Ane Invariant Method for Image Mat hing. IST So ietyfor ImagingS ien e andTe hnology- SPIEinternationalso iety for opti s and photoni s, 2012.

Introdu tion à la mise en

orrespondan e

Ce hapitreprésente un état de l'art on ernant des appli ationsné essitant une re- onnaissan e d'image ou de parties d'images dans une autre image. Nous nous in-téresseronsi i àdes appli ations ommela stéréo-vision,la re onnaissan e d'objet, l'in-dexation d'images, la stabilisation vidéo, et . Pour toutes es appli ations, la mise en orrespondan ed'imagesreprésenteune omposanteessentielle.Parmilesméthodes em-ployées, ertainesee tuentunemiseen orrespondan edire temaislaplupartdutemps la mise en orrespondan e est réalisée en plusieurs étapes : segmentation, des ription, interprétation.Nousdistingueronsdes méthodes demiseen orrespondan eéparse qui font orrespondreseulement ertainspoints(parexempledespointsd'intérêt)maisaussi des méthodes ee tuant une mise en orrespondan e dense qui essaient de mettre en orrespondan e tous les pixelsoula plupartdes pixels.

Plus pré isément, nous pouvons iter de manière non exhaustive un ertain nombre d'appli ations on ernées par lamise en orrespondan e :

•

Lastéréo-vision/re onstru tion3D onsisteàre réerunevue3Dparappariementpuis re onstru tion à partir de deux images (ou plus) d'une s ène prise selon des points de vue diérents. Dans e ontexte nous distinguerons prin ipalement deux as par-ti uliers : dans le premier as, la matri e fondamentale est onnue et la géométrie du système impose alors des ontraintes pour la mise en orrespondan e, dans le deuxième as, la alibration est in onnue alors, pour le pro essus d'appariement, le orrespondantd'un pixelde la première imagedoit être re her hé parmitous les pix-els de la se onde. Le paragraphe 2.1présente lagéométrie d'un système de prises de vues stéréos opiques soit : la géométrie épipolaire et les ontraintes qui en dé oulent vis-à-vis d'un pro essus d'appariement.

•

Laréalitévirtuelleetlaréalitéaugmentée,mélangentdesimagesréellesetdes images synthétiques ou des informations additionnelles [43℄. Nous sommes i i dans un

on-textedemouvementdansuneséquen e vidéoetdemiseen orrespondan etemporelle. Les ontraintes naturelles imposéesà e typed'appli ationsontun mouvementlent dans lesimagessu essives. Lepro essus de mise en orrespondan e doitee tuer un suivi de pointsparti uliers oude pointsde ontours.

•

Lemorphingde visagesouladéformationd'imagesde visage,l'imaged'unvisagedoit être transformée en elle d'un autre.Dans un as telque elui- i on her hera plutt à mettre en orrespondan e ertains points parti uliers d'un visage, par exemple les oins des yeux oude labou he, ertainspointsde ontours, et . [95℄.

•

Des appli ations médi ales dans lesquelles il s'agit de mettre en relation des images provenant de sour es diérentes (s anner, d'IRM, et .), ou en ore de mettre en rela-tion temporelle des li hés su essifs pour le suivi de l'évolution de la maladie d'un patient, et . [107, 3℄. On retrouvera e type d'appli ation sous la dénomination de : registration dans labibliographie,il s'agità lafois de mise en orrespondan e et de déformations géométriques des diérentes imagesà mettreen relation.

•

Des appli ations de vidéo surveillan e liées par exemple à l'analyse du mouvement dans des vidéos [37℄[57℄[49℄. Plus pré isément on trouvera des appli ation liées à la sé urité omme l'analyse du mouvement au sein d'une foule, d'une le d'attente ou en ore du suivi de véhi ules sur autoroutes, mais en ore des appli ations  ommer- iales ommele suivide personnes dans un entre ommer ial.

•

Onpourra iteren oredesappli ationsliéesàlastabilisationdevidéo.Jusqu'àprésent e type d'appli ation a été prin ipalement on erné par le domaine militaire. Les réponses apportée à e type de problème omportent souvent une omposante mé- anique et une omposante informatique. Cependant ompte tenu de la baisse des oûts des améras vidéos etdes appareils photographiques numériquesgrand publi , une solution purement informatique à e problème est d'un grand intérêt. De même on touve de plus en plus fréquement des améras embarquées dans des véhi ules où en ore juste xées sur un asque (exemple pour des sportifs), et là en ore un besoin en stabilisationexiste.

•

Dans un tout autre domaine, ona vu apparaîtredes problèmes d'indexation d'image dans des bases de données. En eet, ave la numérisation de bases d'images, de nou-veaux besoins sont apparus. Considérons une base de données omportant plusieurs dizaines ou entaines de milliers d'images, savoir rapidement si une image donnée a déjà été sto kée dans la base est un problème important. De nombreuses solutions faisantintervenir une mise en orrespondan e ontété proposées.

•

De même pour la re onnaissan e d'objets [93, 73℄, un objet est souvent sto ké sous la formed'une liste d'images le représentant sous plusieurs orientations et points de

vue.Nousavons alorsen oreaaireàunebasede donnée d'imagesqu'ilestné essaire d'indexer pour re onnaître un objet (l'imaged'un objet).

•

et .

Ces appli ationsmultiples,etnon limitatives,montrent l'importan ede pouvoir met-tre en relation des images entre elles. Les te hniques utilisées pour ette mise en orre-spondan e dépendent du problème et des ontraintes qui lui sont propres. Dans ette thèse,nousnousintéresseronsplusparti ulièrementàdeuxappli ationsdelamiseen or-respondan e :lastéréo-visiondans le as non- alibréetla stabilisationvidéo. Lase tion suivante va don naturellement dé rire es appli ations et leurs ontraintes spé iques.

2.1 Contraintes géométriques liées aux appli ations

Avantd'entrer danslesdétails des ontraintes liées aux appli ations,nous allonstout d'abord examiner le modèle des améras utilisées dans toutes les appli ations de type stéréo-vision oumouvement : lemodèlepinhole.

2.1.1 Modèle de améra, le modèle pinhole

Lemodèlede améralegénéralementutiliséestlemodèlepinholeoumodèlesténopé (gure2.1).Ce modèleest onstituéd'uneboitenoire omportantunpetittroupon tuel pour laisser passer lalumièreprovenant de las ène observée. Ce systèmeprojettedon l'image du monde 3D sur le fond de la boite re ouvert d'une rétine plane. Mathéma-tiquement, e modele se représente par une proje tion perspe tive du monde 3D sur la rétine.

Après a quisition de l'image, nous obtenons un  hier ontenant une matri e de pi-xels. Dans un as idéal, le entre de la rétine (le entre de l'image) oin ide ave l'axe optique de la améra. Mais en général dans toute réalisation physique e n'est pas le as, et l'interse tion de l'axe optique et de la rétine n'est don pas exa tement le pixel entral de l'image.Un modèle plus omplet de améraest présenté àla gure 2.2.

•

Larétineestpla éeenavantdu entreoptiquede la amérademanièreàavoirl'image dans le mème sens que las ène.

•

le pixel

(0, 0)

est situé en haut à gau he de l'image.

• (u

0

, v

0

)

sontles oordonnées enpixelsdel'interse tiondel'axeoptiqueave larétine.

• f

est la fo ale de l'obje tif, lorsque l'obje tif réglé sur l'inni, la distan e fo ale est égale à ladistan e entre optique-rétine.

•

Le repère

(O, X, Y, Z)

est un repère liéà la améra,l'axe

Z

est orientédans lesens de l'axeoptique.

Monde 3D

Figure 2.1: Modèle de amérapinhole.

M

Axe optique

X

Y

Plan r´etinien

O

f

v

0

Centre Optique

Z

(0, 0)

u

0

(u, v)

D'unpointde vuealgébrique,la améraest modéliséepar unematri ede paramètres intrinsèquesgénéralementnotée

A

.

A =





α

u

ǫ

u

0

0

α

v

v

0

0

0

1





(2.1) Dans laquelle :

• α

u

représente le grandissementen pixelssur l'axe

X

,

• α

v

représente le grandissement en pixelssur l'axe

Y

,

• ǫ

est généralement un petit oe ient, il rend ompte d'une éventuelle non orthogo-nalité des axes de larétine.

• (u

0

, v

0

)

sontles oordonnées enpixelsdel'interse tiondel'axeoptiqueave larétine. En oordonnées homogènes, un pixel projeté sur la rétine en

t

_{(x, y, 1)}

sera vu en oodonnées pixel

t

_{(u, v, 1)}

en :





u

v

1





= A .





x

y

1





(2.2)

2.1.2 Mise en orrespondan e pour la stéréo-vision

Ave deux yeux, l'être humain possède la apa ité à per evoir le monde en trois di-mensions. La stéréo-vision en vision par ordinateur tente de reproduire ette apa ité en utilisant deux (ou plusieurs) améras. La gure 2.3 présente un système de vision stéréos opique.

En stéréo-vision alibrée, l'a quisitionest réalisée par un ensemble de améras (deux améras en stéréo bino ulaire, trois pour un système trino ulaire, et .) xées sur une base stéréos opique etd'un système de numérisation d'images(par exemple un ordina-teur omportantune arted'a quisition). La alibration,i i, onsisted'unepart à mod-éliser et à mesurer, les optiques des améras ou paramètres intrinsèques (matri es des paramètresintrinsèquesetlesdistortionsgéométriqueséventuellesdesoptiquesutilisées) ainsi que lagéométrie du système stéréos opiqueoù paramètres extrinsèques ( oordon-nées du entre optique de la améra

C

2

dans un repère liéà la améra

C

1

, rotation3D reliantlesorientationsdesaxesoptiquesdes diérentes améras).Enrevan heen stéréo-visionnon alibrée,la onnaissan edesparamètresintrinsèquesetextrinsèquesn'estpas disponible, un ban stéréos opique n'est généralement pas utilisé et les diérentes im-ages sont souvent a quises à l'aide d'une unique améra pointée manuellement. Nous pourrons en ore distinguer le as semi- alibré où seule la onnaissan e des paramètres

Monde 3D

cam´era 1

banc st´er´eoscopique

axes optiques

cam´era 2

syst`eme d’acquisition

(ordinateur)

point observ´e

Figure2.3: Système d'a quisition stéros opique àdeux améras. intrinsèquesest disponible.

Connaissant la géométrie du système d'a quisition, un point vu dans les diérentes imagespeut alorsêtrere onstruiten 3Dpartriangulation.Lagure2.4illustrela re on-stru tion3D àpartirdedeux améras. Ilest évidementpossiblede multiplierlenombre de amérasetdepointsde vueand'obtenir desinformations3Dplusri hes, nousnous limiterons i i au as de deux améras. En eet, nous nous intéressons uniquement au problème de la mise en orrespondan e entre paires d'images.

Leparagraphesuivantsefo alisesurlagéométried'unsystèmedeprisedevues stéréo-s opique. Nous verrons que dans le as alibré, ette géométrie impose des ontraintes fortes pour la mise en orrespondan e. Cependant, dans le adre de ette thèse, nous nous pla erons plutt dans le as où ette géométrie est in onnue et nous verrons que la méthode proposée résout élégamment e problème omplexe d'appariement. Ayant obtenu des appariements (hors ontraintes), la géométrie pourra alors être estimée de manièrerobuste.

2.1.2.1 Géométrie épipolaire

La géométrie d'un système stéréos opique est appelée géométrie épipolaire. Lagure 2.5présente lagéométrie d'un système stéréos opique à deux améras.

Soit un point

M

de las ène qui vudans lesdeux images. Ce pointse projetteen

m

1

surlapremièreimage,eten

m

2

danslase onde. Pourlepoint

m

1

sur lapremière image,

P

P1

_P2

Monde 3D

Reconstruction 3D

Image gauche

Image droite

Mise en correspondance

Figure2.4: Re onstru tion 3D à partir de deux images stéréos opiques : un point

P

du monde3D seprojetteen

P

1

eten

P

2

dans lesdeuximages. Silespoints

P

1

et

P

2

sontappariés, alors onnaissantlagéométrie du systèmede prises de vues, le point

P

peut être re onstruiten 3D.

lepoint

m

2

en orrespondan e setrouvesur unedroiteépipolairedans lase ondeimage (etinversement).Ces droites orrespondentaux interse tionsentre lesplansrétinienset leplandevueforméparles entresoptiquesdesdeux amérasetlepoint3D

M

onsidéré. Les épipoles sont alors les proje tions des entres optiques de la améra 2 dans la améra 1 (et inversement), ils dénissent l'origine des fais eaux de droites épipolaires dans lesdeux images.

La onnaissan e de ettegéométrie peut être résumée àla onnaissan ede lamatri e fondamentale qui ontient les paramètres intrinsèques des améras (fo ale nonbre de pixels, et .)et extrinsèques purementgéométriques (distan e entre les entres optiques, anglesde rotationsentre les axesoptiques).

La matri e fondamentale généralement notée

F

est une matri e

3 × 3

de rang 2 et dénie à un fa teur d'é helle près. Elle transforme les oordonnée d'un pixel dans la première image en équation de droite (en pixels) dans la se onde (la gure 2.6 illustre l'obtention des droites épipolaires) :





a

b

c





= F





u

v

1





(2.3)

La gure 2.7 illustre la géométrie épipolaire sur un ouple stéréos opique réel. Con-naissant lamatri e fondamentale, partant de l'imagegau he un point permet de tra er une droite épipolaire dans l'image droite. Ces droites épipolaires passent bien par les points orrespondantsde l'imagegau he dans l'imagedroite. Partant de l'image droite, un pointquel onqued'une droiteépipolairepermet de tra erune droiteépipolairedans l'imagegau he en utilisant la transposée de la matri e fondamentale. Nousavons don des droites en orrespondan e, n'importe quel point d'une droite de l'imagegau he est en relationave n'importequel point de la droite orrespondantedans l'image droite. 2.1.3 Autres ontraintes ouramment utilisées en stéréo-vision

Contrainted'uni ité

Lorsque l'on veut mettre en orrespondan e deux images, ilest fréquent d'imposer la ontrainted'uni ité. Eneet un pointd'une imagedoit orrespondre àun pointunique dans ladeuxième imageet inversement.

Contrainted'ordre

Enstéréo-vision,dansle asd'unéloignementfaibledesdeux améras(stéréoàpetite base),la ontrainte d'ordreest fréquement utilisée.

Considéronsdeuxdroitesépipolairesen orrespondan edanslesdeuximages(

D

1

dans l'image 1 et

D

2

dans l'image 2), alors si deux points de

D

1

sont vus dans un ertain

P

Monde 3D

C

2

r´etine 1

r´etine 2

Axe optique C

1

C

1

Axe optique C

2

Image droite

Image gauche

E

1

E

2

P

1

P

2

cam´era 1

cam´era 2

droites ´epipolaires

Figure2.5: La géométrie épipolaire entre deux vues. Les rayons

P

1

et

P

2

sont respe -tivementlesproje tionsdupoint

P

surlesrétinesdes améras1et2,

C

1

et

C

2

sontles entres optiquesdes améras1et2,

E

1

et

E

2

sont lesépipoles :

E

1

estlaproje tiondu entreoptique

C

2

dansla améra1(etinversement).

t

_{(u, v, 1)}

Image 2

Image 1

F

D : a x + b y + c = 0

a)

b)

Figure2.7: Illustration de la géométrie éopipolaire sur un ouple stéréos opique réel. a)imagegau he, b)imagedroite.Troispointsontétéséle tionnéssur l'im-age gau he les droites épipolaires orrespondantes sont tra éessur l'image droite.Surl'imagegau hesonttra éeslesdroitesépipolaires orrespondant aux points des droites épipolairesde l'image droite( e sont des droites en orrespondan e).

ordre par rapportà l'epipole, alors leus orrespondants dans l'image2 sur la droite

D

2

sont vus dans le mêmeordre.

Le paragraphe suivant introduit la notion de ot optique, qui dé ritla relation entre lemouvementdans les imageset les ontours des objets.

2.1.4 Contraintes pour le mouvement

Noussommesi idans un ontexte de mouvement,nous pourronsdistinguer plusieurs types de mouvementspossibles :

•

Dansle asdes ènesrigides :seulela amérasedépla edanslas ène.Cedépla ement dela améravaentrainerdesmouvementsapparentsdesobjetsetdufond(delas ène) danslavidéo.Cependant,l'aspe t3Ddess ènesobservéesentraineradesmouvements apparentsdiérentspour desobjetspro hes ouloinde la améra.Sinous onsidérons deux imagesdiérentes d'une vidéo ontenantdes stru tures ommunes, alors, e as s'apparente au as de lastéréo-vision.

•

Dans le as général les objets de la s ène peuvent posséder un mouvement propre. le mouvementobservé sera alors une ombinaison du dépla ement des objets, du dé-pla ement de la améraet d'eets 3D.

Con ernantledépla ementdela améra,ilesten orepossiblededistinguerdeux as :

•

La améraavan e danslas èneselonl'axeoptique,alorsnousallonsobserverun eet  entrifuge les objets (immobiles) de la s ène ont un mouvement apparent dans la vidéo du entre vers la périphérie de l'imageet nissent par sortir du hamp.

•

La améra ee tue un Travelling dans la s ène. Alors nous observons globalement un mouvement de translation du fond (et des objets immobiles) dans la vidéo par exemple de ladroite vers la gau he, et .

Dansle as des ènesnonrigides,nousn'avonsplusde ontraintegéométriqueexterne nous permettant de restreindre le domaine de re her he d'une image à l'autre, omme parexemple en stéréo-vision(donnée par lapositiondes améras), ilestné essaire d'in-troduireune ontraintetemporelleou ontrainted'a quisition.L'a quisitiondoitsefaire à une aden e élevée entrainant de faibles dépla ements apparents des stru tures dans lesimages su essivesde lavidéo.Lare her he de orrespondantspeut don seramener àune re her he lo ale dans des fenêtres de tailleréduite.

2.1.4.1 Méthodes diérentielles, ot optique

La notion de ot optique a été énon ée dans les années 1950 par James J. Gibson, psy hologueaméri ain[31℄. Leot optique dé ritle mouvementapparent des frontières

des objets de las ène dans une séquen e vidéo.

Tout d'abord, il est né essaire de dénir deux notions :

•

Le hamp de vitesses

~v

est la proje tion dans le plan image des vitesses (3D) des objetsde las ène.Evidement,le hamp de vitesse est une ombinaisondes diérents mouvementsprésents : objets, améra.

•

Le ot optique,quant àlui,est dénipar lesvariationsspatio-temporellesde la fon -tionintensitélumineusedel'image.Leotoptiquedé ritla omposantedumouvement normale aux ontours des objets :

v

~

η

. La gure 2.8 prérente le repère de Frénet lié à la surfa e image, la gure 2.9 quant à elle, représente la omposante normale aux ontours du ve teur mouvement.

Image

Objet

~

ξ

~η =

∇I

~

k∇Ik

Figure2.8: Repère de Frénet lié à la surfa e image

~η

est le ve teur unitaire dans la dire tiondu gradient de l'image,

ξ

~

est leve teur unitairedans ladire tion du ontour.

D'unpointde vuemathématique,onsuppose dans es méthodes quel'imagen'a subi que de petites variations spatiales entre les temps

t

et

t + dt

. Une séquen e d'images peutêtremodéliséeparune fon tion omportantdeux variablesd'espa eetunevariable temporelle :

I(x, y, t)

.

Considérons un point de la s ène qui se projette dans l'image, sous l'hypothèse que l'intensitélumineuse de e point n'a pas hangé,nous pouvons é rire :

•

Au temps

t

, onobserve un pointde la s ène ave l'intensitélumineuse :

P

3

P

2

Image

P

1

~v = ~

v

η

~

v

η

~

v

η

= ~0

_Objet

Figure2.9: Le ot optique

v

~

η

dé rit la omposante du mouvement normale aux on-toursdesobjets.Auniveaudes oinsdesobjetsnousmesuronsdire tement la vitesse des objets dans las ène.

•

Au temps

t + dt

, on observe e même point à une position diérente :

I(x + dx, y + dy, t + dt)

•

Alors :

I(x + dx, y + dy, t + dt) = I(x, y, t) +

∂I

∂x

dx +

∂I

∂y

dy +

∂I

∂t

dt

Nous obtenons alors l'équationfondamentale du ot optique :

∂I

∂t

+ ~v . ~

∇I = 0

(2.4) Où :

~v =

∂x

∂t

,

∂y

∂t

t

est la vitesse d'un point dans leplan image.

~

∇I =



∂I

_∂x

,

∂I

_∂y



t

est le ve teurgradient de l'image.

La déterminationdu ot optique, omme de nombreux problèmes de visionpar ordi-nateur est un problème mal posé. Un problème mal posé est un problème pour lequel l'équation(ou leséquations)lereprésentantontuneinnitéde solutions.Leotoptique n'estdéni qu'au niveau des ontoursdes objets,etladire tiondu ve teurvitesse n'est pas onnue, nous avons le produit s alaire ave le gradient de l'image (gure 2.9). La détermination du hamp de vitesses :

~v

par résolution de l'équation du ot optique, est un problème di ileet né essite l'introdu tionde ontraintes de régularisation. En revan he le mouvementest onnuauniveau des oins (gure2.9), lesméthodes de mise

en orrespondan e de oins oupointsd'intérêtpermettent,elles,de al ulerdire tement la omposante du mouvementdans le plan image.

2.2 Contraintes photométriques et invarian e

olorimétrique

Nousavonsvudanslesparagraphespré édentsque,selon ertaines appli ations,ilest possible d'obtenir des ontraintes géométriques qui vont aider le pro essus de mise en orrespondan e (géométrie épipolaire en stéréo-vision, ontraintede faibledépla ement pour ertainesappli ationsliéesaumouvement,et .).Cependantnousallonsvoiren ore qu'ilest en orepossibled'imposerdenouvelles ontraintes denaturephotométriquesou olorimétriquesen dénissant des modèlesde tranformation.

2.2.1 Conservation naïve des intensités lumineuses

Lorsque deux images sont pro hes, étant donné un point vu à la fois dans deux im-ages, l'idée d'imposer la onservation des intersités lumineuses est l'une des premières quivient à l'esprit.

Uneimage ouleurestuneimagedanslaquellelespixelssontdesquantitésve torielles. Une image ouleur peut être assimilée à la superposition de trois images en niveau de gris(image rouge,image vert, image bleu) :

~

I(x, y) =





R(x, y)

V (x, y)

B(x, y)





Dans e as, ilest natureld'imposer la onservation de haque anal.

Cependant, dans la réalité, la onservation des intensités lumineuses ou des ouleurs estsouventmiseendéfaut.Parexempleenstéréo-vision,lesimplefaitdedépla er légère-ment une même amérapeut hangerl'intensité lumineuse re ue d'un pointdonné, par exempledans le as de réexionsspé ulaires ( f. se tion2.2.3).

Dansle as du mouvementlesu tuationsde l'é lairagevontaussi beau oup inuen er l'a quisitiondes images su essives, nous n'aurons alors pas onservation des intensités lumiseuses d'un point de vue temporel.

Ilest alorsné essairedemodéliserles hangementsde luminositéquipeuventsurvenir au oursdesprisesdevue,demanièreànormaliser lesmesuresquel'onpourraee tuer surlesimages.Nousnouspla eronsdans le as raisonnable oùlamajoritédessurfa es observées présentent peu de spé ularités. Nousallonstout d'abord nous fo alisersur les onditions d'illumination, nous développerons ensuite les propriétés des surfa es d'un point de vuephysique.

2.2.2 Conditions d'illumination

Une s ène peut être soumise àplusieurs typesl'illumination :

•

Lorsque la sour e lumineuse u tue d'un point de vue temporel, nous parlerons de hangement internede la sour e.L'é lairage de las èneest modiédans saglobalité.

•

Lorsque la sour e lumineuse se dépla e dans la s ène, nous parlerons de hangement de luminositéexterne.L'énergiereçueen unpointd'unesurfa edépend deladistan e du point onsidéréàlasour e(fon tionen

1/r

2

).Celaestunepremièreapproximation qui ne tientpas ompted'éventuelles réexionsse ondaires.Nous allonsalors obtenir des variations lo ales d'é lairage dans la s ène dues aux variations de distan e de la sour e aux objets.

Ces deux types de transformation peuvent être ren ontrés à la fois en stéréo-vision eten mouvement. Enmouvement,lorsque la sour e u tue et/ou se dépla e, en stéréo, lorsque lesimagesne sont pas a quises aumème instant, e quien pratique est souvent le as en stéréo-vision non alibrée (les images ont a quises par une même améra qui s'est dépla ée).

2.2.3 Diérents types de réexions

D'unpointdevuephysique,unelumièrein identesurunesurfa evaêtreen partie ab-sorbéeetenpartieréé hie, e isetraduitpardes oe ientsderéexionetd'absopsion. Evidement es oe ients dépendent de nombreux fa teurs, omme par exemple de la longueur d'onde de la lumière émise par la sour e, des propriétés de la surfa e des objets, et .

Objet

Cam´era

Source lumineuse

Surface

rayon r´efl´echi

normale `a la surface

θi

θr

rayon incident

a)

Objet

Cam´era

Source lumineuse

Surface

rayon incident

´energie incidente r´epartie dans toutes les directions

b) Figure2.10: Réexionetdiusion d'unesour elumineuse sur unesurfa e. a)Rééxion

spé ulaire.b) Diusionlambertienne. Considérons lespropriétés de lasurfa e des objets :

•

Certaines surfa es réé hissent entièrement la lumièrereçue selon un anglede réex-ion égal à l'angle d'in iden e, nous parlerons de surfa es spé ulaires. C'est le as en parti ulier des miroirs.

•

Certaines surfa es diusentisotropiquementlalumièrereçue, nous parlerons alors de surfa es lambertiennes.

•

Enn dans la majorité des as, les surfa es se omportent en partie omme des sur-fa es lambertiennes, eten partie ommedes surfa es spé ulaires.

Dès lors que l'on s'intéresse aux propriétés physiques des illuminantset des surfa es (é lairage spe tral, réexion, diusion spe trale, et .), les modélisations obtenues peu-ventvitedevenir extrêmement omplexesetinutilisablesdansnotre ontexte demise en orrespondan e.

Il est don né essaire d'unepart de onsidérerdes s ènesplus simples etd'autrepart d'ee tuerunesimpli ationsdesmodèles(approximationslinéaires)[58℄.Auniveaudes s ènesobservées, onne onsidèreraquedess ènesdetypeMondrian[32℄danslesquelson neren ontrequedessurfa esplanes,lambertiennes,illuminéesparunesour epon tuelle émettantde manièreisotropique.

2.2.4 Cas de la diusion lambertienne

Dans e as, la fon tion de rée tan e spe trale de lasurfa e, ne dépendra que de la longueur d'onde de la lumière in idente. Alors la lumière reçue par le apteur

k

de la améra(

k ∈ (R, V, B)

)pourunpointdonnédunobjetdelas ène,peutêtremodélisée par l'équationsuivante :

I

k

=

ˆ

λ

S

λ

. E

λ

. R

λ,k

dλ

Où :

• E

λ

: représente lalumièrein idente, (au point onsidéré)

• S

λ

: représentela réé tan e spe tralede lasurfa e (au point onsidéré)

• R

λ,k

: représente la réponse spe trale du apteur

k

.

Dans la se tion suivante nous présentons une modélisationdes hangements internes de lasour e.

2.2.5 Modélisation des hangements internes de la sour e

Dans la as de surfa es lambertiennes, il a été montré [66℄ qu'une approximation linéairede e modèlepouvaitrendre ompte orre tementdes hangementsinterne

d'il-lumination. Alors si

~

I

et

I

~

′

(

~

I

=

t

(R, V, B)

et

~

I

′

₌

t

_(R

′

_{, V}

′

_{, B}

′

₎

) représentent respe -tivementla ouleurd'unpointperçueparun apteur avantetaprès hangementinterne d'illumination :

~

I

′

_{= M . ~}

_I

(2.5) Dans le as ouleur, la matri e

M

est une matri e

3×3

à neufparamètres.

D'autres variantes ont été étudiées dans [27℄, [26℄, [25℄, le modèle diagonal à trois paramètres.Dans [35℄, onze modèles d'illuminationinterne ont été évalués.

Dans[32℄,lemodèleane(modèlediagonalplusunve teurdetranslationdes ouleurs) est étudié, 'est un modèle à six paramètres :





R

′

V

′

B

′





=





α

R

0

0

0

α

V

0

0

0

α

B





.





R

V

B





+





β

R

β

V

β

B





(2.6) Où :

•

t

_{(R, V, B)}

et

t

_(R

′

, V

′

, B

′

)

: représentent les ouleurs avant et après transfor-mation.

• α

R

,

α

V

,

α

B

: représentent les fa teurs d'é helle respe tivement pour les anaux rouge, vert et bleu.

• β

R

,

β

V

,

β

B

: représentent des translations d'intensité respe tivement pour les anaux rouge, vert et bleu.

Dansnostravauxnousutiliseronslemodèleàsixparamètresdéni i-dessus (eq.2.6). 2.2.6 Invarian e olorimétrique ane

Dans [32℄, le modèle de transformation olorimétrique ane est utilisé. An d'élim-iner ette tranformation, les auteurs proposent d'utiliser des normalisations lo ales de l'imageauniveau de points d'intérêt, plusieursméthodes de normalisationssonttestées et évaluées. Les mesures géométriques qui sont alors ee tuées au niveau des points d'intérêt ne dépendent plus de la transformation olorimétrique.

2.3 Te hniques de mise en orrespondan e

La mise en orrespondan e d'imagess'ee tue généralement en deux étapes :

•

D'abord, le al ul d'une mesure de similarité, soitentre les images elles mêmes, soit entre partiesd'images. Cettemesure de similaritépermetalors d'obtenir un s ore ou une listede s ores de similarité.

Lorsque la méthode travaille sur les images entières, nous parlerons de mise en or-respondan e globale,en revan he, l'orsqu'ils'agit de parties d'imagesnous parlerons de mise en orrespondan e lo ale.

Dans e deuxième as (qui est le as leplus ourant), on her he généralementà établir des orrespondan es entre primitives des images (régions, ontours, segments, points d'intérêt, et .).Dans [2℄ lesauteurs her hentà mettreen orrespondan e des segments de droiteobtenuspar approximationpolygonalede ontours, dans[13℄ l'auteurutilise à lafoisdesrégionsetdessegmentspouree tuerlamiseen orrespondan e. Laprimitive Segment à surtoutété utiliséepour des s ènesd'intérieur rigidesdon des s ènesdans lesquelles lagéométrie est prépondérante. Dans laplupart des appli ations ré entes, e sont des points d'intérêt qui sont utilisés. Les points d'intérêt ont la propriété d'être moinsambigüsquedesprimitivesd'étendue plusimportante,parexemple,un oindans une image est plus fa ilement retrouvé dans une autre image qu'un segment ou une région,et e i pour plusieurs raisons :

•

Les algorithmes de segmentation pour des primitives de type oin omportent moins de paramètres. Il existe de plus des déte teurs invariants à l'é helle ou invariants à ertaine tranformationsgéométriques de l'imagequi seront détaillésplus loin.

•

Des primitivesde grandetaille ommeparexemple desrégion serontplus rapidement o ultées lorsd'un dépla ementde améra,rendant lesidenti ationplus di ile. Enn,lespointsd'intérêtsprésententdes ara téristiquesde répétabilitémêmedansdes zonesprésentantunegéométrie peu signi ativeparexempledansdes s ènesnaturelles, oudes images omportant des zones texturées.

2.3.1 Cal ul d'attributs

Nousavons vuquelamajoritédesméthodesdemiseen orrespondan estravaillentde manièrelo ale. Les primitivesdans une image sontporteuses d'information. Il est don né essaire de al ulerun ve teurd'attribut à haqueprimitivede manièreàpouvoir les omparer ave elles d'une autre image. Il existe de nombreuses méthodes permettant de ara tériser des primitives, dans une image, es méthodes seront détaillées dans le hapitresuivant.

2.3.2 Cal ul des s ores

La omparaison entre un ve teur de ara téristiques (de dimension

n

) d'une primi-tive

i

d'une image

I

1

:

v

~

1,i

et un ve teur de ara téristiques d'une primitive

j

d'une image

I

2

:

v

~

2,j

dé oule simplement de fon tions distan e, le tableau suivant présente, de mani`ere non exhaustive, les distan es les plus ourament utilisées pour la mise en orrespondan e :

Par exemple la distan e de Manhattan est très utilisée (souvent dénommée SAD : Sumofabsolutedieren es) :

P

n

k=1

|v

1,i

k

− v

2,j

k

|

.Dans ertains as ettedistan eprésente un intérêt en terme de temps al ul, en eet, elleévite le al ul de la ra ine arrée de la distan e eu lidienne. De nombreuses distan es ont été dénies pour des mesures de

Nom Distan e entre

~v

1,i

et

~v

2,j

(

n

omposantes) Distan e de Manhattan :

n

X

k=1

|v

_1,i

k

− v

_2,j

k

|

Distan e Eu lidienne :

v

u

u

t

n

X

k=1

v

k

1,i

− v

k

2,j

2

Distan e de Cheby hev :

max

k=1,.,n

|v

k

1,i

− v

k

2,j

|

Divergen e de Kullba k-Leibler :

n

X

k=1

v

1,i

k

log

v

k

1,i

v

k

2,j

Divergen e de Jerey :

n

X

k=1

v

1,i

k

log

v

k

1,i

v

k

1,i

+v

2,j

k

2

+ v

2,j

k

log

v

k

2,j

v

k

1,i

+v

2,j

k

2

Distan e quadratique (

A

matri edesimilarité):

q

t

_(v

k

1,i

− v

2,j

k

).A.(v

1,i

k

− v

2,j

k

)

Distan e de Mahalanobis (C matri ede ovarian e) :

q

t

_(v

k

1,i

− v

k

2,j

).C

−1

.(v

1,i

k

− v

2,j

k

)

Table 2.2: Exemple de al ulde distan es entre ve teurs de ara téristiques

~v

1,i

et

~v

2,j

de deux primitives

i

et

j

prises ha une dans deux images diérentes.

similaritéentre primitives : Uneliste de distan es lassiques est visible dans le tableau 2.2. On noteraquela divergen e de Kullba k-Leibler n'estpas exa tement une distan e (elle n'est pas symétrique), on trouvera une variante symétrique dans la divergen e de Jerey. Ces deux mesures sont plutt utilisées pour la re her he d'images de ontenu similaire dans un adre d'indexation, que pour ee tuer de la mise en orrespondan e exa te [34℄.

On notera qu'il existe en ore de multiples mesures de distan e, par exemple des mesures plus statistiques qui s'ee tuent sur des histogrammes. De nombreux travaux ontété menés sur la re her he etl'identi ationde texture oud'objets dans une image en utilisant des distan es sur des distributions umulées, par exemple les mesures de Kolmogorov Smirnov, le test de Cramer Von Mises, Distan e de Baddeley, et . Dans [14℄, les auteurs utilisent omme ve teur de mesure l'image entière, ils dénissent une mesurede similaritéstatistique entre les ouleurs des images basée sur une distan e de Baddeley. Mais en ore on trouvera des distan es plus élaborés omme l' EMD (Earth MoverDistan e EMD) qui s'appuie sur un problème d'optimisation[90℄ [91℄.

2.3.3 Mise en orrespondan e dire te

Etant donné une distan e entre ve teurs de ara téristiques, la mise en orrespon-dan e dire te onsiste à ae ter omme orrespondant d'une primitive

i

de l'image

I

1

, laprimitive

j

de l'image

I

2

dontla distan e est minimale(ou les ore est maximal).

image I

2

image I

1

~v

j

~v

i

match (l −→ j)

~v

l

match (i −→ j) : dist(~v

i

, ~v

j

) est minimale

Figure2.11: Mise en orrespondan e dire te(image

I

1

vers image

I

2

).

Cette méthode ne vérie pas la ontrainte d'uni ité enon ée au paragraphe 2.1.3, plusieurs primitives de l'image

I

1

peuvent être mises en orrespondan e ave la même primitivede l'image

I

2

. La gure2.11 illustre ette propriété.

2.3.4 Mise en orrespondan e par véri ation roisée

La méthode de mise en orrespondan e par véri ation roisée onsiste à mettre en orrespondan e des régions ou des primitives d'une image

I

1

vers l'image

I

2

et inverse-ment de l'image

I

2

vers

I

1

(Figure 2.12). En eet l'ensemble des mat hes obtenus doit vérierla ontrainted'uni ité. Cetteméthode demise en orrespondan e donnede bons résultats lorsque l'ambiguité de la s ène n'est pas trop importante (peu de stru tures répétitives) etque lesdes ritions utiliséessont susament informatives.

Figure 2.12: Miseen orrespondan e roisée des primitivesentre deux images. [DroitIll.imagesde[97℄℄

2.3.5 Mise en orrespondan e par relaxation

Les te hniques de relaxation sont basées sur des méthodes d'étiquetage sto hastique [89℄, [88℄, [39℄. Le s héma de relaxation est extrêmement général, il s'agit d'un s héma de mise en orrespondan e oue de graphes, ouétiquetage de graphes.

La relaxation tente d'attribuer des étiquettes aux noeuds d'un graphe (les étiquettes provenant des noeuds d'un autre graphe). Nous présentons i i laversion probabiliste la plus simple de [24℄, onnotera que de nombreux travaux de mise en orrespondan e ont été réalisés par relaxation,par exemple : [52℄, [108℄, [50℄, [33℄, [96℄.

Problème :

Assigner un ensemble

L

de

l

labelsà un ensemble

N

de

n

noeuds :

L = (l

1

, . . . , l

j

, . . . , l

l

)

N = (n

1

, . . . , n

i

, . . . , n

n

)

•

Pour haque noeud

n

i

, un ve teur de probabilité d'assignation (de dimension

l

) est déni :

P (n

i

= l

j

)

. Ce ve teur de probabilité représente la probabilité d'assignation du noeud

n

i

par l'étiquette

l

j

.

•

A haque noeud

n

i

, orrespond un ertain voisinage

V (n

i

)

déni par les arêtes du graphe (des noeuds).

•

On se donne enn une relation de ompatibilité entre les assignations de noeuds voisins. Cette relation est généralement modélisée par un ensemble de probabilités onditionnelles :

P (n

i

= l

j

|n

k

= l

m

)

'est à dire laprobabilité que le noeud

n

i

soit étiqueté par l'étiquette

l

j

sa hant que le noeud voisin

n

k

(∈ V (n

i

))

est étiqueté par l'étiquette

l

m

.

La mise en orrespondan e par relaxationest un s héma itératif :

•

à haque itérationles probabilitésd'assignation sont mises àjour grâ e aux probabi-litésd'assignationdes noeudsvoisins. Laprobabilitéquelenoeud

n

i

soitétiquetépar l'étiquette

l

j

augmente si les ve teurs de probabilité de ses voisins sont ompatibles (et inversement).

P

(t+1)

(n

i

= l

j

) =

P

(t)

_(n

i

= l

j

) Q

(t)

i

(j)

P

l

k=1

p

(t)

(n

i

= l

k

) Q

(t)

i

(k)

(2.7)

P

_i

(t)

(k)

représentele ve teur de probabilité d'assignation :il représente laprobabilité d'assignationdu noeud

n

i

par létiquette

l

k

à l'itération

t

. Etant donné

P

(0)

i

(k)

, une es-timationinitiale de la mise en orrespondan e, ette probabilité initiale est mise à jour grà eà la fon tion de ompatibilité

Q

(t)

i

(k)

al ulée àpartir des probabilités ondition-nelles.

Q

(t)

_i

(k) =

X

j∈V (n

i

)

w

ij

"

_l

X

k

′

₌₁

p(i = k|j = k

′

)p

(t)

(j = k

′

)

#

(2.8) Où :

w

ij

sont des poids qui indiquent l'inuen e du voisin

n

j

du noeud

n

i

.

D'un point de vue de la mise en orrespondan e, legrand intérêt de larelaxation est de pouvoir faireintervenir deux types d'informations :

•

Des mesures lo ales sur les primitives : les probabilités d'assignation dé oulent di-re tement des mesures de distan e entre ve teurs ( f. paragraphe2.3.2).

•

Desmesures denaturegéométrique :lesprobabilités onditionnellesetlapropagation bayesienne de es probabilitésintègrentnaturellementles propriétes géométriques de la s ène.

2.3.6 Te hniques de votes

Les te hniques de votes dérivent des méthodes de déte tion de formes basées sur la transformation de Hough [38℄, [21℄. Considérons une s ène rigide ontenant plusieurs

objets,observée par une améraen mouvement,alors pour un objetdonnése déplaçant ave unevitesseproprenousallonsobserverunensembleve teursmouvementidentiques (oupro hes), orrespondantauxpartiesdel'objetmisesen orrespondan e(parexemple des points d'intérêt).

Il est alorspossibled'utiliserun tableaua umulateur de ve teurs mouvement,après unemiseen orrespondan e,pourtenterd'éliminerdes appariementsisolésdansl'espa e des vitesses. En pratique e i est réalisé par simple seuillagede l'a umulateur.

2.3.7 Mise en orrespondan e dense

La mise en orrespondan e dense onsiste à essayer de mettre en relation tous les pixelsde deux imagesen stéréo-vision ouen mouvement.

•

En stéréo-vision, la onnaissan e de la géométrie épipolaire, permet d'ee tuer une mise en orrespondan e dense. Il existe pour ela de nombreuses méthodes basées sur la orrélation[36℄, des méthodes par programmationdynamique [104℄ [82℄ (graph uts) ou en oredes méthodes par minimisation d'énergie [1℄.

•

En mouvement, ontrouvera de nombreux travaux liésauot optique [37℄.

2.4 Changements de point de vue et transformations

géométriques de l'image

Nousavons examiné auparagraphe2.2lesprin ipalestransformation olorimétriques qui pouvaient survenir dans les problèmes de mise en orrespondan e d'image, nous allons maintenant nous fo aliser sur les diérentes transformations géométriques que nous pourronsren ontrer.

Soient

I

1

et

I

2

deuxvuesd'unemêmes èneprisesdansdes onditionsdiérentes :Une transformationgéométrique de l'imageest une fon tiondes oordonnées de l'image :

I

2

(x, y) = I

1

(~g(x, y))

(2.9)

dans laquelle lafon tion

~g

est une fon tionbi-dimentionnelledes oordonnées image. Il existe de nombreux types de transformations linéaires ou non linéaires omme par exemple une simple rotation de l'image ou une transformation plus omplexe omme unmorphing.Nousretiendronsprin ipalementlestransformationslinéaires,quisontles plus ourantes en stéréo-vision ouen mouvement :rotation,translation, transformation anesou perspe tives.

2.4.1 Rotation image

I

θ

(x, y) = I

 cosθ −sinθ

_sinθ

_cosθ

  x

_y



t

!

(2.10) Où

θ

, représente l'angle de rotation appliquéà l'image

2.4.2 Translation image

La transformationgéométrique de translation de l'image est déniepar :

I

2

(x, y) = I

1

(x + T

x

, y + T

y

)

2.4.3 Changement d'é helle

Le hangement d'é helle est lié à la taille d'observation des stru tures, un zoom est un exemple typique de hangement d'é helle, mais dans notre as, nous ren ontrerons plus fréquemment un rappro hement (ou un éloignement ) de la améra dans la s ène. On noteratout de mêmeque d'un point de vue physique,le zoomoule rappro hement de la améra n'est pas équivalent : les diérents plans ne sont pas traités de la même manière.

Nous onsidérons i ides s ènes planesperpendi ulairesà l'axe optique de la améra, alors le hangement d'é helle s'é rit simplement par un oe ient de proportionnalité entre les oordonnées de l'image

I

1

et ellesde l'image

I

2

:

I

2

(x, y) = I

1

 S 0

_{0 S}

  x

_y



t

!

2.4.4 Transformations anes et proje tives

Nousavons vuquele hangementd'é helle permettaitd'approximerenpartie ertains hangements de pointde vue(zoomourappro hementde la améra), lorsque la améra tourne ou se dépla e par exemple latéralement dans la s ène (ou les deux), il est alors né essaire de faire appel à des transformations algébriques plus omplexes pour rendre omptede ertains mouvements de améra.

Dans un hangement de point de vue ne sontplus onservées, niles longueurs, ni les angles.Parexemplelalongueurd'unearêted'unobjetn'estpas onservée,l'anglerelatif entre deux arêtes d'un objet, n'est pas non plus onservé, notament le paraléllisme ne l'est pas. Evidement, ette transformationdépend de ladistan e de l'objetà la améra, un objet lointain sera moins ae té qu'un objet pro he.

Dans le as de s ènes planaires, les transformations proje tives vont permettre de modéliser e type de dépla ement de améra, en eet, la améra ee tue une proje -tion perspe tive (qui est une transformation proje tive parti ulière) et la ombinaison

d'unetranformation proje tive etd'une transformationperspe tive est une transforma-tionproje tive(un plan est transforméen un plan,mais nilesdistan es nilesangles ne sont onservés).

Dans e as de s ènes planaires, onnaissant quatre points ( oplanaires) non alignés vus à la fois dans les deux images, es pointsforment une base proje tive du plan. Les méthodes de transfertbaséessur lesinvariantsproje tifs etbasesproje tivessont abon-damment dé ritsdans [32℄. Il est alors possible de al uler des oordonnées proje tives d'unpointquel onqueduplan(donnéespartroisinvariantsproje tifs :

k

1

, k

2

, k

3

).Siles points de la base proje tive sontappariés dans les deux images les oordonnées proje -tives al ulées dans la première image peuvent être utilisées pour ee tuer le transfert du point dans la se onde image. La gure 2.13 illustre une transformation proje tive entre deux images.

Dans le as général où la s ène n'est pas planaire, il n'est évidement pas possible de trouver une transformation proje tive transformant la première image en la deuxième. Il n'existe pas d'invariantdans le as général.

D'un point de vue pratique, par exemple au niveau d'un simple point d'intérêt, il est impossible de retrouver une éventuelle transformation proje tive (trop de degrés de liberté). Dans e as il est fréquent de modéliser lo alement ette transformation par unetransformationane plussimple.C'est latransformationlaplus omplexepouvant être estimée et éliminée lo alement, par exemple, la ourbure ane est invariante par toute transformationane.

Figure2.13: Exemple transformation proje tive entre deux images, niles distan es ni lesangles ne sont onservés.

2.4.4.1 Importan e de l'invarian e ane

Dèslorsquele hangementde pointde vueestimportant,lestransformationsde l'im-age au niveau lo alne sont plus assimilables à de simples transformations eu lidiennes