Mise en correspondance A Contrario de points d'intérêt sous contraintes géométrique et photométrique

HAL Id: tel-01746212

https://tel.archives-ouvertes.fr/tel-01746212v2

HAL is a multi-disciplinary open access archive for the deposit and dissemination of sci-entific research documents, whether they are pub-lished or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers.

L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.

sous contraintes géométrique et photométrique

Nicolas Noury

To cite this version:

Nicolas Noury. Mise en correspondance A Contrario de points d’intérêt sous contraintes géométrique et photométrique. Vision par ordinateur et reconnaissance de formes [cs.CV]. Université Henri Poincaré - Nancy I, 2011. Français. �NNT : 2011NAN10069�. �tel-01746212v2�

D´epartement de formation doctorale en informatique Ecole doctorale IAEM Lorraine´ UFR Sciences et Technologies

Mise en correspondance A Contrario

de points d’int´

erˆ

et sous contraintes

g´

eom´

etrique et photom´

etrique

TH`

ESE

pr´esent´ee et soutenue publiquement le 13 Octobre 2011

pour l’obtention du

Doctorat de l’universit´

e Henri Poincar´

e – Nancy 1

(sp´ecialit´e informatique)

par

Nicolas NOURY

Composition du jury

Rapporteurs : Adrien BARTOLI Professeur, Universit´e d’Auvergne, Clermont-Ferrand Charles KERVRANN Directeur de Recherche INRIA, Rennes

Examinateurs : Yann GOUSSEAU Maˆıtre de Conf´erences, ENST, Paris Dominique M´ERY Professeur, UHP, Nancy

Fr´ed´eric SUR Maˆıtre de Conf´erences, INPL, Nancy Marie-Odile BERGER Charg´ee de Recherche INRIA, Nancy

Remerciements

Je tiens en premier lieu à remercier Marie-Odile Berger, ainsi que Frédéric Sur, qui m’ont guidé pendant ces années de travail. D’abord, pour m’avoir initié à la recherche en vision par ordinateur pendant mon stage de master, et proposé, puis convaincu, de faire une thèse. Leur disponibilité et leur soutien m’ont permis de mener à bien ce projet.

Je remercie également les rapporteurs de ce mémoire, Charles Kervrann et Adrien Bartoli ; ainsi que Yann Gousseau qui a accepté d’être examinateur. Enfin, Dominique Méry pour l’honneur qu’il m’a fait de présider le jury de thèse.

Ensuite, un grand merci aux collègues et amis du Loria, plus particulièrement de l’équipe Magrit : Erwan, Brigitte, Flavio, Diego, Sébastien, Nicolas P., Nicolas F., Frédéric Sp., Evren, Patricia, Cédric, Ting, Blaise, Pierre-Frédéric, Ahmed, Christel.

Un énorme merci particulier à mon grand frère de thèse, Michael, et à Lise, qui en plus de surmonter les aléas des voyages en train, savent monter des guets-apens inoubliables.

Merci bien entendus aux nancéiens, et ceux qui le sont de moins et moins : Aude et Adrien, et leurs biens jolis t-shirts californiens. Céline, Gilles le dessinateur voileux marathonien et Zoé pour leurs barbecues toujours sous le soleil. Landry, mon photographe forgeron préféré à qui je dois un nombre incalculable de sorties photos repoussées. Xevel, l’homme fuseau horaire qui parlait à l’oreille des Xachicomas. Jlg, qui s’assure que la montagne est toujours là à ma place. Aurélie, Alex et Apolline, envoyés spéciaux en Bavière.

Merci aussi à tous ceux qui n’ont pas besoins d’être cités car présent depuis très très longtemps : à Benoît, le frère que j’aurai rêvé avoir. Aux condorcéens, petits et grands : Alice, Béné, Florence, Laure, Benjamin, Fabien, Julien, et Yann, pour tous les moments partagés passés et à venir. Merci aux globe-trotteurs, toujours plus nombreux, pour leurs chambres d’amis que je compte bien utiliser.

Merci aussi à tous ceux que j’ai oublié. Merci pour tout à mes parents.

Table des matières

Introduction 1

1 Préambule

La méthodologie a contrario 7

1.1 La prise de décision en vision par ordinateur . . . 7

1.1.1 Tests d’hypothèses . . . 8

1.1.2 Limites . . . 8

1.2 Le principe de détection a contrario . . . 9

1.2.1 Une application : la détection d’alignements . . . 9

1.2.2 Conclusion . . . 12

1.3 Mise en correspondance a contrario . . . 13

1.3.1 La géométrie épipolaire . . . 13

1.3.2 Les difficultés d’estimation de la matrice fondamentale . . . 14

1.3.3 Modèle . . . 15

1.3.4 Prise en compte d’occurrences multiples . . . 18

1.4 Conclusion . . . 18

2 La mise en correspondance de points d’intérêt 19 2.1 Le schéma habituel d’estimation du mouvement . . . 19

2.2 Points d’intérêt et descripteurs locaux . . . 21

2.2.1 Critères d’évaluation . . . 23

2.2.2 Caractéristiques souhaitables d’un détecteur . . . 23

2.2.3 Le détecteur Sift . . . 24

2.2.4 Les descripteurs de points clés . . . 25

2.3 Mise en correspondance sous contrainte photométrique. . . 26

2.3.1 Distance entre descripteurs à base d’histogrammes . . . 27

2.3.2 L’appariement en présence d’aliasing perceptuel . . . 29

2.4 Le filtrage robuste à l’aide de la contrainte géométrique. . . 30

2.4.1 Limites de l’estimation aux moindres carrés. . . 30 iii

2.4.2 RANSAC . . . 31

2.4.3 Évolutions de RANSAC . . . 32

2.5 Conclusion . . . 35

3 A Contrario RANSAC- Évaluation 37 3.1 Tests synthétiques . . . 38

3.1.1 Protocole expérimental . . . 38

3.1.2 Test de robustesse . . . 38

3.1.3 Test de précision . . . 38

3.1.4 Tests de vitesse d’exécution. . . 38

3.2 Tests sur une séquence vidéo . . . 40

3.3 Conclusion . . . 42

4 Modèle A Contrario, mise en correspondance robuste sans appariement a priori 45 4.1 État de l’art : méthodes de mise en correspondance . . . 46

4.1.1 Distance CEMDde Rabin et al. et modèle A Contrario associé . . . 46

4.1.2 Réaliser la mise en correspondance par une méthode à base de graphes . 47 4.1.3 Contraintes de voisinage et relaxation . . . 47

4.1.4 Graphes d’adjacence . . . 47

4.1.5 Méthodes d’appariement en une étape . . . 49

4.2 Appariement A Contrario sous contraintes épipolaires et photométriques . . . 51

4.2.1 Le modèle A Contrario . . . 53

4.2.2 Modélisation de la contrainte géométrique . . . 54

4.2.3 Modélisation de la contrainte photométrique . . . 55

4.2.4 Les distances photométriques utilisées . . . 57

4.3 Choix techniques et algorithmes . . . 58

4.3.1 Discussion : le NFA, un critère pour estimer le consensus . . . 58

4.3.2 Accélération de la recherche d’ensembles significatifs. . . 58

4.3.3 Algorithme. . . 61

4.4 A propos des homographies . . . 62

4.5 Conclusion . . . 62

5 Résultats expérimentaux pour le modèle AC de mise en correspondance 63 5.1 Approche expérimentale . . . 63

5.2 Influence des paramètres sur l’algorithme . . . 64

5.2.1 Influence de la valeur deα . . . 65

5.2.2 Influence de la distance entre caméras . . . 68

v

5.4 Mise en correspondance de points et aliasing perceptuel . . . 75

5.4.1 Motifs répétés et homographie. . . 78

5.4.2 Motifs répétés et contrainte épipolaire . . . 81

5.4.3 Avec des seuils de détection plus permissifs. . . 84

5.4.4 Mise en correspondance avec une ligne de base plus grande . . . 84

5.4.5 Quand l’aliasing perceptuel ne peut être résolu . . . 87

5.5 Conclusion . . . 87

6 Une méthode de mise en correspondance sous fort changement de point de vue 91 6.1 Détection de points d’intérêt et invariance affine . . . 91

6.1.1 Points d’intérêt invariants aux transformations affines . . . 92

6.1.2 Simulation de points de vue . . . 92

6.1.3 Rectification via les normales aux patchs locaux . . . 93

6.1.4 ASIFT . . . 93

6.1.5 Utilisation d’ASIFT . . . 94

6.2 Ambiguïté perceptuelle et mise en correspondance de points. . . 96

6.3 Algorithme . . . 96

6.4 Expériences . . . 98

6.5 Conclusion . . . 101

Conclusion et perspectives 109 1 Contributions de la thèse. . . 109

1.1 Mise en correspondance a contrario sous contraintes géométriques et pho-tométriques . . . 109

1.2 Un algorithme ASIFTamélioré . . . 109

2 Perspectives . . . 110

Annexes

111

A.1.1 Méthode des huit points. . . 113

A.1.2 Méthode des sept points. . . 114

Introduction

Les progrès en vision par ordinateur, branche de l’intelligence artificielle, permettent aux ma-chines d’extraire de l’information à partir d’images. Diverses approches sont apparues, permettant des applications aussi variées que la reconnaissance d’objets ou de personnes, la construction de modèles virtuels, le positionnement de robots mobiles... Les travaux de cette thèse sont relatifs au problème de l’analyse de la structure et du mouvement, et plus particulièrement à la mise en cor-respondance de points d’une image à l’autre. Il s’agit d’estimer la forme d’objets 3D et la position de la caméra à partir de photos ou de vidéos. Leur acquisition est accessible au plus grand nombre via les téléphones portables et les ordinateurs personnels. Les applications sont multiples : réalité augmentée par l’incrustation d’objets virtuels dans une scène réelle, post-production vidéo, aide au diagnostic médical, modélisation architecturale...

Des outils, tel que Bundler [Sna,SSS07] et Boujou [vic00] permettent l’estimation de trajectoires de cameras. D’autres, Autopano [Kol04] et Autostitch [Inc09], rendent possibles la réalisation de panoramas. Ces logiciels utilisent des points mis en correspondance, ou appariements, entre deux ou plusieurs images. Comment procéder pour associer deux points est l’enjeu principal de notre travail. Dans des cas difficiles, comme en présence de motifs répétés ou de forts changements de points de vue, peu ou pas d’appariements corrects sont trouvés. L’amélioration de leur fiabilité est une condition importante pour parfaire l’estimation du mouvement. Parmi les nombreuses étapes nécessaires à la résolution de ce problème, nous nous sommes intéressés dans cette thèse à la mise en correspondance de points de deux images distinctes d’une même scène, sous contraintes géo-métrique et photogéo-métrique. La contrainte géogéo-métrique est exprimée soit à l’aide de la géométrie projective reliant deux vues, appelée géométrie épipolaire, soit à l’aide d’une homographie planaire. La contrainte photométrique impose la ressemblance entre les voisinages de certains points que l’on va privilégier.

Le mouvement de la caméra entre deux positions est estimé en prenant en compte les contraintes photométriques et géométriques précédentes, et en observant le déplacement des points considérés dans les images en tenant compte du phénomène de parallaxe. Le procédé utilisé habituellement repose sur les étapes suivantes.

Tout d’abord, l’extraction de points d’intérêt sélectionne des points facilement repérables dans une image. Il est souhaitable de ne considérer qu’un nombre limité de points d’une image autant pour des raisons de combinatoire que pour ne conserver que les plus pertinents. Leurs positions et caractéristiques sont les résultats d’un algorithme détecteur. L’information contenue dans les niveaux de gris des pixels de l’image, qu’on appelle photométrie, est pour chaque point représentée par un descripteur encodant celle de son voisinage. Les travaux de Schmid [Sch96], puis les détecteurs et descripteurs SIFT[Low04] et SURF [BTG06], par exemple, ont permis un saut qualitatif permettant

d’envisager des utilisations de ceux-ci dans des cas difficiles de changements d’illumination et / ou de point de vue importants.

Ensuite la recherche d’appariements, ou mise en correspondance de points d’intérêt d’une image à l’autre d’une même scène observée avec un point de vue différent, est effectuée à l’aide des des-cripteurs photométriques.

Puis, on détermine les paramètres de la matrice de mouvement [Zha98, HZ00, FLP01, TM97,

TFZ99], soit dans le cas de la géométrie épipolaire, où sont calculés les paramètres de la matrice

fondamentale encodant le mouvement de translation et de rotation séparant les deux vues à partir des coordonnées des points d’intérêt mis en correspondance, soit en restreignant la mise en corres-pondance à deux plans, la relation à estimer étant alors une homographie.

Il est en même temps nécessaire de réaliser un filtrage des correspondances. Les appariements extraits par les méthodes citées ci-dessus ne sont pas tous exacts. L’utilisation de procédés capables de traiter la présence de données aberrantes, tel RANSAC[FB81], permet de filtrer les données afin

de ne prendre en compte dans l’évaluation du mouvement que celles jugées fiables, et ainsi de rendre robuste l’estimation statistique subséquente. RANSACnécessite la fixation de deux seuils qui

ont une forte influence sur le résultat, l’un pour la précision des appariements retenus, et l’autre pour la taille minimale de l’ensemble retenu.

Enfin, à partir de ces données filtrées, les informations concernant le positionnement de la ca-méra sont obtenues.

Enjeux

Les méthodes de type RANSACnécessitent la fixation de seuils par l’utilisateur et n’opèrent pour

le moment que sur les coordonnées des points, c’est-à-dire des informations géométriques. Nous avons retenu la méthodologie A Contrario [DMM00, DMM08, CLM+08] pour réaliser la mise en correspondance robuste de points d’intérêt [MS04b]. Son fonctionnement résout la principale diffi-culté de la recherche dans l’approche RANSAC, définir automatiquement des seuils pour la taille des

ensembles retenus et la précision de ceux-ci, tout en minimisant l’erreur d’estimation.

La formalisation du processus de détection est la suivante. On suppose disposer d’un modèle a minima de détection des points d’intérêt. Par exemple, on choisit une loi uniforme expliquant leur distribution dans les images. On évalue ensuite l’espérance d’une détection à tort de l’événement observé pour ce modèle, en prenant en compte la combinatoire du problème et en normalisant l’er-reur de mesure. Si l’espérance est très faible, il est très peu probable que cette détection soit fausse, et a contrario, il existe une meilleure explication que l’hypothèse naïve sur les données (le hasard). Les avantages sont qu’elle permet une amélioration de la sélection robuste des correspondances et de fixer automatiquement les seuils de l’approche RANSAC.

FIGURE1 – Couples d’images difficiles à mettre en correspondance.

Cependant, utiliser cette approche ne modifie pas le paradigme usuel de recherche d’apparie-ments en deux étapes : la mise en correspondance de points d’intérêt par un critère photométrique,

3

suivi par un filtrage robuste à l’aide d’une contrainte géométrique choisie. Quand la scène contient des motifs répétés, comme pour les images de la figure1, les candidats à l’appariement retenus à l’étape de comparaison des descripteurs photométriques ne sont pas cohérents, et ceux-ci ne per-mettent pas de valider une hypothèse de mouvement. La figure2 en est un bon exemple : pour chaque point, on choisit comme correspondant le point avec le descripteur le plus ressemblant, et seulement s’il se détache bien du second plus proche voisin. Sur la moquette, de nombreux motifs sont identiques et mal mis en correspondances. Vu que la plupart des candidats sont faux, il est alors quasi impossible de filtrer un ensemble cohérent avec le mouvement de la caméra.

FIGURE 2 – Approche standard pour la mise en correspondance pour les couples d’images visible en1.

Elle produit sur le cube ou la moquette des correspondances de points d’intérêt pour la plupart incorrectes. La transformation géométrique recherchée entre les images est une homographie. Les points d’intérêt SIFTsont signalés par une croix, le segment représente le mouvement apparent avec

le point d’intérêt apparié dans l’autre image. A gauche, en bleu, les correspondances correctes

(in-liers) après un filtrage robuste de type RANSAC, en rouge, celles non retenues, considérées aberrantes

(outliers). A droite, en vert, les correspondances avant filtrage robuste, celui-ci ne produisant rien de pertinent dans ce cas.

Plutôt que séparer la recherche en deux étapes, en élaborant une liste de couples 1-1 de candi-dats à l’appariement utilisant uniquement l’information photométrique, qui est ensuite filtrée, nous proposons de considérer des candidats de 1 point dans une image vers N dans l’autre. Notre schéma statistique détermine ainsi les appariements en une seule étape, en prenant en compte simultané-ment les contraintes photométriques et géométriques, ce qui permet ainsi de lever l’ambiguïté quand plusieurs zones différentes ont la même apparence. Lever cette limitation en évitant cette sélection a priori des appariements est l’objet de notre première contribution. On peut voir le résultat sur la figure 4 et noter qu’avec ces ensembles de candidats, on augmente le nombre d’appariements finalement extraits.

Une deuxième difficulté de la mise en correspondance est la baisse de ressemblance des descrip-teurs quand les changements de point de vue sont plus forts. Les solutions existantes de la littérature, qui utilisent des points d’intérêt invariants aux transformations affines, n’ont qu’une invariance li-mitée aux changements de points de vue [MP07]. Les techniques de simulation de points de vue, et notamment ASIFT[MY09b], permettent d’obtenir une meilleure résistance à ces forts changements

d’apparence, mais ne se comportent pas bien en présence de motifs répétés, comme montré en fi-gure3. Lever cette limitation est le sujet de la seconde contribution. Nous y utilisons l’approche en une étape de notre contribution précédente sous contrainte homographique, ce qui permet

d’ob-tenir des appariements fiables pour de nombreuses zones planaires différentes, et de retrouver le mouvement global de la caméra dans la scène.

FIGURE 3 – Changement de point de vue plus important et motifs répétés. ASIFT[MY09b]. La

trans-formation géométrique recherchée est une matrice fondamentale. Des points de la moquette au premier plan ne sont pas mis en correspondance correctement : les motifs répétés sont à proximité des droites épipolaires associées.

Les contributions de cette thèse

Le point de départ de ce travail est l’approche A Contrario RANSACde Moisan et Stival [MS04b]

qui permet la sélection robuste de points mis en correspondance dans le cas de la géométrie épi-polaire. La première partie de mon travail a consisté en l’évaluation [NSB07b] de cette méthode de mise en correspondance robuste entre deux vues. Celle-ci s’inscrit parmi la riche littérature des améliorations de la méthode de sélection robuste RANSAC, et est, à notre connaissance, la seule qui

permet de s’abstraire totalement de seuils et de paramètres ad-hoc.

Nous présentons ensuite notre première contribution, un modèle a contrario qui réalise la mise en correspondance à l’aide des critères photométrique et géométrique, ainsi que le filtrage robuste en une seule étape [NSB07a, NSB10b, NSB10a]. Cette méthode permet de le-ver l’ambiguïté existant habituellement, en examinant des candidats à l’appariement autres que ceux plus proches voisins pour la ressemblance photométrique, et de mettre en correspondance des scènes contenant des motifs répétés, comme visible en figure 4. Nous montrons son efficacité pour plusieurs modèles géométriques différents d’explication du mouvement, l’homographie et la géométrie épipolaire. Nous étudions aussi le rôle de la distance photométrique utilisée. En effet, la ressemblance photométrique entre voisinages de points est évaluée en comparant des descripteurs à base d’histogrammes, étape souvent réalisée dans la littérature à l’aide de la distance euclidienne. Celle-ci ne produit pas toujours la distance la plus faible pour les appariements les plus ressem-blants, et peut être remplacée par des distances plus performantes, comme les distances L₁, duχ2, ou du terrassier.

Notre second apport [NSB10c] consiste en l’amélioration d’une méthode de mise en correspon-dance de points invariante aux fortes déformations affines, ASIFT [MY09b], qui génère les points

d’intérêt et les descripteurs associés par simulation de point de vue, et permet la mise en corres-pondance pour de forts changements de point de vue. Notre extension remplace le schéma de mise en correspondance et améliore la sélection des paires d’images simulées pour fournir des correspondances plus nombreuses et plus densément réparties. Elle permet en outre de

5

FIGURE 4 – Notre première contribution permet d’extraire des appariements corrects en dépit d’une

forte ambiguïté perceptuelle, grâce à la prise en compte simultanée des contraintes photométriques et géométriques. Ici, contrairement à la figure2des appariements cohérents avec une homographie planaire sont retrouvés entre les images. A gauche, sur la face avant du cube et sur la partie du singe alignée avec elle se trouvant à la même profondeur. A droite, sur la moquette.

FIGURE 5 – Notre seconde contribution : I-ASIFT. Cette fois, comparée à la figure3, les points sont

correctement mis en correspondance sur la moquette.

mettre en correspondance des scènes contenant de nombreux motifs répétés, par exemple des scènes d’intérieur comme en figure5ou d’extérieur en milieu urbain, dans lesquelles de telles zones peuvent être observées sous des angles très différents.

Plan

L’organisation du manuscrit est la suivante : après la présente introduction, le chapitre 1, en préambule, décrit les enjeux de la prise de décision en vision par ordinateur via l’utilisation des tests statistiques, et présente le cadre a contrario. Nous le décrivons d’abord pour la détection d’ali-gnements, puis pour la sélection robuste d’appariements de points d’intérêt visibles dans deux vues différentes à l’aide de la géométrie épipolaire.

Le chapitre2décrit ensuite l’état de l’art des méthodes d’appariements de points d’intérêt, avec en particulier quelques points importants sur leur détection et l’extraction de descripteurs photo-métriques associés, les distances utilisées pour comparer ces descripteurs afin de réaliser la mise

en correspondance, et enfin les méthodes de filtrage robuste de type RANSAC. Suit une validation

de la méthode de filtrage robuste a contrario de Moisan et Stival dans le chapitre 3, qui montre un net progrès en robustesse par rapport aux approches plus classiques, mais qui reste néanmoins impuissante dans des cas plus difficiles, en particulier dans des scènes contenant des motifs répétés et ambigus, ou présentant de forts changements de points de vue.

Avec le chapitre 4, après un état de l’art sur les méthodes de mise en correspondance, nous présentons notre première contribution. Nous décrivons le modèle a contrario utilisé, ainsi que les modélisations des contraintes géométriques et photométriques. Nous détaillons ensuite les choix techniques réalisés, et terminons avec la présentation de l’algorithme. Les résultats associés sont le sujet du chapitre5: ils montrent des résultats d’appariements dans des scènes contenants des motifs répétés et ambigus, souvent visibles dans des environnements réels urbains ou en intérieur.

Notre seconde contribution est traitée au chapitre6. Nous rappelons les différentes approches existantes visant à obtenir des points d’intérêt invariants aux transformations affines. Nous présen-tons ensuite l’approche ASIFTet expliquons comment la modifier pour bénéficier à la fois de bonnes

performances vis à vis des forts changements de point de vue et de la présence de motifs répétés dans les images.

Enfin, une conclusion revient sur les idées importantes de notre travail et les perspectives qu’il ouvre.

Chapitre 1

Préambule

La méthodologie a contrario

Nous présentons dans ce préambule le cadre de la décision a contrario : celui-ci, présenté pour la première fois par Desolneux, Moisan et Morel pour la détection d’alignements significatifs dans les

images [DMM00], est utilisé à de nombreuses reprises dans cette thèse. L’organisation de ce chapitre

est la suivante. D’abord est posé le cadre des tests d’hypothèses pour la prise de décision en vision par

ordinateur en section1.1. Puis, nous présentons la méthodologie a contrario en section1.2à l’aide de

son application à la détection d’alignement. Enfin, en section1.3, nous décrivons la méthode de filtrage

robuste a contrario des appariements de points d’intérêt, présentée par Moisan et Stival dans [MS04b],

puis son adaptation à la détection d’occurrences multiples par Rabin et al. [RDGM10].

1.1

La prise de décision en vision par ordinateur

Les méthodes d’analyse d’images, telle la détection de primitives comme des droites, ou la recon-naissance d’objet font l’objet d’un intérêt toujours renouvelé depuis les premiers balbutiements du domaine il y a maintenant une quarantaine d’années. Lorsque l’on dispose d’un ensemble d’observa-tions, c’est-à-dire des mesures réalisées dans une image, et que l’on cherche à valider la cohérence de celles-ci avec un modèle, plusieurs approches d’analyse et de décision ont été proposées. Duda et Hart [DHS00] présentent de nombreuses méthodes de reconnaissance de formes : la théorie de la décision bayésienne, l’estimation au maximum de vraisemblance, ainsi que celle au maximum a posteriori, ainsi que de nombreuses méthodes d’apprentissage.

L’analyse d’images ou de séquences vidéo utilisée dans cette thèse repose sur le schéma habituel suivant :

1. Des traitements bas-niveau (calcul d’invariants dans les images, statistiques sur les données d’intensité pixels, recherche d’éléments structurants tels des contours, extraction de points d’intérêt) réduisent la taille des données initiales et produisent des descripteurs, dont les pro-priétés dépendent de l’objectif recherché : invariance, répétabilité, représentation locale ou globale...

2. Ces descripteurs peuvent servir à calculer les paramètres d’un modèle, comme les rotations et translations pour un déplacement rigide dans les cas de l’estimation du mouvement, ou encore à prendre une décision de classification lorsque l’on cherche à réaliser de la reconnaissance d’objets.

Dans Computer Vision : A Modern Approach [FP02], ces étapes sont décrites comme une approche en cascade, où chaque étape filtre les informations transmises à l’étape suivante : à chaque fois, une décision est prise, souvent via une comparaison avec un seuil. Justifier les choix de seuil est difficile, et les informations non retenues ne sont plus disponibles pour les étapes suivantes.

Forsyth et Ponce plaident pour l’utilisation d’approches probabilistes qui permettent de mesurer la confiance dans les données manipulées, et non de les rejeter une fois pour toute lorsqu’on ne les considère pas suffisamment fiables. Cependant, le volume de données conservées lorsque l’on n’utilise pas les approches en cascade reste pour eux un point bloquant.

La prise de décision peut être formalisée dans le cadre des tests statistiques d’hypothèses.

1.1.1

Tests d’hypothèses

Les approches classiques pour résoudre les problèmes de prise de décision sont décrites par la théorie des tests statistiques. Le test d’hypothèse est le plus souvent binaire : une hypothèse H0, appelée hypothèse nulle, est l’hypothèse que l’on souhaite confirmer ou rejeter. Lorsqu’elle est

rejetée, c’est l’hypothèse alternative,_H1 qui est considérée valide. Les tests statistiques permettent de choisir une des deux hypothèses et d’évaluer le risque d’erreur associé à cette décision. La table de vérité se présente alors par le tableau suivant (d’après [Sap90]) :

❳ ❳ ❳ ❳ ❳ ❳ ❳ ❳ ❳ ❳ ❳ Réalité Décision H0 H1

H0 vrai positif faux négatif (risque de

première espèce) H1 faux positif (risque de

se-conde espèce)

vrai négatif (puissance)

Lorsque l’on connaît les vraisemblances, O étant l’observation, Pr(O|H0) et Pr(O|H1), plusieurs

méthodes existent afin de déterminer quelle hypothèse choisir.

– L’estimation au maximum de vraisemblance : pour Pr(O_{|H0) > Pr(O|H1), on choisit H0}. – La méthode de Neyman et Pearson permet de fixer un seuil S maximisant la puissance pour

une valeur fixée du risque de première espèce. Si Pr(O_|H0) Pr(O_|H1)¾S, alors on accepte_H0.

– La théorie de l’inférence bayésienne permet de réaliser un compromis entre la probabilité d’un faux positif et d’une non-détection. Le test de Bayes s’écrit, lorsque l’on connaît les priors Pr(_{H0) et Pr(H1}) : si

Pr(_{H0) Pr(O|H0) ¾ Pr(H1) Pr(O|H1}), alors on accepte_H0.

1.1.2

Limites

En pratique, on ne connaît ni Pr(O_{|H0), ni les probabilités a priori Pr(H0) et Pr(H1}). Par exemple, si l’on cherche à détecter des segments de droites dans une image, on peut difficilement présumer de leur nombre. Celui-ci est ainsi très différent entre une scène urbaine et un paysage naturel. Définir des lois a priori dépend fortement du type d’images considérées et semble alors arbitraire. De plus, il est difficile de préjuger de la robustesse des traitements bas-niveaux, ceux-ci

1.2. Le principe de détection a contrario 9

étant souvent perturbés par la quantité de bruit présente dans les images, par la taille relative des structures observées par rapport à la résolution des images obtenues, et toutes les déformations dues à la forme du capteur et au dispositif physique de formation de l’image.

L’approche la plus simple pour prendre une décision est de réaliser une comparaison avec un seuil. Par exemple, lorsque l’on détecte des alignements, pour une droite donnée, un seuil limitant la différence d’orientation entre le segment et la droite qu’on accepte pour les considérer alignés. Plutôt que fixer un seuil par rapport à une distance, ce qui est difficile en général car souvent dé-pendant du contexte, il est possible d’affiner le critère de prise de décision en prenant en compte l’incertitude d’estimation des paramètres du modèle calculé. Ainsi, Nicholas Ayache [Aya89] définit le problème de l’appariement de primitives bruitées pour une relation géométrique donnée. Il s’agit de la capacité à distinguer les appariements plausibles des appariements aberrants. La distance géo-métrique classique est remplacée par une distance de Mahalanobis généralisée et la comparaison à un seuil est réalisée avec un test duχ2. Cette distance est calculée en utilisant la covariance d’es-timation des coordonnées du point en utilisant l’incertitude de mesure et les propagations linéaires de celle-ci.

Par ailleurs, il est nécessaire de limiter le nombre de paramètres des modèles recherchés ou les seuils de détections. Fixer un seuil est une étape délicate. On souhaite disposer d’une approche :

– ne nécessitant pas de définir de loi a priori dépendant du contexte, – sans seuil ou paramètre,

– robuste à la présence de données aberrantes.

1.2

Le principe de détection a contrario

L’approche a contrario rentre dans le cadre des tests d’hypothèses, et elle résout les difficultés de définition de loi à priori : elle propose un modèle de fond minimaliste, qui explique le phénomène observé comme dû au hasard. Ainsi, dans [Moi03], L. Moisan écrit : "Il est beaucoup plus simple de définir un modèle à réfuter (typiquement un modèle uniforme) qu’un modèle précis des objets que l’on souhaite détecter."

Valider un test d’hypothèse nécessite de disposer pour une observation d’une mesure d’adé-quation à un modèle. Pour l’approche a contrario, l’adéd’adé-quation est forte avec un modèle de fond lorsque :

– l’observation possède une bonne mesure parce que le modèle explique sa présence (vrai posi-tif),

– l’observation suit le modèle par hasard : il n’y alors pas de lien de causalité entre l’observation de l’évènement et l’hypothèse supposée (faux positif). Il s’agit d’une fausse alarme.

Définition 1. Evènement ǫ-significatif (Définition 1 dans [DMM00]) – Un évènement est ǫ-significatif

si l’espérance du nombre d’occurrences de cet évènement est inférieure àǫ.

Lorsque ǫ est inférieur à 1, on parle d’évènements significatifs. Calculer le nombre de fausses alarmes permet de savoir si l’observation est due au hasard, ou s’il s’agit d’un évènement significatif, comme nommé par Desolneux, Moisan et Morel [DMM00].

1.2.1

Une application : la détection d’alignements

Nous développons maintenant un exemple pour décrire le fonctionnement de la modélisation a contrario.

FIGURE1.1 – A gauche, les alignements sont répartis aléatoirement en suivant une loi uniforme, ce

qui correspond à l’hypothèse du modèle de fond. A droite, ce n’est pas le cas. L’alignement visible n’a que très peu de chance d’arriver par hasard. Le principe imagé ici, est formalisé par l’approche a contrario.

La théorie de la perception essaie d’expliquer les processus de cognition du cerveau humain. Elle décrit en particulier une méthode qui explique notre capacité à discriminer un objet quand celui-ci est suffisamment différent du reste de l’environnement le contenant. Desolneux et al. [DMM00] définissent ainsi un Gestalt comme la perception d’une structure obtenue par l’interprétation de l’image constituée d’un ensemble de petites zones d’intensités lumineuses différentes, sans signifi-cation les unes par rapport aux autres lorsque observées de façon isolée. Seul l’aspect global, via le groupage, permet d’obtenir une signification. En particulier, l’être humain est doué lorsqu’il s’agit de détecter des bordures ou des alignements : les neurones du cortex visuel de type simple ont une réponse qui est sélective et dépendante de l’orientation [FP02]. On peut s’en convaincre par notre capacité à reconnaître un objet ou un visage via une esquisse réalisée en ligne claire [FF87], et ce bien qu’une majorité de l’information supposée utile à l’identification est manquante, tels les tex-tures, les ombres, le contexte. Ce principe est la principale source d’inspiration de la modélisation a contrario, où la détection se fait via une déviation du modèle de fond statistiquement significative. Cette dernière propriété est appelée principe de Helmholtz.

Il est possible de détecter des alignements en suivant ce principe, tel qu’illustré par la figure1.1. Les déviations importantes d’une variable aléatoire uniforme, ici l’orientation des alignements, sont facilement perceptibles. Afin d’illustrer le principe de détection a contrario, nous présentons son utilisation pour la détection d’alignements en reprenant les grandes lignes de l’article de Desolneux et al..

1.2.1.1 Principe

Un modèle a contrario est une approche statistique utilisant : – un modèle de fond associé à l’hypothèse nulleH0,

– une mesure réalisée sur les structures que l’on cherche à détecter.

Le modèle de fond décrit les données observées lorsque celles-ci sont considérées indépendantes les unes des autres. Il s’agit le plus souvent d’une hypothèse a minima sur la forme des données lorsqu’aucune structure significative n’est visible. Par exemple, si on s’intéresse à la position de points dans une image, une répartition au hasard suivant une loi uniforme est un modèle de fond possible.

1.2. Le principe de détection a contrario 11

1.2.1.2 Modèle de fond

L’existence d’un modèle de fond est supposée : dans les images, les directions des alignements sont réparties au hasard et suivent une loi uniforme.

Soit u une image discrète de taille N× N. Pour chaque point, le gradient d’intensité lumineuse est calculé sur un voisinage du point (une zone de 2 pixels de côté), ce qui permet d’obtenir la direction de la ligne de niveau correspondante par rotation deπ/2. Ce calcul du gradient repose sur un filtre (par exemple le filtre de Sobel), auquel aucune étape de floutage préalable n’est appliquée afin de préserver l’hypothèse d’indépendance sur les directions.

Les directions des lignes de niveaux en deux points X et Y sont les mêmes à la précision 2π/n lorsque

|θX− θY| ≡ ∆θ(2π) et ∆θ ¶

2π

n , (1.1)

avecθXetθY les directions extraites pour les points X et Y . On définit p = 1_n, qui s’interprète comme

la probabilité que deux points indépendants ont une direction proche à la précision 2π/n près, sous hypothèse d’uniformité.

L’hypothèse_H0est la suivante : la direction en tous points de l’image suit une variable aléatoire uniforme sur [0, 2π[. On suppose que toute déviation significative de cette hypothèse de répartition aléatoire conduit à la détection d’une structure.

Soit A un segment de l’image constitué de l points indépendants. Deux points sont indépendants lorsque leur distance en suivant le segment considéré est suffisamment grande (plus grande que 2). Nous comptons le nombre de points de A dont la direction est alignée avec la direction du segment A à la précision p près. Nous souhaitons ainsi connaître le nombre minimal k de points correctement alignés sur une longueur l d’un segment afin que cette observation soit un évènement significatif, c’est à dire une déviation du modèle de fond.

Soient x₁, x₂, ..., x_l les l points indépendants de A, et X_i la variable aléatoire valant 1 lorsque la direction pour le point x_iest alignée avec celle de A à 2π/n près. Avec p = Pr(Xi= 1), et en utilisant

l’indépendance des Xi, la loi de probabilité du nombre de points en lesquels la perpendiculaire au

gradient est aligné avec le segment à la précision 2π/n près, est une loi binomiale

Pr l X i=1 X_i= k ! =  l k  pk_{(1 − p)}l−k. (1.2) 1.2.1.3 Significativité

Pour accepter ou réfuter le modèle de fond que l’on vient de définir, il est nécessaire pour cela de définir une mesure de similarité que l’on va pouvoir comparer à la variable aléatoire correspondant à la distribution des mesures pour le modèle combinatoire.

Un segment orienté est défini par la paire de points de l’image constituant chacune de ses extré-mités. Le nombre total de segments possibles, pour une image de taille N par N , est, avec N2choix pour le premier point, et, l’ayant choisi, N2− 1 pour l’autre extrémité,

N2(N2− 1) ≃ N4. (1.3)

Définition 2. Segment ǫ-significatif (Définition 2 dans [DMM00]) – Un segment A de longueur l est ǫ-significatif dans une image de taille N × N s’il contient au moins k(l) points ayants leurs directions

alignées à la précision 2_nπ avec celle du segment tel que :

k(l) = min ( k_{∈ N, N}4 Pr l X i=1 X_i ¾k ! ¶_ǫ ) . (1.4)

FIGURE1.2 – A gauche, La présentation de la vierge au temple d’Uccello. A droite, segments les plus

significatifs détectés. Extrait de [DMM00]

Définition 3. Nombre de fausses alarmes (Définition 3 dans [DMM00]) – Soit A un segment de longueur l avec au moins k de ses points orientés dans la direction de A. Le nombre de fausses alarmes est défini par :

NFA(k, l) = N4 l X i=k  l i  pi_{(1 − p)}l−i. (1.5)

[DMM00] ont démontré que le nombre de fausses alarmes est un majorant de l’espérance de

l’évènement au moins k points de A sont alignés avec A sous hypothèse nulleH0. Il permet d’adapter

automatiquement la longueur des segments détectés en fonction de la taille N de l’image.

La fiabilité de détection est mesurée par une majoration de l’espérance du nombre de fausses alarmes, plutôt que par la probabilité d’une fausse alarme. Cela est intéressant pour de nombreux problèmes car cela permet de faire un compromis entre un ensemble de petite taille associé à une mesure précise, et un ensemble plus grand satisfaisant lui aussi l’objectif recherché mais moins pré-cis. Un tel comportement nécessite habituellement de régler des seuils pour chaque cas. L’avantage d’utiliser une espérance par rapport à une probabilité est qu’elle permet de comparer des groupes d’observations de cardinalités différentes. Ici l’adaptation se fait automatiquement, le nombre de fausse alarme devant être naturellement inférieur à 1 pour pouvoir déclarer l’évènement significatif.

1.2.1.4 Maximalité

Lorsqu’un alignement assez long est détecté car significatif, il est possible qu’un ou plusieurs de ses sous-segments soient aussi significatifs. De manière à ne pas multiplier les détections de structures intéressantes mais partielles, Desolneux et al. ont défini la notion de segment maximal, que l’on ne détaille pas ici.

1.2.2

Conclusion

Pour définir un modèle a contrario, il est nécessaire de se donner un modèle de fond, que l’on cherchera à réfuter, afin de choisir une meilleure explication. Pour cela, il est nécessaire d’établir une mesure de similarité entre les données observées : dans le cas de la détection d’alignement, il s’agit de la différence d’orientation. On définit aussi la significativité, qui permet d’estimer si une

1.3. Mise en correspondance a contrario 13

mesure de similarité forte est due au hasard, et enfin une majoration de l’espérance de l’évènement associé, encore appelée nombre de fausses alarmes.

Maintenant que les principes de la méthodologie a contrario ont été décrits, nous allons présenter son application à la mise en correspondance de points d’intérêt sous contrainte géométrique.

1.3

Mise en correspondance a contrario

Dans cette section, nous rappelons rapidement les principes géométriques de la mise en cor-respondance de points entre images, puis nous présentons le modèle a contrario de Moisan et Sti-val [MS04b]. La géométrie qui relie deux images, appelée géométrie épipolaire, se représente par une quantité matricielle nommée matrice fondamentale. Elle est décrite au paragraphe suivant et son estimation est présentée en annexeA.

1.3.1

La géométrie épipolaire

La caméra suit le modèle de sténopé. Les coordonnées d’un point 3D M = [x, y, z]T dans un repère du monde et les coordonnées de sa projection m = [u, v]T dans le plan image suivent la relation suivante : s    u v 1    = P      x y z 1     , (1.6)

avec s un facteur d’échelle quelconque non nul, etP une matrice 3×4, appelée matrice de projection perspective. La matriceP se décompose ainsi :

P = K[Rt] (1.7)

avecK une matrice triangulaire 3_{× 3 encodant les paramètres intrinsèques de la caméra (taille des} pixels, focale de la caméra, angle entre les axes du plan image), (R, t) étant la translation et rotation appliquées pour réaliser le changement de repère entre repère du monde et repère de la caméra.

La géométrie épipolaire est définie pour toute paire de caméras distinctes. Dans la figure1.3, C et C′sont les centres optiques de chaque caméra. Les projections du pointM dans chaque vueI et I′, sont notéesm et m′. La contrainte épipolaire s’exprime de la façon suivante : pour tout pointm de_{I , son correspondant dans I}′se situe sur une droite appelée droite épipolairel′_m, définie comme l’intersection du plan Π contenantm, C et C′, avec le second plan imageI′. On note en outre que toutes les droites épipolaires concourent en un pointe (respectivement e′) appelé épipôle, qui est image de C′dans_{I (et respectivement de C dans I}′).

La contrainte épipolaire s’exprime alors de la façon suivante :

m′TFm = 0 avec F = K′−T[t]_×RK−1, (1.8)

avec [t]_×la matrice antisymétrique telle que

[t]_×=    0 −t3 t2 t₃ 0 _−t1 −t2 t1 0    si t =    t1 t₂ t3   

Π

FIGURE1.3 – La géométrie épipolaire. Notations de la section1.3.1.

1.3.2

Les difficultés d’estimation de la matrice fondamentale

La matrice fondamentale F peut être déterminée à l’aide de la méthode de résolution aux moindres carrés. Habituellement, on utilise la Direct Linear Transform pour résoudre l’équation (1.8) à l’aide d’au moins 8 correspondances de points. Il est aussi possible de la résoudre à l’aide de 7 cor-respondances car elle n’a que 7 degrés de liberté, étant définie à un facteur d’échelle près et de rang 2. Ces deux méthodes d’estimation de la matrice fondamentale sont décrites en annexeA. Ces approches ne sont pas robustes à la présence d’appariements aberrants, ce qui se produit souvent en pratique. Les points mis en correspondance que l’on extrait via les algorithmes bas-niveau ne fournissent pas que des appariements corrects ; nombre d’entre eux sont aberrants, c’est-à-dire ne correspondent pas au même point 3D dans la scène considérée.

À partir d’un ensemble d’observations, l’algorithme Ransac, présenté en section 2.4.2, permet de séparer les observations réalisations d’un modèle paramétrique (dont on cherche à déterminer les paramètres) des observations indépendantes de ce modèle, dues à une mise en correspondance erronée. Cet algorithme comporte deux seuils, l’un sur la distance au modèle dist(m′,Fm) (en des-sous duquel on décide que les observations considérées sont réalisations du modèle), l’autre sur la taille de l’ensemble dit de consensus (au dessus duquel on considère avoir trouvé un ensemble suffisamment grand pour estimer les paramètres du modèle). Ces deux seuils sont délicats à régler en pratique. De plus on ne dispose pas de critère pour juger a priori de la qualité de l’ensemble de consensus : cette qualité dépend à la fois de la taille de l’ensemble de consensus et de l’adéquation des observations retenues par rapport au modèle.

Dans le cadre de l’estimation de la matrice fondamentale entre deux vues, L. Moisan et B. Sti-val [MS04b] proposent une approche a contrario qui ne nécessite pas de fixer de seuil arbitraire et fournit une mesure de la pertinence de la solution trouvée. L’approche est basée sur un modèle a contrario : un ensemble d’observations est d’autant plus significatif qu’il a peu de chances d’être pro-duit « par hasard », le hasard correspondant ici à une hypothèse de distribution uniforme des points dans l’image. Stewart [Ste95], a proposé une formalisation analogue qui repose sur une probabilité,

1.3. Mise en correspondance a contrario 15 Nx Ny L δ δ

FIGURE1.4 – Modèle de Moisan et Stival. La démonstration du théorème1.

et non sur l’espérance. Comme indiqué précédemment, cette différence est majeure : l’espérance permet de comparer des ensembles de tailles différentes. Combiner les mesures de plusieurs para-mètres, tels qu’ici la taille de l’ensemble considéré et la précision mesurée, en un seul est essentiel pour appliquer un critère de décision universel, et non dépendant du modèle ou de la qualité des données disponibles.

1.3.3

Modèle

1.3.3.1 α-rigidité

On cherche à évaluer la matrice fondamentale F entre deux images I1 et I2 à partir d’une

collection S d’appariements (des couples (m, m′) de points d’intérêt en correspondance, le premier dans_I1, le second dans_I2). Comme un appariement (m, m′) est correct au sens de la géométrie épi-polaire sim′est sur la droiteFm, on dispose d’un critère naturel mesurant la rigidité des données S par rapport au modèleF :

Définition 4. (Définition 1 dans [MS04b_{]) Soit F une matrice 3 × 3 de rang 2. La F-rigidité de}

l’en-semble S d’appariements est

αF(S) =

2D

A (m,mmax′_)∈Sdist(m

′_{,Fm) (1.9)}

où A est l’aire du domaine de la seconde image, D son diamètre, et dist la distance euclidienne d’un

point à une droite (voir figure1.4).

αF(S) est la probabilité pour que les points m′ soient positionnés à une distance inférieure à

max(m,m′_)∈Sdist(m′,Fm) des droites Fm, lorsqu’ils sont générés par un processus uniforme dans

l’image_I2.

On définit alors :

Définition 5. (Définition 2 dans [MS04b]) Un ensemble d’appariements S (de taille n ¾ 7) est

α-rigide s’il existe une matrice fondamentaleF estimée à partir d’un sous-ensemble de 7 appariements tel

Donc plusα est petit, moins un ensemble α-rigide peut être le « produit du hasard ». L’explication alternative (cet ensemble respecte la contrainte épipolaire) sera alors retenue.

1.3.3.2 Ensembles d’appariements significatifs

Définition 6. (Définition 3 dans [MS04b]) Soit E un ensemble fini de variables aléatoires prenant

leurs valeurs dans un ensemble ordonné. L’événement "E ¶ t" estǫ-significatif si le nombre de fausses

alarmes associé, défini par_{|E|P[E ¶ t], est inférieur à ǫ.}

Laǫ-significativité permet de réduire l’ensemble de paramètres (le nombre d’appariement n, la

taille k de l’ensemble de consensus S, le seuil de rigiditéα) en un seul paramètre intuitif, le nombre attendu de fausses alarmes.

Théorème 1. (Proposition 1 dans [MS04b]) Un ensemble S d’appariements de taille n(n ¾ 8) est ǫ-significatif dès qu’il est α-rigide avec

ǫ1(α, n) = 3  n 7  αn−7¶_ǫ.

Démonstration. La quantitéǫ1représente la significativité d’un ensemble d’appariements. Il s’agit de

tirer 7 appariements parmi n, chaque sous-ensemble génère au maximum 3 matricesF. On nomme ce sous-ensemble T . La taille de l’ensemble E est dans ce cas de 3 n

7

. Ensuite, parmi les apparie-ments, on est en présence de deux cas :

– l’appariement (m_i,m′_{i) ∈ T , alors la distance de m}′_ià la ligne épipolaire associée l = Fm_iest nulle par construction.

– l’appariement appartient à S− T , alors m′_ietl sont indépendants.

Comme visible dans la figure 1.4, l’intersection entre l et le plan image _I′ a pour longueur maximale la longueur de la diagonale de l’image D. L’aire de la bande de largeurδ autour de l est alors inférieure à 2δD.

En supposant que les points détectés sont uniformément distribués dans l’image _I′ de taille Nx×Ny, la probabilité de dist(m′i,l) ¶ δ, qu’un point soit à une distance inférieure à δ d’un segment

de droite de longueur L est 2δL/(N_xN_y). Si D est la longueur de la diagonale de I et A son aire, alors A = N_xN_y et L ¶ D. On en conclut que cette probabilité est majorée parα = 2Dδ/A, aire de la zone mise en valeur sur la figure1.4.

Pour chacun des n− 7 points, la probabilité est donc inférieure à α. Les points étant tirés indé-pendamment les uns des autres, la probabilité deαF(S) ¶ α est donc inférieure à αn−7.

En présence de données aberrantes – Néanmoins, l’ensemble des appariements entre les deux vues contient des faux appariements (car les algorithmes de détection des appariements entre points d’intérêt en fournissent toujours). On cherche donc des sous-ensemblesα-rigides de l’ensemble des appariements, qui sont formés d’appariements cohérents avec un mouvement entre les deux vues.

Considérons un ensemble S de n appariements. Il y a n_k
sous-ensembles de S à k éléments, (n− 7) choix pour k (qui varie entre 8 et n), k₇
choix pour les 7 couples de points permettant d’estimer la matrice fondamentale, et chacun de ces 7-uplets fournit (au plus) 3 matrices fondamentales. Il y a donc 3(n₋₇₎ n

k

k

7

matrices fondamentales à tester lorsque l’on examine tous les sous-ensembles de S.

D’autre part, la probabilité qu’un ensemble de k appariements soitα-rigide « par hasard » (i.e. sous hypothèse d’indépendance entre les points d’intérêts qui n’interviennent pas dans le calcul de la matrice fondamentale) est inférieure àαk−7_.

1.3. Mise en correspondance a contrario 17

On en déduit que l’espérance du nombre des sous-ensemblesα-rigides de taille k dans S (sous hypothèse d’indépendance des points d’intérêt et d’uniformité de leur distribution) est inférieure à

ǫ2(α, n, k) := 3(n − 7) _n k _k 7  αk−7. (1.10)

Ceci motive la définition suivante.

Définition 7. (Proposition 2 dans [MS04b]) Un ensemble S′ ⊂ S de k appariements parmi n est

ǫ-significatif s’il est α-rigide et ǫ2(α, n, k) ¶ ǫ.

La quantitéǫ2(α, n, k) majore le nombre de sous-ensembles comme S′attendus sous l’hypothèse

d’indépendance des points d’intérêt. Siǫ2 est faible (en particulier inférieur à 1) alors l’hypothèse

d’indépendance est à rejeter. Les appariements de S′respectent alors la contrainte épipolaire. ǫ2 réalise un compromis entre la précisionα des appariements selon la contrainte épipolaire et

le nombre k de points dans l’ensemble considéré.

1.3.3.3 Algorithme Ransac a contrario

Comme rechercher le sous-ensemble le plus significatif parmi les 3(n_{− 7)} n

k

k

7

cas est impos-sible, une heuristique de type RANSACest proposée dans [MS04b] et décrite ici dans l’algorithme1.

Dans cette heuristique, on minimise la quantitéǫ2. Nous reviendrons sur l’approche RANSAC dans

l’état de l’art du chapitre suivant, en section 2.4.2. Il est appelé Rsa dans [MS04b] pour Random Sampling Algorithm. Dans la suite de la thèse, les résultats présentés pour cette méthode seront appelés AC-RANSAC.

Algorithme 1 : Rsa (AC-RANSAC) – Déterminer l’ensemble d’appariements le plus significatif

Entrées : Ensemble S de n appariements avec n ¾ 7

Sorties : Ensemble S le plus significatif de k appariements et sa significativité ǫ début

ǫ ← +∞ N← 10000 répéter

échantillonner aléatoirement un ensemble T de 7 appariements parmi S estimer les matrices fondamentales associées (au plus 3)

pour chaque matrice fondamentale F associée à T faire le calcul de l’ensemble le plus significatif U associé àF le classement des appariements parα croissant

(on construit ainsi des groupes imbriqués de taille k et de rigiditéα croissante) la recherche du groupe avec unǫ2(α, n, k) minimal

si ǫ₂(U) < ǫ alors

ǫ ← ǫ2(U)

S← U

jusqu’à ce que le nombre d’essais soit supérieur à N fin

1.3.4

Prise en compte d’occurrences multiples

MAC-RANSAC[RDGM10] est une méthode a contrario permettant la détection de transformations

multiples entre images. Cette approche étend RANSAC afin de détecter de façon séquentielle des

groupes de points d’intérêt compatibles avec des mouvements différents.

L’objectif recherché est d’éviter la fusion de transformations proches (par exemple, trouver une seule homographie pour deux correspondances de plans aux orientations proches), et la sur-segmentation en plusieurs groupes d’ensembles de points pourtant cohérents (au contraire ici, trou-ver deux homographies pour des morceaux différents d’un même plan). Pour cela, un test de fusion de groupes est ajouté à l’approche de Moisan et Stival [MS04b] lorsqu’un groupe significatif est trouvé. Cela permet d’expliquer le mouvement d’objets déplacés dans une scène, ou encore de trou-ver automatiquement les différents plans visibles dans la scène, à partir du moment où ceux-ci contiennent suffisamment de points d’intérêt pour être détectables.

Pour pouvoir utiliser AC-RANSAC de façon séquentielle, Rabin et al. réalisent les modifications

suivantes :

– Filtrage des correspondances obtenues par les détecteurs bas niveau pour retirer les candidats dits redondants ou autosimilaires : cela permet d’éviter les amas de points dans certaines zones.

– Après la détection d’un groupe d’appariements significatifs avec AC-RANSAC, détection d’une

éventuelle fusion de plusieurs groupes correspondant à des transformations proches. Cette détection est réalisée via un critère de découpage appliqué aux groupes les plus significatifs trouvés. Si à partir d’un groupe S₀, il est possible de trouver deux sous-groupes disjoints S₁et S2tels que NFA(S1) NFA(S2) < NFA(S0), S0est découpé. Ce critère est appliqué récursivement

tant qu’il est possible de découper les groupes.

1.4

Conclusion

Nous avons présenté dans ce chapitre quelques fondements de la prise de décision en vision par ordinateur, en particulier des tests d’hypothèses. C’est dans ce cadre que s’inscrivent les mé-thodes a contrario, décrites ici d’abord via l’exemple de la détection d’alignements de Desolneux et al. [DMM00]. Les propriétés importantes de cette approche qui ont retenu notre attention sont la fixation automatique des seuils via l’estimation du nombre de fausses alarmes, ainsi que la robus-tesse en présence de taux élevés de données aberrantes. Une fois le cadre a contrario posé, nous avons rappelé quelques notions de géométrie épipolaire [Zha98, HZ00], et présenté le modèle A

Contrario de mise en correspondance de points d’intérêt, AC-RANSAC, de Moisan et Stival [MS04b],

Chapitre 2

La mise en correspondance de points

d’intérêt

Ce chapitre s’organise de la manière suivante. Après avoir présenté le schéma habituel d’estimation

du mouvement via la mise en correspondance de points d’intérêt en section 2.1, nous décrivons les

points d’intérêt ainsi que leurs descripteurs en section 2.2. Ces descripteurs permettent une mise en

correspondance sur des critères purement photométriques, comme on le verra en section2.3. Celle-ci

nécessite une étape supplémentaire de filtrage robuste des correspondances sur des critères géométriques,

ce qui est l’objet de la section2.4.

Dans ce chapitre, nous présentons un état de l’art sur l’appariement, i.e. la mise en correspon-dance de points d’intérêt entre images. Les points d’intérêt recherchés sont ceux, parmi les ensembles de points extraits dans chaque vue, qui correspondent aux projetés pour chaque point de vue d’un même point de la scène en 3 dimensions.

L’appariement de tels points est utilisé par de nombreuses applications en vision par ordinateur. Citons par exemple :

– la reconnaissance d’objets [SZ03b],

– la création de panoramas [BL07] (voir l’exemple en figure2.1), – la stabilisation numérique en post-production [CFR99],

– l’analyse de la structure et du mouvement (structure from motion - SFM) et la reconstruction

de scène 3D [PGV+04].

Les forts changements de point de vue, ainsi que la présence de motifs répétés dans une scène compliquent singulièrement la mise en correspondance comme on le verra en section2.3.2.

2.1

Le schéma habituel d’estimation du mouvement

Afin de déterminer l’orientation relative de deux caméras à partir d’appariements de points entre ces vues (comme présenté par Longuet-Higgins [LH81]), une partie importante de la littérature en vision par ordinateur repose sur la mise en correspondance de points d’intérêt entre plusieurs vues. La Mise en Correspondance vise à identifier les points d’intérêt détectés parmi plusieurs images qui sont les projetés du même point en 3 dimensions. Cette action est souvent réalisée en prenant en compte des descripteurs locaux, c’est-à-dire un encodage des valeurs en niveaux de gris du voisinage d’un point d’intérêt.

Nous allons maintenant décrire le schéma de mise en correspondance entre deux images dis-tinctes d’une même scène 3D statique prise par une caméra en mouvement. Une méthode habituelle

FIGURE2.1 – Panorama réalisé à l’aide de mise en correspondance de points d’intérêt

est la suivante :

1. Dans chaque vue, extraire des points d’intérêt ainsi que leurs descripteurs associés représen-tant la photométrie au voisinage, dans une fenêtre de taille limitée centrée sur le point. 2. Les mettre en correspondance à l’aide d’une mesure de (dis-)similarité entre les descripteurs.

Historiquement, une première façon de procéder est de comparer des fenêtres carrées centrées sur chaque point par corrélation.

Définition 8. Corrélation entre deux fenêtres d’images A et B de même taille de n pixels de côté. La mesure s’écrit :

n

X

i, j=1

A_{i, j}B_{i, j} (2.1)

Cependant, une telle mesure ne prend pas en compte les déformations liées aux changements de points de vue. De plus, la corrélation ainsi définie n’est pas invariante par changement de contraste entre les images. Il existe des versions plus élaborées centrées et normalisées, avec des performances légèrement supérieures, mais elles ne suffisent à décrire le voisinage d’un point de façon invariante à tout type de transformation. La version centrée et normalisée s’écrit, avec A et B d’intensités moyennes ¯A et ¯B :

Pn i, j=1(Ai, j− ¯A)(Bi, j− ¯B) ÆPn i, j=1(Ai, j− ¯A)2 Pn i, j=1(Bi, j− ¯B)2 (2.2)

Par exemple, sans information a priori, il est impossible de savoir si les deux points sont observés à la même échelle, nécessaire pour définir la taille du voisinage que l’on considère.

2.2. Points d’intérêt et descripteurs locaux 21

Ces observations mettent en évidence la nécessité de disposer de représentations invariantes du voisinage d’un point. On reviendra sur ce point en section2.2.

3. Filtrer les appariements en sélectionnant les plus cohérents avec une transformation géomé-trique imposée par un mouvement de caméra plausible.

4. Estimer le mouvement de la caméra entre les deux vues. Puis rendre l’ensemble des apparie-ments retenus plus dense via une phase de relaxation de la mise en correspondance réalisée, en utilisant l’estimation que l’on vient d’établir. Cette étape est souvent appelée "mise en cor-respondance guidée".

5. Pour terminer, estimer le mouvement de la caméra à partir de l’ensemble final de correspon-dances obtenues.

Combiner toutes ces étapes est un travail difficile. Ceci nécessite en effet de fixer de nombreux paramètres, et un mauvais choix pour l’un d’eux risque de corrompre le résultat du procédé dans son ensemble.

Pour l’estimation de mouvement, on souhaite disposer de points aussi précis que possible, qui correspondent aux projetés de points 3D dans le plan image, et ce malgré les changements d’as-pect du voisinage des points. Idéalement, connaître ce changement d’asd’as-pect nécessite d’avoir une connaissance complète de la scène : position de la caméra, forme de l’objet observé, matière le composant, positions des sources de lumière. A défaut de connaître l’information nécessaire à la création d’une représentation invariante dans le cas général, on se contente d’invariance partielle. Pour une zone planaire, la transformation reliant deux vues d’une telle zone est l’homographie. Une telle approche est utilisée dans [MDR04]. L’approximation à l’ordre 1 en est la transformation af-fine [MTS+06]. En simplifiant encore, la similitude (zoom et rotation, utilisée par l’approche SIFT

de Lowe [Low04]) est une transformation pour laquelle la recherche d’invariant est plus aisée : elle nécessite de définir une échelle et une orientation.

Nous allons maintenant détailler les points cruciaux des étapes de mise en correspondance dans les prochaines sections, afin de mettre en évidence les points qui ont retenu notre attention dans cette thèse.

2.2

Points d’intérêt et descripteurs locaux

Dans cette section, nous présentons l’extraction de points d’intérêt, la première étape du schéma d’estimation de mouvement : d’abord, la partie détection, afin d’exhiber des points faciles à localiser d’une image à l’autre ; ensuite la partie descripteur, vecteur de caractéristiques invariantes utilisées pour la mise en correspondance.

Les points d’intérêt sont des endroits saillants, faciles à repérer. Depuis Moravec et ses premiers travaux sur la corrélation de zones d’intérêt [Mor77], la littérature traitant la détection de primi-tives bas-niveau s’est enrichie de nombreuses méthodes reposant sur différents outils : détection de contour via des filtres, calculs de gradient, de courbure. A partir de cette première vague de tra-vaux, le détecteur de Harris-Stephens [HS88] lève certaines limitation de l’approche de Moravec en modifiant la façon dont l’auto-corrélation est mesurée, permettant la prise en compte de rotations quelconques, et non plus de pas π/2. Ix et Iy étant les dérivées partielles dans chaque direction

de I(x, y), la fonction image donnant l’intensité en niveau de gris pour le pixel courant, on écrit la matrice de Harris A(x, y) telle que :

A(x, y) = e− x2+ y2 2σ2 ⊗ – I2_x IxIy I_xI_y I2_y ™ (2.3)

α β α et β grands coin α ≫ β contour α et β petits région plate β ≫ α contour

FIGURE 2.2 – Ordre de grandeur des valeurs propresα et β de la matrice de Harris et caractère de

coin.

où_{⊗ désigne le produit de convolution. La matrice de Harris permet d’estimer la courbure principale} au voisinage du point considéré : pour qu’un point soit considéré comme point d’intérêt, il faut que les deux valeurs propres de cette matrice soient grandes, comme indiqué dans la figure2.2. Plutôt que de calculer les valeurs propres, ce qui est coûteux, la fonction suivante est évaluée :

αβ − κ (α + β)2= det(A) − κ trace2(A) (2.4)

avecκ un paramètre qui permet de définir le caractère plus ou moins marqué des coins recherchés,

fixé habituellement à 0.04.

Tuytelaars et Mikolajcszyk [TM08] définissent les points d’intérêt comme un motif dans l’image qui diffère de son voisinage immédiat, pour des propriétés comme l’intensité, la couleur et la texture. Une telle définition couvre les coins, les jonctions en T, en L, les motifs de texture, et certaines parties de contours. Leurs caractéristiques attendues varient suivant l’utilisation que l’on fait des points d’intérêt : en reconnaissance d’objets, on souhaite par exemple reconnaître une classe d’objet (un vélo), même si son instance spécifique (un vtt) n’est pas présent dans la base d’apprentissage. Au contraire, lorsqu’on vise un positionnement précis, il est nécessaire de distinguer les objets très similaires, voire identiques, mais positionnés différemment. Pour leurs différentes utilisations, on leur associe un descripteur regroupant des mesures prises sur une région locale centrée sur le point détecté.

Malgré l’utilisation de stratégies d’observation de zones d’intérêt de tailles variables, la robus-tesse aux changements d’échelle reste faible [Mor80]. A la suite des travaux de Koenderink sur l’espace échelle gaussien [Koe84], Lindeberg [Lin98] propose de définir des points d’intérêt munis d’une échelle caractéristique de détection. Afin de détecter une échelle de façon fiable, il utilise celle pour laquelle on obtient les extrema du Laplacien.

Ces méthodes, détectant position et échelle de concert, si elles permettent une meilleure détec-tion de points, n’aident que peu leur appariement, qui reste limité par les méthodes de corréladétec-tion. A partir des travaux fondateurs de Schmid et Mohr [SM97], qui associent aux points d’intérêt des descripteurs photométriques locaux, invariants aux rotations et changements d’échelles, une grande