Mise en correspondance d’images

Il existe différentes méthodes de mise en correspondance d’images. Nous avons vu des applications à la poursuite de cible et à la correction du mouvement dans des séquences d’images et nous nous intéressons particulièrement, ici, à la mise en correspondance pour la reconstruction de scènes tridimensionnelles. Dans ce cas, la mise en correspondance des projections des objets dans différents plans image,6 _{est contrainte par des relations}

6. Le plan image est le plan perpendiculaire à l’axe optique et contenant le foyer de la caméra. Dans le cas stéréo, il existe plusieurs caméras et donc plusieurs plans image.

relations. Une première catégorie de méthode appelée mise en correspondance par patrons consiste à mettre en correspondance des blocs. Comme nous l’avons vu au §A.2.3.3, cette approche n’est pas robuste aux changements radiométriques ni aux occlusions. Nous note- rons néanmoins parmi ces méthodes, les méthodes par génération et propagation d’hypo- thèses proposées par [Ayache and Faugeras, 1986] qui sont des méthodes qui exploitent la cohérence spatiale des appariements de façon à réduire la complexité. Une autre catégorie d’approches propose d’extraire des primitives saillantes et de les mettre en correspondance. Les primitives typiquement extraites sont des coins. De plus, ces primitives sont généra- lement liées de sorte que la mise en correspondance d’images se traduit par une mise en correspondance de sous-graphes. Dans ce cas, les méthodes d’estimation généralement utilisées sont la recherche d’arbres, la relaxation et la recherche de cliques maximales.

[Shapiro and Brady, 1995, Olsen, 1992, Zhang et al., 1995] proposent ainsi une estima- tion de cette géométrie pour la mise en correspondance d’images de stéréovision. L’estima- tion s’appuie sur la mise en correspondance d’un certain nombre de points caractéristiques (deux dans le cas de [Shapiro and Brady, 1995, Olsen, 1992], quatre dans [Xu et al., 1993, Nishimura et al., 1993], et huit dans [Zhang et al., 1995]). Dans cette problématique, seule des correspondances 1-1 sont considérées. Afin d’assurer cette unicité, des méthodes dites de relaxation sont généralement appliquées après avoir selectionné un ensemble de corres- pondances candidates. Ces méthodes s’appuient généralement sur le contexte en supposant que les vraies correspondances présentent un grand nombre de vraies correspondances dans leur voisinage aussi. Une force de mise en correspondance dépendant du voisinage est ainsi considérée, et la relaxation consiste à minimiser la somme de ces forces pour toutes les correspondances. Il existe pour ce faire différentes approches. La première, winner-take- all [Rosenfeld et al., 1976], consiste à parcourir toutes les correspondances en ne gardant que la meilleure. Cette approche présente le principal inconvénient qu’alors, des correspon- dances en fin de parcours peuvent se trouver meilleures alors qu’elles avaient une mauvaise correspondance initialement. Une autre approche, looser-take-nothing consiste à parcourir itérativement l’ensemble des correspondances en supprimant pour chacune la pire corres- pondance [Li, 1990]. Enfin, une approche dite some-winners-take-all a été proposée dans [Zhang et al., 1995] dans laquelle, pour chaque correspondance, celles qui sont à la fois dans les q% meilleures correspondances et dans les q% moins ambiguës sont sélectionnées, et les autres correspondances impliquant les deux caractéristiques gagnantes sont supprimées.

Notons que les contraintes épipolaires ne s’appliquent qu’à des points de l’espace. Pour mettre en correspondance des droites comme des contours ou même des objets, ces contraintes ne peuvent donc plus être utilisées. [Horaud and Skordas, 1989] propose donc de mettre en correspondance d’abord des points en exploitant les contraintes épipolaires, puis les relations entre ces points par recherche de cliques maximales dans un graphe de correspondance. Les nœuds d’un tel graphe représentent les correspondances entre une caractéristique d’une image et une caractéristique de l’autre image, et les arcs traduisent la compatibilité de ces correspondances. Les plus grandes cliques maximales, 7

dans le

graphe de correspondance sont ensuite extraites. La compatibilité des nœuds du graphe de correspondance est déterminée par un ensemble de règles assurant la cohérence interne des caractéristiques considérées. Ici encore, ce point de vue diffère des mises en correspon- dances que l’on cherche à mettre en évidence entre les objets de la séquence ADAM car on s’intéresse à une mise en correspondance complète des objets de l’image et qu’aucune contrainte ne peut être appliquée pour déduire d’une correspondance les correspondances des autres objets.

Il existe aussi des méthodes qui consistent à extraire des cartes de distance entre les pixels correspondants dans les deux images. De telles cartes sont appelées cartes de disparité,8

[Hong and Chen, 2004, Klaus et al., 2006]. Il est à noter que des contraintes sur la position des objets sont généralement considérées de façon à réduire l’espace de recherche des correspondances d’une caractéristique.

Enfin il existe des approches utilisant des graphes modèles. Ainsi, dans [Fuchs and Le-Men, 2000], une méthode d’isomorphisme approché de sous-graphes est effectuée en s’appuyant de connaissances extérieures représentées dans un graphe modèle dont certains nœuds sont mis en correspondances avec les données. Cette approche est appliquée à la reconstruction 3D de bâtis. Nous mentionerons finalement une autre approche légèrement différente car il ne s’agit plus de mettre en correspondance des images, mais directement des graphes. Ces approches sont notament utilisées pour mettre en correspondance un graphe modèle avec des graphes objets. Ainsi, dans [Mangin, 1995], un modèle structurel de la topographie corticale est inféré à partir d’une base de graphes relationels attribués de cortex cérébraux. L’utilisation d’un graphe aléatoire permet de prendre en compte la va- riabilité des structures, et les changements topologiques sont contraints par des contraintes syntaxiques.

Dans les cas présentés ci-dessus, une mise en correspondance de sous-graphes est ef- fectuée de façon à estimer la troisième coordonnée ou d’inférer un modèle. Dans le cas de la séquence ADAM, l’objectif est assez différent car un isomorphisme de sous-graphe ne permet de mettre en évidence que ce qui n’a pas changé or dans notre cas, on s’intéresse particulièrement à ce qui a changé et on souhaite expliquer aussi bien l’histoire d’un objet conservé que d’un objet changé. Ces approches ne sont donc pas directement applicables à notre cas.