2.2 Évaluation expérimentale
2.2.3 Autres exemples
Dans le but d’illustrer de manière visuelle l’intérêt de la méthode proposée, nous présentons dans cette section des expériences supplémentaires sur quelques paires d’images.
Structures auto-similaires Dans l’exemple suivant, nous illustrons le comportement de notre critère
lorsque l’on fait varier le seuil de détection, pour une scène contenant de nombreuses structures répétées. Il a été montré dans [ZK06a] que c’est un cas de mise en correspondance particulièrement difficile. La figure 2.13montre les résultats de l’appariement de deux photographies de la tour de Pise (dans des conditions d’éclairement et des prises de vue différentes) avec les critères NN-DR et AC. La seconde
rangée d’images (figures2.13(e),2.13(f),2.13(g)et2.13(h)) montre les résultats obtenus par le critère
NN-DR avec les seuils r = 0.7, r = 0.8, r = 0.85 et r = 0.9 respectivement. La proportion de
correspondances correctes est visiblement très faible quel que soit le seuil utilisé. Il est en effet très difficile de mettre en correspondance des structures répétées avec un tel critère qui suppose que l’objet d’intérêt apparaît au plus une seule fois dans la base de données. Lorsque l’objet recherché est texturé ou présente une forte auto-similarité, un descripteur requête peut avoir plusieurs descripteurs candidats très similaires, ce qui contredit l’hypothèse sur laquelle repose le critèreNN-DR.
Au contraire, le critère de correspondanceAC– qui n’est pas restreint au plus proche voisin – donne
des mises en correspondance multiples entre les colonnes et les arches similaires. De plus, en observant les résultats pour différentes valeurs de seuil (figures2.13(a),2.13(b),2.13(c)et2.13(d)), on peut consta- ter que la proportion de fausses détections est très limitée jusqu’à ε = 1. En augmentant ε de 10−2 à
ε = 1, on obtient ainsi de plus en plus de correspondances entre les structures similaires de la tour, sans que le nombre de fausses détections explose pour autant. Bien entendu, tous ces appariements ne sont pas corrects au sens où ils ne correspondent pas physiquement à la même structure, mais ils sont cependant satisfaisants car représentatifs d’une réelle auto-similarité. Lorsque ε est plus grand que 1, le nombre de fausses détections commence à devenir très important, illustrant le fait que ε = 1 est bien le seuil critique défini par la théorie. Cependant, comme nous l’avons auparavant remarqué, il y a un décalage pratique entre l’ordre de grandeur du nombre observé de fausses détections et l’ordre de grandeur de ε : si l’on souhaite valider très peu de fausses détections, les valeurs ε = 10−2ou ε = 10−1sont généralement plus
adéquates.
Occurences multiples Nous avons illustré dans l’exemple précédent l’intérêt de notre approche pour
la mise en correspondance d’objets ayant des structures répétées. Un autre cas de figure où le critère
AC présente un atout considérable est celui des objets apparaissant plusieurs fois dans la base de don-
nées. Dans l’expérience2.14, nous utilisons la photographie de la figure2.14(a)comme image requête ; elle représente une canette de soda dont le logo apparaît plusieurs fois (28 exactement) dans la seconde photographie (figure 2.14(a)). Avec le critèreAC (figure2.14(c)), de nombreuses mises en correspon- dance multiples sont automatiquement validées avec le seuil ε = 10−1, tout en contrôlant le nombre de
fausses correspondances (seuls quelques appariements incorrects entre des canettes différentes sont visi- blement obtenus). C’est tout le contraire du critèreNN-DR, qui ne valide que très peu de correspondances correctes avec un seuil à r = 0.8 (figure2.14(d)).
Robustesse du seuil de validation L’exemple suivant va nous permettre d’illustrer les différents
points vus au moment de l’analyse des performances sur une grande base de données à l’aide de courbes ROC. Cette fois, une image requête est appariée avec chacune des 8 images d’une base de données, où l’objet requête (une boîte de conserve) apparaît une seule fois, plusieurs fois, ou pas du tout selon les images. Les neuf photographies utilisées pour cette expérience sont données en figure2.15(a). L’image requête, avec un cadre bleu, est au centre des 8 autres images. Les 4 photographies dans les coins n’ont rien de commun avec l’image centrale. Les 4 autres images représentent la même boîte de conserve que celle présente dans l’image centrale, en présence de fouillis et dans des conditions de prise de vue et d’éclairement différentes. La boîte apparaît ainsi une unique fois dans les images immédiatement à
(a) AC, ε = 10−2 (b) AC, ε = 10−1 (c) AC, ε = 1 (d) AC, ε = 10
(e) NN-DR, r = 0.7 (f) NN-DR, r = 0.8 (g)NN-DR, r = 0.85 (h) NN-DR, r = 0.9 FIG. 2.13 –Mise en correspondance d’un objet avec des structures répétitives : la tour de Pise. Dans cet exemple, deux critères de mise en correspondance de descripteurs locaux de type SIFT sont utilisés avec différents seuils de détection. Les traits verts entre les deux photographies représentent les corres- pondances validées pour le seuil et le critère indiqué en légende. La première rangée illustre le résultat obtenu à l’aide du critère de mise en correspondance A Contrario (notéAC) introduit dans ce chapitre,
sans aucune restriction sur le nombre d’appariements par requête. Les mises en correspondances entre structures répétées (les colonnes et les arches de la tour en particulier) sont de plus en plus nombreuses en augmentant le seuil de significativité ε, mais le nombre de fausses correspondances entre des objets différents reste limité. La seconde rangée montre les résultats du critèreNN-DRqui restreint chaque des- cripteur requête à son plus proche voisin. Il existe très peu de correspondances correctes entre les deux vues de la tour en raison de la répétition des structures.
(a) Image requête (b) Mur de canettes
(c)ACavec ε = 10−1 (d) NN-DRavec r = 0.8
FIG. 2.14 – Mise en correspondance d’un objet avec des occurrences multiples : canette de soda.
(Photographies de Frédéric Sur). Les deux photographies de la première rangée représentent l’image requête (2.14(a)) et l’image utilisée comme de base de données (2.14(b)). Le logo de la canette de soda au centre de la première image apparaît de manière similaire 28 fois dans la seconde image. Le critère
AC valide automatiquement les mises en correspondances multiples correspondant au même objet, tout
en contrôlant le nombre de fausses détections. À cause de ces occurrences multiples, le critèreNN-DR
ne permet pas d’avoir autant de bonnes mises en correspondances, et le taux de fausses détections est très élevé (plus de 50%).
gauche et à droite de l’image centrale, et elle est présente trois fois dans les images au dessus et en dessous.
Les mises en correspondance validées par le critèreACen utilisant la mesure de dissimilarité DCEMD
sont illustrées en figure2.15(b)selon la représentation usuelle (traits verts tracés entre les points d’intérêt appariés). Les figures2.16(a)et2.16(b)montrent respectivement les résultats des critèresNN-DRetNN- DTavec la distance euclidienne, afin de montrer le type de résultat obtenu avec ces approches classiques.
Dans le but de montrer le degré de robustesse de chacune des méthodes de correspondance testées, nous avons fixé les seuils de détections de manière à obtenir le même nombre d’appariements corrects entre l’image requête et la photographie à sa gauche (soit une soixantaine environ). On obtient ainsi les seuils de détection suivants pour l’ensemble des appariements d’images : ε = 10−2 pour AC, r = 0.8 pour NN-DR, et t = 0.45 pourNN-DT).
On constate que notre méthode d’estimation automatique des seuils de validations sur la mesure de dissimilarité réduit le nombre de fausses détections (que l’objet d’intérêt soit présent ou non), tout en autorisant les mises en correspondances multiples pour les objets apparaissant plusieurs fois. De plus, nous pouvons constater une fois de plus que la limitation au plus proche voisin n’est pas nécessaire. En comparaison, le critèreNN-DTutilisant un seuil fixe sur la mesure de dissimilarité entre descripteurs
locaux donne des résultats très différents d’une image à une autre. Le nombre de fausses détections avec ce critère est plus élevé, malgré la restriction sur le nombre de correspondances par point d’intérêt de l’image requête. Le critèreNN-DR, quant à lui, donne des résultats plus robustes sur la base par rapport
au critèreNN-DT. Le nombre de fausses détections est souvent plus réduit, mais lorsque l’objet d’intérêt
(a) Image requête au centre avec 8 images
(b) Mesure de dissimilarité DCEMDet critère de mise en correspondanceACavec ε = 10−2
FIG. 2.15 –Mise en correspondance de plusieurs images avec le même seuil de validation. (figure du
haut) L’image requête, au centre avec un cadre bleu, est mise en correspondance avec 8 autres images en utilisant le même critère et le même seuil de détection (voir le texte pour plus de détails). (figure du bas) Critère de mise en correspondance A Contrario, fondé sur la mesure de dissimilarité DCEMD.
(a) Distance euclidienne et critère de mise en correspondanceNN-DRavec r = 0.8
(b) Distance euclidienne et critère de mise en correspondanceNN-DTavec t = 0.45
FIG. 2.16 –Mise en correspondance de plusieurs images avec le même seuil de validation. (figure du haut) Critère de mise en correspondanceNN-DR, utilisant la distance euclidienne. (figure du bas) Critère
Chapitre 3
Groupement de mises en
correspondance : problématique et état
de l’art.
Nous avons pris le parti dans cette thèse, ce qui est classique, de réaliser la reconnaissance d’objets à partir d’une représentation locale des images. Dans les deux précédents chapitres, une approche pour extraire puis mettre en correspondance des points d’intérêt entre différentes images a été présentée. La dernière étape du processus de détection, que nous allons maintenant considérer, consiste à exploiter ces appariements de points pour détecter puis estimer la pose d’un objet entre plusieurs vues. Ce cadre de travail nécessite un large éventail d’invariances à divers phénomènes, tels que le changement de point de vue, les conditions d’éclairement, ou encore l’occultation partielle de l’objet recherché. De nombreuses autres contraintes sont à prendre en compte pour définir une méthode robuste de détection et d’estimation. Nous allons tout d’abord introduire dans la section 3.1 la problématique liée à la détection et à l’estimation de la pose d’un objet. Après en avoir étudié les contraintes, nous définirons les objectifs auxquels nous souhaitons répondre.
Dans les sections suivantes (§3.2et3.3) seront étudiées les méthodes existantes pour détecter diffé- rents objets à partir de correspondances de points d’intérêt, ainsi que pour estimer leur pose respective de manière robuste. En particulier, nous analyserons leurs avantages respectifs ainsi que leurs limitations.