Évaluation de la détection multiple

Cette section se compose de trois parties. Dans la première est tout d’abord démontré l’intérêt pra- tique de l’algorithme 4.4 de découpage récursif en sous-groupes. Ensuite nous présentons deux types d’expériences illustrant la faculté de MAC-RANSAC à détecter séquentiellement, d’une part, plusieurs objets (§4.5.2.2), et d’autre part, les occurrences multiples d’un même objet (§4.5.2.3).

4.5.2.1 Évaluation de l’algorithme de découpage récursif

Nous illustrons ici l’intérêt du critère de découpage en sous-groupes par deux expériences.

La première expérience reproduit l’expérience synthétique étudiée au paragraphe4.4.4(affiche “Ca- sablanca”, figure4.10). Ici nous avons plié un morceau de carton en trois morceaux, et photographié l’objet avant et après pliage4.17. Comme nous considérons exclusivement les transformations rigides,

la seule interprétation possible de cette scène est que trois objets distincts ont chacun une transformation différente (une homographie). Une fois encore, sans utilisation du critère de sélection de sous-groupes (figure4.17(c)), l’interprétation de la scène est mauvaise : un groupe dominant est obtenu (en rouge), cor- respondant à la moyenne des différentes transformations ; le second groupe détecté (en bleu) correspond à une transformation correcte mais qui ne recouvre pas toutes les correspondances concernées. L’utilisation de notre procédure de découpage récursif en sous-groupes permet au contraire de grouper avec précision les correspondances selon trois ensembles corrects, ainsi que leur transformation (figure4.17(b)).

La seconde expérience démontre l’intérêt de notre approche dans le cas où le modèle géométrique utilisé n’est pas approprié. Il s’agit de la paire d’images de la tour de Pise (figure 4.18(a)) précédem- ment utilisée au chapitre 2. Il s’agit de deux vues d’une scène 3D, mais le mouvement de la caméra entre les deux prises de vue est faible en comparaison de la distance à l’objet. On peut donc considérer en première approximation que la transformation peut être approchée par une homographie. Sans pro- cédure de découpage en sous-groupes, un groupe dominant est trouvé (voir la figure4.18(b)) mais le recalage obtenu de la tour est très imprécis (figure4.18(c)). Avec l’exploration des sous-groupes, deux groupes sont détectés (figures4.18(d)et4.18(f)), permettant un recalage beaucoup plus précis de la tour (figure4.18(d)).

Dans toutes les expériences présentées par la suite dans cette section expérimentale, le critère de découpage est systématiquement utilisé afin de démontrer sa robustesse, même dans des situations où il n’est pas nécessaire. Ceci permet d’illustrer le fait que le critère de détection ne conduit pas à une sur-segmentation des objets détectés.

4.5.2.2 Détection de plusieurs objets

Nous expérimentons trois types de scénario dans cette section. Dans le premier, une caméra en mou- vement filme une scène fixe. C’est le cas de la séquence d’image [Pol] qui est utilisée dans [PVGV+_04] pour faire de la reconstruction 3D. Nous utilisons deux images de cette séquence (figure4.19(a)), pour en extraire puis mettre en correspondance des points d’intérêt. Cette scène représente un bâtiment en forme de ‘L’, qui présente certaines autosimilitudes. Nous utilisons MAC-RANSAC avec la transformation épipolaire (figure4.19(b)) et avec l’homographie (figure4.19(c)). Comme on peut s’y attendre, un seul groupe est détecté avec la géométrie épipolaire. Cependant, avec le modèle de la géométrie projective, la meilleure interprétation de la scène consiste à segmenter les correspondances de points en plusieurs plans : on retrouve alors trois groupes différents correspondant aux différents plans du bâtiment, ainsi qu’un groupe supplémentaire lié aux arbres en arrière-plan (groupe en bleu).

Remarque 1 :

Notons que d’autres plans pourraient être détectés : le sol et les pans du toit de chacune des parties du bâtiment. Cependant, en l’absence de structures contrastées sur ces plans, il n’y a pas de points d’intérêt détectés.

Dans le second scénario examiné, la caméra est encore en mouvement, mais les objets de la scène ne sont plus statiques. Dans la figure 4.20(a), deux photographies sont prises d’une scène où un objet a été déplacé entre les deux prises de vue. Avec la géométrie épipolaire (figure4.20(b)) , deux groupes sont alors identifiés : un groupe dominant (en rouge) correspondant à la partie statique de la scène, et un groupe (en bleu) correspondant au téléphone qui a été déplacé entre les deux prises de vues. Si l’on recherche des homographies (figure4.20(b)), on retrouve le même groupe pour le téléphone (en jaune), tandis que le reste de la scène est fragmenté en différents plans : le plan du livre (en vert), la souris (en bleu foncé), la télécommande (en rouge) et un dernier plan (en cyan) qui regroupe la table, un boîtier de CD et le dessus de l’ordinateur portable. Il est intéressant de voir que le critère de découpage a préféré ici regrouper les trois derniers objets plutôt que de les sursegmenter. La raison en est la suivante : les correspondances de ces trois objets représentent trois groupes de points distincts, répartis sur des plans parallèles très proches ; pour le critère de découpage, il est inutile de distinguer ces plans les uns des autres.

(a) Paire d’images analysée

(b) Groupement de correspondances avec le critère de découpage

(c) Groupement de correspondances sans le critère de découpage

FIG. 4.17 – Dans cette expérience, une affiche est pliée de manière à constituer trois plans (fi-

gure 4.17(a)). La mesure de qualité de AC-RANSAC tend à fusionner les transformations d’objets

pourtant distincts (figure4.17(c)). Le critère de découpage que nous avons défini pour comparer deux groupes, combiné à la recherche récursive de sous-groupes, permet de distinguer les trois plans (fi-

(a) Deux vues d’une scène 3D (b) Groupement de correspon- dances sans le critère de décou- page en sous-groupes

(c) Le recalage de la tour est très imprécis.

(d) Premier sous-groupe. (e) Recalage obtenu avec le pre-

mier sous-groupe. (f) Second sous-groupe. (g) Recalage obtenu avec le se-cond sous-groupe.

FIG. 4.18 – Recherche d’objets en commun d’une scène 3D en vue du recalage par une homographie. Figure4.18(b): sans le critère de découpage, un unique groupe est obtenu. Le recalage est très imprécis (figure4.18(c)). Le découpage en sous groupe est validé par le critère (figure4.18(d)et4.18(f)). Ceci permet d’améliorer le recalage de la tour (figure4.18(e)).

Dans le dernier exemple, nous illustrons le cas de la reconnaissance d’objets dans des contextes différents. Nous avons utilisé deux images de la base [PLRS04] (voir la figure4.21(a), où deux objets sont communs à chacune des images. L’homographie (figure4.21(b)) tout comme la géométrie épipolaire (figure4.21(c)) permettent à MAC-RANSAC de détecter deux groupes. Dans le cas de l’homographie, les deux groupes permettent de localiser précisément les deux objets, tandis que dans le cas de la géométrie épipolaire, un objet est segmenté en deux groupes. Ceci est due à l’ambiguïté sur la position 3D de l’objet cylindrique vis à vis de la peluche (pour plus de détail sur la géométrie épipolaire, voir l’annexeC). Nous reviendrons sur ce phénomène au dernier paragraphe (§4.5.4).

(a) Paire d’images utilisée (frames 8 et 13 d’une séquence de 27 images [Pol])

(b) Unique groupe obtenu avec la géométrie épipolaire (c) 4 groupes obtenus avec l’homographie

FIG. 4.19 –La figure (4.19(a)) montre deux images tirées d’une séquence vidéo [Pol]. Le groupement avec la transformation épipolaire donne un seul groupe (4.19(b)). Le groupement avec l’homographie donne 4 groupes (4.19(c)) : 3 plans correspondants aux murs du bâtiment, et un groupe supplémentaire pour les arbres en arrière plan.

(a) Paire d’images utilisée

(b) Groupement sous contrainte épipolaire (c) Groupement sous contrainte projective

FIG. 4.20 –La figure4.20(a)montre deux photographies d’une scène où un objet a été déplacé entre les deux prises de vue. Deux groupes sont alors identifiés avec la géométrie épipolaire (figure 4.20(b)). La scène est découpée en différents plans lorsque l’on recherche une transformation projective (fi-

(a) Paire d’images utilisée

(b) Groupement obtenu avec l’homographie. (c) Groupement obtenu avec la géométrie épipolaire.

FIG. 4.21 –La figure4.21(a)montre deux images de la base [PLRS04]. Il existe deux objets commun à ces deux images, en présence de fouillis. Le groupement avec l’homographie identifie correctement les 2 objets (4.21(b)). Le groupement avec la transformation épipolaire donne quasiment le même résultat

(4.21(c)), mais il existe une ambiguïté sur la position tri-dimensionnelle de la boîte cylindrique par

4.5.2.3 Détection multiple du même objet

Nous avons défini l’algorithme MAC-RANSAC de manière à prendre en compte les correspondances liées à des occurrences multiples d’un objet dans chacune des images I et I′_{. Nous allons montrer, avec}

quelques exemples, que MAC-RANSAC permet de détecter si un objet apparaît plusieurs fois dans une paire d’images.

La figure4.22(a)montre une paire de photographies, dont la première représente une canette de soda. La seconde image représente une scène avec 28 canettes ayant le même logo, dans des positions diffé- rentes. Précisons que la première image est obtenue à partir d’un point de vue différent de la seconde. Le résultat du groupement de correspondances est donné en figure4.22(b). On vérifie que l’algorithme permet de détecter les 28 occurrences de la canettes. Nous aimerions en particulier insister sur le fait que chacun des groupes détectés correspond à une faible proportion de l’ensemble des correspondances. En particulier, les deux groupes correspondant à deux canettes fortement occultées (en bleu foncé) ne repré- sentent chacun que 1% du total des correspondances. Ceci montre l’intérêt de rechercher itérativement chaque objet, de manière à augmenter progressivement la proportion relative des groupes correspondant à des objets de petites tailles.

Dans le second exemple sont utilisées deux photographies contenant certains objets en commun dans des poses différentes (figure4.23(a)) : une boîte de céréales, ainsi que trois canettes identiques. Rien ne distingue les trois canettes, si bien que 9 transformations sont théoriquement possibles entre les deux vues pour ces 3 objets. En utilisant MAC-RANSAC, un unique groupe correspondant à la boîte de céréales est correctement détecté, ainsi que 9 groupes de correspondances entre les canettes (figure4.23(b)). Il est intéressant de voir que si le critère de découpage récursif en sous-groupe n’est pas utilisé (figure4.23(c)), l’interprétation de cette paire d’image est incomplète. En effet, deux des trois canettes sont considérées comme étant un unique objet rigide, selon une transformation très imprécise. Une seule transformation pour ce groupe est détectée, ce qui donne un total de 5 groupes au lieu de 10.

(a) Paire d’images avec l’objet recherché à gauche, et une scène contenant de nombreuses occurrences de l’objet à droite.

(b) Résultat du groupement avec MAC-RANSAC : les 28 occurences de l’objet recherché sont reconnues.

FIG. 4.22 – Détection d’un objet apparaissant plusieurs fois dans une paire d’images (4.22(a)). Les différents filtres utilisés (principe de maximalité, élimination des correspondances redondantes et auto- similaires) préservent les correspondances liées à la détection multiples d’un objet. L’algorithme MAC- RANSAC permet dans le cas présent de détecter les 28 canettes de soda présentes dans la scène (4.22(b)).

(a) Deux scènes différentes partageant des objets en commun.

(b) L’algorithme MAC-RANSAC détecte les 10 groupes re- cherchés.

(c) Sans la procédure de découpage récursif en sous-groupes, seulement 5 groupes sont détectés.

FIG. 4.23 – Dans cet exemple, deux photographies contiennent plusieurs objets en commun : une boîte

de céréales, et trois canettes identiques (4.23(a)). L’algorithme MAC-RANSAC détecte 10 groupes (fi-

gure 4.23(b)) : un groupe correspond à la boîte de céréales, et les 9 restants sont les détections des

3_{× 3 transformations des objets identiques. La figure}4.23(c)montre ce qu’il se produit sans la procé- dure de détection de fusion. Des paires de canettes ayant des transformations grossièrement similaires sont regroupées et sont considérées comme un même objet rigide. Il n’y a alors plus que 2 × 2 groupes correspondant aux canettes.