2.5 Segmentation en objet par Clustering 3D
3.1.2 Les s´ equences Mobile et Foreman
Cette sous-section d´ecrit le d´eroulement du clustering affine puis du clustering 3D sur les s´equences Mobile et Foreman. Dans un premier temps, il nous faut extraire les germes et leur mouvement. Nous utilisons l’algorithme de clustering affine flou entre l’image 10 et l’image 20 de la s´equence CIF Mobile `a 15 Hz et entre l’image 50 et 55 de la s´equence CIF Foreman `a 30Hz. Le fait de choisir un intervalle d’images suffisamment grand est important pour renforcer l’information temporelle. Par contre, plus on augmente la fenˆetre de temps, plus l’estimation peut ´echouer dans certaines zones. Ainsi, sur la s´equence Foreman, on est oblig´e de prendre une petite fenˆetre temporelle `a cause du d´ecrochage rapide du maillage.
Les choix des intervalles aont ´et´e retenus sur une base exp´erimentale.
On effectue donc une estimation du mouvement par maillage dynamique sur le groupe d’images. La figure 3.3 montre le maillage sur l’image 10 puis sur l’image 20 et la figure 3.13 montre le maillage sur l’image 50 puis sur l’image 55. Le maillage nous permet d’extraire les trajectoires des points de l’image 10 pour la s´equence Mobile et les trajectoires des points de l’image 50 pour la s´equence Foreman. On lance alors l’algorithme de clustering affine flou avec un nombre de clusters recherch´e de 4 pour Mobile et de 2 pour Foreman.
On extrait ainsi les probabilit´es d’appartenance de chaque pixel de l’image 10 et de l’image 50. Les images 3.4(a) et 3.14(a) montrent l’entropie de chaque pixel (∀i, h(i) = Pk=K
k=1 −Pi,k ×log2(Pi,k)). Les zones claires indiquent les zones `a forte entropie
c’est-`
a-dire les zones n’´etant pas fiables ou difficilement affectables. Pour obtenir les germes
fiables, on affecte les r´egions dont l’entropie est faible. Les r´egions sont obtenues par une segmentation MDL [Pateux 00] (figures 3.4(b) et 3.14(b)), car elle est rapide et donne des r´egions compactes.
On obtient alors les germes des figures 3.5 et 3.15. Pour le germe du ballon (s´equence Mobile), on ne conserve que la plus grande zone. En effet, les autres zones sont suffisam-ment faibles pour ˆetre consid´er´ees comme du bruit. Ce choix est fait tr`es simplement par le calcul de l’aire de chaque r´egion puis par la s´election de la r´egion la plus grande.
Une fois les germes sur la premi`ere image obtenus, on peut alors estimer le mouvement de chaque germe. Le mouvement est interpol´e en dehors du support. Les figures 3.6 et 3.16 illustrent le mouvement estim´e sur chaque germe. L’estimation du mouvement doit prendre en compte le probl`eme d’occultation. On affecte donc les zones de superposition au germe ayant la plus faible erreur de pr´ediction. On peut remarquer que pour la s´equence Foreman, le visage subit des d´eformations que le maillage est capable de suivre.
On dispose donc des germes sur tout le groupe d’images ainsi que des mouvements de chaque germe. Il est alors possible de lancer l’algorithme de clustering 3D. On lance l’algorithme avec une classe rejet, dont la distance de rejet vaut 300, et avec des valeursα, β,γ de 60. Le nombre d’it´erations est de 40. Les r´esultats apr`es quarante it´erations sont illustr´es sur les figures 3.7, 3.8, 3.9, 3.10, 3.17, 3.18, 3.19 et les mosa¨ıques sur les figures 3.12 et 3.20.
(a) Maillage sur l’image 10 (b) Maillage sur l’image 20 Fig. 3.3 – Illustration de l’estimation de mouvement par maillage actif
L’analyse des r´esultats
Pour la s´equence Mobile, on peut remarquer que les r´esultats ne sont pas tr`es ´eloign´es des fronti`eres de texture. Par contre, on peut constater que les r´esultats sont fortement d´ependants de la phase d’initialisation. En effet, les masques restent proches de l’initia-lisation propos´ee. Dans l’ensemble, la localisation est acceptable bien quel ne soit pas exactement sur les fronti`eres de texture.
Les r´esultats pour la s´equence Foreman sont assez bons. On peut remarquer que le personnage entre l’image 60 et 70 ouvre puis ferme la bouche. Cela produit l’apparition de
Validation exp´erimental du sch´ema propos´e 75
(a) Entropie sur l’image 10 r´e-´echantillonn´e entre 0 et 255
(b) Segmentation MDL sur l’image 10 Fig.3.4 – Avant l’affectation des r´egions aux objets
(a) Germe du ballon (b) Germe du train
(b) Germe du fond (b) Germe du calendrier
Fig. 3.5 –Germes issus du clustering affine flou
Im 10 : Maillage sur le germe ballon Im 20 : Maillage sur le germe ballon
Im 10 : Maillage sur le germe train Im 20 : Maillage sur le germe train
Im 10 : Maillage sur le germe fond Im 20 : Maillage sur le germe fond
Im 10 : Maillage germe calendrier Im 20 : Maillage germe calendrier Fig.3.6 –Illustration de l’estimation de mouvement sur chaque germe
Validation exp´erimental du sch´ema propos´e 77
Image 10 Image 11 Image 12
Image 13 Image 14 Image 15
Image 16 Image 17 Image 18
Image 19 Image 20
Fig.3.7 – Illustration des r´esultats du clustering 3D sur le ballon
Image 10 Image 11 Image 12
Image 13 Image 14 Image 15
Image 16 Image 17 Image 18
Image 19 Image 20
Fig. 3.8 – Illustration des r´esultats du clustering 3D sur le train
Validation exp´erimental du sch´ema propos´e 79
Image 10 Image 11 Image 12
Image 13 Image 14 Image 15
Image 16 Image 17 Image 18
Image 19 Image 20
Fig. 3.9 – Illustration des r´esultats du clustering 3D sur le fond
Image 10 Image 11 Image 12
Image 13 Image 14 Image 15
Image 16 Image 17 Image 18
Image 19 Image 20
Fig. 3.10 –Illustration des r´esultats du clustering 3D sur le calendrier
Validation exp´erimental du sch´ema propos´e 81
Image 10 Image 11 Image 12
Image 13 Image 14 Image 15
Image 16 Image 17 Image 18
Image 19 Image 20
Fig. 3.11 –Illustration des r´esultats du clustering 3D sur le cluster rejet
(a) mosa¨ıque du ballon (b) Mosa¨ıque du train
(c) Mosa¨ıque du fond (d) Mosa¨ıque du calendrier Fig. 3.12 –Illustration des mosa¨ıques associ´ees `a chaque objet
Validation exp´erimental du sch´ema propos´e 83
(a) Maillage sur l’image 50 (b) Maillage sur l’image 55
Fig. 3.13 – Illustration de l’estimation de mouvement par maillage actif sur la s´equence Foreman
(a) Entropie sur l’image 50 r´e-´echantillonn´e entre 0 et 255
(b) Segmentation MDL sur l’image 50 Fig.3.14 – Avant l’affectation des r´egions aux objets
(a) Germe du visage (b) Germe du fond Fig.3.15 – Germes issus du clustering affine flou pour la s´equence Foreman
(a) Image 50 : Maillage sur le germe visage (b) Image 60 : Maillage sur le germe visage
(c) Image 50 : Maillage sur le germe fond (d) Image 60 : Maillage sur le germe fond Fig. 3.16 –Illustration de l’estimation de mouvement sur chaque germe
Validation exp´erimental du sch´ema propos´e 85
Image 60 Image 61 Image 62
Image 63 Image 64 Image 65
Image 66 Image 67 Image 68
Image 69 Image 70
Fig. 3.17 –Illustration des r´esultats du clustering 3D sur le visage
Image 60 Image 61 Image 62
Image 63 Image 64 Image 65
Image 66 Image 67 Image 68
Image 69 Image 70
Fig. 3.18 –Illustration des r´esultats du clustering 3D sur le fond
Validation exp´erimental du sch´ema propos´e 87
Image 50 Image 51 Image 52
Image 53 Image 54 Image 55
Image 56 Image 57 Image 58
Image 59 Image 70
Fig. 3.19 –Illustration des r´esultats du clustering 3D sur le cluster rejet sur la s´equence Foreman
(a) mosa¨ıque du visage (b) Mosa¨ıque du fond
Fig. 3.20 –Illustration des mosa¨ıques associ´ees `a chaque objet issu du clustering 3D texture qui est plac´ee dans la classe rejet. Ce ph´enom`ene est correct puisque l’apparition de texture ne fait pas partie du mod`ele d’objet `a texture fixe que nous recherchons. Une deuxi`eme remarque concerne le haut du casque qui est mal affect´e. Ce genre de probl`eme est particuli`erement difficile `a r´esoudre. En effet, la texture est uniforme et sensiblement la mˆeme pour la mosa¨ıque du fond ou celle du visage. Ainsi la mise en concurrence rend le choix d’affectation particuli`erement difficile puisque tr`es instable.