Segmentation de séquences Segmentation de séquences d’images au sens du d’images au sens du mouvement mouvement

Segmentation de séquences Segmentation de séquences

d’images au sens du d’images au sens du

mouvement mouvement

Stage DEA Image & Calculs Elodie Bichot

Juillet 2002

Encadrant : L. Mascarilla

Introduction Introduction



illusion de mouvement créée par la succession d’images à une cadence élevée



mouvement = information importante en traitement d’images

segmentation de séquences d’images au sens

du mouvement

Plan Plan

I.

Définition de la segmentation au sens du mouvement

II.

Les méthodes de segmentation au sens du mouvement

1. Le flot optique

2. Les méthodes d’estimation du flot optique

3. Le partitionnement du flot optique

III.

Mise en œuvre

1. L’appariement par fenêtres

2. L’algorithme de segmentation au sens du mouvement mis en œuvre

Contexte : Projet Aqu@thèque Contexte : Projet Aqu@thèque

 étape de segmentation : détecter la région correspondant au poisson sélectionné

 images couleurs réelles présentant des effets spéculaires, des changements de luminosité

 méthodes de segmentation par le mouvement

 impossible de distinguer deux poissons évoluant en sens opposé au moment où ils se croisent

 segmentation au sens du mouvement

Segmentation au sens du mouvement Segmentation au sens du mouvement

Partitionnement de l’image en régions uniformes au sens du mouvement :

 estimation du mouvement 2D (flot optique)

 classification des pixels selon leur mouvement

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

Estimation du mouvement Séquence d’images

segmentation

Flot optique Images segmentées en

régions uniformes au sens du mouvement

Le flot optique Le flot optique

 champ de vecteurs de déplacements produit par la projection du mouvement 3D des objets et/ou par le mouvement de la caméra

 estimation du flot optique illumination constante :

I t x t( , ( ))  I₀ v I.  I_t  0

v dx dt

dx

dt v v

 ( ¹ , ² )  ( ,_{1 2})

I I

t  t



composantes de la vitesse gradient spatial de I

gradient temporel de I

équation du flot optique

] , [ ) ,

( _{1 2}

2 1

x

x I

x I I x

I I 







 



Le flot optique Le flot optique

v I .   I

 0

 fossé entre mouvement estimé par équation du flot optique et mouvement réel

 détermination du mouvement problème mal posé :

problème d’ouverture : seule b, composante du mouvement

normale au bord, peut être estimée [2]

Domaines d’utilisation du flot optique Domaines d’utilisation du flot optique

 compression vidéo par compensation de mouvement

 segmentation : météorologie

reconnaissance de signes du langage des signes surveillance de sites routiers

Le flot optique pour segmenter des véhicules en mouvement [1]

Méthodes d’estimation du flot optique Méthodes d’estimation du flot optique



Techniques différentielles



Méthodes fréquentielles



Appariement par fenêtres

Les méthodes différentielles Les méthodes différentielles

 fondées sur hypothèse d’intensité constante

 Problème d’ouverture

 ajout de contrainte de lissage du flot optique : flot optique constant sur un voisinage local de

meilleure solution : la plus régulière ^[HS81]

I x v t(  ,  1) I x t( , )

I x t( , 1). ( , )v x t  I x t_t ( , )  O²

 x

min W x( )( I x t v( , ). I ( , )) t x t

x

2   2





[LK81]

( .  )  (    )

 ^{I v I}_t ^{v v dxdy}

image



 ² ² ₁ ² ₂ ²

Positionnement des techniques Positionnement des techniques

différentielles différentielles



coût de calculs faible



précise



estimation de déplacements de faible amplitude



mauvaise estimation du flot optique aux

frontières des objets = zones de discontinuités

du mouvement

L’appariement par fenêtres L’appariement par fenêtres

 recherche de la meilleure correspondance entre des régions de deux images consécutives par :

– maximisation d’un critère de similarité

– minimisation d’une distance

entre deux fenêtres de référence sur une zone de recherche

fenêtre de référence

ou de corrélation zone de recherche position translatée de la fenêtre de référence pixel (i, j) de l’image considéré

Positionnement de l’appariement par Positionnement de l’appariement par

fenêtres fenêtres

 simple

 possibilité d’estimer des déplacements d’amplitude importante

 problème en cas d’images bruitées, en présence d’occultations, en cas de zones uniformes

 coûteuse en temps de calculs

 imprécise

Segmentation du flot optique Segmentation du flot optique

 qualité liée à la qualité de l’estimation du mouvement

 par estimation d’un mouvement dominant - évaluation du mouvement dominant

- « extraction » de l’objet animé du mouvement dominant

problème : lorsqu’il n’y a pas qu’un seul mouvement dominant

Segmentation du flot optique Segmentation du flot optique

 par classification sur les paramètres d’un modèle de mouvement affine [WA94] :

mouvement affine :

- facile à implémenter

- décrit les mouvements rencontrés dans les vidéos

v x y a a x a y v x y a a x a y

x x xx xy

y y yx yy

( , ) ( , )

  

  





0 0

génération d’hypothèses de

mouvement

classification flot optique

affectation des régions à l’hypothèse la plus

proche

image segmentée

 objets en translation : groupement des pixels de même vitesse

Estimation du flot optique par Estimation du flot optique par

appariement par fenêtres appariement par fenêtres

 simple

 à l’origine des meilleurs résultats

 pas fondé sur hypothèse d’illumination constante

 intégration assez facile de l’information de couleur

difficile d’apprécier la justesse du flot optique estimé

image initiale, flot optique évalué par appariement et par la méthode de Lucas & Kanade

Estimation du flot optique Estimation du flot optique

Représentation des normes des vecteurs vitesses et du flot optique évalués par appariement à partir d’images en niveaux de gris à gauche, à partir d’images en

couleurs à droite

Algorithme de segmentation au sens du Algorithme de segmentation au sens du

mouvement mouvement

 flot optique évalué par appariement

 segmentation par classification sur les paramètres d’un modèle de mouvement affine

 nombre de classes fixé arbitrairement

Estimation du flot optique

Estimation des paramètres d’un

modèle de mouvement affine sur des régions

carrées [WA94]

Classification par C moyennes floues sur

les paramètres de mouvement

Représentation des classes dans

l’espace de l’image

image initiale image segmentée

Algorithme de segmentation au sens du Algorithme de segmentation au sens du

mouvement mouvement

 flot optique évalué par appariement

 segmentation par classification sur les composantes de la vitesse

 nombre de classes fixé arbitrairement

image initiale segmentation par classification sur les composantes de la vitesse

Conclusion Conclusion

 estimation du flot optique + partitionnement du flot optique = segmentation au sens du

mouvement

 appariement par fenêtres + classification sur les composantes du déplacement = segmentation au sens du mouvement

 distinction de poissons évoluant en sens opposé

 coopération entre la segmentation au sens du mouvement et la poursuite de cibles

Références Références

 [HS81] B.K.P. Horn, B.G. Schunck. Determining optical flow. Artificial Intelligence 17 : 185-204, 1981.

 [LK81] B. Lucas, T. Kanade. An iterative image registration technique with an

application to stereo vision. Proc. DARPA Image Understanding Workshop, pp.121-130, 1981.

 [WA94] J.Y.A. Wang, E.H. Adelson, Spatio-Temporal Segmentation of Video Data.

Proceedings of the SPIE : Image and Video Processing 2, vol. 2182, San Jose, 1994.

 [WA94] J.Y.A. Wang, E.H. Adelson. Representing Moving Images with Layers. IEEE Transactions on Image Processing Special Issue : Image Sequence Compression, vol3, n°5, p. 625-638, 1994.

 [1] http://www.cmap.polytechnique.fr/~bernard/FlotOptique/page3.html

 [2] http://www.dai.ed.ac.uk/CVonline/LOCAL_COPIES/OWENS/LECT12/node4.html