Analyse de la vid´eo Chapitre 2.1 - Estimation du mouvement 23 d´ecembre 2010

(1)

Analyse de la vid ´eo

Chapitre 2.1 - Estimation du mouvement

23 d ´ecembre 2010

(2)

D éfinition g én érale du flux optique

Plan de chapitre

1 D éfinition g én érale du flux optique Estimation du mouvement Equation du flux optique´ Probl ème d’ouverture

Cat ´egorisation des algorithmes d’estimation du mouvement

2 Estimation du flux optique - Intensit ´e Lucas et Kanade

Variante de Lucas et Kanade - Raffinement it ´eratif Horn et Schunck

Variante de Horn et Schunck - Raffinement du lissage

(3)

D éfinition g én érale du flux optique Estimation du mouvement

Estimation du mouvement

Mouvement apparent

En étudiant le mouvement observ é 2D, on tente d’interpr éterle mouvement 3D r éel ou l’action associ ée à ce mouvement 3D de la sc ène :

Comment la cam ´era a-t-elle boug ´e ? Combien y a-t-il d’objets ?

A quelle vitesse allaient-ils ?`

Reconnait-on une action dans le mouvement (marcher, courir, saluer, ...) ?

...

(4)

Estimation du mouvement

D ´efinition du flux optique

Champs de mouvement 3D (Motion field) :Ensemble des mouvements 3D r ´eels.

Flux optique :Projection de l’ensemble des mouvements 3D dans un plan 2D.

Mouvement apparent VS Mouvement 3D

(5)

Estimation du mouvement

Exemple d’application : Segmentation de mouvement

1. Image tir ´ee de ”Zelniket al, Multi-body Segmentation : Revisiting Motion Consis-

(6)

Estimation du mouvement

Le flux optique peut ˆetre le r ´esultat :

d’un mouvement d’objets et/ou de la cam ´era ;

d’un changement d’illumination ou d’apparence des objets ; d’un changement de param ètres intrins èques de la cam éra (e.g.

distance focale, ouverture, etc.).

Exemple de flux optique

(7)

Flux optique

Mouvements de cam ´era

Diff érents flux optiques d û aux mouvements de cam éra :

(8)

Flux optique

Texture

La texture a aussi un effet sur le flux optique par rapport aux mouvements 2D projet ´es :

(9)

Flux optique

Illumination

On a vu aussi que l’illumination influence le mouvement estim ´e :

Le mouvement perçu d épend donc aussi du type de surface des objets et de l’illumination de la sc ène.

(10)

D éfinition g én érale du flux optique Equation du flux optique´

Flux optique

But

Estimer, pour chaque pixel, un vecteur de d ´eplacementV~ = (vx,vy) exprimant :

La vitesse de d éplacement d’un pixel dans le rep ère de l’image ; La direction vers laquelle le pixel se d éplace.

(11)

Flux optique

Supposons uneillumination constantepour un point dans le temps :

En supposant queles propri ét és d’illumination de l’objet sont conserv ées entretett+dt, on aura alors :

I(x+dx,y+dy,t+dt) =I(x,y,t) (1)

(12)

Flux optique

D ´emonstration :Equation du flux optique´

(13)

Flux optique

On retrouve l’ ´equation suivante, comprenant l’expression de la vitesse du mouvementV~ = (vx,vy)et∇I(x~ ,y)le gradient de l’image au point (x,y):

∇I(x~ ,y)·V~ = −I_t I_xv_x+I_yv_y

= −I_t (2)

L’ équation ci-dessus (Eq.2) est appel ée équation du flux optique.

Cette ´equation a deux variables (v_x etv_y) et admet donc une infinit ´e de solution.

(14)

D éfinition g én érale du flux optique Probl ème d’ouverture

Rappel math ´ematique

Rappel math ´ematique :Equations VS nombre d’inconnus´

(15)

Flux optique

Probl `eme d’ouverture

Exprimons g éographiquement le probl ème des deux inconnus (vx,vy) de l’ équation du flux optique (Eq.2) pour un pixelI(x,y):

Soit la base orthonorm ée(~en, ~et), o ù~enest parall èle au gradient de l’image∇I(x,~ y).

En exprimant le vecteur de vitesseV~ dans cette base, on aura alors~V=vn~en+vt~et.

(16)

Flux optique

D ´emonstration :Probl `eme d’ouverture

(17)

Flux optique

Pour un point(x,y), on connait la composantev_n, parall `ele au gradient de l’image. Cependant, la composantev_t peut avoir une infinit ´e de valeurs qui satisfont Eq. (2).

C’est ce qu’on appelle leprobl `eme d’ouverture:

(18)

Flux optique

On connait toujours la valeur de la composante dans le sens du gradient∇I(x~ ,y), mais sans une vue globale de la sc `ene, on ne peut

(19)

Flux optique

R ésum é du probl ème de la d étermination du flux optique

Ce qui peut fausser la d ´etermination du flux optique `a un point(x,y):

1 Un mouvement non-l ´eger (Le d ´eveloppement de Taylor n’est pas valide) ;

2 Le mouvement du point n’est pas comparable aux points au voisinage ;

3 Une illumination non-constante ;

4 Aliasing.

Les algorithmes de calcul du flux optique chercheront donc à r ésoudre le probl ème d’ouverture en ces diff érentes probl ématiques.

(20)

Flux optique

Exemple de flux optique

(21)

D éfinition g én érale du flux optique Cat égorisation des algorithmes d’estimation du mouvement

Estimation du flux optique

R ésum é des diff érentes approches

Diff ´erentes approches pour la r ´esolution du flux optique :

1 Approche par intensit ´e :

M éthodes bas ées sur un terme de r égularisation ;

M éthodes bas ées sur les équations à r égression lin éaire (ERL).

2 Approche par primitive d’intensit ´e :

M éthodes bas ées sur l’association de blocs, patches, ... ; M éthodes hi érarchiques ;

M ´ethodes bas ´ees sur le maillage.

(22)

Estimation du flux optique - Intensit ´e

Plan de chapitre

1 D éfinition g én érale du flux optique Estimation du mouvement Equation du flux optique´ Probl ème d’ouverture

Cat ´egorisation des algorithmes d’estimation du mouvement

2 Estimation du flux optique - Intensit ´e Lucas et Kanade

Variante de Lucas et Kanade - Raffinement it ´eratif Horn et Schunck

Variante de Horn et Schunck - Raffinement du lissage

(23)

Estimation du flux optique - Intensit ´e Lucas et Kanade

Lucas et Kanade

Approche par intensit é - Équation à r égression lin éaire

La m éthode deLucas-Kanade 1984est une m éthode d éterministe d’intensit é bas ée sur une équation à r égression lin éaire.

On suppose :

1 Petits mouvements ;

2 Illumination constante ;

3 Mouvements constants dans un voisinage pr `es (avec un facteur de lissage).

(24)

Lucas et Kanade

Supposons queW(x,y)est la fen ˆetre (un carr ´e par exemple de taille N =n×n) qui encadre le pixel(x,y)

(25)

Lucas et Kanade

D ´emonstration :Lucas et Kanade

(26)

Approche ERL d’intensit ´e

Lucas et Kanade

V~ = A^TG²A−1

· A^TG^Tb vx

v_y

=

P

G²I_x² P G²IxIy

PG²I_yI_x P G²I_y

−1

·

−P GIxIt

−P GI_yI_t

(3)

Il faut queA^TG²Asoit inversible (i.e. aucune valeurs propres nulles) ! Cas probl ématiques o ù le probl ème d’ouverture est toujours pr ésent :

1 I_x et/ouI_y sont nulles→Surface homog `ene

2 Les gradients non-nuls sont parall `eles→Bord

(27)

Lucas et Kanade

Valeurs propres

Une d écomposition deA^TG²Aen valeurs propres (λ₁≥λ₂≥0) et leurs vecteurs propres unitaires (e~₁ete~₂) nous permettent d’ évaluer le r ésultat obtenu :

1 Siλ₁etλ₂≤seuil Zone homog `ene ;

R ´esultat inacceptable, on consid `ere queV~ =0.

2 Siλ₁etλ₂>seuil Zone textur ´ee ; R ´esultat acceptable !

3 Siλ₂>seuil, maisλ₁≤seuil

Contour (bord), o `u les gradients avoisinants vont tous dans la m ˆeme direction ;

On peut projeterV~ sure~₂pour garder une direction moyenn ´ee.

(28)

Lucas et Kanade

Valeurs propres

(29)

Lucas et Kanade

Algorithme de Lucas-Kanade

Entr ´ees: n,T,I(t),I(t+1) : Grandeur de la fen ˆeten, seuilTet images aux tempstett+1 Sorties: Mv : Matrice des vecteurs de vitesse

I_x←D ´eriv ´ee enxdeI(t);

Iy←D ´eriv ´ee enydeI(t);

I_t←D ´eriv ´ee entutilisantI(t)etI(t+1);

G←Noyau gaussien de grandeurn;

pourTous les pixel(x,y)de I_tfaire

A←Matricenx2 des pixels(x⁰,y⁰)deI_x(x⁰,y⁰)etI_y(x⁰,y⁰)faisant parti de la fen ˆetreWde taillenentourant(x,y); b←Matricenx1 desI(x⁰,y⁰,t)deW;

e_1,2, λ_1,2←D ´ecomposition en vecteurs et valeurs propres deA^TG²A(tri ´ees) ; siλ₁etλ₂≤Talors

M_v(x,y)←(A^TG²A)⁻1A^Tb; fin

sinon siλ₁≤T etλ₂>Talors

M_v(x,y)←(((A^TG²A)⁻1A^Tb)·e₂)e₂; fin

sinon

Mv(x,y)←0 ; fin

fin

(30)

Estimation du flux optique - Intensit ´e Variante de Lucas et Kanade - Raffinement it ´eratif

Variante de Lucas et Kanade

Raffinement it ´eratif de L-K

La m ´ethode de Lukas et Kanade suppose :

1 Petits mouvements ;

2 Illumination constante dans le temps ;

3 Mouvements constants dans un voisinage pr `es (avec un facteur de lissage).

Le raffinement it ´eratif permet d’ ´eliminer la contrainte du voisinage !

(31)

Estimation du flux optique - Intensit ´e Variante de Lucas et Kanade - Raffinement it ´eratif

Variante de Lucas et Kanade

Algorithme du raffinement it ´eratif de L-K

Entr ´ees: n,T,I(t),I(t+1) : Grandeur de la fen ˆetren, seuilT et images aux tempst ett+1

Sorties: Mv : Matrice des vecteurs de vitesse Mv(apr),Mv(avant)←0 ;

I(w)←I(t); r ´ep ´eter

Mv(avant)←Mv(avant) +Mv(apr);

Mv(apr)←L−K(n,T,I(w),I(t+1)): On trouve le flux optique en utilisant L-K ;

I(w)←Warping deI(t)utilisantM_v(apr); jusqu’ `aMv(avant) ==Mv(apr);

Mv ←Mv(apr);

(32)

Estimation du flux optique - Intensit ´e Horn et Schunck

Horn et Schunck

Approche par intensit ´e avec terme de r ´egularisation

La m éthode deHorn et Schunck 1981propose de r égler le probl ème d’ouverture par une contrainte de lissage. Nous émettons donc les hypoth èses suivantes :

Petits d ´eplacements ; Illumination constante ;

Les d ´eplacements dans un m ˆeme voisinage sont similaires (contrainte de lissage).

(33)

Horn et Schunck

Introduction d’unterme de r égularit é de lissage global des vecteurs de v élocit é, contr ôl é parλ.

La probl ématique s’exprime par une fonction d’ énergie à minimiser :

E(V)~ = Z

~V

∇I(x,~ y)·V~+It

2

+ λ² δvx

δx

+ δvx

δy

+ δvy

δx

+ δvy

δy

dxdy

= Z

~V

∇I(x,~ y)·V~+It

2

+ λ²h

|∇V~ x|²+|∇V~ y|²+i

dxdy

= Z

~V

Cst. illumination + Terme de lissage dxdy

(4)

(34)

Horn et Schunck

D ´emonstration : Minimisation de Horn-Shunck

(35)

Horn et Schunck

Une m ´ethode it ´erative comme Gauss-Seidel nous permet d’obtenir une solution :

v_x^(k+1) = v¯_x^(k)−^I^x

Ix¯v_x^(k)+Iy¯v_y^(k)+It

λ²+(Ix)²+(Iy)²

v_y^(k+1) = v¯_y^(k)−^I^y

Ix¯v_x^(k)+Iy¯v_y^(k)+It

λ²+(Ix)²+(Iy)²

(5)

(36)

Horn et Schunck

Calcul des vitesses moyennes

Comment calcule-t-on lesv¯_x etv¯_y?

Horn et Schunck utlisent un voisinage d’un pixel, calcul ´e avec la pond ´eration suivante :

(37)

Horn et Schunck

Approximation des d ´eriv ´ees

Comment approxime-t-on les d ´eriv ´eesI_x etI_y?

Horn et Schunck les approximent à l’aide une d ériv ée num érique vers la droite d’un pixel :

(38)

Horn et Schunck

Approximation des d ´eriv ´ees

Comment approxime-t-on les d ´eriv ´eesI_x etI_y?

Ix =¹₄( I(i+1,j,k)−I(i,j,k) + I(i+1,j+1,k)−I(i,j+1,k) + I(i+1,j,k+1)−I(i,j,k+1) + I(i+1,j+1,k+1)−I(i,j+1,k+1) )

Iy =¹₄( I(i,j+1,k)−I(i,j,k) + I(i+1,j+1,k)−I(i+1,j,k) + I(i,j+1,k+1)−I(i,j,k+1) + I(i+1,j+1,k+1)−I(i+1,j,k+1) )

It =¹₄( I(i+1,j,k+1)−I(i+1,j,k) + I(i+1,j+1,k+1)−I(i+1,j+1,k) + I(i,j,k+1)−I(i,j,k) + I(i,j+1,k+1)−I(i,j+1,k) )

(39)

Horn et Schunck

Terme de r ´egularisation

Comment d ´etermine-t-onλ?

λcontr ôle l’emphase accord ée au voisinage. Unλ élev é :

Augmente l’ouverture, permettant une meilleure r ´esolution de la directiondu flux optique ;

Entraˆıne une perte de pr ´ecision sur l’ampitudedu vecteur de d ´eplacement.

En pratique, on lui attribue g ´en ´eralement une valeur entre 2 et 10.

(40)

Horn et Schunck

Algorithme de la m ´ethode Horn et Schunck

Entr ´ees: nbIter, λ²,I(t),I(t+1) : Nb d’it ´erationsnbIter, facteur de lissageλ²et images aux tempstett+1

Sorties: Mv : Matrice des vecteurs de vitesse Ix ←D ´eriv ´ee enxdeI(t);

Iy ←D ´eriv ´ee enydeI(t);

It ←D ´eriv ´ee entutilisantI(t)etI(t+1);

Vx,Vy,V¯x,V¯y ←Images `a 0 ; k←0 ;

r ´ep ´eter

V¯x,V¯y ←Calcul des vitesses moyenn ´ees en utilisantVxetVy pour tous les pixels (x,y);

Vx,Vy ←Calcul des vitessesV_x^k+1etV_y^k+1pour tous les pixels(x,y)(Eq.5) ;

(41)

Estimation du flux optique - Intensit ´e Variante de Horn et Schunck - Raffinement du lissage

Variante de Horn et Schunck

Ajout d’un pr ´elissage globale

Pouram éliorer l’approximation des d ériv ées partiellesetdiminuer la sensibilit é au bruit, on peut appliquer un filtre gaussien aux images avant de calculer leurs d ériv ées partielles :

E(V~) = Z

~V

G·

∇I(x,~ y)·V~ +It

2

+λ²h

|∇V~ x|²+|∇V~ y|²+i

dxdy (6)

(42)

Variante de Horn et Schunck

Raffinement de la fonction de lissage

Au lieu d’une constante de lissageλ², on utilise unefonction de pond ´erationbas ´ee sur le gradient.

Si le gradient est élev é (bord), on r éduit l’apport du voisinage en attibuant une faible pond ération afin der éduire l’effet de discontinuit é de la vitesseet ainsigagner de la pr écisionen r éduisant la contrainte de voisinage.

E(V~) = Z

~V

∇I(x,~ y)·~V+It

2

+W(|∇I(x,˜ y)|)h

|∇V~ x|²+|∇V~ y|²+i

dxdy (7)

(43)

Approche d’intensit ´e

R ésum é des m éthodes de base

Horn-Schunck:

Petits mouvements ; Illumination constante ;

D ´eplacements similaires dans un voisinage imm ´ediat ;

It ératif, bas é sur un terme de r égularisation.

Lucas-Kanade: Petits mouvements ; Illumination constante ;

D ´eplacements similaires dans un voisinage imm ´ediat ;

D éterministe, bas é sur les équations à r égression lin éaire.

Variante : Raffinement du lissage Lissage avant le calcul des d ´eriv ´ees partielles :

→D ériv ées partielles plus ”fid èles” ;

→Moins sensible au bruit.

Fonction du lissage :

→Fonction pond ´er ´ee selon la norme du gradient ;

→Moins sensible `a la contrainte de voisinage.

Variante : Raffinement it ératif Evolution à un processus it ératif :´

→Moins sensible `a la contrainte de voisinage ;

→Moins sensible au bruit.