Conclusion

2.2 Estimation via les points d’int´erˆet . . . 46

2.2.1 Points d’int´erˆets . . . 46

2.2.2 Appariements . . . 49

2.2.3 Initialisation de l’algorithme d’extraction de couches . . . 50

2.3 M´ethode it´erative pour l’estimation des mod`eles param´e- triques . . . 53

2.3.1 Estimation du mouvement affine . . . 55

2.3.2 Estimation de la transformation projective . . . 56

2.3.3 Lissage temporel des param`etres . . . 57

2.3.4 Augmentation de la robustesse des estimations . . . 57

2.4 R´esultats et discussions . . . 58

2.4.1 Conclusion . . . 59

2.1

Mod`eles de mouvement

Il existe une large vari´et´e de fa¸cons de repr´esenter, en termes math´ematiques, le d´epla- cement des pixels ou des r´egions d’une image `a l’autre. Le choix du mod`ele de mouvement est d’importance critique et conditionne la qualit´e des r´esultats obtenus. Nous introduisons d’abord le mod`ele de mouvement au niveau pixellique, le flot optique, puis nous montrons comment mod´eliser celui d’une r´egion : on s’attend pour cette derni`ere `a ce que tous les pixels lui appartenant suivent un mˆeme mod`ele de mouvement commun, par exemple, une translation, une rotation ou une expansion commune. Nous pr´esentons notamment les mod`eles de mouvement dits param´etriques (les plus utilis´es `a l’heure actuelle), puis ceux dits non-param´etriques. De surcroˆıt, dans la mesure o`u les m´ethodes d’estimation du mouvement d´ependent du mod`ele consid´er´e, on en dresse au fur et `a mesure un ´etat de l’art.

2.1.1

Premi`ere approche de l’analyse du mouvement via le flot

optique

Nous n’utilisons pas dans nos travaux le flot optique des s´equences vid´eos pour la segmentation ou l’estimation du mouvement mais nous le pr´esentons ici car :

– il est `a la base de nombreuses m´ethodes de segmentation par le mouvement [135, 132, 30] ;

Chap. 2. Estimation du mouvement

– il permet de bien identifier les difficult´es inh´erentes `a l’estimation du mouvement ;

– et permet de justifier l’utilisation de mod`eles param´etriques.

Le flot optique est l’ensemble des vecteurs vitesse associ´es au mouvement de chaque pixel dans l’image. Comme la plupart des techniques d’estimation de mouvement, le calcul du flot optique s’appuie sur l’hypoth`ese dite de luminosit´e constante : en un pixel donn´e, son intensit´e est translat´ee d’une image `a l’autre, i.e.

It(x, y) = It+1(x + dx, y + dy) (2.1) o`u It<sub>(x, y) est l’intensit´e lumineuse au pixel (x, y) `a l’instant t. Le vecteur ~v(x, y) =</sub>

(dx, dy) est ici le vecteur vitesse associ´e `a (x, y)1<sub>. Cette hypoth`ese est en r´ealit´e souvent</sub>

fausse car elle n’est v´erifi´ee que lorsque :

– la luminosit´e de la sc`ene et des objets observ´es est constante d’une image `a l’autre ;

– les sources lumineuses sont statiques ;

– les surfaces des objets composant la sc`ene sont Lambertiennes, c’est-`a-dire qu’elles refl`etent la lumi`ere de fa¸con constante dans toutes les directions (donc non sp´ecu- laires, m´etalliques, r´efl´echissantes, etc.) ;

– les objets ne sont pas en rotation sur eux-mˆemes.

Mais l’hypoth`ese reste largement admise car elle permet d’une part de simplifier la for- malisation du probl`eme et donc les algorithmes d’estimation de mouvement, d’autre part parce que, malgr´e tout, ¸ca fonctionne en pratique ... et plutˆot bien !

Calculer le flot optique revient donc `a d´eterminer les vecteurs ~v(x, y) = (dx, dy) en chaque pixel (x, y) en respectant la contrainte de l’´equation (2.1). Nous avons ici un pro- bl`eme sous-contraint puisque nous avons deux inconnues dx et dy `a estimer `a partir d’une seule contrainte de luminosit´e (voir un exemple d’ambigu¨ıt´e inh´erente, figure 2.1). Pour r´esoudre ce probl`eme dit mal pos´e, des contraintes additionnelles doivent ˆetre ajout´ees. Ces derni`eres consistent g´en´eralement `a lisser le mouvement localement, en autorisant ou non des discontinuit´es. Les techniques d’estimation du flot optique sont nombreuses [13] et s’appuient sur diverses contraintes de r´egularisation spatiale des vecteurs vitesse.

Signalons l’approche MRF+graph cuts [116,25] qui consiste `a discr´etiser, pour chaque dimension, l’ensemble des valeurs que peuvent prendre les coordonn´ees des vecteurs vi- tesses (la pr´ecision est alors limit´ee par le pas de discr´etisation). On peut citer en outre les r´ecents r´esultats obtenus par Papenberg et al. [102] qui montrent les ind´eniables progr`es dans ce domaine.

Arrˆetons-nous sur une difficult´e du calcul du flot optique que l’on retrouve dans d’autres probl`emes d’estimation de mouvement : la gestion des mouvements de grande amplitude. Les m´ethodes directes (via la lin´earisation du probl`eme) ou it´eratives ´echouent g´en´eralement `a les estimer correctement, soit parce que la lin´earisation est inadapt´ee ou parce qu’elles convergent vers un minima local. Les m´ethodes dites coarse-to-fine estiment d’abord le mouvement `a une ´echelle r´eduite (grossi`ere) puis `a une ´echelle plus pr´ecise en utilisant le mouvement pr´ec´edemment calcul´e, et ainsi de suite jusqu’`a l’´echelle native de l’image. Elles peuvent ainsi g´erer les mouvements de grande amplitude si cette derni`ere ne d´epasse pas 15% environ des dimensions de l’image [142]. De surcroˆıt, si le mouvement 1_{Pr´ecisons, pour la coh´erence du propos, que le mouvement T (x, y) d´efini pr´ealablement est ´equivalent}

au mouvement (x, y)T _{+ ~v(x, y).}

Sec. 2.1. Mod`eles de mouvement

Figure 2.1 – Exemple d’ambigu¨ıt´e inh´erente `a l’estimation du mouvement (aussi com- mun´ement appel´e probl`eme de l’ouverture).

est mal estim´e `a une ´echelle donn´ee, l’erreur se propage `a toutes les ´echelles. Similaire- ment, dans le cas d’une collision entre deux r´egions de mouvements propres, le processus coarse-to-fine lisse les mouvements au niveau de leurs intersections donnant au final un seul mouvement (voire un troisi`eme mouvement diff´erent) aux ´echelles les plus grossi`eres. L’estimation du flot optique manque intrins`equement de contraintes et n´ecessite un grand nombre d’a priori sur la sc`ene et le flot optique. Ainsi, plutˆot que de consid´erer un vecteur vitesse en chaque pixel, l’id´ee consiste alors `a consid´erer un mouvement similaire pour un ensemble de pixels, mouvement qui serait repr´esent´e par un mod`ele param´e- trique de faible complexit´e. Le probl`eme devient alors sur-contraint, davantage robuste aux ambigu¨ıt´es locales, aux occultations, au bruit, etc. C’est l’objet de la sous-section suivante.

2.1.2

Les mod`eles param´etriques

Nous avons vu dans le chapitre pr´ec´edent qu’une couche est d´efinie par une r´egion poss´edant le mˆeme mouvement param´etrique. On peut notamment citer ceux-ci :

– le mod`ele constant : toute la r´egion est r´egie par le mˆeme mouvement de translation

→

v (x, y) = (a1, a2)T ;

– le mod`ele affine : introduit dans le chapitre pr´ec´edent, il permet de repr´esenter les mouvements de translation, de rotation et d’expansion/contraction →v (x, y) = (a1+ a2x + a3y, a4+ a5x + a6y)T ;

– le mod`ele quadratique : il permet de repr´esenter tous les mouvements complexes de cam´era via 8 ou 12 param`etres. A 8 param`etres, nous avons :

→

v (x, y) = (a1+ a2x + a3y + a7x2+ a8xy, a4+ a5x + a6y + a7xy + a8y2)T ;

Chap. 2. Estimation du mouvement

les mouvements des projet´es des plans 3D de l’espace dans le plan image :

→ v (x, y) = µ a1x + a2y + a3 a7x + a8y + 1 − x,a4x + a5y + a6 a7x + a8y + 1 − y ¶_T (2.2) Le mod`ele affine est un bon compromis de complexit´e : il est simple et rapide `a estimer via des m´ethodes it´eratives tout en repr´esentant une large cat´egorie de mouvements. Le risque de tomber dans un minima local lors de l’estimation est r´eduit. Le mod`ele quadratique permet de repr´esenter des mouvements complexes mais, du fait de ses termes au carr´e, le processus d’estimation est plus difficile `a contrˆoler et tombe fr´equemment dans un minima local.

Certains types de mouvement ne sont pas repr´esentables par de tels mod`eles param´e- triques d’ordre limit´e. Les mouvements 2D plus complexes que ceux projectifs ou affines peuvent alors ˆetre mod´elis´es via l’utilisation de bases B = {bj(x)}Jj=1 dans le cadre de la

r´egression, de sorte qu’un vecteur vitesse s’´ecrit comme suit [57] :

→ v (x) = J X j=1 cjbj(x) (2.3)

o`u cj sont les coordonn´ees du flot optique dans B qui doivent alors ˆetre d´etermin´ees (d’une

fa¸con similaire `a l’extraction des param`etres d’un mod`ele param´etrique affine). La base B est pr´ealablement apprise sur de pr´ec´edentes s´equences vid´eos analys´ees. L’Analyse en Composantes Principales (ACP) est utilis´ee avec succ`es par Fleet et al. [57] sur les s´e- quences d’apprentissage, am´eliorant la qualit´e de l’estimation de mouvements complexes.

2.1.3

Conclusion

Le mod`ele param´etrique a ´et´e retenu pour mod´eliser le mouvement propre `a une r´egion. Nous voyons maintenant en d´etail deux approches diff´erentes pour estimer le mouvement param´etrique d’une r´egion :

1. via les points d’int´erˆets que l’on met en correspondance d’une image `a l’autre permet- tant d’en d´eduire le mouvement. Nous verrons que la premi`ere approche ne n´ecessite pas d’initialisation particuli`ere et permet de prendre en compte les mouvements de forte amplitude d’une image `a l’autre. Elle est utilis´ee pour l’initialisation de l’extraction des couches ;

2. via une approche it´erative pour d´eterminer les param`etres du mod`ele de mouvement. Si l’initialisation n’est pas trop ´eloign´ee de la solution optimale1_{, cette approche}

permet d’obtenir une estimation du mouvement pr´ecise et robuste aux r´egions ne v´erifiant pas l’hypoth`ese de luminosit´e constante (Eq. (2.1)), notamment celles su- jettes aux occultations, au bruit et aux d´eformations de forme. Elle est utilis´ee pour raffiner l’estimation du mouvement durant l’extraction des couches. 1_{i.e. suffisamment proche pour ne pas tomber dans un minima local.}