UNIVERSIT´E MOHAMMED V-AGDAL FACULT´E DES SCIENCES
RABAT
TH`ESE DE DOCTORAT pr´esent´ee par
Pr´enom Nom : Abdennaceur Boudlal Discipline : Sciences de l’ing´enieur
Sp´ecialit´e : Informatique et T´el´ecommunications
Titre :
Mod´elisation de s´equences vid´eo par m´elange de lois Gaussiennes : Application `a l’estimation de mouvement
Devant le JURY :
Pr´esident :
Mr. Driss ABOUTAJDINE, PES (FS, Rabat). Examinateurs :
Mr. Rachid OULAD HAJ THAMI, PES (ENSIAS, Rabat). Mr. Mohammed OUMSIS, PH (EST, Sal´e).
Mr. Mohammed ABBAD, PES (FS, Rabat). Mr. Benayad NSIRI, PH (FS, Casablanca).
Avant propos
Les travaux pr´esent´es dans ce m´emoire ont ´et´e effectu´es au sein de laboratoire LRIT ”Laboratoire de Recherche en Informatique et T´el´ecommunications” `a la facult´e des sciences de Rabat (FSR).
Je tiens tout d’abord `a remercier mon directeur de th`ese Driss Aboutajdine, qui m’a accueilli au sein de son ´equipe, pour la confiance qu’il m’a accord´e et les conseils qu’il m’a apport´e durant ces ann´ees de recherche, qui grˆace `a sa disponibilit´e, j’ai pu entamer, d´evelopper et mener `a terme ce travail. Qu’il trouve ici l’expression de toute ma gratitude.
Mes remerciements vont aussi au Professeur Benayad Nsiri, pour l’encadrememt et la disponibilit´e qu’il a su faire preuve.
Je remercie sinc`erement tous ceux qui ont bien voulu prendre part `
a ce jury :
- Rachid Oulad Haj Thami, professeur de l’enseignement sup´erieur `
a l’Ecole Nationale Sup´erieure d’Informatique et d’Analyse des Syst`emes de Rabat et Mohammed Oumsiss, professeur Habilit´e `a l’Ecole Sup´erieure de Technologie de Sal´e qui ont accept´e d’ˆetre les rapporteurs de ma th`ese. Je les remercie pour le temps consacr´e `a ce travail ainsi qu’`a leurs remarques et suggestions qui ont contribu´e `a am´eliorer le rap-port.
- Mohammed Abbad, professeur de l’enseignement sup´erieur `a la facult´e des sciences de Rabat et Mohammed El Hassouni professeur
assistant `a la facult´e des Lettres et des Sciences Humaines de Rabat qui ont accept´e d’ˆetre les examinateurs de ma th`ese. Je les remercie pour tout l’int´erˆet qu’ils ont manifest´e pour ce travail.
Je d´edie cette th`ese `a ma femme Boudlal Fatima et `a mes enfants Ayoub et Nouhaila. Merci de m’avoir support´e (dans tous les sens du terme) pendant ces ann´ees de recherche. Sans oublier de d´edier ce travail `a mes parents et `a tous mes fr`eres et mes soeurs.
Je remercie tous mes coll`egues doctorants /docteurs pour tous les ´
echanges int´eressants que nous avons eu durant la p´eriode de la th`ese. Enfin, mes remerciements les plus chaleureux vont vers tous ceux qui m’ont toujours encourag´e et soutenu depuis le d´ebut de cette th`ese.
R´
esum´
e
Cette th`ese d´ecrit une nouvelle m´ethode d’estimation de mouve-ment bas´ee sur le crit`ere de mise en correspondance des blocs en mod´elisant les blocs des s´equences d’images par un m´elange de deux lois Gaussiennes dans une premi`ere exp´erience et par un m´elange de trois lois Gaussiennes dans une deuxi`eme exp´erience. Les param`etres du m´elange telles que les poids des composantes, les vecteurs moyens et les matrices de covariances sont estim´es par l’algorithme Expecta-tion MaximisaExpecta-tion (EM) qui maximise le crit`ere log-vraisemblance des donn´ees compl´et´ees (observ´ees et cach´ees). La similarit´e entre chaque bloc de l’image courante et le bloc qui lui ressemble le plus dans une fenˆetre de recherche de l’image de r´ef´erence est mesur´ee par minimi-sation de la distance de Mahalanobis g´en´eralis´ee et la divergence de Kullback-Leibler appliqu´ees entre les composantes des m´elanges. La composante Gaussienne de faible poids repr´esente a priori un bruit Gaussien corr´el´e, l’estimation de mouvement sans tenir compte de cette composante est la plus performante permettant ainsi une bonne interpr´etation des r´esultats.
Abstract
This thesis investigates a new method of motion estimation based on block matching criterion through the modeling of image blocks by a mixture of two and three Gaussian distributions. Parameters of the mixture such the weight of components, mean vectors and covariance matrices are estimated by the Expectation Maximization algorithm (EM) which maximizes the log-likelihood criterion. The similarity bet-ween a block in the current image and the more resembling one in a search window on the reference image is measured by the minimization of Extended Mahalanobis distance or KullbackLeibler divergence bet-ween the clusters of mixture. The Gaussian component of low weight is a priori a Gaussian noise correlated, motion estimation regardless of this component is the most efficient and allows a good interpretation of results.
Table des mati`
eres
Table des mati`eres 11
Table des figures 15
Liste des tableaux 16
Table des algorithmes 17
Introduction g´en´erale 18
1 M´ethodes classiques d’estimation de mouvement 25 1.1 Introduction . . . 25 1.2 Mouvement r´eel, mouvement apparent et mouvement
estim´e . . . 26 1.2.1 Champ de mouvement r´eel et champ de
mouve-ment apparent . . . 26 1.2.2 Champ de mouvement apparent et champ de
mouvement estim´e . . . 27 1.2.3 Equation du flot optique et probl`eme d’ouverture 27 1.3 M´ethodes diff´erentielles . . . 29 1.4 M´ethodes fr´equentielles ou m´ethodes de mise en
1.5 M´ethodes de mise en correspondances dans le plan de
l’image . . . 32
1.6 Limitations dues `a l’hypoth`ese d’invariance de la lumi-nance . . . 37
1.7 Conclusion . . . 38
2 Mod´elisation de s´equences d’images par m´elange de lois Gaussiennes 40 2.1 Introduction . . . 40
2.2 Mod`ele de m´elange . . . 41
2.2.1 D´efinition . . . 41
2.2.2 Interpr´etation g´en´erative . . . 42
2.3 L’algorithme EM . . . 43
2.3.1 Formalisation . . . 43
2.3.2 Commentaires . . . 45
2.4 L’algorithme EM appliqu´e au m´elange de lois Gaussiennes 46 2.4.1 Initialisation . . . 46
2.4.2 Probabilit´e a posteriori d’appartenance `a l’une des composantes Gaussiennes . . . 48
2.4.3 Mise `a jour de l’estimation des param`etres . . . 49
2.4.4 Crit`eres d’arrˆet . . . 51
2.4.5 Convergence . . . 52
2.4.6 R´esum´e de l’algorithme . . . 52
2.5 Choix du nombre de composantes du m´elange . . . 53
2.6 Conclusion . . . 55
3 Mesure de similarit´e entre m´elanges de lois Gaussiennes 56 3.1 Introduction . . . 56
3.2 Distance de Mahalanobis . . . 57
3.2.2 Distribution de probabilit´e de la distance de Ma-halanobis . . . 60 3.3 Divergence de Kullback-Leibler . . . 61 3.3.1 D´efinition . . . 61 3.3.2 Propri´et´es . . . 63 3.4 Formalisation et r´egularisation . . . 63 3.4.1 Formalisation . . . 63 3.4.2 R´egularisation . . . 64 3.5 Conclusion . . . 65
4 Estimation de mouvement suivant une mod´elisation des s´equences vid´eo par un m´elange de lois Gaussiennes 67 4.1 Introduction . . . 67
4.2 La fonction coˆut . . . 69
4.2.1 Cas de mod`ele de m´elange de deux lois Gaus-siennes . . . 69
4.2.2 Cas de mod`ele de m´elange de trois lois Gaus-siennes . . . 71
4.3 Recherche de la distance minimale inter-blocs (r´ef´erence / courante) . . . 73
4.4 Consid´erations pratiques . . . 74
4.5 Estimation de mouvement dans les r´egions homog`enes au sens de la luminance . . . 79
4.6 Influence des niveaux de bruit sur l’estimation de mou-vement . . . 81
4.7 Conclusion . . . 84
5 Exp´erimentation et ´evaluation 85 5.1 Introduction . . . 85
5.2.1 Evaluation objective . . . 86
5.2.2 Evaluation subjective . . . 89
5.3 Test avec sequences d’images bruit´ees . . . 92
5.3.1 Bruit uniforme . . . 92
5.3.2 Bruit gaussien . . . 93
5.4 Comparaison des m´etriques : Mahalanobis g´en´eralis´ee et Kullback Leibler . . . 94
5.4.1 Comparaison avec de s´equences d’images non bruit´ees . . . 94
5.4.2 Comparaison avec influence du bruit . . . 95
5.4.3 R´esum´e des r´esultats . . . 100
5.5 Conclusion . . . 100
Conclusions g´en´erales 102 Annexes 108 A Algorithme EM dans le cas de m´elanges de lois Gaus-siennes 108 A.1 Le mod`ele de m´elange et la fonction Q(θ, θ(it)) . . . 108
A.2 Mise `a jour de l’estimation des param`etres . . . 111
A.2.1 Les proportions du m´elange . . . 111
A.2.2 Les moyennes . . . 112
A.2.3 Les matrices de covariances . . . 112
B Crit`eres de choix du nombre de composantes dans le m´elange 114 B.1 Crit`ere d’entropie E . . . 114
B.2 Crit`ere BIC : Bayes Information Criterion . . . 115
B.4 Crit`ere NEC : Normalized Entropy Criterion . . . 116
C S´equences d’images utilis´ees 118 C.1 S´equences Soccer . . . 118 C.2 S´equences Hand . . . 119 C.3 S´equences Foreman . . . 119 C.4 S´equences coastguard . . . 119 C.5 S´equences Football . . . 121 C.6 S´equences Cones . . . 121 D Publications 123 E Glossaire 125 Bibliographie 126
Table des figures
3.1 Distance de Mahalanobis pour diff´erentes matrices de
covariances . . . 59 3.2 L’information de Kullback-Leibler dans deux r´egions de
distributions de probabilit´e diff´erentes . . . 62 4.1 Vecteur de d´eplacement obtenu par mise en
correspon-dance des blocs de 8 sur 8 pixels ou 16 sur 16 pixels. . 68 4.2 Principe de la m´ethode de mise en correspondance de
blocs, le macrobloc sera pris centr´ee dans la fenˆetre de
recherche . . . 69 4.3 Distance entre les composantes du m´elange Gaussiennes :
(d1) les composantes des poids forts et (d2) les
compo-santes des poids faibles. . . 70 4.4 Distance entre les composantes du m´elange Gaussiennes :
(d1) les composantes des poids forts, (d2), les
compo-santes des poids moyens et (d3) les composantes des
poids faibles. . . 72 4.5 Matrice des distances de Mahalanobis g´en´eralis´ee entre
les composantes du m´elange `a forts poids . . . 76 4.6 Matrice des distances de Mahalanobis g´en´eralis´ee entre
les composantes du m´elange `a moyens poids . . . 76 4.7 Matrice des distances de Mahalanobis g´en´eralis´ee entre
4.8 Matrice des distances de Kullback-Leibler entre les
com-posantes du m´elange `a forts poids . . . 78 4.9 Matrice des distances de Kullback-Leibler entre les
com-posantes du m´elange `a moyens poids . . . 78 4.10 Matrice des distances de Kullback-Leibler entre les
com-posantes du m´elange `a faibles poids . . . 78 4.11 S´equences ”Hand” estim´ees par la m´ethode ”GMM3”
apr`es r´egularisation des matrices de covariances . . . . 79 4.12 Matrice des distances de Kullback-Leibler entre les
com-posantes du m´elange d’un bloc dans l’image courante et l’ensemble des blocs d’une fenˆetre de recherche 7x7
dans l’image de r´ef´erence . . . 80 5.1 Comparaison des courbes PSNR/Trame d’estimation
de mouvement par les m´ethodes classiques ”NCC”, ”SAD” et ”SEE” et les m´ethodes propos´ees ”GMM2” et ”GMM3” sur les s´equences d’images de type ”Soccer” non bruit´ees. 88 5.2 Comparaison des courbes PSNR/Trame d’estimation
de mouvement par les m´ethodes classiques ”NCC”, ”SAD” et ”SEE” et par les m´ethodes propos´ees ”GMM2” et ”GMM3” sur les s´equences d’images de type ”Cones”
non bruit´ees. . . 89 5.3 S´equences ”Soccer” (335x270) : A gauche image
origi-nale. A droite image estim´ee par la m´ethode ”SAD” . . 90 5.4 S´equences ”Soccer” (335x270) : A gauche image estim´ee
par la m´ethode ”GMM2”. A droite image estim´ee par
la m´ethode ”GMM3” . . . 90 5.5 Sequences ”Foreman” (175x256) : A gauche image
5.6 Sequences ”Foreman” (175x256) : A gauche image es-tim´ee par la m´ethode ”GMM2”. A droite image estim´ee
par la m´ethode ”GMM3” . . . 91 5.7 Comparaison des courbes PSNR/Trame d’estimation
de mouvement par les m´ethodes classiques ”NCC”, ”SAD” et ”SEE” et les m´ethodes propos´ees ”GMM2” et ”GMM3” sur les s´equences d’images de type ”Cones” bruit´ees par
un bruit uniforme d’ecart-type ´egal `a 20. . . 92 5.8 Comparaison des courbes PSNR/Trame d’estimation
de mouvement par les m´ethodes classiques ”NCC”, ”SAD” et ”SEE” et les m´ethodes propos´ees ”GMM2”, ”GMM3” et ”GMM3-2” sur les s´equences d’images de type ”Soc-cer” bruit´ees par un bruit Gaussien d’ecart-type ´egal `a
10. . . 94 5.9 Comparaison des courbes PSNR/Trame d’estimation
de mouvement par les crit`eres de la distance de Maha-lanobis g´en´eralis´ee et de la divergence Kullback-Leibler sur les s´equences d’images de type ”Soccer” non bruit´ees
par la m´ethode ”GMM3” . . . 96 5.10 Comparaison des courbes PSNR/Trame d’estimation
de mouvement par les crit`eres de la distance de Ma-halanobis g´en´eralis´ee et de la divergence de Kullback-Leibler sur les s´equences d’images de type ”Cones” non
5.11 Comparaison des courbes PSNR/Trame d’estimation de mouvement par les crit`eres de la distance de Ma-halanobis g´en´eralis´ee et de la divergence de Kullback-Leibler sur les s´equences d’images de type ”Soccer” par la m´ethode ”GMM3” avec introduction du bruit
Gaus-sien d’ecart-type ´egal `a 10. . . 97
5.12 Comparaison des courbes PSNR/Trame d’estimation de mouvement par les crit`eres de la distance de Ma-halanobis g´en´eralis´ee et de la divergence de Kullback-Leibler sur les s´equences d’images de type ”Cones” par la m´ethode ”GMM3” avec introduction du bruit uni-forme d’ecart-type ´egal `a 20. . . 97
5.13 Sequence ”Hand” estim´ee par la m´ethode ”GMM3-2” avec le crit`ere de la Divergence de Kullback-Leibler apr`es contamination par un bruit Gaussien corr´el´e de moyenne nulle et d’ecart-type ´egal `a 10. . . 98
C.1 Sequences Soccer . . . 118 C.2 Sequences Hand . . . 119 C.3 Sequences Foreman . . . 120 C.4 Sequences Coastguard . . . 120 C.5 Sequences Football . . . 121 C.6 Sequences Cones . . . 121
Liste des tableaux
5.1 Valeurs moyennes en PSNR des diff´erentes s´equences d’images par les m´ethodes d’estimation de mouvement classiques : ”NCC”, ”SAD” et ”SEE” et par les m´ethodes propos´ees : ”GMM2” et ”GMM3”. . . 87 5.2 P SN Rmoyen des s´equences d’images de diff´erentes
ca-ract´eristiques . . . 95 5.3 P SN Rmoyen de la sequence ”Hand” caract´eris´ee par
des r´egions homog`enes avec influence du bruit gaussien
d’ecart-type ´egal `a 10 . . . 99 5.4 Classement des types des s´equences d’images en
fonc-tion des m´ethodes d’estimation de mouvement et crit`eres appliqu´es . . . 100
Liste des Algorithmes
1 Algorithme k-moyennes . . . 48 2 Algorithme EM . . . 53
Introduction g´
en´
erale
Motivation
Il y a un int´erˆet croissant aux recherches visant des applications utilisant les s´equences d’images, principalement dans les domaines d’analyse du mouvement et de traitement de la vid´eo. Le dernier inclus les op´erations de filtrage, interpolation temporelle et spatiale, ´
echantillonnage et compression d’images utilisant l’information de mou-vement dont les objectifs sont : l’am´elioration de la qualit´e visuelle et la conversion entre diff´erents formats vid´eo. Tandis que, l’analyse des s´equences d’images englobe certaines op´erations visant `a extraire des attributs dans le but de la reconstruction ou de l’interpr´etation des informations de la sc`ene.
L’estimation de mouvement reste un probl`eme central dans le trai-tement des sc`enes dynamiques [1]. En effet sa connaissance est tr`es utile dans de multiples applications telles que la surveillance (de tra-fic routier, de foules, de sites sensibles, etc.), la robotique mobile et la vision active, l’analyse et l’annotation de corpus vid´eos, la post-production cin´ematographique et le traitement vid´eo ainsi que l’´etude et la mesure de ph´enom`enes physiques divers par le biais de l’image (imageries m´edicale, biologique, fluide, satellitaire).
Cependant, avec les technologies les plus r´ecentes, il existe de nom-breuses situations o`u les d´egradations de la sc`ene originale sont trop importantes pour l’application vis´ee. Ceci peut ˆetre dˆu, par exemple, aux conditions difficiles d’acquisition rencontr´ees en imagerie m´edicale, astronomie et dans le domaine militaire entre autres. Lorsqu’il est im-possible d’am´eliorer le capteur, soit pour des raisons de coˆut, soit `a cause de limites physiques, l’estimation de mouvement des s´equences vid´eo devienne n´ecessaire, non seulement pour am´eliorer la qualit´e visuelle de celles-ci, mais aussi pour augmenter les performances des traitements ult´erieurs.
Travaux ant´
erieurs et probl`
emes ouverts
Dans la litt´erature, on trouve une diversit´e de m´ethodes qui ont ´et´e appliqu´ees pour l’estimation de mouvement, couramment, elles sont scind´ees en trois groupes principaux [2] : les m´ethodes statistiques, les m´ethodes diff´erentielles, et les m´ethodes de mise en correspondance.
Les m´ethodes statistiques d’estimation de mouvement les plus r´epandues sont les m´ethodes Markoviennes ou Bayesiennes [3]. Le principe des ces m´ethodes repose sur une formulation probabiliste du champ de d´eplacement, l’estimation finale ´etant une r´ealisation particuli`ere d’un champ al´eatoire [4][5].
Les m´ethodes diff´erentielles sont bas´ees sur les gradients spatiaux et temporels de l’intensit´e lumineuse des pixels. Le principe de ces m´ethodes repose sur une hypoth`ese forte, qui est celle de la conser-vation de l’intensit´e lumineuse d’un pixel le long de la trajectoire de mouvement [6].
Les m´ethodes de mise en correspondance de blocs sont les m´ethodes les plus utilis´ees en pratique. Parmi ces m´ethodes on distingue deux classes :
- Les m´ethodes de mise en correspondance dans le plan de trans-form´e ou les m´ethodes fr´equentielles.
- Les m´ethodes de mise en correspondance dans le plan de l’image. Dans les m´ethodes de mise en correspondance dans le plan de trans-form´e ou les m´ethodes fr´equentielles le champ de d´eplacement est es-tim´e par mise en correspondance de blocs d´efinis dans un plan trans-form´e. La m´ethode la plus r´epondue est la m´ethode de corr´elation de phase obtenue par la transform´ee de Fourier [7].
Les m´ethodes de mise en correspondance dans le plan de l’image sont bas´ees sur l’hypoth`ese que l’intensit´e lumineuse des pixels est constante ou faiblement variable le long des trajectoires de mouve-ment. Ces m´ethodes cherchent de mani`ere exhaustive des similarit´es (points, contours, r´egions) entre deux images successives, de telle sorte qu’un crit`ere de ressemblance soit maximis´e. Ces m´ethodes peuvent ˆ
etre class´ees en fonction des aspects suivants : - Crit`ere de mise en correspondance.
- Dimension du bloc et celle de la fenˆetre de recherche. - Strat´egie de balayage.
Les crit`eres classiques de mise en correspondance les plus utilis´es sont :
- La diff´erence moyenne absolue. - L’erreur moyenne quadratique. - Le coefficient d’inter-corr´elation.
Ces crit`eres bas´es uniquement sur la luminosit´e qui peuvent induire en erreurs dans les cas o`u l’hypoth`ese de constante des niveaux de gris n’est pas v´erifi´ee.
Ce travail de th`ese s’int´eresse `a l’aspect o`u l’hypoth`ese de constante des niveaux de gris n’est pas v´erifi´ee et tente de proposer une m´ethode statistique d’estimation de mouvement o`u la similarit´e se fait entre la distribution statistique des donn´ees et non pas sur les donn´ees direc-tement.
Contributions
Cette th`ese apporte une contribution dans le domaine des traite-ments des s´equences d’images. Une mod´elisation des s´equences d’images par un m´elange de lois Gaussiennes `a ´et´e propos´ee et mise en oeuvre dans des applications de l’estimation de mouvement, ces m´elanges se sont av´er´es robustes et relativement faciles `a employer et sont tra-ditionnellement appris ind´ependamment, classe par classe. Les pa-ram`etres des classes tels que les poids (ou les probabilit´es a priori), les vecteurs moyens et les matrices de covariances, sont estim´es par l’algorithme EM (Expectation Maximisation) qui maximise le crit`ere log-vraisemblance des donn´ees compl´et´ees (observ´ees et cach´ees)[8]. La similarit´e entre chaque bloc dans l’image courante et l’ensemble des blocs d’une fenˆetre de recherche de l’image de r´ef´erence est
me-sur´ee par minimisation de la distance de Mahalanobis g´en´eralis´ee et la divergence de Kullback-Leibler appliqu´ees entre les composantes des m´elanges.
A ce propos, deux probl`emes ont ´et´e abord´es : le premier concerne le choix du nombre de composantes dans le m´elange. Estimer des nom-breux param`etres en utilisant peu de donn´ees, dans notre cas des blocs d’image de (8x8) ou (16x16), peut se r´ev´eler impossible ou bien mener `
a des estimations instables. Une ´etape de r´eduction des param`etres fait partie du choix avec connaissance a priori du nombre de compo-santes dans le m´elange. Dans notre cas ce nombre est fix´e `a deux lois Gaussiennes dans une premi`ere tentative et `a trois lois Gaussiennes dans une deuxi`eme tentative.
Le deuxi`eme probl`eme qui n’a re¸cu que peu d’attention de la part des chercheurs, est li´e au choix de la mesure de similarit´e entre les composantes du m´elange, deux m´etriques ont ´et´e appliqu´ees comme crit`eres de base pour notre approche statistique d’estimation de mou-vement : La distance de Mahalanobis g´en´eralis´ee et la Divergence de Kullback-leibler.
Le mouvement est estim´e `a partir de mesure et minimisation des variations de la distance de Mahalanobis g´en´eralis´ee et de la Diver-gence de Kullback-leibler entre deux images cons´ecutives. Le r´esultat obtenu permet d’associer `a chaque bloc un vecteur de vitesse relatif aux variations de la s´equence entre deux instants diff´erents.
Organisation du manuscrit
Ce travail est organis´e en trois parties, la premi`ere partie conte-nant 3 chapitres pr´esentant de mani`ere g´en´erale les sujets th´eoriques abord´es dans la th`ese, la deuxi`eme partie contenant 2 chapitres ex-posants notre contribution et la troisi`eme partie pr´esente les annexes contenants les d´emonstrations des formules et algorithmes utilis´es dans les deux premi`eres parties.
Dans le premier chapitre, l’estimation de mouvement par les m´ethodes classiques est r´esum´e ; les g´en´eralit´es sont pr´esent´ees au d´ebut du cha-pitre ; ensuite les principales m´ethodes d’estimation de mouvement sont rappel´ees, puis la pr´esentation des limitations de ces m´ethodes termine ce chapitre.
Une des directions de recherche de cette th`ese est la mod´elisation des s´equences d’image par un m´elange de lois Gaussiennes. A ce pro-pos, le deuxi`eme chapitre est d´edi´e `a l’estimation des param`etres du m´elange de lois Gaussiennes par l’algorithme EM en pr´esentant quelques r´esultats importants issus de la litt´erature.
Les notions de mesure de similarit´e entre les composantes du m´elange de lois Gaussiennes sont introduites dans le troisi`eme chapitre et ce afin de r´ealiser l’´etape pr´ealable `a partir de laquelle l’estimation de mouvement peut ˆetre effectu´ee. Ceci termine la partie th´eorique concer-nant l’´etat de l’art et la pr´esentation des probl`emes trait´es.
A partir du quatri`eme chapitre, notre contribution est abord´ee. Le quatri`eme chapitre, d´ecrit une nouvelle m´ethode d’estimation de
mouvement bas´ee sur le crit`ere de mise en correspondance des blocs en mod´elisant les s´equences d’images par un m´elange de deux lois Gaus-siennes dans une premi`ere tentative et par un m´elange de trois lois Gaussiennes dans une deuxi`eme tentative.
Enfin, dans le dernier chapitre, les r´esultats obtenus pr´ec´edemment ont ´et´e exploit´es et compar´es avec d’autres m´ethodes importantes issues de la litt´erature dans le contexte de v´erifier l’augmentation des performances et de valider l’hypoth`ese de la mod´elisation des s´equences d’images par un m´elange de lois Gaussiennes. Nous concluons cette partie par un bilan de notre travail en mettant en ´evidence les r´esultats, les limites, ainsi que les perspectives `a court et `a long terme que nous pouvons d`es maintenant propos´ees.
Chapitre 1
M´
ethodes classiques d’estimation
de mouvement
1.1
Introduction
Dans ce chapitre, nous commen¸cons par d´ecrire les principales m´ethodes, dites classiques, d’estimation de mouvement, ensuite nous montrons que ce domaine de recherche r´ecent est `a l’origine de nombreux probl`emes ouverts pour lesquels il n’existe aucune solution satisfaisante et g´en´erale [9][29]. Enfin, nous d´ecrivons l’orientation que nous avons choisi et qui conduit `a la m´ethode propos´ee dans le cadre de ce travail de th`ese.
Trois ´el´ements sont n´ecessaires en pratique pour mesurer le mou-vement. Tout d’abord, il faut un mod`ele de mouvement : ce mod`ele peut ˆetre d´eduit d’un mod`ele de mouvement des objets en 3 dimensions joint `a un mod`ele de projection sur la cam´era, ou bien d´etermin´e plus arbitrairement en fonction des contraintes de repr´esentation. Ensuite, il est n´ecessaire de choisir un crit`ere `a minimiser ou `a maximiser afin d’´evaluer les qualit´es respectives des diff´erentes valeurs possibles des param`etres du mod`ele. Enfin, le choix d’un algorithme de recherche est crucial dans l’obtention d’un ´equilibre entre la complexit´e du calcul
et la qualit´e de la minimisation ou maximisation du crit`ere.
1.2
Mouvement r´
eel, mouvement apparent et
mou-vement estim´
e
Les images repr´esentent tr`es souvent la projection de sc`enes r´eelles 3D. Pour cette raison, nous pouvons identifier trois types de mouve-ment : le mouvemouve-ment r´eel, le mouvement apparent et le mouvement estim´e. Le mouvement apparent, observ´e `a partir des changements de la distribution spatiale d’intensit´e lumineuse, est aussi appel´e le flux optique. Ce mouvement apparent est tr`es souvent diff´erent de mouve-ment r´eel et repr´esente en g´en´eral la projection de mouvement r´eel 3D dans le plan image. Dans ce cas, le champ de mouvement observ´e `a l’int´erieur de cette coupe pourra repr´esenter `a la fois un d´eplacement dans le plan d’image et ´egalement la projection sur ce plan d’un mou-vement 3D. Le but de l’estimation de moumou-vement est d’estimer le champ de mouvement 2D ou 3D `a partir d’une s´equence temporelle d’image 2D ou 3D dont le contenu varie en fonction du temps.
1.2.1 Champ de mouvement r´eel et champ de mouvement apparent
Le mouvement r´eel anime la sc`ene r´eelle, dans l’espace r´eel 3D. Ce mouvement r´eel est observ´e soit par l’ˆetre humain soit par un syst`eme de prise de vue. Souvent, le champ de mouvement r´eel n’est pas di-rectement mesurable [10] dans une s´equence d’image 2D ou 3D si l’on se base seulement sur l’intensit´e des pixels. Dans ce cas on observe des changements de la distribution spatiale d’intensit´e lumineuse. Le mouvement ainsi per¸cu est appel´e champ de mouvement apparent ou flux optique qui est diff´erent du champ r´eel de mouvement. Le champ
de mouvement apparent repr´esente, en g´en´eral, la projection de mou-vement r´eel 3D dans le plan d’image, c’est pourquoi, le champ de mou-vement apparent s’appelle aussi moumou-vement projet´e [11]. Il repr´esente une approximation de mouvement r´eel.
1.2.2 Champ de mouvement apparent et champ de mouve-ment estim´e
Le vecteur d´eplacement estim´e est d´etermin´e `a partir du champ de mouvement apparent, c’est `a dire des variations locales d’intensit´e lumineuse entre les instants t et t+∆t o`u ∆t est la distance en temps inter-image, dans le cas continu. Le vecteur vitesse estim´e est d´efini comme la variation temporelle du d´eplacement par unit´e de temps. Ceci explique pourquoi une s´equence temporelle d’image ne permet que d’estimer le champ de mouvement (d´eplacement ou vitesse) ap-parent observable dans la s´equence.
1.2.3 Equation du flot optique et probl`eme d’ouverture On consid`ere une s´equence d’images comme une fonction r´eelle f (t, x) du temps t et de l’espace x = (x1, x2) `a deux dimensions.
Chaque image est g´en´eralement le r´esultat de la projection d’objets r´eels sur le plan de l’image, il est donc possible de suivre sa trajectoire : si (X1(t), X2(t), X3(t)) est un point r´eel de la sc`ene, il se projette en
un point (x1(t), x2(t)). Le flot optique `a un point et `a un temps donn´es
est d´efini comme la vitesse de ce point : V = dx(t)
Nous pouvons suivre un point x(t) qui se d´eplace le long du champ de mouvement. L’intensit´e lumineuse de ce point de l’objet `a chaque instant est f (t, x(t)). La variation de cette intensit´e au cours du temps est d´efinie de la mani`ere suivante :
d
dtf (t, x(t)) = ∂ f
∂ t + V.∇ f (1.2)
La luminance d’un objet est constante au cours du temps, donc
d
dtf (t, x(t)) = 0 (1.3)
c’est `a dire
∂ f
∂ t + V.∇ f = 0 (1.4)
Cette ´equation nous fournit une contrainte `a respecter pour le mou-vement. Il faut souligner n´eanmoins tout de suite que cette ´equation ne nous fournit qu’une seule ´equation scalaire pour un point donn´e, alors qu’il nous faut d´eterminer deux inconnues qui sont les deux com-posantes du vecteur de mouvement au point consid´er´e. En pratique, si nous observons l’´equation (1.4), nous pouvons tout de suite constater que les solutions ne sont contraintes que dans la direction du gradient de l’image, et qu’`a l’inverse, il n’est pas possible de d´eterminer `a l’aide de cette seule ´equation la composante du vecteur de mouvement or-thogonale au gradient de l’image. Ceci est dˆu au probl`eme d’ouverture [30] : si nous observons localement notre image sur une zone uniforme et donc invariante par translation, il ne sera pas possible d’en d´eduire le v´eritable mouvement. Plus g´en´eralement, si notre image est inva-riante par une translation donn´ee sur une petite fenˆetre, le mouvement
n’est mesurable qu’`a cette translation pr`es.
L’ensemble des techniques d’estimation du flot optique a l’obliga-tion d’int´egrer l’information sur un voisinage spatial et parfois spatio-temporel afin d’obtenir une mesure locale de mouvement. Ces tech-niques sont group´ees en trois grandes familles, selon que la vitesse est estim´ee `a partir de la luminance f (t, x(t)), de la transform´ee de Fourier de f (t, x(t)) ou des d´eriv´ees spatio-temporelles de f (t, x(t)). Elles sont appel´ees respectivement m´ethodes diff´erentielles, m´ethodes fr´equentielles ou m´ethodes de mise en correspondance dans le plan de transform´e et m´ethodes de mise en correspondance dans le plan de l’image.
1.3
M´
ethodes diff´
erentielles
Les m´ethodes diff´erentielles d’estimation de mouvement sont bas´ees sur les gradients spatiaux et temporels de l’intensit´e lumineuse des pixels. Le principe de ces m´ethodes repose sur l’hypoth`ese de la conser-vation de l’intensit´e lumineuse d’un pixel le long de la trajectoire de mouvement, c’est `a dire :
df (x1, x2, t)
dt = 0 (1.5)
Un d´eveloppement de Taylor du premier ordre de l’´equation (1-5) permet d’obtenir la relation suivante :
∂ f (x1, x2, t) ∂ x1 d1+ ∂ f (x1, x2, t) ∂ x2 d2+ ∂ f (x1, x2, t) ∂ xt dt= O(d21, d22, d2t) (1.6)
O`u d1 et d2 sont les d´eplacements du pixel courant qui doivent ˆetre
estim´es et dt est la p´eriode temporelle d’acquisition des images. Si on
de mouvement, appel´ee aussi ´equation du flux optique [12], c’est une ´
equation avec deux inconnues dont la r´esolution n´ecessite l’introduc-tion des contraintes suppl´ementaires.
Le terme de gauche de l’´equation (1.6) repr´esente les termes d’ordres sup´erieurs `a 1 du d´eveloppement de Taylor. Les d´eriv´ees partielles sont estim´ees par des filtres num´eriques. En posant dt = 1, cette ´equation
peut s’´ecrire de fa¸con compacte :
∇(t, x(t)).V (x(t)) + ft(x(t), t) = O(kV k2) (1.7)
Avec x(t) la position des pixels de l’image et V(x(t)) le vecteur de vitesse `a estimer.
Le d´eveloppement de l’´equation (1.7) fournit une approximation au 1er ordre de l’´equation du flot optique (1.2). Cette approximation est valide tant que le terme O(kV k2) est n´egligeable devant le terme du premier ordre. Ceci impose que les variations spatiales de la fonction de luminance dans le voisinage de (x, y, t) soient lin´eaires et que l’am-plitude de la vitesse soit faible.
La r´esolution de l’´equation de la conservation de la luminosit´e sup-pose que le champ de vitesse soit constant sur un voisinage de taille donn´ee [13]. Plus la taille du voisinage consid´er´ee pour la r´esolution de cette ´equation est ´elev´ee meilleure est la qualit´e de reconstruction, mais aussi, plus le temps d’ex´ecution de l’algorithme associ´e est im-portant. N´eanmoins, l’ex´ecution de cet algorithme peut induire des erreurs d’estimation des d´eplacements car elle repose sur l’inversion des matrices d´ependant des gradients de l’image. En particulier la m´ethode ne fonctionne pas sur des zones homog`enes.
les m´ethodes les plus utilis´ees dans ce domaine pour estimer les champs de mouvement 2-D sont : La m´ethode bas´ee sur la technique de Horn et Schunk [12], la m´ethode de Lucas et Kanade [14] et la tech-nique bas´ee sur la r´egularisation globale du champ [15], une comparai-son des performances de ces m´ethodes diff´erentielles est faite dans [16]. Les m´ethodes d’estimation de mouvement bas´ees sur la formu-lation de Taylor de l’´equation du flot optique (appel´ees m´ethodes diff´erentielles) ont `a r´esoudre deux probl`emes essentiels : respecter les conditions de validit´e de l’´equation (1.7) et r´esoudre le probl`eme d’ouverture.
1.4
M´
ethodes fr´
equentielles ou m´
ethodes de mise
en correspondances dans le plan de transform´
e
La mise en correspondance dans le plan de transform´e, le champ de d´eplacement est estim´e par mise en correspondance de blocs d´efinis dans un plan transform´e.
Consid´erons une image en espace et en temps f (x, y, t) et sa trans-form´ee de Fourier ˆf (fx, fy, ft). Soit rx et ry respectivement les
mouve-ments horizontaux et verticaux. La transform´ee de Fourier de l’image en mouvement est :
TF(f (x − rxt, y − ryt, t)) = ˆf (u, v, w + rxu + ryv) (1.8)
Les fr´equences spatiales sont inchang´ees, mais toutes les fr´equences temporelles sont translat´ees par le produit de la vitesse et des fr´equences spatiales. Il s’agit d’identifier dans l’espace des fr´equences un plan de
vitesse d’´equation w + rxu + ryv = 0 pour retrouver les composantes
rx et ry.
L’information de mouvement est en g´en´eral extraite par des filtres orient´es en espace et en temps (du type Gabor 3D ou filtre large-bande). La contrainte impos´ee pour ´eviter le probl`eme d’ouverture est spatio-temporelle : le mouvement `a d´eterminer est suppos´e constant `a la fois sur le support spatial et temporel des filtres orient´es. Le r´esultat obtenu est liss´e en espace et en temps, ce qui peut poser des probl`emes pour des s´equences d’images o`u les actions sont rapides et saccad´ees.
On distingue deux approches : les m´ethodes bas´ees sur l’´energie et les m´ethodes exploitant la phase du signal. Ces derni`eres permettent d’obtenir de bons r´esultats, la phase ´etant peu sensible aux variations d’illumination.
La m´ethode la plus r´epondue des m´ethodes fr´equentielles est la m´ethode de corr´elation de phase obtenue par la transform´ee de Fourier [7].
1.5
M´
ethodes de mise en correspondances dans le
plan de l’image
L’approche de mise en correspondance ou block matching consiste `
a trouver le d´eplacement (rx, ry) qui apparait au mieux des r´egions
ou des ´el´ements caract´eristiques (contours, coins, ...) de la sc`ene entre deux instants cons´ecutifs. L’appariement est en g´en´eral calcul´e par une corr´elation ou par une distance entre les r´egions de l’image aux instants t et t+1. La recherche du d´eplacement (rx, ry) s’effectue sur
une gamme de valeurs discr`etes.
Les m´ethodes de mise en correspondance de blocs sont les m´ethodes les plus utilis´ees en pratique. Elles sont bas´ees sur l’hypoth`ese selon laquelle l’intensit´e lumineuse des pixels est constante ou faiblement va-riable le long des trajectoires de mouvement. Ces m´ethodes cherchent de mani`ere exhaustive des similarit´es (points, contours, r´egions) entre deux images successives, de telle sorte qu’un crit`ere de ressemblance soit maximis´e. Ces m´ethodes peuvent ˆetre class´ees en fonction des aspects suivants :
- Crit`eres de mise en correspondance.
- Dimension du bloc et celle de la fenˆetre de recherche. - Strat´egie de balayage ou de recherche.
Crit`eres de mise en correspondance
les crit`eres de mise en correspondance dans le plan de l’image sont scind´ees en trois groupes principaux :
1. Diff´erence moyenne absolue : Le crit`ere le plus utilis´e dans l’im-plantation hardware est la minimisation de l’erreur absolue SAD, d´efinie comme : SAD = 1 Bx.By Bx X i=1 By X j=1 |Br(i, j) − Bc(i, j)| (1.9)
O`u (x, y) sont les dimenssions du bloc, Br(i, j) et Bc(i, j) sont
respectivement le bloc de r´ef´erence et le bloc courant et (i, j) sont les coordonn´ees des pixels du bloc.
peut ˆetre d´efinie comme : SSE = 1 Bx.By Bx X i=1 By X j=1 [Br(i, j) − Bc(i, j)]2 (1.10)
La minimisation de l’erreur quadratique moyenne SSE est tr`es ra-rement utilis´ee dans la version hardware, `a cause de sa difficult´e d’implantation.
Ces deux mesures de disparit´e peuvent ˆetre modifi´ees afin de prendre en compte des variations globales d’intensit´e des pixels entre les images [40]. Nous les ´ecrivons pour la SAD. Elles peuvent ˆ
etre obtenues de la mˆeme mani`ere pour la SSE.
3. Coefficient d’inter-corr´elation : Le crit`ere de ressemblance statis-tique le plus utilis´e est le coefficient d’inter-corr´elation centr´e et norm´e `a la variance, qui c’´ecrit dans la cas discrˆet :
N CC = Bx X i=1 By X j=1 [Br(i, j) − µr][Bc(i, j) − µc] v u u t Bx X i=1 By X j=1 [Br(i, j) − µr][Bc(i, j) − µc]2 v u u t Bx X i=1 By X j=1 [Br(i, j) − µr][Bc(i, j) − µc]2 (1.11)
O`u µr (resp. µc) repr´esente la moyenne des intensit´es des pixels
du bloc de r´ef´erence (resp. cible). Ce crit`ere donne des bons r´esultats dans la majorit´e des cas de mouvements estim´es mais il a le d´esavantage majeur d’un temps de calcul long, sup´erieur aux crit`eres de diff´erence, `a cause du grand nombre d’op´erations im-pliqu´ees (additions, soustractions, multiplications, divisions, ra-dicaux).
D’une fa¸con g´en´erale, les performances de l’op´eration de mise en correspondances diminuent quand les dimensions de la fenˆetre de
recherche augmentent, `a cause de la pr´esence possible de plusieurs minima locaux.
Dimension optimale du bloc et de la fenˆetre de recherche La strat´egie de recherche et les dimensions de la fenˆetre de recherche et du bloc influencent le coˆut de calcul. La d´etermination de leurs di-mensions optimales respectives n´ecessite toujours un compromis. Une grande fenˆetre de recherche implique des calculs longs et un risque ´
elev´e de confusion du bloc recherch´e avec un bloc semblable. Mais plus la taille de la fenˆetre de recherche d´ecroˆıt, plus le d´eplacement maximal estim´e diminue. De la mˆeme mani`ere, quand les blocs sont grands, le coˆut de calcul est grand, la r´esolution sp´eciale est faible et un bloc peut contenir les pixels appartenant `a des objets diff´erents. Inversement, un bloc trop petit peut ne pas contenir suffisamment d’information discriminante. Ce dernier probl`eme apparaˆıt, en parti-culier, dans les zones homog`enes ou la mise en correspondance n’est pas fiable, pouvant devenir al´eatoire. Le compromis peut ˆetre r´esum´e en quatre cas suivants :
- Fenˆetre de recherche grande =⇒ coˆut de calcul ´elev´e et un risque ´
elev´e de confusion du bloc recherch´e.
- Fenˆetre de recherche petite =⇒ petit d´eplacements.
- Bloc grand =⇒ coˆut de calcul ´elev´e et le bloc peut contenir les pixels appartenant `a des objets diff´erents.
- Bloc petit =⇒ pas de discriminant.
La m´ethode suppose des mouvements de translation ou localement assimilables, mais cette hypoth`ese n’est pas respect´ee dans le cas d’une rotation et `a la fronti`ere aux bords des objets anim´es de mouvement
diff´erent. Pour r´esoudre ce type de probl`eme il est n´ecessaire de choi-sir un mod`ele de mouvement plus complexe dans lequel la mise en correspondance s’effectue sur des blocs des formes variables.
Strat´egie de recherche
Deux strat´egies de recherche sont envisag´ees, exhaustif et non ex-haustif orient´e.
La m´ethode de mise en correspondance de bloc suppose une strat´egie de recherche exhaustive dans l’image et dans la fenˆetre de recherche. Un balayage exhaustif peut s’envisager pour l’image est ´egalement pour la fenˆetre de recherche, le bloc de comparaison ´etant alors d´eplac´e pixel par pixel, `a l’int´erieur de la fenˆetre de recherche. Le balayage ex-haustif pr´esente le d´esavantage d’un temps de calcul prohibitif, car il impose d’estimer le crit`ere de ressemblance en chaque pixel et pour toutes les positions possibles du bloc dans la fenˆetre de recherche.
Le balayage non exhaustif orient´e consiste en une exploration ini-tiale du voisinage direct de la fenˆetre de recherche puis s´elective dans la direction de la ressemblance croissante. Les strat´egies de recherche orient´ee les plus utilis´ees sont :
- La recherche en n pas.
- La recherche 2D-logarithmique. - La recherche orthogonale.
1.6
Limitations dues `
a l’hypoth`
ese d’invariance
de la luminance
Certains mod`eles d’alignement prennent en compte un facteur de variation de la luminosit´e dans la sc`ene [19]. Ainsi la variation de luminosit´e suppos´ee est compens´ee lors de l’´evaluation de l’´equation DFD1 des diff´erences entre les images d´eplac´ees, c’est `a dire entre les images aux instants t et t +∆t avec ∆t =±1.
DFD = I(x + dx, y + dy, t + ∆t) − I(x, y, t) = 0 (1.12)
O`u I(x, y, t) est l’intensit´e du point image p = (x, y) `a l’instant t et t + ∆t.
Ce genre d’adaptations permet d’am´eliorer l’estimation de mouve-ment lors de changemouve-ments globaux de luminosit´e, pour lesquels il est possible d’estimer la variation de mani`ere fiable. Par contre il ne per-met pas prendre en compte les variations locales, telles que les ombres port´ees.
Pour r´esoudre le probl`eme, il faut utiliser un invariant non sensible au passage d’une ombre port´ee, ce qui n’est pas le cas de la lumino-sit´e. Un bon candidat serait la couleur, qui est `a la fois invariante au cours de mouvement et insensible aux ombres port´ees. Les algorithmes actuels peuvent ˆetre adapt´es `a la couleur en d´efinissant une distance entre couleurs, `a la place de la DFD, qui est une diff´erence entre ni-veaux de gris. Bien qu’elle ne soit pas disponible sur la totalit´e des s´equences, son utilisation permettrait certainement d’am´eliorer gran-dement l’efficacit´e de l’estimation du mouvement.
Dans le cas o`u seule la luminosit´e est disponible, d’autres inva-riants bas´es sur la luminance, tels que les invariants diff´erentiels sont aussi envisageables. Les niveaux de gris de l’image sont ici toujours l’unique source d’information : le changement d’invariant ne rajoute pas d’information suppl´ementaire ; les ambiguˆıt´es li´ees au manque de contraste sont donc conserv´ees. Il est n´eanmoins vrai que certains in-variants peuvent ˆetre mieux adapt´es `a certaines situations id´eales. Par exemple, un invariant bas´e uniquement sur les d´eriv´ees du signal est insensible `a des changements de luminosit´e globale. Mais dans ce cas se pose un probl`eme de robustesse : plus l’ordre d’un invariant est ´
elev´e, plus il est sensible `a l’´ecart vis `a vis des hypoth`eses.
1.7
Conclusion
Les m´ethodes de mise en correspondance dans le plan de l’image sont robustes, simples `a mettre en oeuvre et se retrouvent dans la ma-jorit´e des standards de compression vid´eo (MPEG1, MPEG2, H.261 et H.263)[32][33][34]. De plus, elles permettent de mesurer des d´eplacements de grande amplitude et sont tr`es utilis´ees en st´er´eovision. Cependant, elles sont impr´ecises, du fait de la discr´etisation du d´eplacement es-tim´e.
Ces techniques bas´ees sur la luminosit´e seule peuvent ˆetre induire en erreurs les certains cas o`u l’hypoth`ese de constante des niveaux de gris n’est pas v´erifi´ee. Cela nous oblige `a prendre pleinement en consid´eration que l’hypoth`ese d’invariance de la luminance n’est pas toujours v´erifi´ee et nous tentons de proposer dans les chapitres 4 et 5 notre approche d’estimation de mouvement bas´ee sur une m´ethode
sta-tistique portant sur la mod´elisation des s´equences d’image par m´elange de lois Gaussiennes o`u la similarit´e entre les blocs se fait entre la distribution statistique des donn´ees et non pas entre les donn´ees di-rectement, de ce faire le chapitres 3 est d´edi´e `a la notion de mesure de similarit´e entre les param`etres des composantes Gaussiennes, ces param`etres sont estim´es dans le chapitre 2.
Chapitre 2
Mod´
elisation de s´
equences
d’images par m´
elange de lois
Gaussiennes
2.1
Introduction
choisir un mod`ele de m´elange raisonnable d´epend beaucoup du but de la mod´elisation, le mod`ele `a base de m´elange de lois Gaussiennes est devenu tr`es populaire du fait que l’intensit´e d’un pixel peut ˆetre mod´elis´e de fa¸con efficace par un m´elange de lois Gaussiennes `a condi-tion de supposer un bruit d’acquisicondi-tion non corr´el´e et de faibles chan-gements de luminosit´e. Ce mod`ele correspond `a une situation o`u les donn´ees appartiennent `a un ensemble de classes distinctes, avec une probabilit´e d’appartenance propre `a chaque classe. Le cas particulier consid´er´e ici est celui o`u dans chaque classe les donn´ees suivent une loi Gaussienne. Ce choix tient essentiellement au fait que la loi Gaussienne appartienne d’une famille de distribution dite exponentielle pour les-quelles le probl`eme de l’identification des composantes du m´elange se trouve simplifi´e.
La mod´elisation par m´elange de lois Gaussiennes est une approche statistique qui consiste `a estimer une loi de probabilit´e inconnue `a l’aide d’une combinaison de plusieurs Gaussiennes dont les param`etres : les poids des composantes, les vecteurs moyens et matrices de cova-riances sont `a estimer.
Les m´elanges de lois Gaussiennes permettent en effet d’approxi-mer toute densit´e de probabilit´e, pourvue qu’elle pr´esente certains caract`eres de r´egularit´e.
2.2
Mod`
ele de m´
elange
2.2.1 D´efinition
Consid´erant les valeurs de niveaux de gris de chaque pixel de l’image comme un processus stochastique ind´ependant, nous supposons que la distribution suivie par les valeurs de luminance d’un pixel peut ˆetre mod´elis´ee par un m´elange de lois Gaussiennes, soit N le nombre de pixels d’une image et Xj d´enote l’observation du jieme pixel. Tous
les ´echantillons (pixels) de l’image forment un ensemble de donn´ees D = {Xj}
N
j=1. Supposons que Xj est g´en´er´e par un m´elange de
dis-tributions des Gaussiennes, et que le nombre de composantes Gaus-siennes p est connu, supposons qu’on a p composantes dans le mod`ele de m´elange des Gaussiennes, la forme de la densit´e de probabilit´e de ce m´elange est donn´ee par [13] :
f (x/θ) =
p
X
k=1
αkfk(x/µk, Σk) (2.1)
de m´elange tel que
p
X
k=1
αk = 1, θ repr´esente les param`etres (µk, Σk),
et fk est la densit´e de la Gaussienne multi-variables param´etr´ee par (µk, Σk) : fk(Xj/µk, Σk) = 1 (2Π)n2 |P k| 1 2 exp (−1 2(Xj− µk) TΣ k−1(Xj− µk) (2.2)
Ce mod`ele peut prendre plusieurs formes, notamment on ce qui concerne les matrices de covariances. On peut assigner une matrice de covariance `a chaque Gaussienne. De plus, elles peuvent ˆetre pleines ou diagonales (en raison de forte corr´elation des coefficients, les matrices de covariances sont g´en´eralement pleines).
2.2.2 Interpr´etation g´en´erative
La loi m´elange f peut aussi s’interpr´eter comme la loi marginale de la variable al´eatoire X1 obtenue `a partir de la loi du couple de variables
al´eatoires (X1, Z1) o`u
Z1 ∼ Mp(1, α1, ..., αp) 1|Z1 = z1 ∼ fk:z1k=1 (2.3)
avec Mp(1, α1, ..., αp) la loi multinomiale de dimension p et d’ordre
1 de param`etre (α1, ..., αp) et zi = (zi1, ..., zin) un vecteur binaire de
dimension p. Cette interpr´etation permet de g´en´erer en deux ´etapes tr`es simples un ´echantillon x = (x1, ..., xn) tels que les xi soient des
r´ealisations i.i.d. de X1(i = 1, ..., n)
1. G´en´erer un ´echantillon z = (z1, ..., zn) tel que les zi soient des
2. G´en´erer un ´echantillon z = (z1, ..., zn) tel que les zi soient des
r´ealisations ind´ependantes de fk:z1k=1.
Il est important de remarquer pour la suite que les vecteurs zi
identifient la composante fk `a partir de laquelle est ensuite g´en´er´e xi.
On parlera parfois d’´etiquettes.
2.3
L’algorithme EM
2.3.1 Formalisation
On ne consid`ere ici que l’estimation des param`etres du mod`ele de m´elange au sens du maximum de vraisemblance. On sait en effet que cette strat´egie d’estimation conduit `a des estimateurs asymptotique-ment efficace, c’est-`a-dire optimaux lorsque le nombre de donn´ees ob-serv´ees devient important [21][22][26]. Notre objectif est d’estimer les param`etres θ d’un tel m´elange `a partir des donn´ees observ´ees X1−→N
Pour cela, nous maximisons la fonction de vraisemblance du m´elange de l’´equation (2.1), qui prend la forme :
L(X1−→N/θ) = N Y j=1 p X k=1 αkfk(Xj/µk, Σk) (2.4)
Il est facilement concevable que cette fonction soit difficile `a maxi-miser. En plus de sa forme complexe, cette fonction ne pr´esente pas, dans la plupart des cas, un maximum unique mais un ensemble de maxima locaux.
L’algorithme EM propos´e par Dempster et al. [17] a permis d’appor-ter une formulation tr`es g´en´erale aux mod`eles contenant des donn´ees
manquantes dont les m´elanges de distributions sont un cas particulier [18]. Pour cela les donn´ees observ´ees X1−→N sont consid´er´ees comme
incompl`etes. Les donn´ees manquantes ou latentes eX1−→N sont les
in-dices d’appartenance de chaque donn´ee observ´ee `a la classe d´efinie par chacune des distributions fk(x/θk). La log-vraisemblance du m´elange
compl´et´e s’´ecrit donc :
ln L(X1−→N, eX1−→N/θ) = N X j=1 p X k=1 ln αXe k j k fk(Xj/µk, Σk) e Xk j (2.5) La composante eXjk du vecteur `a p dimensions eXj est d´efinie comme
valant un ou z´ero suivant que Xj est issu ou non de fk(x/θk).
Finalement, pour maximiser la vraisemblance des donn´ees incompl`etes de l’´equation (2.4), apr`es une initialisation des param`etres θ0, le prin-cipe de l’algorithme est d’alterner deux ´etapes. L’´etape E optimise le mod`ele sur les donn´ees compl`etes (X1−→N, eX1−→N), grˆace au
cal-cul d’une fonction interm´ediaire Q(θ, θ(it)) obtenue `a partir du loga-rithme de la vraisemblance des donn´ees compl`etes de l’´equation (2.5), it ´etant le num´ero de l’it´eration courante. Cette fonction ´elimine le ca-ract`ere al´eatoire de la log-vraisemblance du mod`ele compl´et´e puisque les donn´ees manquantes sont inconnues et gouvern´ees par une dis-tribution cach´ee. L’´etape M estime les param`etres θ `a la nouvelle it´eration. Le principal atout de cet algorithme est que la vraisemblance des donn´ees observ´ees ne peut jamais d´ecroˆıtre entre deux it´erations successives, ceci est d´emontr´ee dans [16] grˆace aux in´egalit´es de Jen-sen. Elle atteint une limite `a la convergence de l’algorithme, d`es lors que nous admettons que la suite croissante, compos´ee des it´erations successives de la vraisemblance, poss`ede une borne sup´erieure, c’est-`
Pour cela, il faut poser quelques hypoth`eses sur la r´egularit´e de la fonc-tion `a maximiser et sur l’espace des param`etres [16]. En pratique, la non convexit´e de la vraisemblance peut provoquer une convergence de l’algorithme vers des maxima locaux. La convergence vers la solution optimale d´epend donc de l’initialisation.
2.3.2 Commentaires
La m´ecanique it´erative de l’algorithme d´ebouche sur une am´elioration progressive et r´eciproque des donn´ees cach´ees Z et de la valeur du vec-teur de param`etres θ.
En effet, on d´emarre l’algorithme avec une ignorance absolue des donn´ees cach´ees Z et en initialisant θ `a une valeur θ0 totalement
arbi-traire, potentiellement tr`es loin de la r´ealit´e. L’algorithme se sert de θ0 pour estimer Z, puis se sert de ˜Z pour r´eestimer les param`etres en
une valeur θ1 plus pertinente.
`
A l’it´eration suivante, on am´eliore donc l’estimation des donn´ees cach´ees Z puisque cette nouvelle estimation se base cette fois sur θ1.
Et cette meilleure pr´ecision sur ˜Z conduit `a son tour `a une meilleure pr´ecision sur θ2, etc.
Au final, l’algorithme EM fournit donc non seulement une estima-tion de plus en plus pertinente de θ, mais aussi une estimaestima-tion de plus en plus pertinente de Z !. Si l’algorithme est classiquement utilis´e pour l’estimation param´etrique, rien n’empˆeche de le consid´erer dualement comme une fa¸con d’estimer les donn´ees cach´ees, si tel est notre but. Une autre utilisation de l’algorithme EM peut donc ˆetre la compl´etion de donn´ees manquantes...
2.4
L’algorithme EM appliqu´
e au m´
elange de lois
Gaussiennes
L’ensemble des pixels de l’image ou d’un bloc de l’image est mod´elis´e par un m´elange de lois Gaussiennes. Les deux ´etapes de l’algorithme EM, le calcul de la fonction Q(θ, θ(it)) et la nouvelle estimation des param`etres, pour ce cadre de m´elange sont d´etaill´es dans l’annexe A. Le but de l’algorithme statistique est donc de d´eterminer pour chaque point sa probabilit´e d’appartenance aux Gaussiennes et ainsi de pouvoir `a nouveau estimer leurs param`etres. Il r´ealise cet objec-tif en maximisant la vraisemblance de mani`ere it´erative. Dans le cas d’un m´elange de lois Gaussiennes `a trois dimensions, l’algorithme peut ˆ
etre d´ecrit en trois ´etapes : une initialisation, un calcul de probabilit´e et une mise `a jour de l’estimation des param`etres de chaque Gaus-sienne. Le dernier point que nous aborderons est le crit`ere d’arrˆet de cet algorithme.
2.4.1 Initialisation
Les param`etres du m´elange sont estim´es en utilisant l’algorithme EM qui maximise le crit`ere de log-vraisemblance [20]. Comme tous les algorithmes it´eratifs, l’algorithme EM n´ecessite l’initialisation des param`etres du mod`ele de m´elange de lois Gaussiennes. L’´etape d’ini-tialisation de l’algorithme est tr`es importante puisqu’elle conditionne une bonne estimation. Une initialisation trop ´eloign´ee de la solution optimale risque de pi`eger l’algorithme dans un maximum local de la fonction de vraisemblance. Il est important de choisir une bonne ini-tialisation afin de ne pas tomber sur un maximum local.
par la valeur 1p,
- Les matrices de covariances sont initialis´ees par des matrices iden-tit´es
- Les p vecteurs moyens sont initialis´es par les centres de diff´erentes Gaussiennes du m´elange estim´es par l’algorithme K-moyennes.
Description de l’algorithme K-moyennes
La m´ethode [28] est bas´ee sur une notion de similarit´e entre les ob-jets. On consid`ere un espace g´eom´etrique muni d’une distance, deux points sont similaires s’ils sont proches pour la distance consid´er´ee.
On travail dans l’espace euclidien de dimension 2 et on utilise la distance euclidienne classique. L’algorithme suppose choisi a priori un nombre p de groupes `a constituer. Soit p points de donn´ees appel´es les centres. On constitue alors les p groupes initiaux en affectant cha-cun des pixels dans le groupe correspondant au centre le plus proche. L’id´ee principale est de classifier les donn´ees en p classes en minimisant la variance intra-classe et en maximisant l’´ecartement inter-classes.
Pour chaque groupe ainsi constitu´e, on calcule son nouveau centre en effectuant la moyenne des points du groupe et on r´eit`ere le proc´ed´e. Le crit`ere d’arrˆet est : d’une it´eration `a la suivante, aucun point n’a chang´e de groupe, c’est `a dire les groupes sont devenus stables.
L’architecture de l’algorithme K-moyennes est r´esum´e dans la table algorithme-1.
Param`etre : le nombre p de groupes.
Entr´ee : un bloc d’image de pixels de dimension (8x8) ou (16x16).
1. Choisir p centres initiaux c1, ...cp.
2. Pour chaque pixel du bloc :
L’affecter au groupe i dont le centre ci est le plus proche.
3. Si aucun valeur ne change de groupe : Alors Arrˆet et sortir les groupes. 4. Calculer les nouveaux centres :
Pour tout i, ci est la moyenne des ´el´ements du groupe i.
5. Aller en 2.
Algorithme 1: Algorithme k-moyennes
L’algorithme poss`ede de nombreuses variantes selon la m´ethode utilis´ee pour choisir les p premiers centres, la mesure de similarit´e choisie, le choix de la valeur de p, le calcul des distances entre groupes et la possibilit´e de pond´erer les champs en fonction d’une connaissance initiale du probl`eme.
2.4.2 Probabilit´e a posteriori d’appartenance `a l’une des composantes Gaussiennes
La deuxi`eme ´etape consiste `a calculer pour chaque point la pro-babilit´e d’appartenance `a chacune des Gaussiennes. Ce calcul r´ealise implicitement l’´etape E de l’algorithme. Pour cela, nous d´eterminons la vraisemblance, not´ee Lkj, pour chaque point Xj et pour chaque
den-sit´e fk(x/θk) de loi normale N(µk, Σk). Chaque densit´e est munie d’un
poids αk normalisant la vraisemblance tel que, pour chaque point,
l’unit´e. Cette vraisemblance a pour expression :
Lkj = αkfk(Xj/µk, Σk) (2.6)
O`u fk(Xj/µk, Σk) est d´efinie par l’´equation (2.2). Ainsi la
probabi-lit´e pour un point d’appartenir `a l’une des composantes Gaussiennes peut s’exprimer de la fa¸con suivante :
P(Xj ∈ Gk/Σ (it) k , µ (it) k ) = Lkj Pp k=1L k j (2.7) avec Gk la ki`eme Gaussienne
C’est la probabilit´e a post´eriori pour un point Xj d’appartenir `a la
ki`eme Gaussienne.
2.4.3 Mise `a jour de l’estimation des param`etres
La derni`ere ´etape de l’algorithme est la maximisation de la vraisem-blance, c’est-`a-dire la nouvelle estimation de tous les param`etres. La maximisation est faite sur une fonction interm´ediaire Q(θ, θ(it)) dont l’expression analytique est donn´ee dans l’annexe A. Il est d´emontr´e dans [16], que cette fonction et la fonction de vraisemblance ont les mˆemes propri´et´es et convergent vers la mˆeme solution. Dans l’annexe A, nous d´eveloppons aussi les op´erations conduisant aux r´esultats de ce paragraphe. Tout d’abord, nous mettons `a jour la proportion de chaque Gaussienne dans le m´elange :
α(it+1)k = 1 N N X j=1 P(Xj ∈ Gk/Σ (it) k ).
(2.9) Puis l’estimation des moyennes pour chaque Gaussienne du m´elange :
µ(it+1)k = PN j=1P(Xj ∈ Gk/Σ (it) k )Xj PN j=1P(Xj ∈ Gk/Σ (it) k ) (2.10) Et en fin, nous pouvons de nouveau estimer la matrice de cova-riance pour chaque Gaussienne du m´elange :
Σ(it+1)k = Σ N j=1P(Xj ∈ Gk/Σ (it) k )(Xj − µ (it) k )(Xj − m (it) k ) T ΣNj=1P(Xj ∈ Gk/Σ (it) k ) (2.11) A la fin de cette ´etape, nous avons une nouvelle estimation des pa-ram`etres de chaque Gaussienne du m´elange. Ces nouveaux param`etres servent d’initialisation `a l’it´eration suivante de l’algorithme. Ainsi, les ´
etapes de calcul de probabilit´e et de mise `a jour de l’estimation sont r´eit´er´ees jusqu’`a convergence de l’algorithme.
L’algorithme est appliqu´e de la mˆeme fa¸con pour chaque pixel de l’image analys´ee, et seul change l’initialisation. Il permet de four-nir, pour chaque pixel, une estimation des matrices de covariances mod´elisants chaque mouvement des objets en transparence additive.
Il peut arriver que des singularit´es apparaissent au cours des it´erations de l’algorithme EM (d´eterminant de matrice devenant nul). C’est par-ticuli`erement le cas lorsqu’il y a peu de donn´ees par rapport au nombre
de composantes du m´elange [47], dans ce cas nous introduisons la for-mule (2.12) de mise `a jour de la matrice de covariance :
Σ(it+1)k = (1 − ε)Σ
N
j=1P(Xj ∈ Gk/Σ(it)k )(Xj − µ(it)k )(Xj− m(it)k )T
ΣN
j=1P(Xj ∈ Gk/Σ(it)k )
+ ε.M
(2.12)
O`u M est une matrice sym´etrique d´efinie positive et ε est un r´eel positif compris entre 0 et 1. Cette nouvelle formule nous permet d’avoir des matrices de covariances dont le d´eterminant ne d´epasse pas un seuil d´efini par M et ε.
2.4.4 Crit`eres d’arrˆet
La vraisemblance tend vers une limite finie, comme nous l’avons vu dans le paragraphe 2.3.1. Pour stopper l’algorithme, il suffit de calcu-ler cette vraisemblance `a chaque it´eration par la formule :
L = N Y j=1 Xp k=1L k j. (2.13)
Pour des questions d’ordre algorithmique, comme le logarithme est une fonction concave, nous pr´ef´erons utiliser la log-vraisemblance plutˆot que la vraisemblance. Cette op´eration permet de changer le produit en somme. Ainsi, si la diff´erence de la log-vraisemblance entre deux it´erations est inf´erieure `a un ε donn´e, l’algorithme est arrˆet´e.
Le deuxi`eme crit`ere d’arrˆet utilis´e consiste `a fixer un nombre d’it´erations maximum autoris´e itmax, en g´en´eral 100 it´erations. Ce crit`ere est
optimale est lente. Le probl`eme de ce crit`ere est qu’il est impossible de savoir combien d’it´erations seront n´ecessaires. Avec un nombre d’it´erations trop faible, le mod`ele ne repr´esentera pas pr´ecis´ement les donn´ees. Nous avons choisi un nombre, par exp´erimentation, assez grand pour permettre `a l’algorithme de converger naturellement et cela dans la plupart des cas.
2.4.5 Convergence
Dans certains cas, l’algorithme peut ne converger que vers un point selle ou un maximum local de la vraisemblance si elle en poss`ede un, naturellement. La d´ependance en la condition initiale θ0
choi-sie arbitrairement est forte : pour certaines mauvaises valeurs, l’al-gorithme peut rester gel´e en un point selle, alors qu’il convergera vers le maximum global pour d’autres valeurs initiales plus pertinentes. L’algorithme EM peut donc parfois n´ecessiter plusieurs initialisations diff´erentes.
2.4.6 R´esum´e de l’algorithme
De fa¸con succincte, l’algorithme EM appliqu´e `a notre probl`eme peut se r´esumer de cette mani`ere
1. On choisit des valeurs initiales pour αk, µk, Σk.
2. Etape E. On ´evalue les valeurs de la distribution de probabilit´e conjointe : P(Xj ∈ Gk/Σ (it) k ) = αkfk(Xj/µk, Σk) Pp k=1αkfk(Xj/µk, Σk) (2.14)
3. Etape M. On calcule les nouvelles valeurs pour αk, µk, Σk.
4. On v´erifie la convergence des nouvelles valeurs αk, µk, Σk par
rap-port aux pr´ec´edentes.
Les ´etapes de cet algorithme sont donn´ees dans la table algorithme 2. Initialisation : θ(0) - Etape E : Q(θ, θ(it)) = E ln(L(X1−→N, eX1−→N/θ))/X1−→N, θ(it) (2.15) - Etape M :
θ(it+1) = arg max
θ Q(θ, θ
(it)) (2.16)
It´eration de l’´etape E et M jusqu’a la convergence :
kθ(it+1)− θ(it)k < ε (2.17)
Algorithme 2: Algorithme EM
2.5
Choix du nombre de composantes du m´
elange
Le nombre de composante de m´elange est un point crucial de notre travail, pour am´eliorer les r´esultats et simplifier les algorithmes, il faut se pencher sur la question du nombre de Gaussiennes `a consid´erer pour le m´elange. Cette question est actuellement largement abord´ee dans la litt´erature mais les r´esultats apport´es n´ecessitent des hypoth`eses trop restrictive.
de composantes dans le m´elange : BIC (Bayesian Information Cri-terion), [44], ICL (Integrated Completed Likelihood) [43][45] et NEC (Normalized Entropy Criterion), [46]. Si le crit`ere BIC doit ˆetre pr´ef´er´e dans une optique d’estimation de la densit´e des donn´ees, il est pr´ef´erable d’utiliser les crit`eres ICL ou NEC. De plus, bien que NEC soit plus sp´ecifiquement adapt´e au choix du nombre de composantes du m´elange, il est pr´ef´erable d’utiliser le crit`ere ICL qui est particuli`erement d´evou´e `
a mettre en ´evidence des groupes plus s´epar´es au sien des donn´ee (les d´emonstrations de ces crit`eres sont pr´esent´ees dans l’annexe B.
Les petits ´echantillons de donn´ees peuvent poser un probl`eme lors de la phase d’estimation des param`etres du mod`ele, en particulier pour le nombre de composantes dans le m´elange, l’estimation de ce nombre n’est optimale que lorsque le nombre d’observations tend vers un nombre tr`es grand.
En pr´esence de petits ´echantillons de donn´ees avec un nombre im-portant de composantes, l’estimation de ce nombre est instable. Esti-mer des nombreux param`etres en utilisant peu de donn´ees, dans notre cas des blocs d’image de (8x8) ou (16x16), peut se r´ev´eler impraticable ou bien mener `a des estimations tr`es peu robuste.
Une ´etape de r´eduction des param`etres fait partie du choix par une connaissance a priori du nombre de composantes dans le m´elange. Dans notre cas ce nombre est fix´e `a deux lois gaussiennes dans une premi`ere tentative et `a trois lois gaussiennes dans une deuxi`eme ten-tative.
2.6
Conclusion
Ce chapitre d´ecrit une synth`ese p´edagogique sur la th´eorie de l’al-gorithme EM et son utilisation dans les mod`eles lin´eaires mixtes en vue du calcul des estimations des composantes de variance par maxi-mum de vraisemblance. Dans une premi`ere partie, on rappelle les bases th´eoriques de l’algorithme. L’accent est mis sur l’importance du concept de donn´ees manquantes qui permet bien de comprendre pourquoi l’algorithme pr´esente deux phases : la 1`ere consiste en la d´etermination de l’esp´erance de la log-vraisemblance des donn´ees compl`etes par rapport `a la distribution conditionnelle des donn´ees manquantes sachant les donn´ees observ´ees et les valeurs courantes du param`etre ; la seconde permet d’actualiser ces valeurs courantes par maximisation de la fonction obtenue pr´ec´edemment.
En pr´esence de petits ´echantillons de donn´ees et dans le but de d’estimer peu de param`etres, le choix du nombre de composantes du m´elange est fix´e par une connaissance a priori `a deux lois gaus-siennes dans une premi`ere tentative et `a trois lois gaussiennes dans une deuxi`eme tentative.
Chapitre 3
Mesure de similarit´
e entre
m´
elanges de lois Gaussiennes
3.1
Introduction
La notion de mesure de similarit´e est une notion cl´e pour l’esti-mation de mouvement par la mise en correspondance des blocs. En effet, l’estimation de cette mesure entre les composantes du m´elange de lois Gaussiennes, explicit´ees dans le chapitre 2, est l’´etape pr´ealable `
a partir de laquelle l’estimation de mouvement peut ˆetre effectu´es. Les mesures de similarit´e sont souvent des m´etriques qui quanti-fient la proximit´e des images dans leur espace de caract´eristiques. Le postulat de d´epart suppose que plus les distances sont faibles, plus les images se ressemblent. Le choix d’une m´etrique permettant d’ex-primer la similarit´e de deux images n’est g´en´eralement pas ais´e et les contraintes sont souvent fortes, notamment en temps de calcul ou la taille des bases d’images `a parcourir. En g´en´eral, les mesures de simi-larit´es doivent v´erifier les propri´et´es suivantes :
