Sélection de la taille du noyau pour l'estimation à noyau dans des espaces multidimensionnels hétérogènes.

HAL Id: hal-00551598

https://hal.archives-ouvertes.fr/hal-00551598

Submitted on 4 Jan 2011

HAL is a multi-disciplinary open access archive for the deposit and dissemination of sci- entific research documents, whether they are pub- lished or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers.

L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.

Sélection de la taille du noyau pour l’estimation à noyau dans des espaces multidimensionnels hétérogènes.

Aurélie Bugeau, Patrick Pérez

To cite this version:

Aurélie Bugeau, Patrick Pérez. Sélection de la taille du noyau pour l’estimation à noyau dans des

espaces multidimensionnels hétérogènes.. 21ème colloque GRETSI sur le traitement du signal et des

images, 2007, France. �hal-00551598�

Estimation ` a noyau adaptatif dans des espaces multidimensionnels h´ et´ erog` enes

Aur´ elie Bugeau

, Patrick P´ erez

1

IRISA INRIA, Rennes, France aurelie.bugeau@irisa.fr, perez@irisa.fr

R´ esum´ e – Les m´ ethodes d’estimation ` a noyau, telles que le mean shift, ont un inconv´ enient majeur : le choix de la taille du noyau. La s´ election de cette taille devient vraiment difficile dans le cas de donn´ ees multidimensionnelles et h´ et´ erog` enes. Nous pr´ esentons une solution ` a ce probl` eme. La taille est choisie it´ erativement pour chaque type de donn´ ees, en cherchant parmi un ensemble de tailles pr´ ed´ efinies celle qui donne localement les r´ esultats les plus stables. La s´ election it´ erative n´ ecessite l’introduction d’un nouvel estimateur. La m´ ethode est valid´ ee dans le contexte de la segmentation d’image couleur et de mouvement.

Abstract – Kernel estimation techniques, such as mean shift, suffer from one major drawback: the kernel bandwidth selection.

This selection becomes a real challenge in case of multidimensional heterogeneous features. This paper presents a solution to this problem. The selection is done iteratively for each type of features, by looking for the stability of local bandwidth estimates within a predefined range of bandwidths. A new estimator that permits the iterative computation is introduced. The validity of the method is demonstrated in the context of color image segmentation and motion segmentation.

1 Introduction

Les algorithmes mean shift sont tr` es populaires en clas- sification de donn´ ees et segmentation d’image grˆ ace ` a leurs performances et leurs faibles coˆ uts de calcul [3][5]. Ces m´ ethodes pr´ esentent l’avantage de fournir automatique- ment le nombre de classes. Cependant, elles sont bas´ ees sur l’estimation d’une densit´ e ` a noyau dont la taille doit ˆ etre d´ efinie pr´ ealablement.

Les m´ ethodes mean shift usuelles utilisent un noyau de taille fixe pour tout l’espace de donn´ ees. Cependant, lorsque les donn´ ees varient de mani` ere significative le long de l’espace caract´ eristique, des noyaux de taille variable sont pr´ ef´ erables.

La s´ election de la taille de noyau se fait g´ en´ eralement en essayant d’´ equilibrer le biais et la variance. Dans [6] les au- teurs combinent deux m´ ethodes pour r´ esoudre le probl` eme de s´ election des noyaux de taille variable. La premi` ere, bas´ ee sur la loi “plug-in” de [7], a de tr` es bonnes propri´ e- t´ es statistiques. Cependant, cette loi est difficile ` a mettre en œuvre pour des donn´ ees multidimensionnelles [9][10, p.109]. La seconde m´ ethode, plus d´ etaill´ ee dans [4], est une s´ election semi param´ etrique. Les meilleures tailles sont choisies en utilisant un ensemble de tailles pr´ ed´ efinies et en r´ ealisant une approximation locale des donn´ ees multi- dimensionnelles par une loi normale. Les r´ esultats obtenus pour la segmentation sont tr` es prometteurs. N´ eanmoins, cette m´ ethode a encore un d´ efaut : si l’espace des donn´ ees est compos´ e de diff´ erents types d’information, autrement dit d’un ensemble de donn´ ees h´ et´ erog` enes, l’ensemble de tailles pr´ ed´ efinies devient grand et l’algorithme coˆ uteux.

Dans ce papier, nous donnons une solution au probl` eme du choix de la taille des noyaux dans le cas de donn´ ees multidimensionnelles h´ et´ erog` enes. La s´ election est faite en

utilisant it´ erativement pour chaque type d’information, ou domaine, la m´ ethode d´ ecrite dans [4]. Nous d´ etaillons cette m´ ethode et rappelons le principe des m´ ethodes mean shift dans la section 2. Notre algorithme it´ eratif est lui d´ ecrit dans la section 3. Un nouvel estimateur ` a noyau permet- tant ce calcul it´ eratif y est introduit. Enfin, dans la sec- tion 4, la validit´ e de notre m´ ethode est montr´ ee pour des applications ` a la segmentation d’images couleur et ` a la segmentation de mouvement.

2 Mean shift et taille du noyau

2.1 Le filtrage mean shift ` a noyau fixe

Le mean shift est une m´ ethode it´ erative de mont´ ee de gradient convergeant vers le mode, i.e. le maximum local, de la densit´ e d’un nuage de points. Le filtrage mean shift est bien d´ ecrit dans [6]. Nous rappelons ici les r´ esultats.

Etant donn´ ´ es n points {x

}

dans l’espace de dimen- sion d, R

, le vecteur mean shift pour un noyau gaussien de covariance H est donn´ e par :

m

(x) = P

i=1

x

exp(−

D

(x, x

, H)) P

i=1

exp(−

D

(x, x

, H)) − x (1) o` u D

(x, x

, H) ≡ (x − x

)

H

(x − x

) est la distance de Mahalanobis de x ` a x

.

Supposons maintenant que l’espace de dimension d peut ˆ

etre d´ ecompos´ e en P espaces ind´ ependants de dimensions d

, p = 1, . . . , P (o` u ^P

d

= d ), chacun associ´ e ` a un type d’information diff´ erent (e.g. position, couleur). Les espaces ´ etant ind´ ependants, la matrice H peut s’´ ecrire H = diag[H

. . . H

] et le vecteur mean shift devient ´ egal ` a

m

(x) = P

i=1

x

Q

p=1

exp(−

D

(x

, x

, H

)) P

i=1

Q

p=1

exp(−

D

(x

, x

, H

)) − x (2)

avec x

= (x

, . . . , x

) et x

= (x

, . . . , x

) . Le fil- trage mean shift est obtenu en appliquant ` a chaque it´ e- ration le d´ eplacement donn´ e par l’´ equation 1 (ou 2). Cet algorithme converge vers le mode local de la densit´ e [6]. La classification finale de l’ensemble des donn´ ees est obtenue en regroupant dans une mˆ eme classe tous les points ayant converg´ e vers le mˆ eme mode.

2.2 Le filtrage mean shift ` a noyau variable

Lorsque les donn´ ees varient de mani` ere significative le long de l’espace, il est pr´ ef´ erable d’utiliser un estimateur

`

a noyau de taille variable. Deux principaux estimateurs ` a noyau variable existent [10]. Pour le premier, appel´ e es- timateur “sample point”, la taille s’adapte aux points de donn´ ees observ´ es. Une bonne valeur du noyau peut consi- d´ erablement r´ eduire le biais de cet estimateur. Cependant trouver cette valeur pour des donn´ ees h´ et´ erog` enes s’av` ere tr` es difficile. Dans [8] les auteurs ont montr´ e que l’influence d’un tel estimateur par rapport ` a un estimateur ` a noyau fixe est tr` es faible quand la taille de l’espace des donn´ ees augmente.

Pour le second estimateur, appel´ e estimateur “balloon”, la taille H du noyau K s’adapte aux points d’estimation :

f b (x) = 1 n

n

X

i=1

1

|H(x)|

K(H(x)

(x − x

)) . (3) Dans [8], les auteurs ont montr´ e que cet estimateur devient tr` es int´ eressant quand la dimension des donn´ ees devient sup´ erieure ` a 3. C’est pourquoi nous utiliserons ce deuxi` eme estimateur et introduisons le mean shift associ´ e. Sa d´ eri- v´ ee ∇

f(x) b a des termes d´ ependants de (x −x

)

et H

(x) . Dans le contexte du mean shift, la fonction H est seule- ment d´ efinie de fa¸ con discr` ete aux points d’estimation. Il est donc possible de l’interpoler afin d’obtenir une fonc- tion continue dont la d´ eriv´ ee s’annule pour chaque point d’estimation. La d´ eriv´ ee devient alors :

∇f(x) = b 1 n ˆ

n

X

i=1

H(x)

K(H(x)

(x − x

)) ˜

h P

i=1

x

K(H(x)

(x − x

)) P

i=1

K(H(x)

(x − x

)) − 1 i .

(4)

Le dernier terme de l’´ equation pr´ ec´ edente est le vecteur mean shift. Un algorithme de filtrage et de classification peut ˆ etre ´ ecrit ` a l’aide de ce vecteur [1]. La d´ emonstra- tion de convergence est tr` es proche de celle pour un noyau fixe. Comme pour l’estimateur ` a noyau fixe, les ´ equations pr´ ec´ edentes peuvent facilement se r´ e´ ecrire dans le cas de donn´ es multidimensionnelles.

2.3 S´ election de la taille de noyau

La qualit´ e des r´ esultats de classification d´ epend gran- dement du choix de la taille du noyau repr´ esent´ ee par la matrice H. Dans [4], Comaniciu propose un algorithme de s´ election bas´ e sur la propri´ et´ e suivante. En supposant qu’autour d’un point les donn´ ees sont normalement distri- bu´ ees, il est possible de montrer que la norme du vecteur mean shift est maximis´ ee si la taille du noyau est ´ egale

`

a la variance de cette distribution. La difficult´ e est alors

de d´ efinir et de construire le voisinage du point pour le- quel la distribution normale doit ˆ etre calcul´ ee. Comaniciu propose de construire un voisinage ` a l’aide d’une classifica- tion mean shift. Divers voisinages sont construits pour un ensemble de B noyaux pr´ ed´ efinis {H

, b = 1 . . . B} , aussi appel´ es ´ echelles. Chacune des classes obtenues ` a chaque

´

echelle est repr´ esent´ ee par une loi normale. Le meilleur voisinage est celui pour lequel la distribution param´ etrique est la plus stable compar´ ee aux distributions obtenues ` a des ´ echelles voisines. En effet si un point est rajout´ e ou en- lev´ e du voisinage la distribution param´ etrique ne devrait pas bouger.

L’algorithme de s´ election d´ ecrit dans [4] peut alors se d´ ecomposer en deux ´ etapes. La premi` ere, appel´ ee ´ eva- luation de la taille pour la classification, consiste ` a faire une classification mean shift ` a noyau fixe pour chacun des noyaux pr´ ed´ efinis et ` a construire une distribution normale pour chacune des classes obtenues. Comaniciu utilise le mode d’une classe pour moyenne et une formule d´ ecou- lant de la limite en probabilit´ e du vecteur mean shift pour calculer la covariance. Nous ne d´ etaillerons pas ces calculs ici. Notons simplement que la formule obtenue a quelques d´ esavantages. En particulier, la covariance peut ˆ etre n´ ega- tive. Dans la suite nous utiliserons les formules tradition- nelles pour le cacul de la moyenne et de la covariance des distributions normales.

La deuxi` eme ´ etape est appel´ ee ´ evaluation de la taille pour les donn´ ees. Chaque point x

de l’espace de don- n´ ees est associ´ e, pour chaque ´ echelle b , ` a la distribution p

de la classe ` a laquelle il appartient. Les distributions obte- nues pour des ´ echelles voisines sont compar´ ees et cela dans le but d’obtenir la distribution la plus stable. Les distribu- tions sont compar´ ees en utilisant la divergence de Jensen- Shannon. Pour chaque point x

et pour chaque ´ echelle b, la divergence compare les trois ´ echelles p

, p

, p

. La meilleure ´ echelle est celle minimisant cette mesure, et la covariance finale pour le point x

est la covariance asso- ci´ ee.

Apr` es avoir trouv´ e la meilleure taille de noyau en chaque point, Comaniciu l’applique au mean shift bas´ e sur l’esti- mateur sample point. Cependant, dans le cas de donn´ ees h´ et´ erog` enes aucun r´ esultat ne permet de lier directement la diminution du biais ` a la norme du gradient de l’estima- teur. Pour cette raison et pour celles d´ ecrites dans la sous section pr´ ec´ edente, nous appliquons les r´ esultats de taille de noyau au mean shift utilisant l’estimateur balloon.

3 Cas des donn´ ees h´ et´ erog` enes

L’algorithme de s´ election de taille d´ ecrit dans la sec- tion pr´ ec´ edente devient coˆ uteux d` es lors que l’on consid` ere des donn´ ees h´ et´ erog` enes d’assez grande dimension. En ef- fet, si, pour chaque domaine p, B

noyaux sont pr´ ed´ efinis, la classification mean shift doit ˆ etre appliqu´ ee ^Q

B

fois pour prendre en compte chaque possibilit´ e. Cet algo-

rithme de s´ election n’est donc pas adapt´ e pour des espaces

de grandes dimensions compos´ es de plusieurs parties dis-

tinctes. De plus, il n’est pas ´ evident de savoir comment

la comparaison entre trois ´ echelles successives devrait ˆ etre

adapt´ ee au cas de donn´ ees h´ et´ erog` enes. Dans la suite nous proposons de trouver it´ erativement la meilleure taille de noyau pour chacun des domaines.

Supposons que nous voulions trouver la meilleure taille pour le premier domaine. On d´ efinit les matrices tempo- raires H ^˜

, p = 2 . . . P pour chacun des autres domaines.

Ces matrices sont constantes pour chaque ´ echelle et ´ egales

`

a la moyenne de toute les matrices pr´ ed´ efinies : H ^˜

=

1 B_p

P

b=1

H

, p > 1 . L’algorithme de s´ election de la sec- tion pr´ ec´ edente est appliqu´ e pour l’ensemble des tailles :

{ H ˜

= diag[H

, H ˜

, . . . , H ˜

], b = 1 . . . B

}

et donne la meilleure taille Σ

(x

) pour chaque point x

. On r´ eit` ere l’op´ eration pour chacun des autres do- maines. Pour les espaces d´ ej` a ´ etudi´ es la matrice correspon- dant ` a la meilleure taille n’est d´ esormais plus constante : H ˜

(x

) = Σ

(x

) . L’algorithme de la section pr´ ec´ edente utilise le filtrage mean shift avec des noyaux de taille fixe pour classifier les donn´ ees. Il ne peut donc plus ˆ etre ap- pliqu´ e tel quel. Une solution est d’utiliser un nouvel es- timateur, d´ efini comme la combinaison d’un estimateur ` a noyau fixe et d’un estimateur balloon. Le but ´ etant d’esti- mer it´ erativement la meilleure taille de noyau pour chaque type de donn´ ees, pour p

= 1 . . . P , on d´ efinit l’estimateur suivant :

f(x) = b 1 n

n

X

i=1

“ K(kH

(x

− x

)k

)

|H

|

Y

p6=p⁰

K(kH

(x)

(x

− x

)k

)

|H

(x)|

”

(5)

qui est une densit´ e pour x

conditionnellement ` a (x

)

. Il est de nouveau possible ici de consid´ erer H

(x) = 0 . En utilisant un noyau gaussien et en introduisant

P

(x, x

) = k(kH

(x

− x

)k

) Y

p6=p⁰

k(kH

(x)

(x

− x

)k

) ,

la d´ eriv´ ee de l’estimateur si p 6= p

est ´ egale ` a

∇

f(x) = b H

(x)

f(x) b h P

i=1

x

P

(x, x

) P

i=1

P

(x, x

) − x

i ,

et ` a :

∇

f(x) = b H

f(x) b h P

i=1

x

P

(x, x

) P

i=1

P

(x, x

) − x

i .

si p = p

. Le dernier terme des deux ´ equations pr´ ec´ edentes est le vecteur mean shift m

(x) si p 6= p

, respectivement m

(x) . Le filtrage mean shift peut ˆ etre effectu´ e avec ces vecteurs, et sa convergence d´ emontr´ ee [1].

L’algorithme it´ eratif final pour la s´ election de la taille est d´ ecrit dans l’algorithme 1. Avec l’algorithme initial, la classification mean shift devait ˆ etre faite ^Q

B

fois afin d’´ etudier toutes les tailles possibles. Avec notre m´ ethode la classification est faite ^P

B

fois.

Algorithme 1 Estimation it´ erative de la taille du noyau Etant donn´ ´ e {H

= diag[H

. . . H

], b = 1. . . B

} . Pour p

= 1 . . . P

• Pour b = 1 . . . B , p = 1. . . P, p 6= p

1. { H ˜

= diag[ H ˜

. . . H

. . . H ˜

], b = 1 . . . B

} . 2. Classifier les donn´ ees en appliquant le mean shift

avec le nouvel estimateur (equation 5).

3. Repr´ esenter param´ etriquement chaque classe ` a l’aide d’une loi normale.

4. Associer chaque point x

` a la distribution de la classe ` a laquelle il appartient.

• Pour chaque point x

1. Trouver la distribution la plus stable parmi toutes les ´ echelles pour le domaine p

´ etudi´ e.

2. La meilleure taille de noyau pour x

est ´ egale ` a la covariance de la distribution la plus stable.

4 R´ esultats

4.1 Segmentation d’image

Dans cette partie nous pr´ esentons des r´ esultats de notre algorithme appliqu´ e ` a la segmentation d’image couleur.

L’ensemble des donn´ ees est l’ensemble des pixels de l’image.

A chaque point est associ´ e un vecteur de 5 dimensions : 2 dimensions pour la position et 3 dimensions pour la couleur. Nous consid´ erons 5 domaines P = 5 de chacun une dimension (les dimensions sont toutes ind´ ependantes).

Tous les r´ esultats de segmentation d’image ont ´ et´ e obte- nus avec 9 noyaux pr´ ed´ efinis, leurs tailles variant entre 3 et 20. Les r´ esultats sont compar´ es avec la m´ ethode d´ ecrite dans la section 2 en faisant simplement varier les diff´ e- rents domaines conjointement. La couleur de chaque pixel des images r´ esultats correspond ` a la couleur de son mode associ´ e.

Les premiers r´ esultats sont pr´ esent´ es sur l’image d’un chalet (figure 1). La figure 2 montre les classifications mean shift avec l’estimateur balloon obtenues en utilisant les tailles de noyaux r´ esultant de l’algorithme de Comani- ciu de la section 2 et de notre algorithme it´ eratif. Avec l’al- gorithme de Comaniciu la classification donne 35 classes contre 37 avec notre algorithme. La diff´ erence est princi- palement visible au niveau des montagnes

. Les tailles de noyau obtenues avec l’algorithme de Comaniciu sont plus grandes ce qui entraˆıne une perte de certains d´ etails.

Sur l’image d’un village (figure 3, r´ esultats de segmen- tation sur la figure 4), 136 classes sont obtenues avec l’al- gorithme de Comaniciu de la section 2 contre 525 avec notre algorithme. Les segmentations obtenues montrent que notre algorithme est capable de conserver d’impor- tants d´ etails, qui sont perdus avec l’algorithme initial.

1Les r´esultats sont plus visibles sur l’´ecran que sur une version imprim´ee de cet article

Fig. 1 – Image d’un chalet.

a) b)

Fig. 2 – R´ esultats de classification mean shift avec l’estima- teur balloon sur l’image d’un chalet pour a) l’algorithme de s´ election de la section 2 et b) notre algorithme it´ eratif.

Fig. 3 – Image d’un village.

a) b)

Fig. 4 – R´ esultats de classification mean shift avec l’estima- teur balloon sur l’image d’un village pour a) l’algorithme de s´ election de la section 2 et b) notre algorithme it´ eratif.

4.2 Segmentation de mouvement

Nous validons maintenant notre m´ ethode pour la seg- mentation couleur et mouvement [2]. Pour des raisons de coˆ ut de calcul, nous ne nous concentrons que sur une grille de pixels uniform´ ement r´ epartie sur tous les pixels en mou- vement de l’image, c’est-` a-dire sur les pixels n’appartenant pas au mouvement de la cam´ era. Chacun de ces pixels est d´ ecrit par sa position, sa couleur et son mouvement ob- tenu par flot optique, P = 3. Les tailles pr´ ed´ efinies sont bas´ ees sur la taille de la grille pour la position et sur le bruit pour la couleur et le mouvement. La s´ equence r´ e- sultat pr´ esent´ ee est une s´ equence de tennis. Les classes contenant moins de 10 pixels ont ´ et´ e supprim´ ees. On re- marque que deux classes (une pour le joueur, une pour la raquette) ont ´ et´ e obtenues pour la premi` ere image et une classe (pour le joueur) pour la deuxi` eme.

5 Conclusion

Dans ce papier nous avons pr´ esent´ e un algorithme pour la s´ election de la taille des noyaux dans un espace multi- dimensionnel h´ et´ erog` ene. Il s’agit d’une m´ ethode it´ erative

Fig. 5 – Segmentation de mouvement sur une s´ equence de tennis. Images 31, 212. A gauche les images initiales, ` a droite le r´ esultat de la segmentation.

permettant de trouver successivement la meilleure taille pour chacun des domaines composant l’espace. Cette pro- c´ edure permet une recherche plus riche de la taille opti- male que l’algorithme original de Comaniciu [4]. Le carac- t` ere it´ eratif de notre m´ ethode a necessit´ e l’introduction d’un nouvel estimateur. Il serait int´ eressant d’´ etudier plus en d´ etail ses propri´ et´ es statistiques. L’approche a ´ et´ e illus- tr´ ee sur deux probl` emes d’analyse d’image bas-niveau. No- tons que pour de nombreuses applications, l’ensemble des tailles pr´ ed´ efinies peut directement ˆ etre obtenu ` a partir de pr´ e-traitements sur les images. Dans ce cas l’algorithme devient totalement non supervis´ e.

R´ ef´ erences

[1] A. Bugeau and P. Perez. Bandwidth selection for kernel estimation in mixed multi-dimensional spaces. Technical report, IRISA, (PI 1852), 2007.

[2] A. Bugeau and P. Perez. Detection and segmentation of moving objects in highly dynamic scenes. Proc. Conf.

Comp. Vision Pattern Rec., 2007.

[3] C. Christoudias, B. Georgescu, and P. Meer. Synergism in low level vision. Proc. Int. Conf. Pattern Recognition, 04 :40150, 2002.

[4] D. Comaniciu. An algorithm for data-driven bandwidth selection. IEEE Trans. Pattern Anal. Machine Intell., 25(2) :281–288, 2003.

[5] D. Comaniciu and P. Meer. Distribution free decomposi- tion of multivariate data. In SSPR/SPR, pages 602–610, 1998.

[6] D. Comaniciu and P. Meer. Mean shift : A robust ap- proach toward feature space analysis. IEEE Trans. Pat- tern Anal. Machine Intell., 24(5) :603–619, 2002.

[7] S. Sheather and M. Jones. A reliable data-based band- width selection method for kernel density estimation. J.

Royal Statist. Soc., 53 :683–690, 1991.

[8] G. Terrell and D. Scott. Variable kernel density estima- tion. The Annals of Statistics, pages 1236–1265, 1992.

[9] M. P. Wand and M. C. Jones. Multivariate plug-in band- width selection. Comput. Statist., 9 :97–116, 1994.

[10] M. P. Wand and M. C. Jones. Kernel Smoothing. Chap-

man & Hall, London, U.K., 1995.