Etude de rangs et comparaison statistique des classifieurs ´

Dans cette section, nous ´etudions statistiquement les performances des 5 classifieurs de notre comparatif afin de voir leur positionnement l’un par rapport `a l’autre `a l’aide du test statistique de

4.4. ´EVALUATION DES OCRF SUR DES BASES R ´EELLES

FIGURE4.9 – Statistiques sur la valeur des rangs pour les 78 bases de donn´ees avec la distribution des valeurs selon une boˆıte `a moustache ; la ligne rouge indique la valeur m´ediane qui dans les cas de Gauss et OCSVM est confondue avec le 3`eme quartile soit 75% des valeurs de rangs.

Friedman pr´esent´e `a la section4.4.1.1.2. Ce test est bas´e sur la mesure du rang de chaque classifieur sur chacune des bases ´evalu´ees. Les valeurs de rang vont de 1 `a 5, le nombre de classifieurs de notre comparaison. Le rang 1 est associ´e au classifieur ayant les meilleures performances (meilleures valeurs de MCC) tandis que la valeur 5 est associ´ee au classifieur ayant la plus faible valeur de MCC pour une base donn´ee. Le rang moyen de chaque classifieur et la variance associ´ee sur l’ensemble des 78 bases sont pr´esent´es dans le Tableau4.7. Nous observons que la meilleure m´ethode vis-`a-vis de l’analyse du rang est Gauss avec la valeur de rang moyen la plus basse (R=1.90) suivi par les OCRF (R=2.43) ; MoG est positionn´e apr`es les OCRF avec une valeur de rang moyen de 2.79 ; OCSVM et Parzen sont alors les m´ethodes les moins performantes vis-`a-vis du rang moyen avec des valeurs au-dessus de 3.

Dans la Figure4.9, nous pouvons remarquer que 75% des rangs des OCRF est en dessous de 3, i.e. les OCRF sont dans le ”Top 3“ des meilleures m´ethodes pour 75% des 78 bases de donn´ees (i.e. 52 bases sur 78). Nous pouvons observer ´egalement que le rang de Gauss ne d´epasse pas 3, tout en ´etant premier ou second sur 75% des bases ´evalu´ees confirmant ainsi ses bonnes performances g´en´erales alors que les m´ethodes OCSVM et Parzen sont parmi les moins performantes pour 75% des bases avec un rang entre 3 et 5. La figure4.10permet de visualiser o`u se situent les meilleures m´ethodes en fonction du nombre de bases ´evalu´ees. Ainsi, nous voyons que les OCRF font partie du ”Top 1“ et donc des meilleures m´ethodes pour 30% des bases de donn´ees, Gauss ´etant meilleur pour 50% des bases.

TABLE4.7 – Valeur moyenne et variance des rangs pour tous les classifieurs sur les 78 bases de donn´ees.

OCRF OCSVM Gauss Parzen Mog

Averaged rank 2.43 ± 1.16 4.04 ± 1.28 1.90 ± 1.15 3.83 ± 1.12 2.79 ± 1.08 Nous allons maintenant appliquer le test de Friedman afin d’affiner ce positionnement. Nous avons ´evalu´e N=78 bases avec k=5 classifieurs. La valeur de la statistique de Friedman indique la diff´erence entre le rang moyen du classifieur actuel et le rang moyen R= ^1+2+3+4+5₅ = 3. Ainsi, nous avons : χ2 F = ^12N k(k + 1) k

∑

CHAPITRE 4. LES FOR ˆETS AL ´EATOIRES ONE-CLASS

FIGURE 4.10 – Statistiques sur la valeur des rangs pour les 78 datasets : fraction de bases de donn´ees associ´ee aux rangs cumul´es pour chaque classifieur

4.4. ´EVALUATION DES OCRF SUR DES BASES R ´EELLES

puis en calculant la statistique de Iman et Davenport associ´ee :

FF = (N − 1)χF²

N(k − 1) − χ2

F

= 38.768

A partir des valeurs tabul´ees de la distribution de Fisher avec k− 1 = 4 et (k − 1)(N − 1) = 308 degr´es de libert´e et avec un risque deαF = 0.05, nous trouvons F(4, 308)≈ 2.37 < 38.768. Ainsi, l’hypoth`ese nulle est rejet´ee, les rangs ´evalu´es sont significativement diff´erents. Nous utilisons ensuite le test post-hoc de Nemenyi qui permet de d´etailler cette diff´erence entre les classifieurs en fournissant la diff´erence critique :

CD= q_α r

k(k + 1)

6N = 0.690

avec un risque de 5%, q_α= 2.728. Nous pouvons ainsi conclure que les OCRF sont significa-tivement plus performantes que l’estimateur de Parzen (R_Parzen− ROCRF= 3.83 − 2.43 > CD) et OCSVM (R_{OCSV M}− ROCRF= 4.04 − 2.43 > CD) pour le param´etrage standard choisi pour ces m´ethodes. On ne peut rien dire en revanche en ce qui concerne OCRF vs Gauss, ni OCRF vs MoG car la diff´erence de rang est inf´erieure `a la valeur critique CD du test de Nemenyi. Davantage de donn´ees de rangs sont alors n´ecessaires pour pouvoir comparer ces classifieurs. En effectuant les mˆemes calculs, on trouve que l’estimateur gaussien est plus performant que les 3 classifieurs MoG, Parzen et OCSVM ; MoG est significativement plus performant que les deux classifieurs OCSVM et Parzen. On ne peut cependant rien conclure entre les classifieurs Parzen et OCSVM. Nous synth´etisons dans le Tableau4.8les r´esultats que nous venons de commenter. On peut donc en conclure que dans le cadre de notre exp´erimentation, le classifieur Gauss s’est r´ev´el´e le plus performant, suivi des OCRF puis MoG, Parzen et OCSVM.

TABLE 4.8 – Comparaison statistique des performances des m´ethodes. Le symbole ’+’ indique que la m´ethode dans la ligne correspondante est statistiquement plus performante que la m´ethode dans la colonne correspondante. Un symbole ’-’ indique au contraire que la m´ethode est moins performante significativement que la m´ethode en colonne. Le symbole ’0’ indique quant `a lui que rien ne peut ˆetre conclu entre les deux m´ethodes en ligne et colonne.

Gauss OCRF MoG Parzen OCSVM

Gauss 0 + + +

OCRF 0 0 + +

MoG - 0 + +

Parzen - - - 0

OCSVM - - - 0

Afin de mieux comprendre les raisons des bonnes performances de l’estimateur gaussien, nous avons v´erifi´e l’hypoth`ese de multi-normalit´e des bases test´ees `a l’aide du test standard de Mardia d’aplatissement (kurtosis) et d’asym´etrie multi-vari´es [Mardia, 1974]. Ce test est consid´er´e comme l’une des meilleures approches pour ´evaluer `a quel point des donn´ees multi-vari´ees d´evient de l’hypoth`ese de multi-normalit´e [Von Eye and Bogat, 2004]. Les r´esultats se sont cependant r´ev´el´es n´egatifs. Ces r´esultats montrent que l’hypoth`ese de multi-normalit´e est rejet´ee pour 58 bases et accept´ee pour seulement 3 bases. Pour 17 bases, les calculs du test n’ont pas pu aboutir en raison de matrices de variance-covariance singuli`eres. Ainsi les bons r´esultats de Gauss ne peuvent ˆetre expliqu´es par la normalit´e des donn´ees d’apprentissage. Des travaux suppl´ementaires sont donc n´ecessaires pour mieux comprendre le bon fonctionnement de l’estimateur sur ces configurations. Le d´etail du test et des r´esultats mentionn´es figure `a l’Annexe4.5.

Nous avons voulu pousser plus loin l’analyse du comportement des OCRF en fonction de la dimension de l’espace de description et comparer leurs performances aux mˆemes approches de

CHAPITRE 4. LES FOR ˆETS AL ´EATOIRES ONE-CLASS

l’´etat de l’art. Cette ´etude fait l’objet de la section suivante.