Algorithme PaCFS

Une alternative du PCFS est proposée dans ce paragraphe consiste à tenir compte à la fois et la corrélation entre les descripteurs (PCFS) et leurs corrélation avec la classe d’étiquettes (CFS, MIFS,...). Dans un ensemble corrélé, le descripteur à éliminer est celui qui montre une faible corrélation avec la classe d’étiquettes. Le modèle ainsi obtenu pour nos expérimentations comprend neuf descripteurs qui sont : l’énergie, la variance, la corrélation, l’uniformité, la direction, la grossièreté, le contraste, le line-

likeness et la directivité.

Le tableau 5.14 donne les différentes mesures de performance de la classification obtenues par le modèle PaCFS. Malgré que le taux de classification obtenu par le modèle PaCFS est assez important,

Tc(%) Fm K Et

PaCFS 94,91 0,947 0,945 5,08

Table 5.14 – Performances de classification par l’algorithme PaCFS

Modèle Paramètres Tc (%) Fm K Et(%) S Regroupement f1f2f3f4f5f6f7f8f9f10f11f12 95,94 0,958 0,955 4,06 0,149 CFS f2f3f4f5f6f9f10 93,18 0,929 0,926 6,82 0,039 MIFS f4f6f9f12 83,65 0,821 0,832 16,35 0,140 Fisher f1f2f6f7f8 81,13 0,811 0,794 18,86 0,117 ReliefF f2f4f6f7f8 84,35 0,846 0,830 15,64 0,217 AG f1f2f3f5f8f9f11f12 92,98 0,926 0,922 7,01 0,023 PCFS f1f2f3f4f5f7f8f9f10f11f12 96,07 0,959 0,957 3,93 0,097 PaCFS f1f3f4f5f8f9f10f11f12 94,91 0,947 0,945 5,08 0,032

Table 5.15 – Tableau récapitulatif des performances de classification des différents algorithmes de sélec- tion

il reste légèrement en dessous de celui obtenu par le modèle global. Ainsi, la sélection par l’algorithme PaCFS dans ce cas n’améliore pas forcément la classification de texture.

5.3.8 Comparaison des modèles de sélection

Nous récapitulons les différentes performances de la classification des différents algorithmes de sé- lection dans le tableau 5.15. Nous constatons que pour la majorité des modèles de sélection (sauf MIFS et ReliefF) il y une redondance sémantique entre les descripteurs. Par exemple, les descripteurs « éner- gie »(f1) et « homogénéité » (f6) traduisent la même propriété sémantique qui est l’homogénéité des

textures. Ainsi, le fait d’avoir ces deux descripteurs dans un même modèle peut entraîner le problème d’effet de poids des descripteurs, ce qui peut aussi être traduit par les forts taux de classification estimés. Pour résoudre ce problème, nous avons procédé par évaluer le pouvoir discriminatif de chaque des- cripteur redondant sémantiquement. L’évaluation est basée sur leur pouvoir à distinguer entre classes en terme de taux de classificationTc associé à un taux d’erreurEt et en terme de recherches d’images

similaires évalué par les courbes rappel / précision (cf. figure 5.17)et la mesure du score proposéS. Un

ordonnancement par la suite est effectué pour choisir les descripteurs ayant des performances importantes (cf. tableau 5.16).

Ainsi, les meilleurs descripteurs sélectionnés sont :f2, f3, f5, f6, f8. Le descripteurf3 a été choisi

malgré quef10 donne un taux de classification légèrement grand du fait que ce dernier donne un score

S plus grand, ce qui signifie une mauvaise recherche des images similaires vérifiée aussi par les courbes

rappel / précision qui est au dessous de celle def3.

Le tableau 5.17 donne les résultats finaux de chaque modèle après élimination des redondances sé- mantiques. Le meilleur modèle de sélection est celui qui donne un taux de classification important et sera utilisé dans la suite des expérimentations.

Descripteur Tc Et S f1 25,29 74,70 0,163 f6 25,61 74,38 0,127 f2 28,44 71,55 0,301 f9 22,81 77,20 1,001 f3 29,40 70,60 0,611 f7 22,53 77,47 0,205 f10 29,76 70,24 1,100 f4 19,78 80,21 1,220 f5 21,53 78,46 0,324 f8 22,66 77,33 0,205 f12 12,75 87,24 1,018

Table 5.16 – Mesures de performance pour les différents descripteurs de texture

Modèle Paramètres Tc (%) Fm K Et(%) S CFS f2f3f5f6 82,32 0,816 0,806 17,67 0,0960 MIFS f4f6f9f12 83,65 0,821 0,832 16,35 0,140 Fisher f2f6f7f8 68,12 0,690 0,653 31,87 0,118 ReliefF f2f4f6f7f8 84,35 0,846 0,830 15,64 0,217 AG f1f2f3f5f8f11 90,51 0,901 0,896 9,48 0,304 PCFS f1f2f3f5f8f11 90,51 0,901 0,896 9,48 0,304 PaCFS f1f3f5f8f9f11 92,56 0,922 0,913 7,44 0,005

Table 5.17 – Tableau récapitulatif des performances de classification des différents algorithmes de sélec- tion

Tc(%) Fm K Et

k-ppv 88,76 0,871 0,876 11,24

Table 5.18 – Performances de classification par les k plus proches voisins

5.4

Classification de texture

Dans cette section, nous allons aborder la tâche de la classification en étudiant les différentes ap- proches de classification introduites dans la section 4.2 à savoir les k plus proches voisins, les arbres de décision (C4.5), les réseaux bayesiens et les machines à vecteurs de support. Chaque classifieur sera étudié à part puis nous allons faire une comparaison entre les quatres classifieurs avec leurs meilleurs performances.

Le modèle de texture sélectionné d’après l’analyse ci-dessus (modèle PaCFS après élimination de redondances) sera utilisé pour la classification des textures. Le modèle de classification qui fournit de meilleurs performances sera utilisé par la suite pour classifier d’autres bases de textures.

5.4.1 k-plus proches voisins

Comme nous l’avons introduit dans la section 4.2.1, le classifieurk plus proche voisins dépend du

choix du paramètrek ainsi que la distance utilisée pour l’affectation de nouveaux individus. dans cette

section, nous allons étudier le comportement de la classification par k-ppv pour différentes valeurs dek

et suivant deux distances : euclidienne et HEOM. Pour l’évaluation de la classification, nous utiliserons la validation croisée à dix blocs.

La figure 5.18(a)(a) trace le taux de classification du k-ppv pour différentes valeurs dek ainsi que le

temps CPU correspondant (cf. figure 5.18(a)(b)).

Nous remarquons d’après les figures que les deux distances ont un comportement similaire pour la classification et le temps CPU. Néanmoins, la distance euclidienne est performante que la distance HEOM puisque le temps CPU de classification correspondant est toujours inférieur à celui de HEOM pour les différentes valeurs dek ainsi qu’une courbe de taux de classification est toujours au dessus. Le

meilleur taux de classification(88, 76%) est obtenu pour k = 1 avec un temps d’exécution de 3,578 s.

Le tableau 5.18 donne quelques mesures de performance de classification du k-ppv pourk = 1 et une

(a) Taux de classification par k-ppv pour différents k

Figure 5.18 – Arbre de décision obtenu par C4.5

Tc(%) Fm K Et

C4.5 81,50 0,798 0,797 18,41

Table 5.19 – Performances de classification par l’arbre de décision C4.5

5.4.2 Arbres de décision

L’algorithme arbre de décision C4.5 présenté dans la section 4.2 ne nécessite aucun réglage de para- mètres. L’entrée du classifieur est l’ensemble des descripteurs de texture avec les classes d’étiquettes. En sortie, le classifieur construit un arbre qui n’est autre qu’une succession de règles de décision sur l’en- semble des paramètres ayant pour feuilles les différentes classes d’étiquettes. L’arbre de décision que nous avons obtenu pour la base Brodatz1 et avec le modèle PaCFS réduit est donné dans la figure 5.183. Il est constitué de 179 nœuds dont 90 sont des feuilles. Le temps CPU moyen pour la construction de l’arbre est de 130 millisecondes. Les nœuds en ellipse représentent les différents descripteurs sur les- quels différentes règles de décision sont exécutées et les nœuds rectangulaires correspondent aux classes d’appartenance.

Les différentes mesures de performance de la classification par l’algorithme C4.5 sont données dans le tableau 5.19. Le taux de classification atteint 81,50 % avec une erreur moyenne de 18,41 %.

5.4.3 Réseaux bayesiens

Dans cette partie, nous allons faire une comparaison entre le Bayes naïf, qui est la structure la plus simple des réseaux bayesiens, et le classifieur hybride arbre-NB introduits dans la section 4.2. Le seul in- convénient du Bayes naïf est qu’il suppose l’indépendance conditionnelle entre les différents paramètres.

Figure 5.19 – Zoom sur la partie droite de l’arbre de décision obtenue par C4.5

Tc (%) Fm K Et

NB 50,77 0,435 0,464 49,22

arbre-NB 79,95 0,777 0,780 20,04

Table 5.20 – Performances de classification par les réseaux bayesiens: NB et arbre-NB

Cette propriété peut être négligée dans le cas où le nombre de données est faible. Cependant, dans un cadre plus large, il faut tenir en compte l’éventuelle dépendance entre paramètres. La structure du réseau bayesien arbre-NB en est une des solutions alternatives qui vérifient cette indépendance sur les feuilles grâce à la décomposition obtenue par l’arbre de décision appliqué sur les nœuds.

Le tableau 5.20 donne les différentes mesures de performance de la classification par le Bayes naïf et l’arbre-NB. Nous constatons une amélioration des résultats de classification par l’arbre-NB comparés à ceux obtenus avec le Bayes naïf.

La figure 5.204 montre la structure obtenue en appliquant l’algorithme de l’arbre-NB sur les diffé- rents attributs de texture. Les nœuds en ellipse représentent les différents descripteurs sur lesquels dif- férentes règles de décision sont exécutées (arbre de décision) et les nœuds rectangulaires correspondent aux feuilles qui représentent ici la structure Bayes naïf.

Le tableau 5.21 dresse une comparaison entre le classifieur C4.5 et l’arbre-NB en terme de tailles (nombre de nœuds) et le temps CPU pour la construction. Nous constatons que l’arbre-NB réduit consi- dérablement la taille de l’arbre avec un coût supérieur de construction comparé à l’algorithme C4.5. Pourtant, les performances du arbre-NB et le Bayes naïf restent moins bonne comparées à celles trou- vées par les k plus proches voisins et l’arbre de décision C4.5.

Figure 5.20 – Structure obtenue par l’arbre-NB

Figure 5.21 – Zoom sur la partie droite de l’arbre de décision obtenue par l’arbre-NB Classifieur nombre de nœuds nombre de feuilles temps CPU (s)

C4.5 179 90 0,19

arbre-NB 87 44 4,3

Noyau Linéaire Polynomial Gaussien Sigmoïdal Paramètres C = 214 C = 215, d = 3 C = 213, γ = 1 C = 2−1, γ = 2−3 Tc 75,43 87,71 93,32 13,28 Fm 0,764 0,873 0,931 0,233 K 0,733 0,866 0,927 0,065 Et 24,57 12,28 6,67 86,71

Table 5.22 – Performances de classification pour les quatre noyaux SVM avec leurs meilleurs paramètres

5.4.4 Machines à vecteurs de support

Les machines à vecteurs de support sont parmi les classifieurs qui ont montré une grande robustesse et performance. La plus grande difficulté à mettre en œuvre cette approche est le choix du noyau appro- prié à l’application ainsi que les paramètres associés tels que : le paramètreC, γ et d. D’une manière

générale, les données ne sont pas toujours linéairement séparables, ce qui impose de tester les différents noyaux d’une manière empirique. Dans ce travail, nous comparons les quatre noyaux implémentés dans le logiciel libSVM [34], à savoir le noyau linéaire, polynomial, gaussien et le noyau sigmoïdal.

Pour choisir les paramètresC, γ et d donnant les meilleurs performances, nous avons effectué une

recherche par validation croisée en mettant en place pour chaque noyau une grille de couples(C, γ) pour

les noyaux gaussien et sigmoïdal et une grille de couples (C, d) pour le noyau polynomial. A chaque

itération de la grille, on calcule le taux de classification correspondant au couple (C, γ) et (C, d). Le

couple qui donne le meilleur taux de classification pour le noyau correspondant définira les paramètres du noyau SVM. Pour effectuer cette recherche, nous avons fixé les intervalles de valeurs pour chaque paramètre. Nous avons considéré l’intervalle[2−15, 23] pour γ, l’intervalle [3, 10] pour d et pour C l’in-

tervalle[2−5, 215].

Les différentes mesures de performance de la classification associées aux meilleurs paramètres don- nant des taux de classification importants sont présentés dans le tableau 5.22. Une première constatation de ce tableau est que le noyau sigmoïdal donne de mauvaises performances par rapport aux autres noyaux. Le meilleur taux de classification est obtenu pour le noyau gaussien avecC = 213_{etγ = 1. Ce taux de}

93,32 % est supérieur de celui trouvé parC = 106_{etγ = 0, 75 (92,56%, cf. tableau 5.17).}