X c6=class(xi) ( p(c) 1 ` p(class(xi))) K X j=1 dif f (xi; di; missesj) m ˜ k
6: La distance utilisée est définie par :
dif f (xi; di; xj) = jxid–xjdj max(d)–min(d)
5.3 Las Vegas Wrapper LVW
LVW est une méthode de sélection de caractéristiques proposée en 1996 par Liu et Setiono [235]. Cette méthode consiste à générer aléatoirement et à chaque itération, un sous-ensemble de caractéristiques et à l’évaluer avec un classifieur.
Algorithm 12 pseudo code Las Vegas Wrapper (LVW)
1: Entrée : Une base d’apprentissage A, Une base de caractéristiques S, Nombre d’ité-rations T
2: Sorties : S : Ensemble sélectionné, Err = Classif ieur(A; S), k = 0, N = jSj
3: Répéter
- S1 = Générer Aléatoirement N1 = jS1j - Err1 = Classifieur(A; S1)
- Si (Err1< Err) ou (Err = Err1 et N1 < N) alors - k = 0 ; N = N1 ; S = S1 ; Err = Err1
- Fin Si - k = k + 1
4: Jusqu’à k = T
5: Retourner S
Après avoir évalué si sa performance est meilleure que celle réalisée auparavant (au départ, l’ensemble de base est supposé comme le meilleur ensemble), ce sous-ensemble devient le meilleur sous-sous-ensemble courant. Ce processus est répété jusqu’à ce que T essais consécutifs soient infructueux pour l’amélioration. L’algorithme 12 résume le pseudo-code de cette méthode [236]. Cette méthode présente l’inconvénient de ne pas garantir l’optimalité de la solution finale ainsi qu’un temps de calcul très élevé.
5.4 La méthode de suppression récursive des paramètres par
RFE-SVM
L’algorithme RFE-SVM (Recursive Feature Elimination–Support Vector Machine) pro-posé par Guyon [237] renvoie un classement des caractéristiques d’un problème de clas-sification par l’apprentissage d’un SVM avec un noyau linéaire, et permet la suppression des paramètres avec le plus petit critère de classement.
CHAPITRE 1. LA MESURE D’IMPORTANCE DES FACTEURS QUI INFLUENT SUR LE CONTRÔLE DU KÉRATOCÔNE PAR LA FORÊT ALÉATOIRE
RFE-SVM est une méthode basée sur l’élimination backward et utilisant les SVM pour sélectionner un sous-ensemble d’attributs optimaux non redondants. Elle est fondée sur l’estimation de poids relatifs à l’optimisation d’un problème de discrimination linéaire, ce problème étant résolu à l’aide d’une machine à vecteurs de support (SVM). La procédure de sélection est décrémentale et élimine progressivement les attributs de faible poids. L’algorithme est décomposé en trois étapes :
Tant qu’il reste des attributs, – Apprentissage du classifieur SVM – Calcul des wj2
– Supprimer le (les) attribut(s) correspondant au(x) poids le(s) plus faible(s).
5.5 Mesure d’importance par permutation des Forêts Aléatoires
En plus de construire un ensemble de prédicteurs, l’algorithme des Random Forests-RI calcule une estimation de son erreur de généralisation : l’erreur Out-Of-Bag (OOB). "Out-Of-Bag" signifie ici "en dehors du bootstrap". Cette erreur était déjà calculée par l’algorithme du Bagging, d’où la présence du mot "Bag". Le procédé de calcul de cette erreur est le suivant :
À partir d’une base d’apprentissage A de m exemples, on tire des sous-bases bootstrap de m exemples avec remise. De ce fait, pour chaque échantillon bootstrap 63,2% des exemples sont uniques de A, le reste étant des doublons. Donc pour chaque sous base 1/3 des exemples de A ne sont pas sélectionnés et sont considérés comme OOB [51]. Ils serviront à :
1. L’évaluation interne de la forêt (estimation de l’erreur de classification en générali-sation de la forêt).
2. Estimer l’importance des variables pour la sélection de variables.
L’algorithme des forêts aléatoires propose également des critères permettant d’évaluer l’importance des covariables sur la prédiction de Y . Nous considérons ici la mesure d’im-portance par permutation due à Breiman [51]. Une variable Xj est considérée comme im-portante pour la prédiction de Y si en brisant le lien entre Xj et Y , l’erreur de prédiction augmente. Pour briser le lien entre Xj et Y , Breiman propose de permuter aléatoirement des valeurs de Xj.
Plus formellement, considérons une collection d’ensembles Out-Of-Bag (OOB) —Dnt = Dn=Dnt; t = 1; : : : ; Ntrees contenant les observations non retenues dans les échantillons bootstrap. Ces ensembles seront utilisés pour calculer l’erreur de chaque arbre h. A partir de ces ensembles, définissons les ensembles out-of-bag permutés —Dntj; t = 1; : : : ; Ntrees en permutant les valeurs de la j-ème variable des échantillons out of bag. La mesure d’importance par permutation est alors définie par :
I(Xj) = 1 Ntrees Ntrees X t=1 [R(ht; —Dtjn) ` R(ht; —Dnt)] (1.1)
Cette quantité est l’équivalent empirique de la mesure d’importance I(Xj) comme l’ont formulé Zeng et al. [238]
I(Xj) = E[(Y ` h(Xj)2] ` E[(Y ` h(X)2]
Avec : X(j) = (X1; : : : ; Xj0; : : : ; Xp) est un vecteur aléatoire tel que Xj0 est une réplication indépendante de Xj . La permutation de Xj dans la définition de I(Xj) revient donc à remplacer Xj par une variable indépendante et de même loi dans eq 1.1.
CHAPITRE 1. LA MESURE D’IMPORTANCE DES FACTEURS QUI INFLUENT SUR LE CONTRÔLE DU KÉRATOCÔNE PAR LA FORÊT ALÉATOIRE
6 Étapes de classification
Pour tester la pertinence des variables sélectionnées par les différentes méthodes de sélection qui ont été exposées précédemment, nous utilisons le classifieur SVM ( les machines à vecteurs de supports) de la boite à outils LIBSVM [239] comme méthode d’apprentissage sur les sous-ensemble de variables sélectionnées afin de juger de leurs efficacités et valider leurs performances.
7 Expérimentations et résultats
Dans la pratique, il est très utile d’extraire des informations à partir des variables des données utilisées. Nous devons choisir les variables nécessaires pour expliquer les résul-tats de sortie.
Ces informations extraites peuvent être d’une grande aide dans l’interprétation des don-nées. Elles peuvent également être utilisées pour construire de meilleurs classifieurs : un classifieur construit en utilisant uniquement les variables utiles peut être plus puissant qu’un classifieur construit avec des variables supplémentaires bruyantes.
Dans ce travail, nous nous intéressons aux forêts aléatoires pour la sélection de variables. Très simple à mettre en œuvre où la sélection d’un sous-ensemble de variables explica-tives (d’importances) parmi un grand nombre, permet généralement de :
– Réduire beaucoup les temps de calcul : très fructueuse en grande dimension. – Obtenir une plus grande variété de modèles.
– L’aggrégation des valeurs ou classes prédites (vote majoritaire) par tous les modèles générés devrait alors donner un classifieur plus robuste et plus précis.
L’application de Random Forest requiert deux paramètres principaux : Le paramètre le plus important est le nombre m de variables sélectionnées aléatoirement à chaque nœud de l’arbre. Ce paramètre nommé mtry peut varier de 1 à "p" (observations). Ici, nous l’avons fixé àp(p ` 1) suivant le paramétrage de Breiman [51]. Nous pouvons également ajuster le nombre d’arbres de la forêt. Ce paramètre est appelé Ntrees et sa valeur finale est fixée par la construction incrémentale d’arbres jusqu’à ce que l’erreur soit minimale. Les résultats, comme on peut le voir dans la Figure 42, montrent qu’à 120 arbres l’erreur converge à 0,065 ce qui donne un taux de classification de 93.5%. Et au-delà de cette valeur, l’erreur reste à peu près constante.
Figure 42 – Performances de classification de la base de données par la forêt aléatoire en fonction du nombre d’arbres.
CHAPITRE 1. LA MESURE D’IMPORTANCE DES FACTEURS QUI INFLUENT SUR LE CONTRÔLE DU KÉRATOCÔNE PAR LA FORÊT ALÉATOIRE
7.1 Résultats
Les performances de la mesure d’importance des forêts aléatoires sont mises en évidence à travers une comparaison avec d’autres méthodes de sélection des 3 catégories : Filtre, enveloppe et embarqué de la littérature du domaine.
Dans le but d’évaluer la qualité du sous-ensemble de variables obtenues, un classifieur est formé de manière itérative sur les vingts caractéristiques les plus importantes. Nous évaluons ensuite la précision de l’ensemble de données de test avec un classifieur SV M (en utilisant le package LIBSVM [239]). Les paramètres du classifieur SVM que nous avons mis en exécution sont le noyau polynomiale du premier degré et un paramètre de régularisation.
La Figure 43 montre l’évolution de la précision en fonction des nombres de caractéristiques sélectionnées. Les résultats indiquent une amélioration importante générale de notre approche par rapport aux quatre autres approches. Comme on peut le constater dans la Figure en 43, La mesure d’importance des forêts aléatoires "RF : Random Forest" dépasse nettement les quatre autres méthodes par une marge remarquable. Sur la majeure partie des variables sélectionnées mRMR et LVW effectuent les pires performances.
Figure 43 – Courbes de performances en fonction du nombre de variables sélectionnées Pour plus d’exhaustivité, nous avons également calculé la précision moyenne pour les différents nombres de caractéristiques sélectionnées. Les précisions moyennes entre RF et les autres méthodes ainsi que les 20 premières caractéristiques sélectionnées par chacune sont décrites dans le tableau (Table 35).
Techniques mRMR ReliefF LVW SVM-RFE Random Forest
Performances 0.9334 0.9384 0.9354 0.9457 0.9521
Table 29 – Le taux de performance moyen sur les 20 variables les plus pertinentes
7.2 Discussion
Les performances moyennées sur les 20 variables les plus pertinentes après le proces-sus de sélection montrent clairement que la méthode mRMR donne en comparaison des autres approches un faible taux de classification (Table 29), cela est dû à son principe qui se base sur le calcul probabiliste de l’information mutuelle, sachant que la probabilité est un rapport de nombre de cas favorables sur le nombre de cas possibles ; mais dans
CHAPITRE 1. LA MESURE D’IMPORTANCE DES FACTEURS QUI INFLUENT SUR LE CONTRÔLE DU KÉRATOCÔNE PAR LA FORÊT ALÉATOIRE
le domaine médical la présence d’une caractéristique ne change pas pour chaque classe mais plutôt sa présence qui est évidente en portant sa propre valeur, alors que MI mesure seulement l’indépendance d’attributs par rapport à la classe.
La deuxième approche de type filtre, la méthode ReliefF, réalise une légère amélioration du taux de classification (Table 29), nous remarquons dans la Figue 42 qu’elle atteint des performances très intéressantes avec un nombre de variables inférieur à 10. Son point fort est son principe qui réside dans les différents traitements, comme le calcul des hits (les exemples de la même classe) et les misses (les exemples qui ont une étiquette différente) et la normalisation des valeurs de chaque caractéristique pour éviter la domi-nance entre les variables et par conséquent éviter d’éliminer les attributs à faibles valeurs. L’approche enveloppe (LVW : Las Vegas Wrapper) utilisée dans notre cas, donne des résultats d’ordre similaire aux approches filtres, malgré sa capacité d’évaluation d’un sous-ensemble de caractéristiques par la performance de classification de l’algorithme d’apprentissage. Il reste néanmoins sujet au sur-apprentissage même par l’application d’une validation croisée et son principe de recherche itératif ne permet pas de parcourir totalement l’espace de recherche.
L’algorithme de type embarqué RFE-SVM, donne des résultats très intéressants (Table 29), celui-ci exploite essentiellement la richesse du bagage théorique sur lequel sont ba-sées les machines à vecteurs de supports (SVM). Son principe de recherche locale permet d’améliorer de façon itérative, la solution existante en explorant le voisinage de celle-ci. Cependant, cette technique permet la section par un choix localement optimal dans l’es-poir que ce choix mènera à une solution globalement optimale, ce qui rend l’algorithme complètement glouton.
Si nous comparons les deux approches embarquées, RFE-SVM et la mesure d’importance de la forêt aléatoire, nous remarquons des performances voisines dans la moyenne partie des variables sélectionnées (Figure 42), ce qui confirme la supériorité des méthodes de type embarqué sur les deux autres catégories.
La démarche de sélection des forêts aléatoires, concède d’une part de sélectionner une batterie de caractéristiques discriminantes et explicatives et d’autre part d’élaborer un modèle prédictif d’une situation donnée en ne faisant aucun a priori sur les variables en entrée. En effet la méthode Random Forest a l’avantage de donner à toutes les variables le même statut.
De ce fait, le principe de permutation aléatoire d’une variable étudiée, permet de hié-rarchiser les variables si la modification de sa valeur pour un individu donné entraine sa mauvaise classification. Cette méthode intégrée dans une approche d’ensemble de clas-sifieurs se distingue par ses performances ainsi que la qualité des variables sélectionnées (Table 30).
En effet, les variables sélectionnées (Table 30) par la mesure d’importance par permu-tation des forêts aléatoires regroupe les 8 variables utilisées par les experts ophtalmolo-giques dans leur routine clinique, à savoir : le cylindre kératométrique, la pachymétrie, le point le plus fin, le nombre de couleurs postérieur et antérieur, le BFS, OSI et la symétrie en rouge et celle en Bleu.
CHAPITRE 1. LA MESURE D’IMPORTANCE DES FACTEURS QUI INFLUENT SUR LE CONTRÔLE DU KÉRATOCÔNE PAR LA FORÊT ALÉATOIRE
mRMR ReliefF LVW SVM-RFE Random
Fo-rest Nbre de couleurs post 5mm Nbre de cou-leurs post 5mm Nbre de cou-leurs post 5mm Nbre de cou-leurs post 5mm Nbre de cou-leurs post 5mm Pts le plus fin
Pachy Pachy Symétrie en
bleu
OSI Tangentiel Sup
Pachy Pts le plus fin Age Nbre de
cou-leurs post 5mm
Œil G/D
Degré K1 Degré K1 Tangentiel
5mm D5 inf
Axial 3mm inf Sexe
Degré K2 OSI
Tangen-tiel Sup Tangentiel 5mm D5 sup Tangentiel 3mm D3 inf Symétrie en bleu
Sexe Sexe Tangentiel
5mm D5 inf Symétrie de l’image pts le plus fin centré Age Tangentiel 3mm D3 inf Tangentiel 3mm D3 sup Axial 5mm D5 inf Symétrie en Rouge Axial 3 mm D3 inf Axial 3 mm D3 inf Tangentiel 5mm D5 sup OSI Tangen-tiel Sup BFS Post Axial 3 mm D3 inf Degré K2 Tangentiel 5mm D5 inf Axial 3 mm D3 inf Symétrie de l’image
K1 Axial 5mm inf Tangentiel
5mm D5 inf
Sexe BFS Ant
Tangentiel D3 3mm inf
K1 Axial 5mm inf K1 Cylindre
kéra-tométrique Tangentiel D3 3mm inf Tangentiel 3mm D3 sup Tangentiel D3 3mm sup Axial 5 mm inf Nbre de cou-leurs ant 5mm OSI Tangen-tiel Sup Tangentiel D3 3mm inf Axial 5 mm D5 sup Tangentiel D3 3mm inf Tangentiel D3 3mm sup Axial 5 mm D5 inf Axial 3 mm D3 inf Axial 3 mm D3 sup Axial 3 mm D3 inf Axial 3 mm D3 sup Axial 3 mm D3 inf Age Tangentiel 5 mm D5 inf Axial 3 mm D3 sup Axial 5 mm D5 inf
Table 30 – Les 20 variables les plus pertinentes sélectionnées par les différentes tech-niques