Chapitre 2: Etat de l'art
2.2 Les méthodes séquentielles
Chapitre 2: Etat de l'art
2.1 Introduction
La sélection d'attributs est un domaine de recherche actif depuis des décennies [38], qui a fait ses preuves dans la théorie et la pratique. Dans le contexte de la classification, l'objectif principal de la sélection des attributs est de déterminer le sous-ensemble d'attributs de taille minimale tel que la précision de la classification ne diminue pas de façon significative. Contrairement à d'autres procédés de réduction de la dimension comme l'extraction des attributs [39], les méthodes de sélection des attributs ne modifient pas la représentation originale des attributs. Ainsi, elles conservent la sémantique initiale des attributs. La recherche de cette statistique en envisageant tous les sous-ensembles possibles, recherche exhaustive, est la solution optimale de ce problème mais elle est très coûteuse en temps dès que le nombre d'attributs est important. On cherche ainsi la méthode sous optimale la plus efficace et dont le résultat est proche du résultat optimal.
Dans ce chapitre, nous présentons plusieurs méthodes de sélection d'attributs de la littérature. Nous avons choisi de présenter des méthodes fondées sur les différentes techniques de recherche définies dans le chapitre précédent ainsi que différentes techniques d'évaluation. Tout d'abord, on présente les méthodes séquentielles (SFS, SBS, SFFS, SFBS, LRS, BDS). Puis on décrit les méthodes de sélection d'attributs suivants : Relief et son extension Relief-F, Branch and Bound (BB), Information Mutuelle avec regroupement, LASSO et Elastic Net. Ensuite on décrit les critères de sélection d'attributs suivants : Correlation based Feature Selector (CFS), le rapport des dispersions inter et intra classes BW et la distance Kullback-Leibler.
2.2 Les méthodes séquentielles
Les méthodes séquentielles sont basées sur une génération heuristique de sous-ensembles d'attributs.
Les méthodes séquentielles incluent les méthodes suivantes : · "Sequential Forward Selection" SFS
· "Sequential Backward Selection" SBS
29 · "Sequential Floating Backward Sequential" SFBS · "Plus-l Minus-r Selection" LRS
· Recherche bidirectionnelle BDS
Ces méthodes séquentielles sont sous optimales mais elles sont plus rapides que la recherche exhaustive.
2.2.1 La méthode "Sequential Forward Selection"(SFS)
Sequential Forward Selection (SFS) a été proposée par Marill et Green [40]. Le principe de cette méthode consiste à commencer par un sous-ensemble vide et à chaque itération on ajoute l'attribut qui maximise la valeur d'une fonction objectif J. Le processus continue jusqu'à que le critère J n'augmente plus. Algorithme 2.1 présente l'algorithme de cette méthode [41]. Mais cette méthode souffre de l'effet d'emboitement (nesting effect) c.-à-d. un attribut ajouté dans une étape donnée ne peut pas être enlevé lors de l'étape suivante; ceci conduit à une solution non optimale.
Algorithme 2.1
1. Commencer par un ensemble vide S0 = ∅; k = 0; 2. a+ = argmax
a+∉Sk
[J(a+)]
3. Tant que J(Sk∪ {a+}) > J(Sk)
a. Mettre à jour Sk+1 = Sk∪ {a+}; k = k + 1
b. Sélectionner le meilleur attribut parmi les attributs non inclus dans Sk : a+ = argmax
a+∉Sk
[J(Sk∪ {a+})]
30
2.2.2 La méthode "Sequential Backward Selection"(SBS)
Sequential Backward Selection (SBS) a été proposée par Whitney [42]. SBS fonctionne d'une manière opposée à SFS. On commence tout d'abord par un ensemble qui contient tous les attributs [41] et on enlève à chaque itération le plus mauvais attribut c.-à-d. celui dont l'exclusion maximise la valeur de la fonction objectif J. Le processus continue jusqu'à ce que J diminue. La principale limitation de SBS est son incapacité à réévaluer l'utilité d'un attribut après qu'il ait été écarté.
L'algorithme de SBS est représenté dans l'annexe A (Algorithme A.1).
2.2.3 La méthode "Sequential Floating Forward Selection"(SFFS)
Sequential Floating Forward Selection (SFFS) a été proposée par Pudil et al [12]. Cette méthode limite l'effet d'emboitement (nesting effect) [36] mais ne l'élimine pas totalement.
Cette méthode commence avec un ensemble vide, à chaque étape un sous-ensemble est généré en ajoutant un attribut a+ puis on cherche à éliminer l'attribut a- de Sk jusqu'à ce que J(Sk− {a−})
diminue [43]. Les itérations se poursuivent jusqu'à ce qu' aucun attribut ne puisse être ajouté et ne parvienne à augmenter J(Sk∪ {a+}).
L'algorithme de SFFS est le suivant (Algorithme 2.2) [44]:
Algorithme 2.2
1. Commencer par un ensemble vide S0 = ∅; k = 0; 2. a+ = argmax a+∉Sk [J(a+)] 3. Tant que J(Sk∪ {a+}) > 𝐽(Sk) a. Mettre à jour Sk+1 = Sk∪ {a+}; k =k+1 b. a− = argmax a−∈Sk [J(Sk− {a−})]
31 c. Tant que J(Sk− {a−}) > J(Sk) Mettre à jour Sk+1 = Sk− {a−} ; k = k+1; a− = argmax a−∈Sk [J(Sk− {a−})] d. a+ = argmax a+∉Sk [J(Sk∪ {a+})] 4. Fin
2.2.4 La méthode "Sequential Floating Backward Selection"(SFBS)
Cette méthode est une adaptation de SBS utilisant une stratégie similaire à SFFS. Elle commence avec un ensemble qui contient tous les attributs. A chaque étape un sous-ensemble est généré en rejetant un attribut a- puis en ajoutant les attributs a+ tant que J(Sk∪ {a+}) augmente [43]. Les itérations se poursuivent jusqu'à ce qu'on ne puisse plus enlever d'attributs parce que J(Sk− {a−}) n'augmente plus.
L'algorithme de SFBS est décrit en détail en annexe A (Algorithme A.2). 2.2.5 La méthode "plus L minus R selection "(LRS)
Cette méthode est une généralisation et une combinaison de deux méthodes SFS et SBS. LRS tente de compenser les faiblesses de SFS et de SBS avec un retour en arrière (backtracking) dans le processus de sélection des attributs [30] [45]. Dans cet algorithme, on utilise deux paramètres L et R, correspondant respectivement au nombre d'attributs à ajouter (L) et à enlever (R) à chaque itération du processus. Si L > R LRS commence par un ensemble vide d'attributs [41] [45] et ajoute répétitivement L attributs l'un après l'autre et supprime R attributs l'un après l'autre. Cette procédure (ajouter L attributs et supprimer R attributs) est répétée, par exemple, pour atteindre un nombre fixé m d'attributs sélectionnés. Si L < R alors LRS commence par un ensemble contenant tous les attributs et d'une manière répétitive, elle supprime R attributs l'un après l'autre et ajoute L
32
attributs l'un après l'autre. Cette procédure (supprimer R attributs et ajouter L attributs) est répétée, par exemple, pour atteindre un nombre fixe m d'attributs sélectionnés.
Son principal inconvénient est l'absence d'une théorie permettant de prévoir les valeurs optimales de L et R [41] et de choisir un critère d'arrêt complètement pertinent.
Algorithme 2.3 présente l'algorithme LRS pour le cas L > R. L'algorithme du cas L < R est décrit en annexe A (Algorithme A.3).
Algorithme 2.3
1. Si L > R
Commencer par un ensemble vide S0= ∅; k = 0; 2. Tant que |Sk| < 𝑚 Répéter L fois a+ = argmax a+∉Sk [J(Sk∪ {a+})] Sk+1 = Sk∪ {a+}; k = k + 1 Répéter R fois a− = argmax a−∈Sk [J(Sk− {a−})] Sk+1 = Sk− {a−}; k = k + 1
33 2.2.6 La méthode "Bidirectional search "(BDS)
BDS est une application conjointe de SFS et SBS [20] [30]. Pour assurer que SFS et SBS convergent vers la même solution, BDS respecte les deux conditions suivantes :
L'attribut déjà choisi par SFS ne doit pas être supprimé par SBS
L'attribut supprimé par SBS ne doit pas être sélectionné par SFS.
Si cette procédure se poursuit jusqu'à ce que l'ensemble avant et l'ensemble arrière soient égaux cet ensemble sera le résultat favorisé et BDS converge ainsi à p
2 attributs où p est le nombre total d'attributs.
Algorithme 2.4 présente l'algorithme BDS. Algorithme 2.4
1. Commencer l'algorithme SFS avec un ensemble vide SF0 = ∅.
2. Commencer l'algorithme SBS avec l'ensemble de tous les attributs SB0 = A 3. Tant que |SFk| <p
2
a. Sélectionner le meilleur attribut a+ = argmax
a+∉ SFk a+∈ SBk
[J(SFk∪ {a+})] ;
SFk+1 = SFk∪ {a+}
b. Enlever le plus mauvais attribut a− = argmax a−∈ SBk a−∉ SFk+1 [J(SBk− {a−})] SBk+1 = SBk− {a−} c. k = k + 1 4. Fin
34