Plusieurs comparaisons entre les diff´erentes m´ethodes de s´election, qui existent dans la litt´erature, ont ´et´e effectu´ees. Un r´ecapitulatif des m´ethodes les plus populaires est pr´esent´e dans (Kudo and Sklansky, 2000). Dans cette section, une ´evaluation de deux m´ethodes de s´election assez connues et tr`es utilis´ees est pr´esent´ee. Ces deux m´ethodes sont l’ACP comme technique filtre et la s´election bas´ee sur les Algorithmes G´en´etiques (AGs) comme technique enveloppante.
2.3.1 L’Analyse en Composantes Principales
L’analyse en composantes principales (ACP) est sans doute celle la plus connue et la plus utilis´ee dans le domaine de l’analyse de donn´ees. Introduite par les travaux de Hotel-ling et Lo`eve (Hotelling, 1933), (Lo`eve, 1948), l’ACP est une m´ethode factorielle d’analyse de donn´ees multi-dimensionnelles. Elle d´etermine une d´ecomposition d’un vecteur d’attri-but en composantes d´ecorr´el´ees et orthogonales tout en ajustant au mieux sa distribution. Les composantes ´enum´er´ees sont dites principales et sont ordonn´ees par ordre d´ecroissant selon leur degr´e d’ajustement. Ces nouvelles variables (les composantes principales, qu’on note en ce qui suit CPs) sont en fait des combinaisons lin´eaires des attributs de d´epart. Elles correspondent essentiellement aux directions de la plus grande variance (figure 2.1). L’ACP a ´et´e expos´ee en d´etails dans plusieurs travaux, nous en rappelons ici les points fondamentaux.
Soit NIm le nombre d’images d’apprentissage, chaque image est repr´esent´ee par une caract´eristique x de dimension d, dans un espace d’attributs F =Rd. Le nuage correspon-dant des NImpoints, dits aussi individus ou observations, est not´e par X = [x1,x2,...,xNIm]. L’objectif de l’ACP est de d´eterminer la base orthogonale ajustant au mieux ce nuage de points selon un crit`ere g´eom´etrique. Elle d´etermine pour cela les directions successives de variance maximale qui correspondent ´egalement `a cet optimum (voir figure 2.1, o`u la premi`ere composante correspond `a la droite d’allongement maximum b1). L’ordre fourni sur les CPs obtenues est utile d’une part `a la caract´erisation et menant d’autre part `a une approximation modale permettant une repr´esentation compacte de la distribution des observations. L’ACP caract´erise ainsi la variabilit´e inh´erente des attributs d’appren-tissage en r´ev´elant leurs d´eformations principales relativement `a une forme de r´ef´erence,
2.3. TRAVAUX CONNEXES classiquement, la forme moyenne. Par ailleurs, l’ACP est une m´ethode de second ordre car elle se base uniquement sur l’´etude de la matrice de covariance des attributs.
Soient ¯X la caract´eristique moyenne des NIm images d’apprentissage, et C la matrice de covariance, donn´ees par:
¯ X = 1 NIm NIm X j=1 xj, (2.1) C = 1 NIm NIm X j=1 dxjdtxj, avec dxj = xj − ¯X, j = [1,2,...,NIm]. (2.2) La diagonalisation de la matrice de covariance C produit la base modale Ψ:
C = ΨΛΨ, o`u Λ = diag(λ1,λ2,...,λd), avec λ1 ≥ λ2 ≥ ... ≥ λd. (2.3) Les composantes principales s´electionn´ees sont en fait les p premiers vecteurs propres λi, i = [1,2,...,p], avec p < d. Une approximation modale peut ˆetre r´ealis´ee en conservant uniquement les p premieres composantes. Une forme approch´ee s’´ecrit alors:
X = ¯X + Ψpbp, avec bp = Ψtp(X − ¯X), (2.4) o`u Ψp est une sous-matrice de Ψ contenant les p premiers vecteurs propres de C et d´efinissant la base d’approximation modale. Le vecteur des amplitudes modales de d´ eforma-tions B = (b1,b2,...,bp)t repr´esente une forme dans l’espace p-dimensionnel d´efini par les composantes principales retenues. Il fournit une repr´esentation compacte de la distribu-tion initiale des observadistribu-tions (p < d voire p d). La qualit´e de la repr´esentation obtenue sur la base tronqu´ee peut ˆetre ´evalu´ee par le pourcentage de variance relatif aux p premiers modes, c’est-`a-dire par le pourcentage d’inertie total τ correspondant:
τ = Pp i=1λi λT × 100, o`u λT = d X i=1 λi. (2.5) La figure 2.1 pr´esente le principe g´eom´etrique de l’ACP.
Fig. 2.1 – Les deux premi`eres directions principales (b1 et b2) d’un nuage de NIm obser-vations dans Rd.
2.3.2 La s´election bas´ee sur les Algorithmes G´en´etiques
Les algorithmes g´en´etiques (AGs), ont ´et´e d´evelopp´es dans les ann´ees 1970, comme une m´ethode d’optimisation efficace. Il existe un grand nombre de vari´et´es d’AG, mais les principes de base restent inchang´es. Dans un AG (Kudo and Sklansky, 2000), on a une population de base qui est souvent compos´ee de chaˆınes de caract`eres correspondant chacune `a un chromosome. Souvent chaque chromosome est une chaˆıne binaire de taille n. Les m´ecanismes d’un AG de base sont assez simples (Goldberg, 1991), il s’agit de faire des copies de chaˆınes et des ´echanges de morceaux de chaˆınes. Essentiellement, un AG est compos´e de trois op´erateurs g´en´etiques: la s´election, le croisement et la mutation. La s´election correspond `a la copie de chaque chaˆıne en fonction des valeurs d’une fonction de s´electivit´e `a optimiser. Apr`es la s´election, le croisement est appliqu´e. Il correspond `a un croisement des diff´erentes chaˆınes tir´ees lors de la s´election. Le croisement se fait en deux ´etapes. Initialement, les nouveaux ´el´ements s´electionn´es sont appari´es au hasard, puis chaque paire de chaˆınes subit un croisement. C’est-`a-dire que l’on ´echange al´eatoirement k ´
el´ements entre les diff´erentes paires de chaˆınes. Pour finir la derni`ere ´etape est la mutation. Elle permet de modifier al´eatoirement un ´el´ement de chaˆıne. C’est une modification qui n’apparaˆıt qu’occasionnellement. Ces ´etapes sont effectu´ees jusqu’`a ce que l’on obtienne des r´esultats qui n’´evoluent plus, (Rebaine, 2005). La figure 2.2 pr´esente les diff´erentes ´
etapes d’un AG.
Population de base Satisfaction du Oui Non Croisement Mutation
Évaluation par la fonction
Sélection de sélectivité
critère d’arrêt
Résultats
Fig. 2.2 – Diagramme standard d’un algorithme g´en´etique.
En outre, l’AG est un algorithme efficace pour trouver des solutions optimales dans les probl`emes d’optimisation. Plusieurs ´etudes ont ´et´e faites sur l’utilisation des AGs pour la s´election des caract´eristiques (Vriesenga, 1995), (Siedlecki and Sklansky, 1989). Dans ce contexte, nous pr´esentons bri`evement la s´election bas´ee sur les AGs.
2.4. LA S ´ELECTION ADAPTATIVE DES CARACT ´ERISTIQUES