l’apprentissage automatique
B. Comparaison des performances des s´ elections
Nous nous int´eressons maintenant aux performances compar´ees des ASA et de la trans-formation par PCA. Dans un premier temps nous ´evaluons ces performances en consid´erant les r´esultats de classification par κ-NN, GMM et SVM en moyenne, et en variant le nombre d’attributs s´electionn´es d, ensuite nous les ´etudierons en rapport avec chaque classificateur.
1) Performances relatives des s´elections
Nous observons, `a partir des r´esultats du tableau VI.3, que les meilleures performances moyennes sont obtenues avec les algorithmes Fisher et MUTINF. Un examen des crit`eres heuristiques r´ev`ele que ces deux algorithmes r´ealisent les valeurs de S les plus ´elev´ees, mais que les valeurs
VI-6. Comparaison du comportement des Algorithmes de S´election d’Attributs 101
d’entropie de repr´esentation sont les plus faibles. Ainsi, de meilleures performances moyennes sont obtenues en privil´egiant des attributs permettant une bonne s´eparabilit´e des classes, mˆeme si ceux-ci sont redondants entre eux. Nous verrons dans la suite que ce comportement varie en fonction des classificateurs.
Le tableau VI.4 donne les temps CPU relatifs au d´eroulement des diff´erents ASA. L’approche Fisher s’av`ere nettement avantageuse car elle r´ealise un excellent compromis performances-complexit´e. Soulignons que l’algorithme SVM-RFE pr´esente une complexit´e largement sup´ e-rieure `a celles des autres approches alors mˆeme qu’il n’exploite qu’un sous-´echantillon des donn´ees d’apprentissage. De plus, sur les mˆemes sous-´echantillons, cette approche (la plus
´elabor´ee) ne fournit pas ici de meilleurs r´esultats que les approches les plus simples.
ASA Temps CPU
Fisher 4.4s
IRMFSP 6mn 27s MUTINF 9mn 51s SVM-RFE 5j 7h 31mn 30s
Tab. VI.4 Complexit´e des ASA. Les algorithmes sont impl´ement´es en Matlab (MUTINF et SVM-RFE sont disponibles dans la toolbox Spider [Spider, ] qui reprend une impl´ementation en C des SVM [LibSVM, ]). Les calculs ont ´et´e effectu´es sur des machines ayant 2.5GHz de CPU et 2Go de RAM.
“j” : jour, “h” : heure, “mn” : minute, “s” : seconde. Sous-´echantillon 8×5000 (RN) pour SVM-RFE, et
´
echantillon complet pour les autres ASA.
Enfin, il est int´eressant de noter que, de fa¸con g´en´erale, de meilleurs r´esultats sont obtenus avec un ASA plutˆot qu’avec une transformation par PCA. Comme nous l’avons signal´e, la PCA exprime les attributs dans une base efficace pour la repr´esentation des donn´ees et non pour la s´eparabilit´e des donn´ees de classes diff´erentes.
2) Performances en relation avec la dimension cible
De nombreuses exp´eriences pr´eliminaires ont ´et´e men´ees pour d´eterminer un choix convenable de d. Nous avons observ´e que des am´eliorations significatives, en termes de taux de reconnais-sance, sont obtenues en augmentant la valeur de d `a partir de 20. Au del`a de 40, le gain en performances devient peu significatif par rapport `a la complexit´e. Nous retenons donc les valeurs d= 20 etd= 40 comme valeurs extrˆemales. Il est ´evident qu’un r´eglage plus fin peut s’av´erer
102 VI. S´election automatique des attributs
utile pour r´ealiser un bon compromis performances/complexit´e.
Nous donnons dans le tableau VI.5 les performances obtenues pourd= 20 attributs s´ election-n´es en comparaison avec celles correspondant aux s´elections pr´ec´edentes de d = 40 attributs (`a partir de 162), toujours en moyenne sur les 3 classificateurs κ-NN, GMM et SVM avec les mˆemes r´eglages.
Nous observons d’abord une d´egradation g´en´erale des performances avec tous les ASA. Cela traduit le fait que le choixd=40 est un choix plus convenable pour notre sch´ema de classification.
Au-del`a de ce fait, nous remarquons, pour l’approche MUTINF une d´egradation beaucoup plus nette des r´esultats (8% de baisse pour MUTINF contre moins de 2% de baisse en moyenne pour Fisher, IRMFSP et SVM-RFE). MUTINF s’av`ere beaucoup moins efficace pour une s´election avec un plus petit rapport Dd. Les 20 attributs class´es en premier par MUTINF sont donc moins performants que ceux class´es par les autres m´ethodes.
Au contraire, SVM-RFE exhibe la moins forte baisse de performances : en r´eduisant le nombre d’attributs s´electionn´es de moiti´e, le taux de reconnaissance moyen chute de seulement 0.6%.
d=40 d=20
Tab. VI.5 Taux de reconnaissance moyens (κ-NN,GMM et SVM) relatifs aux diff´erentes s´elections pourd=20. Normalisation µσ; sous-´echantillon 8×5000 (RN) pour SVM-RFE, et ´echantillon complet
pour les autres ASA.
3) Performances en relation avec les classificateurs
Le tableau VI.6 pr´esente les r´esultats de classification obtenus pour chaque ASA (avecd=40), classificateur par classificateur.
D’abord, nous remarquons la sup´eriorit´e du classificateur SVM ind´ependamment de l’ASA utilis´e, ainsi que des performances optimales assez proches avec les κ-NN et les GMM (respec-tivement 63.5% et 63.2% en utilisant MUTINF).
Ensuite, nous notons clairement la mise en valeur des s´elections IRMFSP et SVM-RFE par
VI-6. Comparaison du comportement des Algorithmes de S´election d’Attributs 103 Classificateur κ-NN (κ=489) GMM (M=8) SVM (lin)
PCA ∞, mn-mx QV, mn-mx QV, mn-mx
Tab. VI.6 Performances des diff´erentes s´elections en relation avec les classificateurs en utilisant la normalisation et l’´echantillon donnant les meilleures performances (indiqu´es dans la premi`ere ligne de
chaque cellule) etd=40. En gras : meilleur classificateur pour chaque ASA.
la classification SVM. En effet, les meilleurs r´esultats de classification sont obtenus avec l’ASA IRMFSP (69.2%) suivi par les ASA Fisher (68.8%) et SVM-RFE (67.4%) en association avec les SVM. En revanche, associ´ees `a la classification par GMM, les approches IRMFSP et SVM-RFE donnent les r´esultats les moins satisfaisants, alors qu’elles sont des plus performantes dans un sch´ema de classification par SVM. Nous mettons ici en ´evidence un lien entre la m´ethode de s´election et le classificateur utilis´e.
En examinant les crit`eres heuristiques (cf.derni`eres colonnes du tableau VI.7), on peut r´ealiser que IRMFSP et SVM-RFE pr´esentent les valeurs d’entropie de repr´esentation H parmi les plus
´elev´ees (significatives, nous le rappelons, d’un sous-ensemble d’attributs moins redondant). L’ap-proche IRMFSP produit une s´election d’attributs pr´esentant une mˆeme valeur de s´eparabilit´e S que l’approche Fisher (S=0.045) mais la premi`ere r´ealise une valeur deH plus grande (grˆace
`
a la phase d’orthogonalisation intervenant dans l’algorithme). Il en est de mˆeme pour les ASA MUTINF et SVM-RFE : SVM-RFE r´ealise un meilleur compromis s´eparabilit´e-entropie. La classification par SVM semble la mieux `a mˆeme d’exploiter un tel compromis, si bien que les approches IRMFSP et SVM-RFE se retrouvent dans le “trio de tˆete” (avec l’approche Fisher) dans un sch´ema de classification par SVM.
104 VI. S´election automatique des attributs
VI-7. Variations sur les Algorithmes de S´ election des Attributs
A. Un nouvel algorithme de s´election : Fisher-based Selection of Feature