Données simulées

Avant de présenter l’expérience réelle, nous décrivons la comparaison des quatre

al-gorithmes sur des données simulées. Le simulateur définit un robot immobile dans un

environnement 2D. Des objets lumineux ou sonores se déplacent et sont perçus par

dif-férents capteurs. Entre autres, le robot dispose de capteurs directionnels de lumière dont

la réponse décroît linéairement avec la distance de l’objet. Il possède aussi des capteurs

de proximétrie directionnelle à réponse binaire et de plusieurs microphones qui nécessitent

d’être associés entre eux pour estimer la position de la source. Nous avons ajoutés un

cap-teur de “température” qui évolue indépendamment des objets ; un capcap-teur de charge de

batterie décroissant avec le temps et des capteurs parasites totalement bruités. Tous les

capteurs sont artificiellement bruités. La figure 5.3 présente ce simulateur et un exemple

de relevés au cours du temps, lors du passage d’un objet.

Expériences et Résultats

Nous décrivons successivement huit expériences de complexité croissante et leurs

résul-tats pour étudier les méthodes de sélection. Nos critères de comparaison sont :

5.5 Sélection : Résultats 151

– les performances prédictives sur un jeu de données de test non utilisées pour

l’ap-prentissage,

– le temps de calcul sur un ordinateur standard,

– la pertinence des variables retenues (par exemple les micros pour une source sonore),

– le nombre de paramètres à fixer de l’algorithme de sélection.

Les résultats bruts sont présentés dans la table5.5.2. Trois critères numériques sont

repor-tés, le nombre de variables I, le taux de bonne prédiction Tx et le temps de calcul t en

secondes. Interprétons ces résultats.

Expérience E1

Expérience Capteurs : deux copies de l’angle C. Source lumineuse.

But : tester l’élimination de variables trivialement redondantes, car un seule variable

est suffisante.

Résultats Les algorithmes ont bien éliminé la variable redondante, sauf WrappGA et

FiltGAqui n’ont pas de préférence pour les petits I.

Expérience E2

Expérience Capteurs : un copie de C et 3 bruits. Source lumineuse.

But : tester l’élimination de variables indépendantes.

Résultats Même conclusion.

Expérience E3

Expérience Capteurs : 8 proximètres répartis autour du robot et 3 bruits. Source

lumi-neuse. But : déterminer si les algorithmes trouvent que les proximètres sont porteurs

de plus d’information sur C que le bruit.

Résultats Les algorithmes ont tous éliminé les bruits, sauf WrappGA. FiltCIF n’a pas

une bonne performance prédictive, car il lui est imposé de ne garder que 5 capteurs,

ce qui est insuffisant dans ce cas.

Expérience E4

Expérience Capteurs : 8 proximètres et leur copie. Source lumineuse.

But : étudier l’élimination de redondances lorsque qu’un seul capteur n’est pas

suffi-sant pour prédire C.

Résultats Nous notons d’abord que les performances sont meilleures avec un sous-ensemble

de variables : les variables redondantes peuvent dégrader l’efficacité du classificateur

naïf. Ce fait peut paraître surprenant mais il s’explique par deux raisons. D’abord,

comme la validation se fait sur un jeu de données différent de la sélection, il est

pos-sible que trop optimiser le choix des variables sur le premier jeu de données ne soit

pas la meilleure chose à faire (overfitting). Ensuite, en raison de la discrétisation des

variables (L= 10), le modèle capteur n’est pas parfaitement adapté aux données et

le classificateur n’est pas optimal. Concernant les différents algorithmes, nous

consta-tons queWrappGAa trouvé un sous-ensemble de 12 variables très performantes : les

8 proximètres et 4 de leur clone. Ainsi, utiliser deux fois certaines variables,

c’est-à-dire élever au carré leur contribution dans l’équation de prédiction, peut améliorer les

performances. Par exemple, considérons un ensemble de 3 variables avec une

redon-dance {X, Y, X}. La prédiction calculera [p(X|C)]

2

p(Y|C) qui est une distribution

différente dep(X|C)p(Y|C). En inspectant les ensembles sélectionnés dans cette

ex-périence, nous constatons en effet que ces 4 variables additionnelles correspondent à

la zone angulaire où nous avons la majorité des données.

Expérience E5

Expérience Capteurs : 8 proximètres et 8 photomètres placés aux mêmes endroits sur le

robot. Source lumineuse. But : étudier l’élimination de redondances plus fines. Il y

a ici deux fois l’information sous deux formes différentes, car C est prédictible par

proximétrie et par photométrie.

Résultats Dans cette expérience, le meilleur sous-ensemble trouvé par WrappGA et

Ex-haustif comprend tous les proximètres et la majorité de photomètres ; à l’exception

de ceux placés le plus loin de la source. Encore une fois, les meilleures performances

ne sont pas atteintes avec le jeu complet de capteurs. Les trois autres algorithmes,

n’ont retenu que 8 capteurs, des proximètres et des photomètres, de façon à

cou-vrir le champ angulaire le plus représenté dans les données d’apprentissage. Leur

performance finale est inférieure, mais leur temps de calcul est plus raisonnable.

Expérience E6

Expérience Capteurs : 8 proximètres, 8 photomètres, 2 micros, 3 bruits, 1 témoin de la

charge de la batterie et 1 capteur de température. Source lumineuse.

But : étudier les algorithmes dans un contexte plus réaliste, avec 23 capteurs.

Résultats Cette expérience avec J = 23 capteurs, pour laquelle la recherche exhaustive

n’est déjà plus réalisable, nous pousse aux mêmes conclusions. Le meilleur

sous-ensemble, trouvé parWrappGAetFiltCIF, comprend une combinaison de proximètres

et de photomètres. Les performances sont meilleures qu’avec tous les capteurs et

meilleures qu’avec un sous-ensemble plus petit (FiltGAetFiltFA). Le temps de calcul

deFiltCIF est le plus faible.

Expérience E7

Expérience Capteurs : deux micros formant un angle de 2π/3 et 3 bruits. Source sonore.

But : étudier la sélection lorsqu’une combinaison de capteurs est systématiquement

nécessaire.

Résultats Pour cette expérience, seuls les deux micros donnent de l’information sur C et

nous constatons que les algorithmes ont bien détecté cette dépendance. Notons que

5.5 Sélection : Résultats 153

fitness, il n’avait pas de raison de les supprimer. En revanche,FiltGA n’a pas trouvé

les deux micros.

Expérience E8

Expérience Capteurs : deux micros et 17 autres capteurs de toute sorte. Source : sonore.

But : étudier si la sélection saura retrouver les micros au milieu des 19 capteurs. De

plus, nous changeons la trajectoire de la source pour simuler celle de notre

expéri-mentation robotique : l’objet fait plusieurs allers-retours devant le robot.

Résultats E8 est similaire à E7, sauf que de nombreux autres capteurs rendent la

re-cherche plus difficile et nous constatons que WrappGA a conservé 6 capteurs, dont

4 proximètres corrélés avec C mais redondants. FiltGA a échoué, mais FiltFA s’est

encore bien comporté.FiltCIF a gardé de nombreux proximètres car I est une de ses

paramètres et est fixé à J/2.

Ainsi nous constatons que le wrapper avec une recherche génétique trouve de bons

sous-ensembles. Cependant, il a tendance à garder un peu trop de variables et surtout, il

est très lent. Le filtre à algorithme génétiques (FiltGA) est un peu plus rapide et mais ne

trouve que rarement les bonnes variables.FiltFA présente un bon compromis entre temps

de calcul, performances et nombre de variables conservées. FiltCIF est aussi intéressant,

mais son problème est que I est fixé à l’avance. Nous avons essayé d’imposer différentes

valeurs de I pour FiltCIF et dès que cette valeur est supérieure aux nombres de capteurs

suffisants, les performances de FiltCIF sont meilleures que celles deWrappGA et FiltFA.

De façon générale, nous devons noter qu’un sous-ensemble donne très souvent de meilleures

performances que le jeu complet de capteurs, en raison de la non optimalité du prédicteur.

De plus, même lorsque la recherche exhaustive est possible, il n’est pas garanti que le

meilleur sous-ensemble sur le jeu d’apprentissage soit aussi le meilleur pour le jeu de

don-nées de test. Dans certains cas, nous constatons une forme de sur-apprentissage. Pour

essayer de lutter contre ce problème, il serait intéressant de marginaliser sur tous les

sous-ensembles, mais cette intégration n’est pas réalisable en pratique.

Le tableau ci-dessous résume les points forts et points faibles des quatre algorithmes.

Dans le document Fondations, méthode et applications de l'apprentissage bayésien. (Page 161-164)