Résultats de l’expérience 2

Tout d’abord, rappelons que le nouveau protocole employé pour cette expérience avait pour objectif d’améliorer la généralisation des résultats de classification au regard de l’expérience 1. Pour cela nous voulions homogénéiser les données entre les différents jeux, et réduire les facteurs de variabilité des mesures. La manipulation des échantillons entre l’acquisition des bases de données Da et Dt était l’un des facteurs envisagés pour expliquer la différence de taux entre validation et test. Pour cette raison, l’expérience a été réalisée en plaçant les 10 échantillons sur un support unique évitant toute manipulation durant l’expérience. Le deuxième facteur susceptible d’expliquer une telle diminution du taux de classification entre validation et test serait la variation des textures et de l’enrobage à mesure du déroulement de l’expérience (usure, environnement de mesure). Pour intégrer ces variations dans l’entrainement de l’algorithme de classification et former des jeux de données homogènes, les jeux d’apprentissage, de validation et de test sont constitués en piochant aléatoirement et sans remise parmi l’ensemble des données acquises.

a) Classification des 5 caractéristiques

Lors de l’extraction des caractéristiques, nous avons pu constater que celles-ci présentaient des valeurs très différentes entre l’expérience 1 et l’expérience 2. De plus, nous avons observé, pour les caractéristiques de l’expérience 2, un fort taux de recouvrement entre les classes (variance intra-classe élevée et distance inter-classe faible). Voici les résultats de classification par les 5 caractéristiques unidimensionnelles pour cette expérience.

i.

Les résultats de l’étude des caractéristiques selon l’algorithme de pertinence sont présentés dans le Tableau 3.9. L’ordre des caractéristiques suivant leur pertinence décroissante est différent de celui trouvé lors de l’expérience 1. Ici l’ordre est: VUx, kSx, µU, mSx, KUx. Contrairement à l’expérience 1, ici la variance apporte légèrement plus d’information que les autres caractéristiques. Dans cette expérience, les pics de stick-slip étant atténués par le filtre analogique antirepliement, le kurtosis n’apporte quand à lui aucune information (ηvalid=15%), ce qui était prévisible au vu de la caractéristique extraite Figure 3.11.b. Enfin, on peut voir que, les taux de validation des ensembles {VUx, µU}, {VUx, kSx} et {VUx, mSx} sont similaires, à l’erreur d’estimation près. µU, kSx et mSx apportent donc une quantité d’information sur la texture à peu près similaire. De plus, le taux de classification est croissant à mesure de leur association, ce qui signifie que chacune d’elle apporte une information à priori pertinente et complémentaire.

Caractéristiques q : VUx kSx µU mSx KUx {} U q 38 ± 2% 33 ± 2% 30.3 ± 2% 21 ± 2% 15 ± 2% {VUx}U q 58 ± 3% 56 ± 3% 55 ± 3% 35 ± 2% {VUx, kSx} U q 64 ± 2% 63 ± 2% 55 ± 3% {VUx, kSx, µU } U q 69 ± 2% 63 ± 2% {VUx, kSx, µU, mSx} U q 69 ± 2%

Tableau 3.9: Taux de validation de la classification par minimum de distance euclidienne à la moyenne, selon l’ensemble des caractéristiques considérées.

Le Tableau 3.10 présente les taux de classification détaillés pour les ensembles {VUx, kSx, µU, mSx} et

{VUx, kSx, µU, mSx, KUx }.

Apprentissage Validation Test

{VUx, kSx, µU, mSx} 70.1 ± 0.8% 69 ± 2% 63 ± 5%

Espace des 5 caractéristiques 70.9 ± 0.8% 69 ± 2% 63 ± 5%

Tableau 3.10: Comparaison des taux de classification entre l'ensemble des 4 caractéristiques les plus pertinentes, et l'ensemble des 5 caractéristiques.

Tout d’abord, on peut noter que les taux de classification des deux ensembles sont identiques, ce qui confirme que le kurtosis n’apporte pas d’information supplémentaire aux autres caractéristiques. Par ailleurs, les jeux de données étant cette fois homogènes vis-à-vis de l’environnement de mesure, quelque soit l’ensemble de caractéristiques, on obtient des taux d’apprentissage, de validation et de test similaires. Pour cet algorithme de classification, pour ces échantillons, et dans ces conditions de mesure, le taux de classification généralisable à des données inconnues est donc de 60% à 70%. Or, ce taux de classification est du même ordre de grandeur que celui trouvé pour les données de test de l’expérience 1. Nous en concluons que la variabilité des caractéristiques n’a pas été apprise avec les données et l’algorithme utilisés. Enfin, pour l’expérience 2 nous avons évité toute manipulation des échantillons entre les explorations. Les résultats n’étant pas améliorés par cette procédure, nous en concluons que l’influence de la manipulation des échantillons sur les signaux est à première vue négligeable.

ii.

Etudions maintenant les résultats de la classification par réseau de neurones, présentés dans le Tableau 3.11. La classification est là aussi moins bonne que pour l’expérience 1. L’écart entre taux d’apprentissage et taux de validation, de l’ordre de 10% dès le premier neurone, est le signe d’un sur- apprentissage. Ce résultat est significatif d’un trop petit nombre d’exemples d’apprentissage. Enfin, les taux de classification des données de test restent autour de 60%, un taux très inférieur au taux de validation d’environ 80%. L’écart de classification entre validation et test signifie que le choix de l’initialisation qui maximise le taux de validation n’est pas généralisable au jeu de test. Cela suppose donc aussi une forte densité des minima locaux dans la fonction d’erreur.

N neurones 1 2 3 4 5 Apprentissage 65 ± 0.8% 79.9 ± 0.7% 85.4 ± 0.6% 89.8 ± 0.5% 91.2 ± 0.5%

Validation 55 ± 3% 71 ± 2% 79 ± 2% 78 ± 2% 78 ± 2% Test 51 ± 5% 62 ± 5% 65 ± 5% 62 ± 5% 56 ± 5%

Tableau 3.11: Taux de classification par réseau de neurone, en focntion du nombre de neurones dans la couche cachée.

Le taux de validation atteint un palier d’environ 80% pour une couche cachée de 3 neurones, ce qui permet d’atteindre un taux de test de 65%. Cette valeur est similaire à celle obtenue par la classification par minimum de distance euclidienne. Il y a donc peu de non linéarités qui soient modélisables par le réseau de neurones.

Comparé à l’expérience 1, nous avons vu que le pouvoir discriminant intra-classe de chaque caractéristique avait fortement diminuée pour l’expérience 2, notamment avec la diminution de la force normale et l’aléatoirisation de l’exploration des échantillons. Or les taux de classification par réseaux de neurones montrent ici que les caractéristiques extraites ne contiennent pas suffisamment d’information pour s’affranchir de la variation de la force normale et des conditions de mesure (usure, environnement). Ces résultats montrent alors un intérêt limité des réseaux de neurones sur les données de cette expérience, celui-ci ne permettant pas d’augmenter significativement le taux de classification sur les données de test ni par rapport à la classification par distance euclidienne, ni par rapport aux résultats de l’expérience 1. On peut cependant espérer une légère amélioration des résultats avec l’augmentation du nombre d’exemples d’apprentissage. Une autre piste pour améliorer la classification par réseau de neurones, serait d’introduire en entrée du réseau, des données relatives à l’usure de l’enrobage (épaisseur de l’enrobage, taille de la surface de contact) et à l’environnement de mesure (T,

H, Patm), ou de corriger les caractéristiques pour les rendre insensibles aux conditions expérimentales. b) Classification spectrale

Lors de l’expérience 1, le spectre centré permettait d’atteindre un taux de test de 82%. Les taux de classification obtenus ici sont bien inférieurs (voir Tableau 3.12). Cette diminution du taux de classification est là aussi attribuée à la diminution importante de force normale d’exploration entre les deux expériences, synonyme d’une diminution du rapport signal sur bruit. Cela semble affecter particulièrement le spectre, dont les formes caractéristiques peuvent alors être noyées dans les raies de résonnance du dispositif d’exploration.

L’utilisation des spectres dans l’algorithme de distance euclidienne montre cependant des taux de classification comparables à ceux obtenus pour le test avec la classification des 5 caractéristiques. Cela confirme qu’une grande partie des informations de textures est contenue dans les motifs du spectre. La classification des spectres est optimale lorsque ceux-ci sont centrés (~60%), ce qui confirme aussi l’importance de la pente du spectre dans la caractérisation des textures.

Classification par motifs du spectre Apprentissage Validation Test Spectre originaux 67.5 ± 0.8% 58 ± 2% 53 ± 5%

Spectre centré 71.9 ± 0.8% 60 ± 2% 61 ± 5% Spectre redressé 60.7 ± 0.8% 51 ± 3% 49 ± 5% Spectre centré redressé 65.1 ± 0.8% 48 ± 3% 52 ± 5%

Tableau 3.12: Classification par minimum de distance euclidienne au spectre moyen. c) Conclusion

Comme conclusion à l’analyse des résultats de l’expérience 2, le nouveau protocole de mesure semble avoir amélioré l’homogénéité des jeux de données, tel que le montre des taux de validation similaires à ceux de test. Cependant, ce protocole ne permet pas d’améliorer, comme espéré, les taux de classification en général. L’adaptation de la partie préhensible du doigt artificiel au nouveau support d’échantillon (cf 2.2.1) a engendré une forte diminution de la force normale à laquelle nous attribuons principalement la dégradation de la classification. Il faut toutefois noter que les taux de classification de l’ordre de 60-65%, bien qu’inférieur aux 80-90% de la première expérience, restent bien supérieurs à ceux d’une classification aléatoire.