Résultats de l’expérience 3

L’expérience 3 a pour but d’évaluer les performances de classification de textures du doigt artificiel avec le dispositif de précision, et de les comparer avec celles réalisées avec le dispositif table traçante. Ce dispositif est à priori moins bruité que la table traçante, et permet notamment de maîtriser la force normale appliquée. Il devrait donc permettre d’améliorer la qualité de la classification, si le doigt artificiel est suffisamment sensible au regard des surfaces analysées. Le dispositif de précision est plus délicat à manipuler, ce qui rallonge l’étape de d’exploration des textures et la constitution d’une base de données. Pour réaliser l’expérience sur une durée raisonnable (2 jours), nous avons réduit la base de données à 20 acq./classe. Rappelons que ces acquisitions ont été enregistrées selon deux méthodes d’exploration. Une exploration successive des échantillons, similaire à celle réalisé lors de l’expérience 1, a permis de former une première base de données Da de 5 acq./classe. Une exploration aléatoire des échantillons, similaire à celle réalisée lors de l’expérience 2, forme une seconde base de données Dt de 15 acq./ech. Mais à la différence de l’expérience 1, la force normale Fz a été réglée de façon à être identique pour tous les échantillons à 10 mN près.

Avec si peu de données d’apprentissage, il est exclu d’appliquer une classification par réseau de neurones. Ainsi, nous n’avons appliqué que l’algorithme de classification par distance euclidienne, au 5 caractéristiques et aux spectres. Les données sont par ailleurs mises à profit pour effectuer une comparaison de l’expérience 3 à chacune des deux premières expériences.

a) Expérience 3 v.s. expérience 1

Pour comparer les résultats de classification à l’expérience 1, nous utilisons Da pour une « 5-fold cross-validation » et Dt comme données de test.

L’évaluation de la pertinence des 5 caractéristiques, présentée dans le Tableau 3.13, montre des taux de classifications similaires à ceux de l’expérience 1. L’association des deux caractéristiques spectrales kSx et mSx permet d’atteindre le taux de validation maximum (ηvalid). Dans le cadre de cette expérience, la variance et le coefficient de friction n’apporteraient donc pas d’information supplémentaire pour la discrimination de textures. Comme prévu lors de l’extraction de paramètre, le kurtosis apparaît non seulement comme une caractéristique non-pertinente (ηvalid(KUx)=14%), mais cette caractéristique s’avère même gênante pour la classification.

Caractéristiques q : kSx mSx µU VUx KUx {} U q 68 ± 7% 50 ± 7% 42 ± 7% 48 ± 7% 14 ± 7% {kSx}U q 94 ± 3% 82 ± 6% 80 ± 6% 44 ± 7% {kSx, mSx} U q 94 ± 3% 86 ± 5% 62 ± 7% {kSx, mSx, µU} U q 92 ± 4% 64 ± 7% {kSx, mSx, µU, VUx} U q 70 ± 7%

Tableau 3.13: Pertinence des 5 caractéristiques unidimensionnelle, pour l’expérience 3.

Pour valider cette dernière hypothèse, le Tableau 3.14 présente les résultats de classification complets pour les deux ensembles de caractéristiques {kSx, mSx} et {kSx, mSx, µU, VUx}. L’ensemble {kSx, mSx}

permet effectivement d’atteindre des taux d’apprentissage et de test plus importants qu’avec d’autres caractéristiques. Comparés à l’expérience 1, les taux de classification sont légèrement meilleurs pour l’ensemble {kSx, mSx} (voir Tableau 3.5 p.114). Cela rend compte d’une légère amélioration du rapport

signal sur bruit, particulièrement pour les caractéristiques spectrales. Si l’on compare ces résultats à ceux de l’ensemble des 5 caractéristiques de l’expérience 1, on remarque qu’ils sont comparables indépendamment du dispositif d’exploration. On observe notamment, comme pour l’expérience 1, une grosse différence entre validation et test, ce qui montre que cette différence n’est pas propre au dispositif d’exploration mais au protocole de mesure.

Classification par distance euclidienne Apprentissage Validation Test

{kSx, mSx} 97 ± 2% 94 ± 3% 74 ± 4%

{kSx, mSx, µU, VUx} 94 ± 2% 92 ± 4% 71 ± 4% Tableau 3.14: Taux de classification par minimum de distance euclidienne au centre de gravité, selon deux ensembles de caractéristiques, pour l’expérience 3.

Le Tableau 3.15 présente les taux de classification par les motifs du spectre. On retrouve avec les spectres les taux de classification obtenus lors de l’expérience 1, avec des taux d’apprentissage et de validation de l’ordre de 90%, et des taux de test de l’ordre 70%. Le taux de classification maximal, pour la validation (94%) comme pour le test (77%), est obtenu avec le spectre centré. Les mêmes remarques que précédemment peuvent être faites sur l’importance des motifs et de la pente du spectre, au moins sur cette bande du spectre.

Classification par distance euclidienne Apprentissage Validation Test

Spectre originaux 97 ± 1% 90 ± 4% 70 ± 4%

Spectre centré 99.5 ± 0.5% 94 ± 3% 77 ± 3%

Spectre redressé 93 ± 2% 82 ± 6% 63 ± 4%

Spectre centré redressé 97 ± 1% 84 ± 4% 63 ± 4%

Tableau 3.15: Taux de classification par minimum de distance au spectre moyen, pour l’expérience 3. Globalement, les taux de classification sont similaires à ceux obtenus lors de la première expérience. Il faut cependant noter que le nombre d’exemples d’apprentissage est bien plus petits (5 exemples/classe contre 50 exemples/classe pour l’expérience 1). L’apprentissage et la validation ont des taux de classification très élevés par rapport à ceux de test. Comme pour les autres expériences, ces résultats soulèvent de nouveau le problème de reproductibilité lié à aux conditions expérimentales (usure et environnement de mesure).

b) Expérience 3 v.s. expérience 2

Pour comparer l’expérience 3 à l’expérience 2, nous utilisons les données de Dt, enregistrées lors d’une exploration aléatoire des échantillons. Le nombre d’exemples n’étant à notre avis pas suffisant pour former un jeu de test représentatif, les données sont entièrement utilisées pour une 5-fold cross- validation (voir partie 3.2.3, p.111). Contrairement aux réseaux de neurones, l’algorithme de classification par distance euclidienne ne fait pas usage de la validation pour un réglage quelconque. On peut donc considérer les résultats de la validation comme représentatifs d’une généralisation de ce classifieur à des exemples inconnus, rôle normalement joué par le jeu de test.

L’étude de pertinence des caractéristiques, présenté par le Tableau 3.16, montre une importance majeure du couple de caractéristiques {kSx, mSx}, avec une légère contribution de µU et VUx à une

amélioration de la classification. Le kurtosis reste une caractéristique gênante pour la classification. Pour information, les taux d’apprentissage correspondants sont similaires, à 2% près, à ceux de validation. Comparés à ceux de l’expérience 2, les résultats sont ici bien meilleurs pour les composantes kSx et mSx. Sur la première ligne du Tableau 3.16, nous pouvons cependant observer que les taux de validation avec les caractéristiques µU,VUx et KUx sont similaires à ceux de l’expérience 2. L’amélioration de la classification serait donc essentiellement apportée par l’amélioration du pouvoir discriminant des caractéristiques spectrales.

Caractéristiques q : kSx mSx µU VUx KUx {} U q 54 ± 4% 47 ± 4% 27 ± 4% 33 ± 4% 15 ± 3% {kSx}U q 77 ± 4% 65 ± 4% 70 ± 4% 47 ± 4% {kSx, mSx} U q 81 ± 3% 75 ± 4% 63 ± 4% {kSx, mSx, µU} U q 82 ± 3% 70 ± 4% {kSx, mSx, µU, VUx} U q 75 ± 4%

Voici maintenant les résultats de la classification par les spectres. Le résultat de classification optimale est obtenu pour le spectre centré, avec un taux de validation de 87%, ce qui est là aussi mieux que pour l’expérience 2 (pour le spectre centré, ηvalid=60%).

Classification par distance euclidienne Apprentissage Validation

Spectre originaux 82 ± 2% 79 ± 3%

Spectre centré 89 ± 1% 87 ± 3%

Spectre redressé 82 ± 2% 75 ± 3%

Spectre centré redressé 77 ± 2% 73 ± 4%

Tableau 3.17: Classification des spectres.

Les résultats de cette expérience sont globalement bien meilleurs que ceux obtenus lors de l’expérience 2. Cette amélioration peut être expliquée par une force normale plus importante pour l’expérience 3, et plus proche de celle de l’expérience 1. Les résultats de classifications de l’expérience 3 sont d’ailleurs assez proches de ceux de l’expérience 1. Enfin, pour les mêmes données, on observe ici un taux de validation supérieur au taux de test de la partie précédente. Ces résultats montrent que l’apprentissage sur des données aléatoires semble finalement améliorer légèrement la classification d’un jeu de données de même nature. Il faut cependant noter que la distance parcourue par le doigt artificiel et donc l’usure de l’enrobage sont moindres pour cette expérience que pour les expériences 1 et 2. Par conséquent, ces conclusions seraient à vérifier avec la constitution d’une base de données plus importante, afin de rendre compte d’une usure de l’enrobage comparable à celle subie lors des expériences précédentes.