(III.19)
pour chaque ωim ∈ T ∩ Ωm et les classes théoriques m représentant la tâche réalisée par le sujet. Les caractéristiques de A ainsi que W sont alors gardées en mémoire afin de passer à la phase de test.
5.2 Phase de test
La première étape consiste à appliquer le filtrage spatial linéaire W obtenu durant l’étape d’entraînement. La même étape de transformation en signaux temps-fréquence que pendant l’étape d’entraînement est appliquée. Ensuite les caractéristiques de chaque essai de l’ensemble E sont calculées selon l’équation III.19pour chacune des fenêtres tem-porelles utilisées dans la phase d’entraînement. A partir de l’évolution des caractéristiques temporelles pour chaque essai de la base de test χω(t), on applique A afin d’obtenir une estimation des trajectoires des probabilités de chaque classe pm(t). Pour chaque essai ω, on attribue la classe m définie par
b m = c(t) = arg max m arg max t pm(t) .
C’est-à-dire que l’on choisit la classe qui a atteint la maximum global des probabilités durant l’essai. Ces deux phases sont résumées sur la figure III.5.
5.3 Validation croisée
Afin de tester les performances des méthodes, on utilise tout d’abord la validation croisée. Pour ce faire, on considère les données session par session. Pour chaque session, on définit un ensemble d’entraînement au hasard, de cardinal M × Ts, contenant un nombre égal d’essais de chaque classe. On applique la phase d’entraînement puis la phase de test et on compte le nombre de fausses classifications. Cette procédure est répétée 20 fois (1 × 20 validations croisées pour lesquelles les données d’entraînement sont choisies indépendamment et de manière aléatoire) afin d’obtenir le taux moyen de classification pour chaque méthode. Dans l’étude qui suit, Ts varie par pas de 10 entre 10 et 60.
5.4 Transfert inter-session
L’évaluation des performances par cette méthode consiste à utiliser l’une des sessions réalisées par le sujet comme données d’entraînement et l’autre session constitue la base de
Phase d’entraˆınement Phase de test Filtre passe-bande 5-35 Hz Filtre passe-bande 5-35 Hz
Calcul des filtres spatiaux lin´eaires
Projection
lin´eaire Projectionlin´eaire
S´election des sources Extraction des
caract´eristiques caract´eristiquesExtraction des
Entraˆınement du classifieur Classification c(t) A W x(t) W x(t) ˆs(t) = WTx(t) ˆs(t) χ(t) x(t) ˆs(t) = WTx(t) χ(t) pm(t)
Figure III.5 Schéma bloc résumant les différentes phases de traitement dans les étapes
d’entraînement et de test.
données de test. On peut alors également définir le taux de bonnes classifications comme le nombre d’essais bien classés parmi les données de test par rapport au nombre total d’essais que contient la base de données de test.
6 Résultats
6.1 Validation croisée
6.1.1 Analyse de variance dans le cas Ts= 60
Afin de comparer les trois méthodes de filtrage spatial dans le cas de la validation croisée, nous considérons les performances obtenues avec chacune des trois méthodes dans le cas où la taille du jeu de données d’entraînement est maximum (Ts = 60 sur les 72 essais disponibles). L’application de la procédure décrite dans la section 5 pour chacun des sujets, chacune des sessions et chacune des trois méthodes de filtrage spatial consti-tue l’ensemble des données. L’analyse de variance (Everitt, 2005) nécessite tout d’abord d’identifier le type de chaque variable. Les données rentrent dans le cadre de la théorie sur les mesures répétées. Les variables Session (deux niveaux, session 1 ou session 2) et Méthode (trois niveaux, CSP, DCA ou DCA-MS) sont des facteurs intra-sujet. La conception de l’expérience implique aussi un facteur aléatoire Sujet (voir Baron et Li (2003) concernant la raison pour laquelle ce facteur doit être aléatoire). La variable dé-pendante Perf est définie comme le pourcentage de bonnes classifications moyen obtenu lors des 20 validations croisées. Letableau III.1rapporte les résultats détaillés de l’analyse de variance.
Celui-ci fait apparaître un effet principal du facteur Méthode (F (2; 16) = 5, 99, p = 0, 011), tandis qu’aucun effet principal de la variable Session ni de l’interaction Mé-thode × Session n’est observé. Ces résultats montrent qu’il n’y a pas de différences signi-ficatives entre les deux sessions d’un même sujet, par conséquent aucun effet d’entraînement
Deg. de liberté stat. F p-value
Session (1;8) 0,94 0,360
Méthode (2;16) 5,99 0,011
Méthode × Session (2;16) 1,16 0,339
Tableau III.1 Résumé de l’analyse de variance pour les performances en validation croisée.
L’influence de chacun des facteurs de la première colonne est évaluée en calculant la statistique
F de degrés de liberté indiqué dans la deuxième colonne. La troisième colonne indique lap -valeur correspondante. En est indiqué un effet significatif (p < 0.05).
n’est observé dans ces données. Il est important de noter que la variable Méthode × Ses-sion ne donne aucun effet significatif non plus. Cela montre que l’effet observé pour la variable Méthode est consistant entre les deux sessions.
Comme le résultat de l’effet de la variable Méthode montre qu’au moins une paire de méthodes est significativement différente, il reste à comparer les trois paires possibles (CSP vs DCA, CSP vs DCA-MS et DCA vs DCA-MS). Pour réaliser cette analyse post hoc1, nous calculons la p-valeur quantifiant la différence entre chaque paire et utilisons une fonction de contraste de Tukey pour corriger les p-valeurs en raison des comparaisons multiples. Les résultats de cette étape montrent une différence significative entre DCA-MS et CSP (t(17) = 2, 867, p = 0, 027) alors qu’aucune différence significative n’est observée entre DCA et CSP ou entre DCA-MS et DCA (p = 0, 120 et p = 0, 726 respectivement).
6.1.2 Résultats détaillés pour Ts= 60
Nous présentons dans le tableau III.2les performances en validation croisée obtenues par la meilleure des trois méthodes pour chaque sujet et chaque session. Ces performances représentent la moyenne des pourcentages de bonne classification pour les 20 répétitions. Seules les performances correspondant à une taille des données d’entraînement de Ts= 60 sont considérées.
Les performances sont très hétérogènes entre les sujets, allant de 48,1 % pour le sujet 6 lors de la première session à 87,5 % pour le sujet 3 lors de la seconde session. Notons enfin que les performances moyennes obtenues avec les trois méthodes sont de 68,7 % (σ = 13, 0) pour la méthode DCA, 65,9 % pour le CSP (σ = 9, 9) et 69,8 % pour DCA-MS (σ = 10, 6).
6.1.3 Influence de Ts
Au cours de cette étude, la variable Ts a pris toutes les valeurs des dizaines entre 10 et 60. Les résultats pour Ts = 60 ont déjà été largement explorés ci-dessus ; nous nous intéressons maintenant à l’influence de cette variable sur les performances en validation croisée. La figure III.6 montre l’évolution des performances de classification en fonction de la taille du jeu de données d’entraînement pour deux sujets (sujet 3 session 2 et sujet 7 session 2). Ces deux échantillons sont relativement représentatifs de l’ensemble des sujets. Cette figure montre d’une part que les différences entre les méthodes sont minimes pour certains d’entre eux (e.g. sujet 7) mais peuvent s’avérer plus importantes pour d’autres (e.g. sujet 3). D’autre part, La figure III.6 montre que le rang de chaque méthode est
Expression latine signifiant littéralement « après cela ». Dans l’expression romaine originelle post hoc, ergo
1
propter hoc (c’est arrivé après ceci, donc ceci en est la cause), les romains voulaient dénoncer la tendance de l’esprit humain à vouloir trouver des liens là où il n’en existe pas. En statistique, on parle d’une analyse post hoc lorsqu’on veut préciser, en utilisant des comparaisons paires par paires, une différence qui est apparue à l’aide d’une analyse de variance.
Performance [%] Meilleure méthode
Sujet 1Session 1 72,2 DCA
Session 2 77,2 DCA-MS
Sujet 2Session 1 62,7 CSP
Session 2 59,3 DCA
Sujet 3Session 1 85,4 DCA
Session 2 87,5 DCA
Sujet 4Session 1 76.0 DCA-MS
Session 2 70.5 DCA
Sujet 5Session 1 75.0 DCA-MS
Session 2 80,6 DCA-MS
Sujet 6Session 1 48,1 CSP
Session 2 55,3 DCA-MS
Sujet 7Session 1 58,1 DCA-MS
Session 2 55,7 DCA-MS
Sujet 8Session 1 81,7 DCA
Session 2 77,9 DCA-MS
Sujet 9Session 1 72,6 DCA
Session 2 79,1 DCA
Tableau III.2 Performances détaillées obtenues par la meilleure méthode (troisième
co-lonne) pour chacun des sujets et chacune des sessions.
+ + + + + + 10 20 30 40 50 60 20 40