Thesis
Reference
Mesures et optimisation des performances pour une interface de communication neuronale
KRONEGG, Julien
Abstract
Le but d'une interface neuronale ou Brain-Computer Interface (BCI) est de permettre la communication entre un humain et une machine par la reconnaissance de la pensée de l'utilisateur. Celle-ci est représentée par les bio-signaux électriques émis par le cerveau, au lieu des bio-signaux musculaires comme dans les interfaces traditionnelles (p.ex. clavier, souris). Cette thèse étudie les mesures de performances utilisées par la communauté et propose des méthodes pour les augmenter. Elle promeut également l'inférence de pensée par fouille de données automatique plutôt que par expertise médicale manuelle. Nous proposons deux méthodes d'amélioration des performances basées sur la mesure de l'information mutuelle, ou débit binaire, ou débit d'information (mutual information, bit-rate, information-transfer rate). L'une est basée sur la taille optimale du vocabulaire de pensée, l'autre basée sur la vitesse du protocole. Nous proposons également une implémentation de BCI dont la précision de classification rivalise avec l'état de l'art.
KRONEGG, Julien. Mesures et optimisation des performances pour une interface de communication neuronale. Thèse de doctorat : Univ. Genève, 2006, no. Sc. 3790
DOI : 10.13097/archive-ouverte/unige:142382 URN : urn:nbn:ch:unige-1423829
Available at:
Département d'Informatique Professeur Thierry Pun
Mesures et optimisation des performances pour une interface de communication neuronale
THESE
présentée à la Faculté des sciences de l'Université de Genève pour obtenir le grade de Docteur ès sciences, mention informatique
par
Julien Kronegg de
Genève (Suisse)
Thèse N° 3790
GENEVE
Atelier de reproduction Uni-mail 2006
La faculté des sciences, sur le préavis de Messieurs T. PUN, professeur ordinaire et directeur de thèse (Département d’informatique), S.
VOLOSHYNOVSKYY, professeur adjoint suppléant (Département d’informatique), et T. DUTOIT, professeur (Faculté polytechnique de Mons – Department of Electrical Engineering – Mons, Belgique), autorise l’impression de la présente thèse, sans exprimer d’opinion sur les propositions qui y sont énoncées.
Genève, le 29 septembre 2006
Thèse N° 3790
Le Doyen, Pierre Spierer
En commençant une thèse, on ne se rend pas vraiment compte que c’est une tâche qui nous prendra de longues et nombreuses années. C’est un grand labyrinthe dont les portes de sorties sont peu nombreuses. A vrai dire, j’en ai vu une seule : la délivrance soutenance finale. J’aimerai beaucoup remercier Vanessa et Thierry de m’avoir aidé à l’atteindre.
Je tiens à remercier le jury de thèse, les professeurs Thierry Pun, Sviatoslav Voloshynovskiy, et Thierry Dutoit pour avoir bien voulu participer à cette aventure et pour m’avoir posé une foule de questions embarrassantes.
Malgré un emploi du temps assez chargé, cette période trouble de la vie d’un homme qu’est la thèse constitue le moment idéal pour fonder une famille.
Rédiger entre les couches culottes et les biberons, c’est finalement beaucoup plus agréable qu’on pourrait se l’imaginer.
J’ai commencé ma thèse afin de découvrir mon niveau d’incompétence. Avec l’aide de Slava et d’Oleksiy, cela est chose faite à présent et je les en remercie.
Grâce à eux, je pense même avoir pu repousser ce niveau d’incompétence. C’est la preuve qu’il s’agit d’une notion qui varie dans le temps. Je remercie Vanessa, Thierry, Papa, Nicolas et Hoa pour leur relecture attentive. Leurs différents points de vue ont permis d’améliorer les performances de cette thèse en termes de précision, de clarté, d’orthographe et de syntaxe, et de fluidité.
J’aimerai ensuite remercier Guillaume et Teodor avec lesquels j’ai beaucoup partagé et appris. Nos collaborations se sont souvent avérées payantes. Dans le même registre, j’aimerai remercier le groupe de travail sur les BCI self-paced pour leur temps et leur points de vues (Steve Mason, Jane Huggins, Mehrdad Fatourechi, et Aloïs Schlögl), ainsi que les projets IM2 et Similar (sans ordre particulier : Thierry Dutoit, José del R. Millán, Silvia Chiappa, Pierre Ferrez,
Peralta-Menendez, Sara Gonzalez-Andino). N’oublions pas Douglas Rofes, qui m’a permis d’expérimenter des algorithmes et méthodes intéressantes durant son travail de diplôme. J’aimerai encore remercier les membres du laboratoire Vision de l’Université de Genève qui m’ont fait découvrir des domaines passionnants de l’informatique. Enfin, je remercie mes futurs lecteurs pour leur patience. Afin de les encourager à se plonger dans cette thèse, je leur propose un petit jeu : retrouver au fil du texte les allusions au virus H5N1, à la coupe du monde de football, et à la console Playstation de Sony.
Résumé
Le but d’une interface neuronale ou Brain-Computer Interface (BCI) est de permettre la communication entre un humain et une machine par la reconnaissance de pensée. La particularité de cette interface est de représenter la pensée de l’utilisateur en utilisant les bio-signaux électriques émis par le cerveau, au lieu des bio-signaux musculaires comme dans les interfaces traditionnelles (p.ex. clavier, souris). Sachant qu’il n’existe pas de capteur de pensée, il est nécessaire de déterminer cette pensée par inférence à partir des signaux électriques mesurés, ce qui constitue la difficulté majeure des interfaces neuronales. Pour simplifier le problème, les chercheurs réduisent la taille du vocabulaire de pensée, les exigences en termes de précision de reconnaissance, et les périodes pendant lesquelles l’interface peut être utilisée. Ces différentes simplifications impliquent que les performances des interfaces BCI sont largement inférieures à celles des interfaces de communication traditionnelles.
Cette thèse étudie les mesures de performances utilisées par la communauté et propose des méthodes pour augmenter ces performances. Elle promeut également l’inférence de pensée par fouille de données automatique plutôt que par expertise médicale manuelle, de même qu’elle met en avant une approche
« interface homme-machine ».
L’information mutuelle, ou débit binaire, ou débit d’information (mutual information, bit-rate, information-transfer rate) est la mesure de performance la plus populaire dans le domaine du BCI avec la précision de classification. Nous proposons une comparaison des différentes définitions de débit binaire (Farwell et Donchin, Wolpaw et al, Nykopp, Schlögl) et des recommandations d’usage.
Le cas spécifique des BCIs de type self-paced est également traité sous l’angle des mesures de performances.
la taille optimale du vocabulaire de pensée, l’autre basée sur la vitesse du protocole. Nous proposons également une implémentation de BCI de type synchronized basée sur les signaux électro-encéphalographiques dont la précision de classification rivalise avec l’état de l’art. Ainsi, des méthodes d’amélioration des performances sont proposées pour les trois choix simplificateurs énoncés plus haut (taille du vocabulaire, précision de reconnaissance, période d’activation).
Nous suggérons de continuer ce travail pour introduire un feedback sous forme de jeu, et d’appliquer les méthodes de reconnaissance de pensée pour la reconnaissance d’émotions.
Summary
The goal of a brain-computer interface (BCI) is to allow communication between a human and a machine by recognition of thoughts. The specificity of such interface is to represent the user’s thoughts using the electrical signals emitted by the brain instead of the muscle signals as in traditional interfaces (e.g. keyboard, mouse). Because no thought sensor exists, thoughts must be inferred from the measured electrical activity, which constitutes the major difficulty of BCIs. To simplify the problem, researchers reduce the thought vocabulary size, the requirements in terms of recognition accuracy, and the periods during which the interface can be used. These simplifications imply that BCIs performances are much lower than those of traditional communication interfaces.
This thesis studies the performances measures used in the BCI community, and proposes methods to increase these performances. It also promotes the thought inference using data-mining techniques instead of by using manual medical expertise, as well as it promotes a human-machine interface approach.
The mutual information (or bit-rate or information-transfer rate) is the most popular performance measures in the BCI community together the classification accuracy. We propose a comparison of the different existing information- transfer rate definitions (Farwell and Donchin, Wolpaw et al, Nykopp, Schlögl) with usage recommendations. The specific case of self-paced BCIs is also treated from the performance measure point of view.
We propose two methods to increase the information-transfer rate, one based on optimizing thought vocabulary size, the other based on determining the optimal protocol speed. We also propose an implementation of a synchronized BCI with state of the art recognition accuracy. Thus, methods to improve the
(vocabulary size, recognition accuracy, and activation periods).
We suggest continuing this work in order to introduce feedback using a game interface, and to apply the proposed thought recognition methods to recognize emotions.
Table des matières
Mesures et optimisation des performances pour une interface de
communication neuronale... 1
Résumé... 5
Summary ... 9
Remerciements... 5
Table des matières... 11
Table des symboles ... 16
Chapitre 1 Introduction ... 17
1.1 Concept de bio-interaction... 17
1.1.1 Propriétés nécessaires des bio-signaux pour la bio-interaction ... 20
1.1.2 Analyse des propriétés des bio-signaux... 22
1.2 Inférence de pensée et questions associées... 24
1.3 Contributions... 25
1.4 Plan de la thèse... 26
Chapitre 2 Etat de l'art... 29
2.1 Introduction... 29
2.1.1 Buts d'une interface BCI ... 30
2.1.2 Problèmes d'un BCI idéal... 31
2.1.3 Solutions proposées par la communauté BCI ... 32
2.2 Limitation du vocabulaire ... 34
2.2.1 Pourquoi limiter le vocabulaire... 34
2.2.2 Types de tâches mentales limitant la taille du vocabulaire de communication ... 37
2.2.3 Méthodes de mesure de l'activité électrique neuronale ... 47
2.2.4 Capteurs d'activité électrique par électroencéphalographie... 52
2.3 Limitation de la précision de reconnaissance des pensées ... 57
2.3.1 Exemple de bruits physiologiques et environnementaux ... 59
2.3.2 Prétraitement du bruit... 61
2.3.3 Extraction d’attributs... 64
2.3.4 Classification... 67
2.4 Limitation des périodes d'activation ... 70
2.4.1 Différents types de protocoles de communication BCI ... 71
2.4.3 Feedback ... 75
2.5 Applications ... 77
2.6 Mesures de performances ... 79
2.6.1 Matrice de confusion... 84
2.6.2 Précision et erreur ... 85
2.6.3 Information mutuelle... 86
2.6.4 Coefficient Kappa ... 92
2.6.5 HF-difference... 92
2.6.6 Courbe Receiver-Operator Characteristics (ROC)... 93
2.6.7 Hit rate... 93
2.6.8 Character rate... 94
2.7 Discussion et conclusion... 94
Chapitre 3 Mesures de performance basées sur l'information mutuelle ... 99
3.1 Introduction... 99
3.2 Modèle du BCI... 100
3.3 Information mutuelle avec intention discrète ... 103
3.3.1 Modélisations ... 103
3.3.2 Discussion ... 112
3.4 Information mutuelle avec intention continue ... 119
3.5 Conclusions... 125
Chapitre 4 Mesures de performances pour BCI de type self-paced... 127
4.1 Introduction... 127
4.2 Problèmes des mesures de performances existantes... 129
4.2.1 Hypothèse d’une estimation précise de l’intention de l’utilisateur . 129 4.2.2 Evaluation intermittente au lieu de continue ... 130
4.2.3 Négligence de la spécificité de l’état mental non-control... 130
4.2.4 Suppression implicite de l’état mental non-control... 131
4.2.5 Probabilité d’occurrence des tâches mentales... 131
4.2.6 Vitesse de décision du transducteur ... 132
4.2.7 Performances potentielles au lieu de performances effectives ... 133
4.3 Procédure d’évaluation des performances ... 133
4.4 Définition de l’estimation de l’intention de l’utilisateur ... 135
4.4.1 Estimation de l’intention basée sur un phénomène observable ... 135
4.4.2 Estimation de l’intention basée sur une modification du protocole 138 4.5 Définition de la fenêtre temporelle de réponse attendue ... 140
4.7.2 Statistiques d’erreur ... 146
4.7.3 Statistiques de timing ... 150
4.8 Discussion et conclusions ... 152
Chapitre 5 Réalisation d’un BCI de type synchronized... 155
5.1 Introduction... 155
5.2 Méthodes ... 156
5.2.1 Participants... 157
5.2.2 Déroulement du protocole d'expérience... 158
5.2.3 Sélection des tâches mentales ... 161
5.2.4 Acquisition des données... 174
5.2.5 Prétraitement ... 177
5.2.6 Extraction d’attributs... 185
5.2.7 Classification... 197
5.2.8 Validation croisée... 202
5.2.9 Détermination des combinaisons de tâche... 206
5.3 Résultats et discussion ... 207
5.3.1 Analyse des questionnaires ... 208
5.3.2 Classifieur optimal ... 210
5.3.3 Ecart type élevé ... 211
5.3.4 Comparaison avec les résultats d’autres chercheurs... 211
5.3.5 Meilleures combinaisons de tâches... 213
5.4 Conclusions... 216
Chapitre 6 Optimisation des performances basée sur l'information mutuelle .. 217
6.1 Introduction... 217
6.1.1 Principe de l'optimisation... 218
6.2 Optimisation du nombre de tâches mentales ... 221
6.2.1 Modélisation de la précision de classification ... 222
6.2.2 Modélisation du nombre optimal de tâches mentales... 228
6.2.3 Modélisation de l’amélioration de débit ... 231
6.2.4 Résultats et discussion ... 233
6.3 Optimisation de la vitesse du protocole à moyenne d’essais... 240
6.3.1 Méthodes ... 242
6.3.2 Résultats et discussion ... 250
6.4 Conclusions... 254
Chapitre 7 Prospection ... 257
7.1 Introduction... 257
7.2 Amélioration des performances par ajout de feedback... 257
7.2.1 Amélioration des performances par biofeedback ... 258
7.3 Effets de l’aspect émotionnel sur les performances ... 266
7.3.1 Effets des émotions sur le signal EEG... 266
7.3.2 Reconnaissance des émotions par inférence sur des signaux EEG . 270 7.4 BCI self-paced... 272
7.4.1 Algorithme de marquage des décisions du transducteur ... 275
7.4.2 Mesure des périodes de maintien ... 277
7.5 Méthodes alternatives d’optimisation de la vitesse du protocole ... 279
7.6 Sélection d’attributs basée sur les tests statistiques... 282
7.7 Prédiction de handicap cognitif ... 286
7.7.1 Méthodes ... 288
7.7.2 Résultats ... 296
7.7.3 Discussion ... 298
7.8 Identification de personnes ... 300
7.8.1 Méthodes ... 302
7.8.2 Résultats ... 303
7.8.3 Discussion ... 304
7.9 Discussion et conclusions ... 305
Chapitre 8 Conclusions et perspectives... 307
Annexe A Placement des électrodes ... 311
A.1 Introduction... 311
Annexe B Documents d'expérience et analyse des questionnaires... 315
B.1 Introduction... 315
B.2 Formulaire de consentement et aspects légaux... 315
B.3 Questionnaire pré-expérience ... 321
B.4 Questionnaire post-session... 322
B.5 Analyse qualitative des questionnaires post-session ... 323
Méthodes ... 324
Résultats et discussion... 326
B.6 Analyse des commentaires post-session ... 329
Fatigue ... 329
Protocole de communication ... 329
Exécution des tâches mentales ... 330
Références ... 340
Conventions:
Les nouveaux termes apparaissent en gras lorsqu'ils sont mentionnés pour la première fois. Les termes anglophones et les citations apparaissent en italique.
Table des symboles
V Vitesse du protocole [décisions/minute].
N Nombre de tâches mentales [-].
P Précision de classification moyenne [%].
fe Fréquence d’échantillonnage [Hz].
B Débit binaire [bits/minute].
R Débit binaire [bits/décision].
X Signal non bruité (variable aléatoire).
Y Signal bruité (variable aléatoire).
Z Bruit (variable aléatoire).
µX Moyenne du signal X.
σX2 Variance du signal X.
xi Valeur d’un tirage de la variable aléatoire X.
E[⋅] Espérance mathématique.
p(xi) Probabilité d’occurrence à priori de la valeur xi. I(X,Y) Information mutuelle entre les signaux X et Y.
CN Capacité d’un canal à source discrète équiprobable à N symboles.
Introduction
1.1 Concept de bio-interaction
L'interaction entre un être humain et une machine, ou interaction homme- machine, passe généralement par l'envoi de messages de l'un vers l'autre et réciproquement, toute la difficulté étant de trouver un « langage » commun qui puisse être compris par les deux acteurs en présence. Dans la majorité des cas, l'être humain actionne des boutons ou leviers, ou, depuis l'avènement de l'informatique, des claviers et souris. L'originalité du présent travail réside dans l'utilisation de signaux biologiques en tant que canal de transport de messages envoyés par l'être humain vers la machine. On utilise donc le terme de bio- interaction. En particulier, ce sont les signaux électriques produits par le cerveau qui seront utilisés dans ce travail. Le terme d’« interface neuronale » ou Brain- Computer Interface (BCI) est alors utilisé. Dans ce document, nous utiliserons principalement l’abréviation anglaise BCI.
De manière plus formelle, les deux acteurs que sont l'être humain et la machine sont modélisés grâce à une notion d'agent logique, tel qu'on le fait généralement en cybernétique. Un agent logique possède un certain nombre de capteurs qui lui permettent de recueillir des informations sur son environnement (capture de signaux), ainsi qu’un certain nombre d’effecteurs qui lui permettent d’agir sur l’environnement (émission de signaux), voir Figure 1. La nature des capteurs et des effecteurs varie, bien entendu, selon l'agent Etre humain ou machine.
Figure 1 – Interaction entre un agent logique et son environnement grâce à ses capteurs et effecteurs.
L'être humain possède cinq capteurs qui correspondent aux cinq sens communs1 que sont la vue, l'ouïe, le toucher, l'odorat et le goût. Ces capteurs peuvent mesurer ou plus précisément capter des signaux respectivement visuels, auditifs, tactiles, olfactifs ou gustatifs. Les effecteurs de l'être humain sont les muscles, les glandes et les nerfs. Ces effecteurs produisent des signaux respectivement de type mécanique, sécrétoire ou électriques. Ces signaux étant produits par une entité vivante, on les appelle des bio-signaux, les effecteurs étant qualifiés de bio-effecteurs.
La machine possède des capteurs qui permettent de mesure les bio-signaux émis par l'agent logique humain, que l'on nomme bio-capteurs. Il s'agit essentiellement des dispositifs mécaniques actionnables par les activités musculaires de l'agent « être humain », soit directement (p.ex. pression sur un bouton, activation d’un levier), soit indirectement (p.ex. mouvement capté par une caméra ou un micro). Les effecteurs de la machine produisent des signaux très variés. Cependant, pour une tâche d'interaction, on ne retiendra que les signaux pouvant être captés par l'un des cinq sens de l'agent logique humain.
La bio-interaction homme-machine entre deux agents logiques est donc représentée comme sur la Figure 2.
Environnement Agent logique
effecteurs capteurs
Figure 2 – Modèle de bio-interaction homme-machine basée sur les signaux biologiques.
Notons que les effecteurs utilisés par la plupart des méthodes d'interaction homme-machine sont basés sur les signaux mécaniques produits par les muscles pour activer une partie de la machine. En ce sens, la bio-interaction est une discipline plus générale que l'interaction car elle peut exploiter les trois types de bio-signaux (mécaniques, sécrétoires et électriques) et non uniquement les signaux mécaniques. Etant donné cette caractéristique, une communication plus riche que celle permise par de simples mouvements musculaires est envisageable. Dans le cas idéal, la communication est réalisée directement avec une pensée complexe, comme présenté à la Figure 3, grâce aux trois types de bio-signaux susnommés, plutôt qu’avec l'expression de cette pensée limitée aux capacités d'expression des signaux musculaires et des capacités de reconnaissance de la machine.
Figure 3 – Concept idéal de communication par la pensée.
Un chat
Agent logique (machine) Agent logique
(humain)
bio-capteur effecteur bio-signal
signal capteur
bio-effecteur
• muscles
• nerfs
• glandes
• clavier
• souris
• joystick
• écran tactile
• microphone
• caméra
• écran
• haut-parleur
• périphérique tactile
• périphérique odorant
• vue
• ouïe
• toucher
• odorat
• goût
1.1.1 Propriétés nécessaires des bio-signaux pour la bio- interaction
En dehors du fait qu'une telle communication soit impossible à réaliser dans l'état actuel de la science et dans un avenir prévisible, il est intéressant de déterminer par quels bio-signaux une pensée pourrait être communiquée. Le bio- signal (ou la combinaison de bio-signaux) doit posséder trois propriétés essentielles pour permettre le transport d'une pensée :
1. Le bio-signal doit être volontaire.
2. Le bio-signal doit représenter la pensée de manière non réductrice.
3. Le bio-signal doit être reproductible pour une pensée donnée.
Pour permettre d'exprimer la pensée, le bio-signal se doit d'être volontaire. Le terme « volontaire » signifie que le bio-signal doit pouvoir être modulé consciemment par l'utilisateur (selon son désir). Inversement, on nomme
« involontaire » un bio-signal que l'utilisateur ne peut pas contrôler à volonté.
Par exemple, la peur peut induire des crispations, et des tremblements (bio- signaux musculaires), ainsi que des sueurs froides (bio-signal sudoripare).
Notons que sous certaines conditions, des signaux involontaires peuvent devenir volontaires, par exemple lorsque l’on utilise du biofeedback, comme nous le verrons dans la Section 2.2.2, p. 44.
Le bio-signal doit permettre une représentation non réductrice de la pensée, de sorte qu’il ne soit pas nécessaire de recourir à un protocole de communication complexe. En effet, il est possible de communiquer avec un bio-signal transportant peu d’information, comme le montre J. D. Bauby1 en rédigeant son
1 Jean-Dominique Bauby était une personne paralysée ne disposant plus pour communiquer
livre « Le scaphandre et le papillon » uniquement par des clignements de paupière. Dans ce cas, le clignement de paupière ne transporte que peu d’information, ce qui est compensé par une complexité au niveau du protocole de communication ; le clignement de paupière représente donc la pensée de manière réductrice. Nous considérons cependant qu’il est plus logique que le protocole de communication soit créé en considérant que l’utilisateur puisse exécuter une pensée complexe et que le bio-signal exploité par la machine puisse représenter cette pensée directement, sans faire appel à un protocole compliqué.
Le bio-signal représentant cette pensée doit être reproductible. Le terme
« reproductible » signifie qu’un bio-signal donné ne doit avoir été généré que par une seule pensée. En revanche, une pensée peut générer plusieurs bio- signaux différents selon le moment durant lequel la pensée à eu lieu, voir Figure 4.
Figure 4 – Illustration de bio-signaux reproductibles par une projection non-bijective unique.
vagabondant comme un papillon malgré un corps prisonnier d’un scaphandre (Baudy 1997). Il est décédé peu après la parution de son livre.
Espace des pensées
Espace des bio-signaux
1.1.2 Analyse des propriétés des bio-signaux
Nous avons déjà vu qu'il existe trois types de bio-effecteurs dans le corps humain: muscles, glandes et nerfs. Nous verrons que les signaux électriques produits par le système nerveux central (cerveau) sont les seuls à posséder les trois propriétés exposées précédemment (volontaire, représentation non dégradée, reproductible).
Bio-signaux issus de muscles
On peut décomposer les bio-effecteurs musculaires en trois sous-catégories:
muscles lisses, muscles striés et muscle cardiaque (Larousse 2000)/p. 672. Les muscles lisses composent les parois de nombreux organes internes (intestins, utérus, bronches, vésicule, etc.). Leur contraction est involontaire et autonome ou assurée par le système nerveux végétatif1. Les muscles striés ou muscles squelettiques maintiennent les os et permettent la mobilité des membres. Leur contraction est volontaire et commandée par le cerveau par l'intermédiaire des nerfs. Le muscle cardiaque a une structure similaire aux muscles striés, mais ses contractions sont fort heureusement autonomes et involontaires.
Les muscles striés sont donc les seuls qui permettent une activation volontaire.
Cette activation volontaire est bien entendu reproductible. En revanche, la pensée est en quelque sorte dégradée car le bio-signal musculaire n’en représente qu’une partie. Il est donc nécessaire de faire appel à un protocole de communication complexe pour obtenir une pensée non dégradée (p.ex. texte ou dessin détaillé), comme dans le cas de J. D. Bauby.
Bio-signaux issus de glandes
Pour qu’une interaction soit possible, seuls les signaux émis à l’extérieur du corps humain sont exploitables. Or, les glandes produisent des sécrétions qui peuvent être soit endocrines (à l’intérieur du corps), soit exocrines (à l’extérieur du corps), (Larousse 2000). Les sécrétions endocrines ne sont donc pas adaptées à l’interaction homme-machine. De plus, les grandes endocrines (p.ex. tyroïde, hypophyse) rejettent des sécrétions selon un mode involontaire.
Les glandes exocrines rejettent des sécrétions à l'extérieur du corps humain de manière directe (à la surface de la peau) ou indirecte (via le tube digestif, les bronches, les voies génitales ou urinaires). Elles possèdent souvent un canal excréteur. Les glandes salivaires, sudoripares et lacrymales sont des glandes exocrines. Certaines glandes peuvent être à la fois endocrines et exocrines (p.ex.
pancréas). Même si certaines glandes peuvent être activées volontairement (p.ex.
glandes lacrymales), les possibilités d'interaction sont très limitées pour des raisons pratiques évidentes.
Bio-signaux issus de nerfs
Le système nerveux peut être décomposé en système nerveux central (le cerveau) et système nerveux périphérique. Le système nerveux périphérique sert essentiellement au transport d’information et n’a pas d’activité volontaire. En revanche, le système nerveux central produit une activité électrique qui est une fonction directe de la pensée. Cette activité électrique n’est pas volontaire en elle-même, mais est l’expression de la pensée qui elle est volontaire. Notons que toutes les pensées ne sont pas volontaires. Les émotions par exemple, constituent une activité cérébrale qui n’est pas totalement contrôlable.
Le bio-signal représentant l’activité électrique produite par les neurones possède un grand pouvoir de représentation car il est directement lié à la pensée générant
cette activité. En considérant la plasticité du cerveau, cette activité est d’autant plus reproductible que la pensée est souvent exécutée.
Les bio-signaux électriques issus de l’activité cérébrale constituent donc les seuls bio-signaux utilisables pour une interaction homme-machine basée sur la reconnaissance des pensées.
1.2 Inférence de pensée et questions associées
Comme nous le verrons dans le Chapitre 2, il n’existe pas de capteurs de pensée.
Il est donc nécessaire de « deviner » les pensées de l’utilisateur en se basant sur les bio-signaux électriques émis par le cerveau et mesurées par un dispositif adéquat. Cette reconnaissance de pensée est donc qualifiée d’inférence.
Nous supposons que la meilleure inférence devrait être réalisée sur la base des caractéristiques de l’activité des neurones impliqués dans l’exécution d’une certaine pensée. Bien évidemment, la qualité de cette inférence devrait dépendre de la pensée considérée. Par exemple, il est très probable qu’il soit plus difficile de différencier si l’utilisateur pense à une voiture rouge ou à une voiture jaune, que de différencier s’il pense à une voiture ou à un avion.
Se pose ensuite la question de la mesure de la qualité d’inférence de la pensée : comment savoir si une méthode d’inférence est meilleure qu’une autre ? Mais, au fait, meilleure en quoi ? Cette question est épineuse car, en effet, y répondre revient à introduire un biais en fonction de l’utilisation prévue. Par exemple, si l’on compare une voiture de marque Fiat à une voiture de marque Ferrari, il est indéniable qu’une Ferrari a une vitesse de pointe et un prestige supérieur à une Fiat. En revanche, la Fiat est meilleure en termes de consommation d’essence et de frais d’entretien. On peut cependant argumenter que l’exemple est mal choisi
performances d’une interface neuronale ou brain-computer interface (BCI). La question de l’évaluation des performances est l’un des points centraux de cette thèse.
Il se pose ensuite la question de savoir si une interface de communication BCI est utilisable. Les performances d’une telle interface sont elles suffisantes pour remplacer une interface de communication traditionnelle telle que clavier et/ou souris ? Nous verrons que ce n’est pas le cas. Mais alors, quelles sont les approches qui permettraient d’améliorer ces performances ? L’amélioration des performances d’un BCI constitue l’autre point central de cette thèse.
1.3 Contributions
Le but principal de cette thèse est d’améliorer la compréhension des mesures de performances utilisées par la communauté BCI et de modéliser les différentes méthodes d’amélioration des performances. Un objectif secondaire est de promouvoir l’inférence de pensée par fouille de données automatique plutôt que par expertise médicale manuelle, de même que de mettre en avant une approche
« interface homme-machine ».
Plus précisément, les contributions publiées de l’auteur de cette thèse sont, en termes d’articles, les suivantes :
• Nouvelle approche de l’état de l’art synthétique mais cependant détaillé, avec un accent sur les mesures de performances (Kronegg 2005; Kronegg 2006; Schlögl et al 2006, accepted for publication), voir Chapitre 2.
• Comparaison des mesures de performances basées sur l’information mutuelle (Kronegg et al 2005b; Schlögl et al 2006, accepted for publication), voir Chapitre 3.
• Recommandations pour les mesures de performances pour les BCIs de type self-paced (Mason et al 2006), voir Chapitre 4.
• Implémentation de nouvelles mesures de performances pour BCIs de type self-paced (Mason et al 2006), voir Chapitre 7.
• Implémentation d’un protocole synchronized basé sur la fouille de données, et dont la précision de classification rivalise avec l’état de l’art (Kronegg et al 2006), voir Chapitre 5.
• Amélioration de l’information mutuelle basée sur l’optimisation du nombre de tâches mentales (Kronegg et al 2006), voir Chapitre 6.
• Amélioration de l’information mutuelle basée sur l’optimisation de la vitesse du protocole pour des protocoles à moyenne d’essais (Kronegg et al 2003), voir Chapitre 6.
• Application des méthodes de fouille de données à la reconnaissance d’émotions (Chanel et al 2006a) , voir Chapitre 7.
Ces contributions incluent aussi des participations intangibles mais cependant essentielles à la communauté BCI (participation à des conférences, révisions d’articles, discussions, collaborations, etc.).
1.4 Plan de la thèse
Cette thèse est organisée en huit chapitres.
Le Chapitre 2 présente un état de l’art des interfaces BCIs articulé autour des difficultés posées par un BCI idéal. Un accent sera en particulier mis sur les mesures de performances utilisées actuellement dans la communauté BCI.
Le Chapitre 3 présente une analyse des différentes définitions des mesures performances basées sur l’information mutuelle. L’information mutuelle, ou débit binaire, est l’un des moyens les plus populaires afin de mesurer la performance des BCIs.
Le Chapitre 4 présente les différentes mesures de performances utilisées dans les protocoles BCIs de type self-paced. Les protocoles self-paced sont ceux dont l’utilisation est la plus proche d’une interface de communication traditionnelle telle que clavier et/ou souris, ce qui a une influence sur les mesures de performances utilisées.
Le Chapitre 5 présente l’implémentation d’un protocole de communication BCI de type synchronized sans feedback. Ce protocole permet à l’utilisateur d’exécuter une tâche mentale parmi quatre en étant dirigé par l’ordinateur. Ce dernier reconnaît la tâche exécutée avec une précision rivalisant avec l’état de l’art. Ce chapitre sert de base dans le Chapitre 6.
Le Chapitre 6 présente deux méthodes d’amélioration des performances, l’une basée sur le calcul du nombre optimal de tâches mentales (taille du vocabulaire de pensée de l’utilisateur), l’autre basée sur le calcul de la vitesse optimale du protocole (nombre de pensées que l’utilisateur peut exécuter par unité de temps).
L’amélioration de performances est basée sur l’information mutuelle.
Le Chapitre 7 analyse les différentes possibilités d’extension de ce travail. Sont entre autres étudiées l’idée de donner un feedback à l’utilisateur (par exemple au moyen d’un jeu), les aspects émotionnels, et d’autres méthodes pour améliorer les performances.
Le Chapitre 8 présente les conclusions de ce travail, et les suggestions sur les différentes pistes à suivre.
L’Annexe A présente les différentes méthodes de placement des électrodes servant à mesurer les bio-signaux électriques émis lors de l’activité du cerveau.
L’Annexe B présente les différents documents d’expérience et l’analyse des questionnaires soumis aux utilisateurs.
Etat de l'art
2.1 Introduction
Le domaine des interfaces neuronales ou brain-computer interface (BCI) étant très spécialisé, nous commencerons par en présenter une synthèse thématique.
Ce type d'état de l'art a été préféré à une version chronologique, qui ne permet pas de capter l'essence même du domaine, et rend la compréhension d'un système BCI difficile. Le but des Sections 2.2 à 2.4 est de donner au lecteur les connaissances de base pour la compréhension de ce travail. Une version condensée de ces sections a été présentée lors d’un meeting du réseau d’excellence Similar (Kronegg 2005) et publiée sur le site Internet bci-
info.org1. La Section 2.6 (p. 79) présente un état de l'art plus spécifique aux mesures de performances appliquées au BCIs. Les mesures de performances présentées dans cette section sont publiées dans le chapitre d’évaluation des performances dans l’ouvrage «Towards Brain-Computer Interfacing » (Schlögl et al 2006, accepted for publication).
Le domaine du BCI sera présenté sous trois axes directeurs: les buts de ce type d'interfaces, les problèmes inhérents, et les solutions apportées par les chercheurs du domaine.
1 Le site internet communautaire bci-info.org regroupe une grande quantité d’informations et de références concernant les chercheurs dans ce domaine. Les documents publiés sont révisés par deux à trois personnes.
2.1.1 Buts d'une interface BCI
Le but d'une interface Brain-Computer Interface (BCI) est de permettre la communication entre une personne et un ordinateur. Dans un cadre plus large, on parle de communication entre une personne et machine (Brain-Machine Interface, BMI) ou plus simplement de Brain Interface (BI). Dans le reste de ce document, nous utiliserons principalement Brain-Computer Interface ou son abréviation BCI. La particularité d'un système BCI est que la communication est basée exclusivement sur les signaux électriques produits par le cerveau, comme défini lors de la première conférence internationale regroupant les acteurs majeurs du domaine en 1998 (Wolpaw et al 2000a): « A brain–computer interface is a communication system that does not depend on the brain’s normal output pathways of peripheral nerves and muscles. »1. Les signaux musculaires, utilisés par exemple pour activer les interfaces habituelles telles que souris et clavier, ne sont pas exploités2. Par conséquent, pour utiliser un BCI, un utilisateur pense et ses pensées sont décodées par la machine, comme indiqué sur la Figure 3.
A noter que la communication exploitant les signaux électriques du cerveau ne se fait que de l'utilisateur vers l'ordinateur et non dans le sens opposé. En effet, le retour d'information ou feedback se faisant fait par des moyens visuels et/ou auditifs, et non par modification directe de l’état électrique du cerveau3.
1 Traduction: «Une interface cerveau-ordinateur est un système de communication qui ne dépend pas des circuits habituels des nerfs périphériques et des muscles».
2 Cette définition tend cependant à se flexibiliser, les chercheurs du domaine s'étant rendus compte, lors du 3ème meeting international du BCI (2005), qu'elle était trop rigide et ne permettait pas d'appliquer le concept d'approches multimodales.
Notons également que la compréhension de la pensée par l'ordinateur présentée dans la Figure 3 est un cas idéal. Nous verrons plus tard pourquoi il est très improbable que l'on puisse réaliser cette « transmission de pensée » un jour, mais cela reste cependant un excellent créneau pour les récits de science-fiction.
A ce titre, les modélisations de cerveaux utilisés habituellement considèrent une conductivité de l'air nulle et, par conséquent, l'activité électrique induite par les neurones ne peut plus être captée dès que l'on s'éloigne de la peau (Alecu 2005).
Cela n'empêche pas certains paranoïaques de porter des casques en aluminium censés empêcher les services secrets de lire dans leurs pensées (Rahimi et al 2005). Les légendes urbaines sont coriaces.
Les « pensées » reconnues par la machine sont utilisées comme commande pour une application spécifique, telle que l’accès à un ordinateur pour handicapé (computer accessibility), jeux, contrôle de prothèses. Nous détaillerons ces applications plus loin dans ce chapitre.
2.1.2 Problèmes d'un BCI idéal
Le schéma de BCI idéal ou « BCI de rêve » présenté précédemment permet de:
• Penser à ce tout que l'on désire sans restriction.
• Penser sans erreurs de reconnaissance de la part de la machine.
• Penser à n'importe quel instant.
En réalité, il est évident qu'un tel BCI (BCI de rêve) n'existe pas, en raison de nombreux obstacles techniques. Le point central reste qu'il n'existe pas et qu'il n'existera certainement jamais de capteur direct de la pensée humaine, la
(Nicolelis et Chapin 2002), (Talwar 2002). Cependant, ces méthodes ne sont pas exploitées dans les interfaces BCI.
physiologie du cerveau étant très complexe et les signaux émis étant passablement bruités, comme nous le verrons dans la Section 2.3 (p. 57).
2.1.3 Solutions proposées par la communauté BCI
A ces différents obstacles, les chercheurs du domaine BCI ont proposés trois solutions restreignant respectivement les trois propriétés du BCI de rêve énoncées plus haut :
• limitation du vocabulaire ;
• limitation de la précision de reconnaissance des pensées ; et
• limitation des périodes d'activations.
La limitation du vocabulaire consiste à réduire le choix des pensées possibles de l'utilisateur. En effet, moins l'utilisateur a de possibilités, plus la reconnaissance des pensées par la machine devrait être facile. La limitation de la précision de reconnaissance des pensées par la machine consiste à accepter les erreurs de reconnaissances. La limitation de périodes d'activations consiste à restreindre les laps de temps durant lesquelles l'interface peut être utilisée/activée.
Figure 5 – Schéma de fonctionnement d'un système BCI.
3. Périodes d'activation limitées 1. Vocabulaire limité
Interface de contrôle
Pré- traitement
Extraction
d'attributs Classification Post- traitement Cerveau
Ordinateur Etat
mental Commandes
bas niveau
Commandes haut niveau
2. Précision de reconnaissance limitée Activité électrique
Application Feedback
Transducteur Biocapteur
Du point de vue technique, on peut présenter un système BCI comme schématisé par la Figure 5, ce qui correspond davantage à un système réel que le concept de « BCI de rêve » présenté à la Figure 3.
Lorsque l'utilisateur est dans un certain mental (p.ex. lorsqu'il pense à quelque chose de spécifique), son cerveau produit une activité électrique qui est mesurée par un biocapteur (p.ex. électroencéphalogramme, EEG). C'est sur cette partie du système que s'applique la solution de limitation du vocabulaire, comme nous le verrons par la suite.
Sur l'ordinateur, les signaux électriques mesurés sont prétraités, par exemple pour atténuer le bruit. De ces signaux prétraités sont ensuite extraits des attributs caractéristiques de l’état mental ayant généré ces signaux (feature extraction).
La reconnaissance de pensée basée sur les attributs extraits, ou inférence, est réalisée par un classifieur ; l’étape porte donc le nom de « classification ». Il s'ensuit une phase de post-traitement facultative qui permet par exemple de valider les pensées inférées par le classifieur en fonction du contexte. C'est sur cette partie du système que s'applique la solution de limitation de taux de reconnaissance de la machine.
Cette chaîne de classification constitue le transducteur (transducer) qui va produire des commandes de bas niveau. Celles-ci sont exploitées par une interface de contrôle (control interface) qui effectue la gestion du protocole de communication et génère des commandes de haut niveau pour le pilotage d'une application quelconque. C’est dans cette partie du système que les périodes d’activation de l’interface seront limitées.
Ces trois limitations constituent le fil rouge d'une grande partie de ce chapitre.
Elles sont détaillées dans les sections suivantes.
2.2 Limitation du vocabulaire
Comme expliqué précédemment, il n'existe pas de bio-senseur de pensée (Figure 3). Par conséquent, il n'est pas possible de déterminer la pensée par mesure comme nous mesurons une température ou un débit de liquide. Il est cependant possible de déterminer la pensée par inférence à partir de mesures de l'activité électrique des neurones. Ainsi, la pensée inférée ne représente pas la pensée réelle, mais une version déformée d’une part par les méthodes de mesures de l'activité neuronale, et d’autre part par le processus d'inférence1. Pour mieux comprendre comment cette inférence est réalisée, il faut mieux connaître la physiologie et la structure du cerveau.
2.2.1 Pourquoi limiter le vocabulaire
Le cerveau est composé d'environ 100 milliards de neurones, chacun d’eux pouvant posséder jusqu'à 10'000 connexions avec les neurones voisins (Wikipedia 2006b). Chaque neurone est composé d'un axone et de dendrites et d’un noyau, voir Figure 6A (Larousse 2000). Ce dernier gère entre autres l’activité métabolique du neurone. Les dendrites captent des signaux chimiques produits par d'autres neurones et convertissent cette activité chimique en activité électrique qui parcourt l'axone. De manière simplifiée, le signal de l'axone peut être modélisé comme la somme pondérée des signaux des dendrites, voir Figure 6B (Pellegrini 1998).
1 Nous pouvons y voir une analogie avec la pensée bouddhiste selon laquelle la perception d'un phénomène dépend de la méthode utilisée pour observer le dit phénomène; le phénomène est alors indépendant du signal mesuré: le signal est donc une représentation déformée du phénomène réel du à la méthode de mesure (Lama et al 1993; Churchland et al 2000). Dans la
Purves et al rapportent une expérience intéressante sur le potentiel d'activité d'un neurone (Purves et al 1999)/p.38. En position de repos, l'axone d'un neurone possède une tension électrique fixe de -65 millivolts, définie par les relations ioniques lors des échanges chimiques. Le neurone est excité par un courant spécifique, qui modélise l'activité totale reçue par les dendrites. Lorsque ce courant de stimulation est suffisant, une réaction chimique produit une décharge de potentiel fixe à environ 40 millivolts, voir Figure 7. Le neurone passe d'un potentiel de repos à un potentiel actif. Plus le neurone est actif, plus la fréquence de ces décharges sera importante. Il y a donc une conversion d’un courant électrique en une séquence d'impulsion d'amplitude fixe (ou « modulation de fréquence de la tension électrique »). Nous pouvons par conséquent affirmer que l'activité d'un neurone varie en fréquence et non pas en tension. Bien évidemment, la fréquence des potentiels d'activation varie dans le temps car le courant de stimulation ne dépasse le seuil d'activation que par intermittence.
Nous pouvons donc affirmer que l'activité d'un neurone varie en fonction du temps.
Figure 6 – Structure d'un neurone1 (A) et la version moderne du modèle de McCulloch et Pitts (B).
1 Source : Equipe connexionniste, Laboratoire d'informatique de Paris 6, www.lip6.fr.
Σ ϕ(⋅)
w1
w2
wn
x1
x2
xn
y
Fonction d'activation
Signaux d'entrée (dendrites)
Signal de sortie
(axone) axone
dendrites
A B
noyau
La structure d'un neurone étant très simple, elle ne permet pas un comportement très évolué. Les connaissances actuelles en neurologie montrent que les fonctions évoluées sont produites par une combinaison de multiples neurones (Wikipedia 2006e). Les neurones réalisant une fonction commune sont généralement groupés dans la même zone géographique du cortex. Il est cependant fréquent que plusieurs groupes de neurones soient impliqués dans une tâche complexe. C'est par exemple le cas lorsque l'on saisit un objet : le cortex pré-moteur1 planifie le mouvement tandis que le cortex moteur l'exécute. Il y a donc un transfert d'information entre deux zones du cortex. Nous pouvons donc affirmer que l'activité électrique varie en spatialement (position de la zone corticale activée dans le cerveau).
Figure 7 – Potentiel de repos et d'action d'un neurone. Adapté de (Purves et al 1999)/p.38.
Par conséquent, l'activité électrique produite par les neurones peut varier en fréquence, en temps et en position dans l’espace occupé par le cerveau. Cet aspect sera particulièrement important lorsque l'on mesurera les caractéristiques de cette activité neuronale dans la Section 2.3 (p. 57).
+
- 0 Courant de
stimulation (nA)
+40
- - - Potentiel de la membrane
(mV)
Insertion de la micro-électrode
Seuil d'activation Potentiel de repos
Réponse passive
Réponse active
temps
temps 0
-65
De par le grand nombre de neurones constituant le cerveau, il n'est pas possible de mesurer l'activité neuronale individuellement et de reconstituer l'activité globale. De plus, les neurones sont en général impliqués dans plusieurs tâches mentales différentes (mental task)1. L'inférence d'une pensée quelconque à partir de l'activité neuronale n'est pas possible. Pour cette raison, les chercheurs du domaine du BCI ont choisi de limiter le nombre de « mots » dans le vocabulaire de pensée à disposition de l'utilisateur. En sélectionnant des tâches mentales bien connues et produisant une activité neuronale spécifique en termes de fréquence, de temps et de position, il est possible de simplifier le travail d'inférence réalisé par la chaîne de classification. Le vocabulaire de communication est donc un sous-ensemble du vocabulaire de pensée supposé infini de l’utilisateur.
2.2.2 Types de tâches mentales limitant la taille du vocabulaire de communication
Dans le domaine du BCI, plusieurs types de paradigmes ont été utilisés pour limiter le vocabulaire.
Mason el al en répertorie trois (Mason et al 2005a) qui seront détaillés plus bas:
l’endogène (activité modulée de manière interne par le cerveau; endogenous), l’exogène (généré par le cerveau sur l'impulsion d'un stimuli externe;
exogenous) et la réponse modulée (modulation consciente d'un signal en fonction d'un stimuli externe; operant conditioning feedback, modulated response, biofeedback). On dit aussi qu'un paradigme endogène produit de
1 Ces tâches mentales sont aussi nommées «état mental» (mental state), «état cérébral» (brain state) ou, dans le cadre de la classification, de «symboles» ou de «classes». Tous ces termes sont synonymes et leur utilisation dépend du contexte.
l'activité neuronale induite, tandis qu'un paradigme exogène produit de l'activité neuronale évoquée (Pfurtscheller 2002).
Alternativement, Kleber et al (Kleber et Birbaumer 2005) considèrent uniquement les paradigmes endogène et exogènes. Les paradigmes à réponse modulée étant considérés comme endogène car le feedback n'est pas considéré comme un stimulus.
Nous utiliserons la classification de Mason et al, car elle considère davantage l'aspect haut niveau du point de vue de l'utilisateur que la classification de Kleber et al, qui considère l'aspect bas niveau, du point de vue physiologique.
Le paradigme endogène est celui qui est le plus proche de notre BCI idéal (« penser à n'importe quel moment »), les deux autres paradigmes étant dépendants d'un stimulus externe. Par conséquent, l'utilisation d'un paradigme de mesure non endogène conduit à une limitation protocolaire : le dispositif est disponible moins fréquemment et requiert un stimulus externe.
La plupart des BCI existants dans la communauté est basée sur des paradigmes endogènes. L'étude comparative de Mason et al. (Mason et al 2005a) répertorie environ 150 articles de conférences ou de journaux publiés durant la période 1977-2004. Les résultats de cette étude seront souvent exploités dans la suite de ce chapitre. Selon cette étude, 65% des articles publiés sont basés sur des paradigmes de mesure endogène, 27% sont basés sur des paradigmes exogènes, et seulement 8% sont basés sur les paradigmes à réponse modulée. Ces trois paradigmes sont décrits ci-dessous. La présente thèse exploite le paradigme endogène, comme nous le verrons dans le Chapitre 5.
Paradigmes endogènes
mentales, essentiellement des mouvements imaginés latéralisés (p.ex. main gauche/droite), ont été utilisées dans les BCIs existants :
• imagination de mouvement de la main gauche ou droite, p.ex. (Roberts et Penny 2000; Obermaier et al 2001; Lehtonen 2002; Renkens et Millán 2002; Dornhege et al 2003c);
• imagination de mouvement des pieds, p.ex. (Obermaier et al 2001;
Dornhege et al 2003c) ;
• imagination de mouvement de la langue, p.ex. (Obermaier et al 2001);
• calcul mental, p.ex. (Anderson et Sijercic 1996; Penny et Roberts 1999;
Obermaier et al 2001) ;
• association de mots, p.ex. (Lehtonen 2002; Renkens et Millán 2002;
Gysels et Celka 2004) ;
• rotation mentale d'un cube, p.ex. (Anderson et Sijercic 1996; Lehtonen 2002; Renkens et Millán 2002) ;
• relaxation, p.ex. (Lehtonen 2002; Renkens et Millán 2002) ;
• évocation de sensation visuelle ou tactile, p.ex. (Dornhege et al 2003c) ;
• évocation auditive, p.ex. (Curran et al 2001; Dornhege et al 2003c) ;
• composition mentale d'une lettre, p.ex. (Anderson et Sijercic 1996) ; et
• comptage visuel d'unités, p.ex. (Anderson et Sijercic 1996).
Certaines de ces tâches seront décrites plus en détails dans le Chapitre 5.
Lorsqu'ils réalisent un paradigme endogène, les chercheurs sélectionnent de 2 à 6 tâches (Mason et al 2005a) qui produisent de l'activité différentiable en terme de fréquence, temps et position. Le plus souvent, ce nombre est limité à deux tâches, voir Figure 8.
La zone du cortex activée par la réalisation d'une tâche mentale spécifique dépend généralement de la manière dont cette tâche est réalisée. Par exemple, la Figure 9 présente les zones de cortex activées pour respectivement de gauche à droite, une tâche de calcul mental (Dehaene et al 1999), de rotation d'objet (Kosslyn et al 1998) et de tâches linguistiques (Purves et al 1999)/p.491. On peut constater que le calcul mental approximatif et la rotation visuelle d'objet produisent de l'activité dans la même zone du cortex visuel. Cela a plusieurs implications. D'une part, la position de la zone activée n'est pas une caractéristique discriminante pour ces deux tâches : il faut alors utiliser les caractéristiques fréquentielle et/ou temporelle pour différencier ces deux tâches.
D'autre part, il est possible de limiter ce problème en donnant des instructions précises à l'utilisateur. Par exemple en spécifiant que le calcul mental doit être réalisé de manière exacte et que l'objet doit être tourné visuellement et non par un mouvement imaginaire d'une main qui manipulerait l'objet.
72%
15%
9%
2% 1%
0%
10%
20%
30%
40%
50%
60%
70%
80%
2 3 4 5 6
nombre de tâches N [-]
fréquence d'utilisation [%]
Figure 8 – Fréquence d'utilisation du nombre de tâches dans les paradigmes endogènes.
Adapté de (Mason et al 2005a).
Un autre exemple est donné par une hypothèse de McFarland et al (McFarland et al 2000): si un utilisateur doit imaginer un mouvement de la main gauche, il
le premier cas, l'activité principale aurait lieu dans le cortex moteur, tandis que dans le second cas, elle aurait lieu dans le cortex visuel.
Figure 9 – Exemples d'activité neuronale pour plusieurs tâches mentales. Images adaptées de (Dehaene et al 1999) pour le calcul mental et de (Purves et al 1999) pour les tâches associés
aux mots.
Ces deux exemples montrent qu'il est par conséquent très important que les instructions distillées à l'utilisateur soient précises.
Paradigmes exogènes
Les potentiels générés par les tâches exogènes sont relatifs à des évènements et sont appelées Event-Related Potentials1. En particulier, lorsque l'évènement est un stimulus externe au corps humain, on parle de potentiels évoqués (evoked potentials, EP), (Larousse 2000)/p.824. Schématiquement, l'utilisateur reçoit un stimulus visuel (visually-evoked potentials, VEP), auditif (auditory-evoked potentials, AEP) ou tactile (somatosensory-evoked potentials, SEP, p.ex. (Roder et al 1996)), et son cerveau produit une réponse reflexe. Ces potentiels sont très
1 Malgré la similitude de leur nom, les movement-related potential (MRP) n'ont rien à voir avec les ERP. Ce terme est souvent utilisé pour décrire l'activité neuronale produite lors de tâches mentales impliquant des mouvements réels ou imaginés, p.ex. (Blankertz et al 2002), (Yom-Tov et Inbar 2003), (Mason et Birch 2000).
Mots vus
passivement Mots écoutés
Mots prononcés Mots émis Approximatif
Exact
Calcul mental Rotation imaginaire d'objet Tâches associées aux mots
Par manipulation
motrice par soi-même
Par rotation autonome
de l’objet
stables d'une personne à l'autre car ils proviennent du cerveau primaire (thalamus). Par conséquent, peu d’apprentissage (voir aucun) n'est nécessaire pour obtenir des signaux stables pour un stimulus donné (Kleber et Birbaumer 2005). Lorsque le potentiel évoqué dépend fortement de la fréquence du stimulus, on le qualifie de steady-state, que l'on pourrait traduire par « quasi- stationnaire ». Les deux paradigmes les plus fréquents sont le P300 et le Steady State Visually Evoked Potentials (SSVEP).
Le potentiel P300 apparaît 300 millisecondes après un événement rare et significatif pour l'utilisateur. Farwell et Donchin rapportent que l'amplitude de ce potentiel est minimale à la position Pz1 (Farwell et Donchin 1988). Par exemple, on demande à l'utilisateur de compter le nombre de chats verts apparaissant à l'écran, voir Figure 10. L'apparition d'un chat noir, non pertinent pour l'utilisateur ne produit pas de réponse P300. Lorsque le chat vert apparaît, il se produit une diminution significative de l'amplitude2. On parle d'event-related desynchronization (ERD) car un grand nombre de neurones cesse d'être actif de manière synchrone, le potentiel mesuré tendant à se rapprocher de la tension de repos du neurone (-65 mV, voir Figure 7). L'amplitude de cette désynchronisation est proportionnelle à la rareté de l'événement. On parle au contraire de synchronisation lorsque l'amplitude du signal augmente. Notons que ces synchronisations et désynchronisation ne sont pas spécifiques aux paradigmes exogènes : ils apparaissent également dans les paradigmes endogènes. Ils servent uniquement à décrire un changement de l'état du signal.
1 Selon le système international de positionnement d'électrodes «10/20», voir Annexe A.
2 Le chat vert apparaît à intervalles irréguliers de sorte que l’utilisateur ne se prépare pas
Les paradigmes P300 peuvent également être basés sur des stimuli auditifs et somatosensoriels (Ravden et Polich 1999; Finucane et al 2003).
Figure 10 – Exemple de protocole P300 visuel.
Le SSVEP utilise un stimulus oscillant à une fréquence basse (10-15 Hz).
Lorsque l'utilisateur regarde un tel stimulus, la zone occipitale du cerveau (cortex visuel) est activée avec la même fréquence (Middendorf et al 2000;
Cheng et al 2001; Smith 2004). Par conséquent, si deux zones d'un écran oscillent avec deux fréquences différentes f1 et f2 voir Figure 11, il est possible de savoir quelle zone l'utilisateur regarde en analysant l'activité neuronale de son cortex visuel. L’utilisation de telles fréquences implique un risque de déclencher des crises d’épilepsie chez les utilisateurs sensibles.
Figure 11 - Exemple de protocole Steady State Visually Evoked Potential.
f1 f2
f1
Fréquence [Hz]
Energie [W]
f2
temps Amplitude
ERP [mV]
Electrode Pz
Grâce à la nature automatique de la réponse du cerveau, les paradigmes exogènes sont particulièrement efficaces. Il semble en effet qu'à long terme, l'amplitude de ces réponses automatiques diminuent car l'utilisateur s'est accoutumé à la tâche et la plasticité du cerveau a fait son œuvre (Ravden et Polich 1999).
Paradigmes à réponse modulée
Dans les paradigmes à réponse modulée, l'utilisateur modifie un signal de manière interne, sur la base d'un stimulus spécifique. Typiquement, le signal mesuré brut sert de stimulus et de feedback. L’utilisateur apprend à moduler l'amplitude de ce signal, ce qui nécessite généralement un très long apprentissage (jusqu'à plusieurs mois d’entraînement), voir Figure 12. Ce type de paradigme est également appelé « biofeedback » ou « paradigme à conditionnement d'opérant » (l'utilisateur étant conditionné pour produire une certaine réponse).
Figure 12 – Concept de paradigme à réponse modulée.
Les Slow Cortical Potentials (SCPs) sont un exemple typique. Il s'agit de changement de potentiel d'un signal électrique du cerveau reflétant le niveau d'excitation de la zone cérébrale considérée. Pour que l'utilisateur apprenne à réguler lui-même les SCPs, l'interface de contrôle lui fourni la tâche qu'il doit
Bio-feedback ⇐
BCI Stim.: Feed.:
.. ..
Signal EEG
Stimulus et feedback
