HAL Id: tel-01661583
https://tel.archives-ouvertes.fr/tel-01661583
Submitted on 12 Dec 2017HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-entific research documents, whether they are pub-lished or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers.
L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.
Combining electroencephalography and functional
magnetic resonance imaging for neurofeedback
Lorraine Perronnet
To cite this version:
Lorraine Perronnet. Combining electroencephalography and functional magnetic resonance imaging for neurofeedback. Medical Imaging. Université Rennes 1, 2017. English. �NNT : 2017REN1S043�. �tel-01661583�
ANNÉE 2017
THÈSE / UNIVERSITÉ DE RENNES 1
sous le sceau de l’Université Bretagne Loire
pour le grade de
DOCTEUR DE L’UNIVERSITÉ DE RENNES 1
Mention : Informatique
Ecole doctorale MATHSTIC (« Mathématiques et Sciences et
Technologies de l'Information et de la Communication »)
présentée par
Lorraine PERRONNET
Préparée à l’unité de recherche IRISA UMR CNRS 6074 / Inria Rennes
Nom développé de l’unité : VisAGes - INSERM U1228
Composante universitaire : Université de Rennes 1
Combinaison de
l’électroencéphalo-graphie et de
l’imagerie par
résonance
magnétique
fonctionnelle pour le
neurofeedback
Thèse soutenue à Rennes
le 7 septembre 2017
devant le jury composé de :
Olivier BERTRAND
Directeur de recherche, Inserm, Université Lyon 1 /
Président du jury
Dimitri VAN DE VILLE
Professeur associé, EPFL / Rapporteur
François CABESTAING
Professeur, Université Lille 1 / Rapporteur
François VIALATTE
Professeur associé, ESPCI Paris / Examinateur
Maureen CLERC
Directeur de recherche, Inria / Examinateur
Fabien LOTTE
Directeur de recherche, Inria / Examinateur
Christian BARILLOT
Directeur de recherche, CNRS / Directeur de thèse
Anatole LECUYER
C O M B I N I N G E E G A N D F M R I F O R N E U R O F E E D B A C K
"Those who believe in telekinetics, raise my hand." — Kurt Vonnegut
"The belief that there is only one truth and that oneself is in possession of it, seems to me the deepest root cause of all that is evil in the world."
— Max Born
I dedicate this work to the two entities of which I am one of the sum, my
parents Robert- and -Bertille1Perronnet2. I owe you almost everything, I 1Note how one is elegantly the continuity
of the other
2And how our family name sounds as
strong as a bone
guess "almost" being the positive ∆ corresponding to the fact that the whole is greater than the sum of its parts. Maybe we can discuss that later, now that I
A C K N O W L E D G M E N T S
Dreams are nothing more than wishes And a wish is just a dream
You wish to come true, woo woo
If only I could have a puppy I’d call myself so very lucky Just to have some company To share a cup of tea with me
I’d take my puppy everywhere La, la, la-la I wouldn’t care
And we would stay away from crowds And signs that said no dogs allowed Oh we, I know he’d never bite me Whoa de lo...
We, I know he’d never bite me
If only I could have a friend To stick with me until the end And walk along beside the sea Share a bit of moon with me
I’d take my friend most everywhere La, la, la-la I wouldn’t care We would stay away from crowds With signs that said no friends allowed Oh we, we’d be so happy to be
Whoa de lo...
We, we’d be so happy to be together
— The Puppy Song by Harry Nilsson
Commençons l’hymne des mille et un mercis avec les étoiles du système Thèse.
Mes tout premiers remerciements vont bien évidemment à mon duo de direc-teurs :Anatole etChristian(C&A). Vous avez sacrément bien fait la paire et je m’estime chanceuse d’avoir eu deux directeurs complémentaires et s’enten-dant aussi bien. Anatole, sans tes qualités de manager et tes pouvoirs de re-motivation des troupes, je ne sais pas comment je serais arrivée jusqu’au bout. Je fais courir la rumeur selon laquelle tu pourrais ressusciter un thésard mort de déprime :) Merci de toujours commencer nos entrevues par la même ques-tion tournée vers la personne en face de toi. Là je suis au bout de ma vie, mais je dirais que sur une échelle de 1 à 7, je suis à 6.4 (record ! !) ! Ivresse de la fatigue, ou soulagement d’être arrivée jusqu’au bout ? Christian, merci pour ta détermi-nation, ton pragmatisme mais aussi pour tes grandes idées. Merci à vous deux pour votre optimisme à toute épreuve, pour votre disponibilité régulière mal-gré vos emplois du temps chargés et pour votre vision stratégique malmal-gré le terrain à nous tous initialement largement inconnu du champ de ma thèse.
J’es-père vraiment avoir hérité ne serait-ce que d’une once de votre optimisme et de votre capacité à présenter les choses sous un angle positif.
A mes encadrants à distanceMaureenetFabien. Merci pour votre bienveillance et pour vos regards et conseils scientifiques toujours avisés. Merci aussi pour tout ce que vous faites qui contribue à faire vivre la recherche sur les BCI en France et merci d’être un modèle à suivre pour nous les petits padawans du domaine. Merci àBCI-LIFT!
Merci àDimitri Van De Villeet àFrançois Cabestaingd’avoir été rapporteurs de ma thèse, àFrançois Vialatted’avoir été examinateur et àOlivier Bertrand d’avoir présidé le jury durant ma soutenance de thèse. J’ai été honorée de soute-nir ma thèse devant vous tous.
Merci à la région Bretagneet au Labex Cominlabsd’avoir financé mes trois années de thèse.
Merci aux assistantes de Visages et Hybrid,Angélique,ArmelleetNathalie, tou-jours agréables, réactives et à l’écoute.
Merci àtoutes les personnes qui se sont portées volontaires pour nos expé-riences de neurofeedback et auxmanips radiosde la plateforme Neurinfo qui nous ont si bien assistés durant les expériences et qui ont fait preuve de beau-coup de patience et de dévouement.
Merci aux médecins,Jean-Marie Batail,Dominique Drapier,Isabelle Bonanet à leurs étudiants,MaxenceetSimonpour les moments d’échanges. Je vous sou-haite beaucoup de réussite avec les essais sur patients. Merci aussi àJean-Arthur Micoulaud-Franchipour son regard érudit, original et aiguisé sur le neurofeed-back et merci à lasection Next de l’AFPBNpour tous les efforts que vous mettez en place afin de structurer la recherche et la pratique autour du neurofeedback en France. Vivement la troisième Journée Nationale sur le Neurofeedback. Merci à lastartup Mensia et tous ses membrespour la qualité de leur démarche et de leur travail autour du développement de solutions de neurofeedback per-formantes, accessibles et attrayantes.
Au tour du système Collègues maintenant.
Merci à tous les membres de l’équipe Visages. ToMarsel. You and I know it hasn’t always been easy but I am glad you were part of the Hemisfer project. Wi-thout you, none of this would have been possible. Thank you for all your work, your professionalism and sincerity. I wish you all the best in your Biotrial ad-venture ! Merci àEliseetIsabellepour votre sympathie, vos compétences, votre disponibilité et pour le travail considérable que vous réalisez autour de la pla-teforme Neurinfo. Merci àPierre,OlivieretEmmanueld’être toujours là pour aider les autres. Merci àPierre-Yvesmon co-bureau intermittent, vapoteur, ba-vard et absolument intéressant de par sa culture et sa curiosité scientifique et générale. Merci à ma co-bureau Saman pour sa douceur et sa générosité. Et merci àFrancescama co-bureau des derniers jours d’avoir fait bonne impres-sion :). Merci àMichietYaopour leur immuable amicalité et pour notre passion partagée pour Biocoop :). Merci aux membres des débuts, en particulierLucas etThomaspour avoir mis l’ambiance ! Bon courage à ceux qui vont prendre la relève :Mathis,Giuliaet les autres qui arriveront après.
Merci à tous les membres de l’équipe Hybrid. Désolée de n’avoir été qu’un fan-tôme dans les couloirs qui se matérialisait uniquement pendant les séminaires d’équipe et séminaires au vert. Malheureusement je n’ai pas pu partager mon
corps en deux. Mais je peux multiplier mes mercis par 1000 :) Merci aux pé-tillantes et compétentesfilles du BCI :CametNataliya! Même si je sais que c’est pas pareil, combien de fois je me suis sentie nulle à côté avec mon neu-rofeedback, mon EEG, mon IRMf et mon taux de publications rikiki comparé aux vôtres :D Vous déchirez les filles ! Bonne suite et amusez-vous bien !Jussi. I could actually have added you to the previous corpus of greetings :D Good luck friend, and thank you for the mustard (and the (too rare) crazy conversations) ! Merci aux autres BCI guys,Andéol,JonathanetHakimet à tous les autres côté VR ! C’était cool de pouvoir profiter de l’ambiance de cette riche équipe ! Et merci aussi à tout ceux que je n’ai pas cité et que j’ai croisé de près ou de loin durant ces dernières années !
Aparté (parce qu’un cerveau n’est rien sans un corps).
Merci à l’Inriad’avoir financé une partie de mon alimentation bio. Vive les lé-gumes ! Merci àSamuel, mon professeur de shiatsu pour ta générosité, ta facétie et merci de nous avoir appris à donner et recevoir les pressions qui font des-cendre la pression. Merci auxprofs du 36 Boulevardet deForm Station, à mes profs de danseHazeletElaïs, et à ma prof de yogaHéloïse. Merci àMarkopour les quelques cours de violon qui ont vraiment changé quelque chose en moi.
Pour finir, au tour des systèmes amies et famille.
Merci à toutes lesamies de mon petit cerclequi représentent chacune une belle part de mon camembert affectif ! MaLou, l’amie la plus cool, débrouillarde et fidèle qui soit. C’est vrai qu’on est pas beaucoup moins cernées d’incertitudes qu’il y a quelques années, mais c’est peut-être pas si grave parce qu’on accomplit quand même des choses, non ? En tout cas, je sais pas où on va mais on y va ! Bienvenue à ma petite filleuleSpace Jahm Jahm! ! MaSara, si tu savais comme je suis heureuse de m’être inscrite au cours d’Hazel et d’avoir croisé ton regard hésitant ce jour là. Tu es un vrai cadeau. A présent, ikimashôôô ! Ma poussine Anaïs. Toi aussi, je ne regrette pas cette soirée pourrie d’un mois de janvier où je t’ai rencontré dans le métro avec la bande de hispters thaïlandais. C’était toi que j’allais ne pas oublier ! MaMaud. Tu déchires ! Je suis fière de connaître une fille comme toi avec tant de magie dans ses mains et de personnalité derrière ses yeux et partout ailleurs. Merci infiniment pour les cartoons qui égayent et allègent le (déjà pas si lourd) poids de ce manuscrit :) MaChacha, merci d’être encore là. Merci à ma douceCécile. Merci à toutes lesfilles de la danse avec qui on a bien rigolé et fait tournoyer nos jupes ! Merci à ma voisineIsabelleet àManonpour votre gentillesse.
Un infini merci àmes parentsdu bout du monde pour votre confiance aveugle d’amour et votre soutien à nul autre pareil. Malgré la distance, c’est inestimable de vous avoir. C’est évident que sans vous je ne serais jamais arrivée jusque là. Merci àmon frèreet àNereade n’être pas trop loin pour que je puisse venir vous voir. Merci à mes trois petits basquesEneko,UnaxetAlaitzpour vos bêtises, vos petites mains, vos grands sourires et les leçons de basque. Je ne pensais pas que le jeu du "krokrodil" aurait autant de succès. Merci de pousser toujours plus loin les possibilités de ce jeu avec vos âmes d’enfants.
Enfin,Jawzee, merci pour tout. Merci d’avoir été là malgré la distance. Du pre-mier au dernier jour, tes bras ont cara-collé en tête des lieux les plus réconfor-tants pour moi. Oui, et merci à ta famille de m’avoir accueillie.
A B S T R A C T
NF is the process of feeding back real-time information to an individual about his/her ongoing brain activity, so that he/she can train to self-regulate neural substrates of specific behavioral functions. NF has been extensively studied for brain rehabilitation of patients with psychiatric and neurological disorders. However its effective deployment in the clinical armamentarium is being held back by the lack of evidence about its efficacy.
One of the possible reason for the debated efficacy of current approaches could be the inherent limitations of single imaging modalities. Indeed, most NF approaches rely on the use of a single modality, EEG and fMRI being the two most widely used. While EEG is inexpensive and benefits from a high tem-poral resolution (millisecond), its spatial resolution (centimeters) is limited by volume conduction of the head and the number of electrodes. Also source lo-calization from EEG is inaccurate because of the ill-posed inverse problem. In a complementary way, fMRI gives access to the self-regulation of specific brain regions at high spatial resolution (millimeter) but has low temporal resolution (second).
Combined EEG-fMRI has proven much valuable for the study of human brain function, however it has rarely been exploited for NF purpose. In the con-text of NF, combining EEG and fMRI enables cross-modal paradigm evaluation and validation. But more interestingly it opens up avenues for the development of new NF approaches that would mix both modalities, either at the calibration phase or to provide a bimodal NF signal. Combined EEG-fMRI poses numer-ous challenges with regard to basic physiology, study design, data quality, analy-sis/integration and interpretation. These challenges are even greater if EEG and fMRI are both to be used simultaneously for online NF computation, because of the real-time constraint and the difficulty to find a task design compatible with EEG and fMRI’ diverging natures.
The theoretical part of this PhD dissertation aims at identifying methodologi-cal aspects that differ between EEG-NF and fMRI-NF and at examining the mo-tivations and strategies for combining EEG and fMRI for NF purpose. Among these combination strategies, we choose to focus on bimodal EEG-fMRI-NF as it seems to be one of the most promising approach and is mostly unexplored. The feasibility of this approach was recently demonstrated and opened an en-tire new field of investigation. First and foremost, we would like to address the following questions: what is the added value of bimodal NF over unimodal NF; are there any specific mechanisms involved when learning to control two NF signals simultaneously; how to integrate EEG and fMRI to derive a single feed-back ? The experimental part of this PhD dissertation therefore focuses on the development and evaluation of methods for bimodal EEG-fMRI-NF. In order to conduct bimodal NF experiments, we start by building up a real-time EEG-fMRI platform. Then in a first study, we compare for the first time bimodal EEG-fMRI-NF with unimodal EEG-NF and fMRI-NF. Eventually, in a second study, we introduce and evaluate two integrated feedback strategies for EEG-fMRI-NF.
R É S U M É
Le neurofeedback (NF) est une technique consistant à renvoyer à un individu des informations sur son activité cérébrale en temps réel, lui permettant ainsi d’apprendre à mieux en contrôler certains aspects pour la réorganiser de ma-nière durable. Des effets spécifiques sur les fonctions émotionnelles, cognitives ou comportementales du sujet sont supposés accompagner l’entraînement par NF, ce qui fait du NF une technique prometteuse pour la rééducation du cer-veau de patients souffrant de troubles neurologiques ou psychiatriques et pour l’optimisation de la performance chez les sujets sains. Le NF a été étudié comme outil de rééducation cérébrale dans un grand nombre de troubles neurologiques et psychiatriques. Pourtant, son déploiement au sein de l’arsenal thérapeutique est restreint par le manque de preuves concluantes sur sa réelle efficacité. Les limitations inhérentes aux modalités de mesures de l’activité cérébrale pour-raient être une des raisons à l’origine de cette efficacité débattue. En effet, la plupart des approches de NF reposent sur l’exploitation d’un seul type de mo-dalité, l’EEG et l’IRMf étant les plus répandues. Alors que l’EEG est peu coûteux et bénéficie d’une haute résolution temporelle (milliseconde), sa résolution spa-tiale (quelques centimètres) est limitée par la conduction volumique de la tête et le nombre d’électrodes employées. De plus, la localisation de sources à partir de l’EEG est imprécise du fait qu’elle constitue un problème inverse mal posé. De manière complémentaire, l’IRMf rend possible l’auto-régulation de régions cérébrales spécifiques avec une haute résolution spatiale (millimètres) mais pâ-tit d’une faible résolution temporelle (seconde). La combinaison de l’EEG et de l’IRMf s’est révélée fructueuse dans l’étude des fonctions cérébrales chez l’homme, pourtant elle a rarement été exploitée pour des applications de NF. Dans le cadre du NF, elle permet d’évaluer et de valider différents paradigmes de ma-nière transmodale. Mais surtout, elle ouvre un champ de possibilités pour le développement de nouvelles approches de NF qui mélangeraient les deux mo-dalités, soit à l’étape de calibration soit pour produire un signal de NF bimodal. La combinaison de l’EEG et de l’IRMf pose de nombreux défis relatifs à la phy-siologie, au design expérimental, à la qualité des données, ainsi qu’à leur analy-se/intégration et leur interprétation. Ces défis sont d’autant plus grands si l’EEG et l’IRMf sont destinés à être utilisés simultanément pour le calcul du signal de NF, du fait de la contrainte de temps-réel et de la difficulté de définir des tâches expérimentales compatibles avec les natures divergentes de l’EEG et de l’IRMf. La partie théorique de cette thèse vise à identifier les aspects méthodologiques qui diffèrent entre le NF-EEG et le NF-IRMf ainsi qu’à examiner les motivations et les stratégies pour combiner l’EEG et l’IRMf dans le cadre du NF. Parmi ces différentes stratégies de combinaison, nous avons choisi de nous focaliser sur le NF-EEG-IRMf bimodal car il apparaît comme une approche prometteuse et n’a quasiment pas été étudié. La faisabilité de cette approche a récemment été démontrée, faisant ainsi place à un tout nouveau champ d’investigation. Cette thèse vise à répondre aux questions suivantes : quelle est la valeur ajoutée du NF bimodal par rapport au NF unimodal ; existe-t-il des mécanismes spécifiques engagés lorsqu’un individu apprend à contrôler deux signaux de NF ; comment
intégrer l’EEG et l’IRMf pour produire un seul feedback ? La partie expérimen-tale de cette thèse se focalise donc sur le développement et l’évaluation de mé-thodes de NF-EEG-IRMf. Afin de conduire des expériences de NF bimodal, nous commençons par mettre en place une plateforme EEG-IRMf temps-réel. Ensuite, dans une première étude, nous comparons les effets du NF-EEG-IRMF, du NF-EEG et du NF-IRMf. Enfin, dans une seconde étude nous proposons et évaluons deux types de feedbacks intégrés pour le NF-EEG-IRMf.
P U B L I C AT I O N S
Below is a list of the publications and communications that have been carried out during this PhD:
Perronnet, Lorraine, Anatole Lécuyer, Marsel Mano, Elise Bannier, Fabien
Lotte, Maureen Clerc, & Christian Barillot (2017). “Unimodal Versus Bimodal EEG-fMRI Neurofeedback of a Motor Imagery Task.” In: Frontiers in Human
Neuroscience11, p. 193. doi:10.3389/fnhum.2017.00193.3 3Journal paper
Perronnet, Lorraine, Anatole Lécuyer, Fabien Lotte, Maureen Clerc, &
Chris-tian Barillot (2016). “Entraîner son cerveau avec le neurofeedback / Brain Training with Neurofeedback.” In: Brain-Computer Interfaces 1: Foundations and Methods. Ed. by Maureen Clerc, Laurent Bougrain, & Fabien Lotte. John
Wiley & Sons, Inc., pp. 271–292. doi:10.1002/9781119144977.ch13.4 4Book chapter
Mano, Marsel, Anatole Lécuyer, Elise Bannier, Lorraine Perronnet, Saman
Noorzadeh, & Christian Barillot (2017). “How to build a hybrid neurofeed-back platform combining EEG and fMRI.” In: Frontiers in Neuroscience 11,
p. 140. doi:10.3389/FNINS.2017.00140.5 5Journal paper
Perronnet, Lorraine, Anatole Lécuyer, Fabien Lotte, Maureen Clerc, &
Chris-tian Barillot (2017b). “Neurofeedback unimodal ou bimodal ? Intérêt de l’EEG et de l’IRMf.” In: 2ème journée nationale sur le neurofeedback. ESPCI Paris,
France, January 2017.6 6Invited talk
Perronnet, Lorraine, Anatole Lécuyer, Fabien Lotte, Maureen Clerc, &
Chris-tian Barillot (2017a). “EEG-fMRI neurofeedback of a motor imagery task.” In: 22nd Annual Meeting of the Organization for Human Brain Mapping (OHBM
2016). Palexpo, Geneva, Switzerland, June 2017.7 7Poster
Mano, Marsel, Elise Bannier,Lorraine Perronnet, Anatole Lécuyer, &
Chris-tian Barillot (2017). “Platform for Hybrid EEG-fMRI Neurofeedback Stud-ies.” In: 22nd Annual Meeting of the Organization for Human Brain Mapping
(OHBM 2016). Palexpo, Geneva, Switzerland, June 2017.8 8Poster
Perronnet, Lorraine, Anatole Lécuyer, Marsel Mano, Elise Bannier, Fabien
Lotte, Maureen Clerc, & Christian Barillot (2016). “HEMISFER: Hybrid Eeg-MrI and Simultaneous neuro-FEedback for brain Rehabilitation.” In: 1ère
journée nationale sur le neurofeedback. ICM, Paris, France, January 2016.9 9Poster
Bannier, Elise, Marsel Mano, Robert Stoermer, Isabelle Corouge,Lorraine Per-ronnet, Jussi Lindgren, Anatole Lécuyer, & Christian Barillot (2015). “On
the feasibility and specificity of simultaneous EEG and ASL MRI at 3T.” In:
C O N T E N T S
Résumé en français 1
1 g e n e r a l i n t r o d u c t i o n 9
1.1 What is neurofeedback ? . . . 9
1.2 Time for NF to go multimodal ? . . . 9
1.3 Combining EEG and fMRI for NF . . . 11
1.4 Goals of this thesis . . . 13
1.5 Chapter-by-chapter overview . . . 14
2 s tat e - o f - t h e - a rt o n n e u r o f e e d bac k 17 2.1 Introduction . . . 17
2.2 How does it work? . . . 19
2.2.1 Design of an NF training program . . . 19
2.2.2 Course of a NF session: when the eyes "look" at the brain 20 2.2.3 A learning procedure that we still do not fully understand 21 2.3 60 years of history . . . 22
2.3.1 Yesterday: too premature an infatuation . . . 22
2.3.2 Today: diversification of approaches . . . 23
2.4 Where NF meets BCI . . . 25
2.5 Applications . . . 26
2.6 Conclusion . . . 29
3 c o m b i n i n g e e g a n d f m r i f o r n e u r o f e e d bac k 31 3.1 When to do simultaneous recordings ? . . . 31
3.2 When EEG and fMRI agree and disagree . . . 32
3.3 Methodological comparison of EEG-NF and fMRI-NF . . . 34
3.4 Literature review of EEG/fMRI NF studies . . . 37
3.5 Taxonomy for EEG/fMRI NF studies . . . 40
3.6 Conclusion . . . 42
4 h ow t o bu i l d a r e a l - t i m e e e g - f m r i p l at f o r m f o r b i m o da l n e u r o f e e d bac k 43 4.1 General description of a real-time EEG-fMRI platform for bi-modal neurofeedback . . . 43
4.1.1 NF Unit . . . 44
4.1.2 Neurofeedback Presentation . . . 50
4.2 Illustrative Example: Bimodal Neurofeedback Platform at Neur-info . . . 51 4.2.1 EEG subsystem . . . 51 4.2.2 FMRI subsystem . . . 52 4.2.3 NF Unit . . . 52 4.2.4 Display . . . 55 4.2.5 Real-time performance . . . 55
4.2.6 Preparing the subject for EEG-fMRI scanning . . . 56
4.4 Conclusion . . . 58
5 u n i m o da l v e r s u s b i m o da l e e g - f m r i n e u r o f e e d bac k o f a m o t o r - i m ag e ry ta s k 59 5.1 Methods . . . 59
5.1.1 Experimental procedure . . . 59
5.1.2 Data acquisition/technical setup . . . 62
5.1.3 Real-time data processing . . . 62
5.1.4 Working hypotheses . . . 64
5.1.5 Offline analysis . . . 65
5.2 Results . . . 67
5.2.1 fMRI data analysis . . . 67
5.2.2 EEG data analysis . . . 70
5.2.3 Questionnaire . . . 71 5.3 Discussion . . . 71 5.4 Conclusion . . . 76 6 l e a r n i n g 2 i n 1 : t owa r d s i n t e g r at e d e e g f m r i n e u -r o f e e d bac k 77 6.1 Introduction . . . 77
6.2 Material and methods . . . 79
6.2.1 Experimental protocol . . . 79
6.2.2 Data acquisition . . . 81
6.2.3 Real-time data processing . . . 81
6.2.4 Calibration phase . . . 82 6.2.5 Offline analysis . . . 83 6.3 Results . . . 84 6.4 Discussion . . . 87 6.5 Conclusion . . . 90 7 c o n c lu s i o n a n d p e r s p e c t i v e s 91 7.1 General conclusion . . . 91
7.2 Perspectives: variations around bimodal NF . . . 92
7.2.1 Reinforce our findings . . . 92
7.2.2 Multi-sensory bimodal NF . . . 93
7.2.3 Integrate EEG and fMRI at earlier stages of the NF loop . 93 7.2.4 Mixed protocols . . . 94
7.2.5 Investigate other modality couples . . . 94
7.2.6 Investigate other integrated feedback paradigms . . . 94
7.2.7 Going towards clinical applications . . . 95
7.3 Last words . . . 96
L I S T O F F I G U R E S
Figure 1 Boucle de neurofeedback . . . 3
Figure 2 Base physiologique de l’EEG/MEG et de l’IRMf . . . 4
Figure 3 Vue d’ensemble des contributions de cette thèse . . . 6
Figure 9 Neurofeedback loop . . . 10
Figure 10 Physiological basis of EEG/MEG and fMRI . . . 12
Figure 11 Overview of contributions . . . 14
Figure 17 Example of an EEG-NF environment . . . 21
Figure 18 60 years of NF history . . . 25
Figure 19 Separate versus simultaneous EEG-fMRI . . . 31
Figure 20 EEG micro-states (from Koenig et al. (2002)) . . . 33
Figure 21 Methods for fMRI feature extraction . . . 36
Figure 22 EEG-fMRI-NF protocol for emotional regulation . . . . 39
Figure 23 Taxonomy of EEG/fMRI NF studies . . . 41
Figure 24 Abstract diagram of an EEG-fMRI NF platform . . . 44
Figure 25 Unimodal and bimodal NF scenarios . . . 47
Figure 26 Generic diagram of a real-time EEG processing pipeline 48 Figure 27 Generic diagram of a real-time fMRI processing pipeline 49 Figure 28 Neurofeedback visualization examples . . . 51
Figure 29 System synchronization . . . 54
Figure 30 Detailed diagram of the real-time EEG-fMRI NF platform 54 Figure 31 System installation pictures . . . 55
Figure 32 Hardware and software delays . . . 56
Figure 33 Experiment preparation . . . 57
Figure 34 Experimental procedure . . . 61
Figure 35 Real-time multimodal EEG/fMRI-NF setup . . . 63
Figure 36 Working hypotheses . . . 65
Figure 37 BOLD activation maps at group level . . . 68
Figure 38 fMRI laterality group mean . . . 69
Figure 39 Post-hoc fMRI activations . . . 70
Figure 40 EEG laterality group mean . . . 71
Figure 41 Post-hoc EEG activations group mean . . . 72
Figure 42 Summary of the statistical analysis results . . . 73
Figure 43 Levels of integration of multimodal information . . . 78
Figure 44 Integrated feedback strategies . . . 80
Figure 45 Experimental protocol . . . 80
Figure 46 Activations maps in both groups . . . 84
Figure 47 Activations maps in each group . . . 85
Figure 48 Difference of activation . . . 85
Figure 49 Online group mean . . . 86
Figure 50 Posthoc group mean . . . 86
Figure 51 Individual online means . . . 88
L I S T O F TA B L E S
Table 1 Methodological comparison of EEG-NF and fMRI-NF . 35
A C R O N Y M S
ADHD Attention Deficit Hyperactivity Disorder ANOVA ANalysis Of VAriance
ASL Arterial Spin Labelling BCG Ballisto-CardioGram BCI Brain-Computer Interface BOLD Blood-Oxygen Level Dependent CNS Central Nervous System
CSP Common Spatial Pattern EEG Electro-Encephalography EPI Echo-Planar Imaging
ERD Event-Related Desynchronization ERP Event-Related Potential
FLD Fisher’s Linear Discriminant analysis fMRI functional Magnetic Resonance Imaging fNIRS functional Near-Infrared Spectroscopy GLM General Linear Model
HRF Hemodynamic-Response Function ICA Independent Component Analysis kMI kinesthetic Motor Imagery
LDA Linear Discriminant Analysis LFP Local Field Potential
LORETA LOw REsolution brain electromagnetic Tomography MDD Major Depressive Disorder
MI Motor Imagery MR Magnetic Resonance
NF NeuroFeedback
PCA Principal Component Analysis PTSD Post-Traumatic Stress Disorder QEEG Quantitative EEG
ROI Region of interest rtfMRI real-time fMRI
SCP Slow Cortical Potential SMR Sensori-Motor Rhythm SNR Signal-to-Noise Ratio
TCP/IP Transmission Control Protocol/Internet Protocol TMS Transcranial Magnetic Stimulation
TR Time Repetition
R É S U M É E N F R A N Ç A I S
q u ’ e s t - c e q u e l e n e u r o f e e d bac k ?
Cette question n’est pas aussi innocente qu’elle en a l’air. Faire une thèse sur le neurofeedback s’apparente en quelque sorte à étudier une légende vivante et à contribuer à la maintenir en vie. N’eut été que pour la curiosité de découvrir l’histoire trouble du NF et pour le défi de démêler la confusion planant sur ce qu’est vraiment le NF, cette thèse en aurait valu la peine. Mais participer à l’écri-ture d’un chapitre de la saga du NF aura aussi été une passionnante avenl’écri-ture.
Présenté simplement, le neurofeedback est un procédé consistant à renvoyer à un individu de l’information sur son activité cérébrale en temps réel, afin
qu’il/elle s’entraîne à contrôler les substrats neuronaux de certaines fonctions11. 11Par exemple la régulation des émotions,
la motricité, l’attention, la perception de la douleur, la sensation de dépendance ...
Le NF a été étudié de manière extensive pour la rééducation de patients souf-frant de troubles neurologiques et psychiatriques et pour l’optimisation de la
performance chez des sujets sains12. Dans certains pays le NF est aussi utilisé 12Dichotomie #1 : applications cliniques
versus non cliniques, cf.Section 2.5
par des praticiens mais leurs pratiques ne reflètent pas nécessairement l’état de
la recherche13. 13Dichotomie #2 : la pratique du NF
ver-sus la recherche en NF, cf.Chapter 2
Le domaine du neurofeedback est très proche de celui des interfaces cerveau-machine (ICM) dans le sens où les deux approches sont basées sur l’exploita-tion en temps réel de mesures de l’activité cérébrale. Dans le cas du NF, le but est orienté vers le développement d’un contrôle interne (auto-régulation) tan-dis que le but des ICM traditionnelles est orienté vers la communication et le
contrôle d’objets externes (orthèse, ordinateur, ...)14. De façon intéressante, les 14Dichotomie #3 : NF et ICM (Huster
et al.,2014)
applications des ICM sont historiquement dérivées du NF. Pourtant, il arrive que la communauté ICM batte froid à la communauté NF et rechigne à uti-liser le terme "neurofeedback" lorsqu’ils sont pourtant en train d’en faire. En effet, la communauté ICM a récemment commencé à concevoir des ICM pour la rééducation cérébrale alors que c’est justement le but du NF. Ce type d’ICM est appelée "ICM réparatrice" en opposition avec les traditionnelles "ICM
d’as-sistance"et peut être considéré comme équivalent au NF15. Parce que le NF et 15NF≡ restorative BCI ≠ assistive BCI
les ICM sont si proches et complémentaires, cette thèse prend en considéra-tion à la fois la littérature du NF et des ICM. Il existe cependant des différences méthodologiques entre les deux domaines qu’il sera important de prendre en
considération16. 16Cf.Section 2.4pour plus d’explications
sur les similitudes et les différences entre NF et ICM
t e m p s v e n u p o u r l e n f m u lt i m o da l ?
De nos jours, il existe encore un grand besoin de nouvelles méthodes pour le
traitement des troubles neurologiques et psychiatriques17. En effet, certains pa- 17Comme par exemple : les AVC, la
détres-sion, les troubles anxieux, le TDAH, l’épi-lespie, la douleur chronique, l’addiction, la schizophrénie, les acouphènes, l’autisme, les migraines, ...
tients répondent mal aux traitements classiques ou souffrent de forts effets se-condaires. Pour les moins chanceux, il n’existe parfois pas de solution viable. En exploitant la plasticité cérébrale et les capacités d’auto-régulation du patient, le NF apparaît comme une alternative non-invasive prometteuse ou comme com-plément aux traitements existants tels que les médicaments, la neuro-chirurgie, la psychothérapie et les techniques de stimulation passives. Le NF laisse même
ac r o n y m s
espérer pouvoir obtenir des effets bénéfiques à long terme avec peu ou pas d’ef-fets secondaires. Cependant, l’histoire du NF depuis ses débuts à aujourd’hui montre que le chemin vers la terre promise du NF est une route longue et si-nueuse. On ne met pas si facilement le cerveau d’une personne à sa disposi-tion...
La recherche sur le NF remonte aux années 50 avec les travaux pionniers de Joe Kamiya à l’Université de Chicago sur le conditionnement opérant des ondes alpha de l’EEG chez l’homme. Certaines chercheurs18font même remonter les
18(Martijn Arns, Batail et al.,2017)
origines du NF à la première demonstration de conditionnement classique de l’EEG humain par le psychologue français Gustave Durup et le neurophysiolo-giste français Alfred Fessard dans les années 3019, ce qui veut dire peu de temps
19Dichotomie #4 : conditionnement
clas-sique versus opérant. Le conditionnement est un concept de psychologie comporte-mentale qui a trait au façonnage des com-portements. Le conditionnement classique consiste à émettre un signal neutre avant le déclenchement d’une réponse réflexe (i.e. les comportements involontaires et automa-tiques) de sorte qu’à terme le signal neutre devienne déclencheur du réflexe (associa-tion). Le conditionnement opérant consiste à récompenser et/ou punir un comporte-ment volontaire afin de le renforcer ou de le diminuer. Le conditionnement opérant est traditionnellement considéré comme jouant un rôle central dans le processus de NF. Mais récemment, la compréhension des processus de NF a évolué vers des modèles plus complexes impliquant à la fois des pro-cessus volontaires et involontaires.
après que l’EEG de l’homme fut décrit pour la première fois par Hans Berger dans les années 20. On pourrait dire que dès qu’on trouve une nouvelle manière de mesurer l’activité cérébrale on a une nouvelle manière de la contrôler, du mo-ment qu’on peut en extraire assez rapidemo-ment des informations utiles. Aux dé-but des années 2000, longtemps après la première démonstration du NF-EEG, l’avènement de l’IRMf temps-réel rendit possible le NF-IRMf20. Celui-ci donna
20(S.-S. Yoo & Jolesz,2002a)
accès à l’auto-régulation des régions profondes du cerveau avec une haute réso-lution spatiale, ce qui n’était pas possible avec le NF-EEG. Une décennie plus tard, la magnétoencéphalographie (MEG)21 et la spectroscopie proche
infra-21(Lal et al.,2005; Sudre et al.,2011)
rouge fonctionnelle (SPIR)22 s’ajoutèrent à la liste des modalités de NF. A ce
22(Mihara et al.,2012; Kober, Wood
et al.,2014)
jour, l’EEG et l’IRMf sont les modalités les plus utilisées dans la recherche et offrent une variété d’approches23,24. Le NF-EEG se décline en : NF traditionnel
23(Hammond,2011; Sulzer et al.,2013) 24Dichotomie #5 : EEG et IRMf
qui cible des bandes de fréquences à une ou deux électrodes ; NF des potentiels corticaux lents ; NF z-score qui consiste à normaliser différentes métriques pro-venant d’un EEG quantitatif ; ou le NF LORETA qui se focalise sur un signal reconstruit à partir d’une région corticale d’intérêt. De son côté, le NF-IRMf a essentiellement évolué en passant des approches ciblant une seule région à des approches multivariées. LaFigure 1illustre les boucles fermées du NF-EEG et du NF-IRMf.
Malgré la variété d’approches de NF qui ont été développées et étudiées sur un large panel d’applications au cours de toutes ces années d’existence, la mé-thodologie optimale et l’efficacité du NF restent aujourd’hui débattues. Actuel-lement, l’application la plus convaincante du NF-EEG est dans le traitement du trouble de l’attention avec hyperactivité chez l’enfant pour lequel des essais contrôlés et randomisés ainsi qu’une série de méta-analyses ont été publiés. Le faible niveau d’évidence du NF résulte probablement de l’insuffisance d’études remplissant les critères de la médecine basée sur la preuve (petite taille d’échan-tillon, manque de conditions contrôle, pas de randomisation ou de double aveugle, ...), de l’hétérogénéité des approches utilisées par différentes études, et du manque
de connaissance sur les mécanismes sous-tendant le NF qui fait qu’il est difficile d’établir un corpus de bonnes pratiques. Cet état de fait est en train de changer car les études de NF deviennent de plus en plus rigoureuses25et car un nouveau
25(Sulzer et al.,2013; Stoeckel et al.,
2014; Thibault, Lifshitz & Raz,2016) type d’études émergent tentant de comprendre les mécanismes du NF26 et de
26(Ninaus et al.,2013; Sitaram, Ros
et al.,2016; Emmert, Kopel, Sulzer et al.,2016; Birbaumer, Ruiz & Sitaram,
2013; Kober, Witte et al.,2013)
résoudre différents aspects méthologiques27.
27(Emmert, Kopel, Koush et al.,2017;
Krause et al.,2017; Sorger, Kamp et al.,
2016; Sepulveda et al.,2016)
Il se pourrait bien que le manque d’efficacité des approches actuelles soit aussi en partie lié aux limitations inhérentes aux modalités de mesures qui sont employées de manière unimodale28. En effet, la plupart des approches de NF
28(Biessmann et al., 2011; Fazli,
Dahne et al.,2015)
3
l’IRMf, la SPIR ou la MEG. Chacune de ces modalités est sensible à des phé-nomènes biophysiques particuliers liés à l’activité cérébrale et présente des
limi-tations physiologiques et techniques propres29. Étant donné la complexité de 29(Biessmann et al.,2011)
l’activité cérébrale qui se propage à différentes échelles spatiales et temporelles, personne ne devrait douter qu’il faudrait plus d’un seul dispositif de mesure
pour la capter dans ses moindres subtilités30. 30Dire que l’activité cérébrale est
com-plexe est un euphémisme (Bullmore et al.,2009). On estime que le cerveau humain possède 86 milliards de neurones (16 mil-liards dans le cortex cérébral, 69 dans le ce-rebellum) (Herculano-Houzel,2009) qui déchargent 0.1 - 200 fois par seconde. "It is a complex temporally and spatially mul-tiscale structure that gives rise to elaborate molecular, cellular, and neuronal pheno-mena that together form the physical and biological basis of cognition."(Bassett & Gazzaniga,2011)
Combiner plusieurs modalités de mesure pourrait permettre de surmonter certaines limitations des modalités individuelles, extraire des informations plus riches et précises sur l’activité cérébrale et développer des approches de NF plus efficaces. En particulier, la combinaison de l’EEG et de l’IRMf est prometteuse car elle pourrait permettre d’allier la haute résolution temporelle de l’EEG à la haute résolution spatiale de l’IRMf. Dans la communauté ICM, le champ des
Figure 1 – Cette figure illustre la boucle fermée du NF-EEG, du NF-IRMf et du NF-EEG-IRMf, les étapes préparatoires hors-ligne telles que "Design de la tâche et du protocole" et "Calibration", ainsi que les concepts issus de la lit-térature de l’EEG-IRMf tels que le "couplage neurovasculaire" et l’"intégration de données" ICM hybrides a récemment émergé31, le terme "hybride" faisant référence à une
31(Pfurtscheller, B. Z. Allison et
al.,2010; Amiri, Fazel-Rezai & Asad-pour,2013)
combinaison multimodale de capteurs. Une ICM hybride est définie comme la combinaison de deux ICM ou d’au moins une ICM et d’un autre dispositif comme par exemple un dispositif de biofeedback32. Elles peuvent être conçues
32(Pfurtscheller, B. Z. Allison et al.,
2010)
pour fonctionner de manière simultanée ou séquentielle. Leur but est essen-tiellement d’améliorer l’usabilité et/ou la performance de l’ICM. Dans la litté-rature, la plupart des ICM hybrides combinant deux ICM sont basées sur des paradigmes EEG. Mais certains travaux combinant EEG et SPIR ont aussi été proposés33et ont montré une performance accrue. Ces résultats encourageants
33(Fazli, Mehnert et al.,2012;
Buc-cino, Keles & Omurtag,2016)
suggèrent qu’utiliser des approches hybrides/multimodales pour le NF pourrait permettre de dépasser l’efficacité des approches unimodales. Si la portabilité et le coût du dispositif sont des critères critiques pour les ICM d’assistance car elles sont destinées à être utilisées de manière fréquente, ces critères sont moins dé-cisifs en NF. C’est une raison pour laquelle la communauté ICM (lorsqu’elle ne fait pas du NF) est plus portée à investiguer la combinaison de l’EEG et de la SPIR plutôt que celle de l’EEG et de l’IRMf.
ac r o n y m s
c o m b i n e r l ’ e e g e t l ’ i r m f p o u r l e n f
L’EEG et l’IRMf sont complémentaires dans leurs forces, leurs limitations et dans la nature de leurs signaux34(seeFigure 10). L’EEG reflète la somme des
34"marry the blind (EEG) and the lame
( fMRI)"
potentiels post-dendritiques synchronisés d’un grand nombre de cellule pyra-midales. Elle bénéficie d’une haute résolution temporelle (millisecondes) qui lui permet de détecter les rythmes du cerveau qui vont des ondes delta (0.5 - 4Hz) aux ondes gamma (> 30Hz). Cependant, sa résolution spatiale (centimètres) est limitée par la conduction volumique de la tête, par le nombre d’électrodes et par le fait que le problème inverse de reconstruction de sources est mal posé. De son côté, l’IRMf mesure indirectement l’activité cérébrale au moyen de l’effet "dependant du niveau d’oxygène" (BOLD). L’IRMf est sensible aux propriétés magnétiques du sang qui changent en fonction de la concentration locale en oxygène qui varie en réponse au besoin en énergie des neurones qui s’activent35.
35Vous pouvez essayer de lire cette phrase
dans l’autre sens si vous préférez voyager
dans le temps de la manière directe Elle offre une résolution spatiale très appréciée (millimètres) de tout le cerveau.
Mais sa résolution temporelle est limitée par le temps nécessaire pour acquérir un volume complet du cerveau (≥ centaines de millisecondes), et par le fait que le pic de la réponse hémodynamique est retardé de 4 à 6 secondes de l’onset neuronal et que cette réponse hémodynamique agit comme un filtre passe-bas qui lisse la réponse neuronale.
Figure 2 – Base physiologique de l’EEG/MEG et de l’IRMf
(De-neux,2011) Le développement de l’EEG-IRMf combiné a été initialement motivé par les applications en épilepsie afin de localiser les sources neuronales des décharges épiletiques. La première étude EEG-IRMf a eu lieu en 199236. A cette époque,
36(Ives, Warach & Schmitt,1993)
l’EEG et l’IRMf devait être enregistrés de manière alternée pour des raisons de sûreté du sujet et du matériel et de qualité des données. En effet, les ondes de radio-fréquences qui oscillent rapidement couplées au puissant champ magné-tique stamagné-tique de l’aimant induisent des courants dans les objets conducteurs, ce qui peut produire un échauffement au niveau des électrodes, endommager les tissus ou le matériel et introduire des artefacts dans les données. Au début des années 2000, le développement de dispositifs EEG compatibles avec l’environ-nement de l’IRM fait à partir de matériaux non ferro-magnétiques et le déve-loppement d’algorithmes de réduction des artefacts rendirent possible
l’acquisi-5
tion simultanée de l’EEG et de l’IRMf. Depuis, l’EEG-IRMf combiné a trouvé sa place dans la planification pré-chirurgicale de l’épilepsie et a significativement contribué à avancer la compréhension du cerveau humain pendant l’état de re-pos, le sommeil et lors de tâches cognitives.
Dans le contexte du NF, la combinaison de l’EEG et de l’IRMf ouvre des possi-bilités pour la validation transmodale des paradigmes mais aussi et surtout pour le développement d’approches de NF qui mélangeraient les deux modalités, soit à la phase de calibration soit en ligne pour renvoyer un NF bimodal, ou utilisées de manière alternative. Au moment où cette thèse a commencé (fin 2013), très peu d’études de NF avaient eu recours à l’EEG-IRMf combiné. Pourtant toutes ces études avaient des motivations différentes et exploitaient des approches diffé-rentes ce qui illustre la variété de possibilités que l’EEG-IRMf a à offrir dans le cadre du NF. Parmi ces études, deux en particulier ont tracé deux grandes direc-tions pour l’usage combiné de l’EEG et de l’IRMf pour le NF. La première étude
par Meir-Hasson et al.37a introduit l’idée du NF-EEG informé par IRMf en pro- 37(Meir-Hasson, Kinreich et al.,2013)
posant une méthode qui produit une empreinte EEG utilisée pour prédire le si-gnal IRMf d’une région profonde. La seconde étude par Zotev et al. a présenté la première preuve de concept du NF-EEG-IRMf bimodal qui consiste à renvoyer
simultanément au sujet un NF basé simultanément sur l’EEG et l’IRMf38. Bien 38(Zotev, Phillips et al.,2014a)
qu’étant des contributions significatives, ces travaux pionniers présentaient des limitations qui laissaient largement la place à des améliorations et approfon-dissements. La méthode de Meir-Hasson et al. est avantageuse car elle limite le recours coûteux à l’IRMf mais est réductrice dans le sens où elle n’utilise qu’une seule électrode EEG et n’exploite pas complètement le potentiel des deux mo-dalités. Les travaux de Zotev et al. sont les premiers à proposer de renvoyer simultanément un NF-EEG et un NF-IRMf en partant de la supposition que cette approche pourrait s’avérer plus efficace que les approches unimodales. Ce-pendant cette hypothèse n’a pas été testée. Il n’est donc pas clair quelle est la valeur ajoutée de cette nouvelle approche et si des mécanismes spécifiques sont à l’oeuvre lorsqu’un sujet apprend à réguler deux signaux plutôt qu’un.
o b j e c t i f s d e c e t t e t h è s e
Cette thèse adresse les questions suivantes :
• Pourquoi et comment combiner l’EEG et l’IRMf dans le cadre du NF et quelles sont les stratégies les plus prometteuses ?
• Quelles sont les contraintes méthodologiques de l’EEG et de l’IRMf qu’il faut particulièrement considérer lors de la conception d’un protocole de NF-EEG-IRMf ?
• Comment développer une plateforme expérimentale de NF-EEG-IRMf ? • Quelle est la valeur ajoutée du EEG-IRMf comparé au EEG et au
NF-IRMf, et existe-t-il des mécanismes spécifiques à l’oeuvre lorsqu’un sujet ap-prend à contrôler deux signaux d’origine cérébrale plutôt qu’un seul ?
ac r o n y m s
Figure 3 – Vue d’ensemble des contributions de cette thèse
A partir de l’étude de la complémentarité entre l’EEG et l’IRMf, cette thèse propose dans un premier temps d’analyser les contraintes spécifiques que cha-cune de ces modalités imposent sur le design expérimental d’un protocole de NF, et d’identifier les motivations et les stratégies pour combiner ces deux mo-dalités dans le cadre du NF (cf. contribution 1 deFigure 11). Par la suite, parmi ces différentes stratégies de combinaison, nous proposons de nous focaliser sur l’investigation, la conception et l’évaluation de méthodes pour le NF-EEG-IRMf bimodal car il apparait comme une des stratégies les plus prometteuses et n’a quasiment pas été explorée. Pour cela, nous commençons par mettre en place une plateforme EEG-IRMf temps réel capable de fournir un NF dans des condi-tions unimodales et bimodales (cf. contribution 2 deFigure 11). Ensuite, nous procédons à la partie expérimentale de cette thèse. Dans une première étude nous évaluons la valeur ajoutée du EEG-IRMf bimodal comparé au NF-EEG et au NF-IRMf (contribution 4 deFigure 11). Enfin dans une deuxième étude nous introduisons et évaluons de stratégies de feedback intégrés pour le NF-EEG-IRMf (contribution 3 deFigure 11). Nos protocoles et études sont élaborés dans le contexte de l’entraînement à l’imagerie motrice, car cela n’a pas encore été fait et car les activations EEG et IRMf des régions motrices sont bien connues et représentent donc un bon point de départ pour le développement et l’évaluation de nouvelles méthodes (contribution 3 inFigure 11). Les contri-butions de cette thèse sont indiquées en violet sur laFigure 11.
7
p l a n d e c e t t e t h è s e
LeChapitre 2 présente un état de l’art du neurofeedback. Nous y décrivons la mise en place d’un programme d’entraînement par NF et le déroulement ty-pique d’une session de NF ainsi que les mécanismes sous-tendant le NF. En-suite nous y retraçons l’histoire du NF de manière à comprendre l’origine de sa parfois mauvaise réputation et appréhender la diversité des approches existantes. Nous discutons aussi de comment les champs du NF et des ICM pourraient se rapprocher avec le développement des ICM "réparatrices". En-fin, nous présentons les applications du NF en détaillant l’état de la recherche
sur quelques unes de ses applications cliniques majeures. Figure 4 – Leplus de 60 ans de recherche dansChapter 2retrace le domaine du NF.
LeChapitre 3 pose les bases pour comprendre comment l’EEG et l’IRMf peuvent être combinés dans le cadre du NF. Nous commençons par expliquer dans quelles situations l’EEG et l’IRMf doivent être acquis de manière simulta-née et comment les signaux BOLD et électrophysiologiques sont reliés. En-suite nous dressons une comparaison méthodologique du EEG et du IRMf qui sera particulièrement utile pour la conception de protocol de NF-EEG-IRMf. Enfin, nous passons en revue de manière exhaustive le corpus d’études de NF ayant exploités l’EEG et l’IRMf et proposons une taxonomie de ce type d’études.
Figure 5 – LeChapter 3discute des aspects importants pour la combinaison de l’EEG et de l’IRMf dans le cadre du NF.
LeChapitre 4 décrit comment mettre en place une plateforme EEG-IRMf temps-réel capable de fournir un NF bimodal. La première partie de ce chapitre dé-crit les composants matériels, logiciels et logiques d’une telle plateforme et identifie certains de ses aspects critiques tels que la synchronisation de l’EEG et de l’IRMf et les artefacts. Ce chapitre est destiné à être utilisé comme un guide pour les laboratoires qui souhaiteraient mettre en place leur propre plateforme EEG-IRMf pour conduire des expériences de NF bimodal. La seconde partie de ce chapitre donne un exemple illustratif en décrivant la plateforme que nous avons déployé à Neurinfo (CHU Pontchaillou, Rennes, France) et les choix d’implémentation spécifiques que nous avons faits. Les deux études expérimentales présentées dans cette thèse (Chapitre 5 et 6) ont été conduites à l’aide de cette plateforme. Le contenu de ce chapitre a été essentiellement rédigé par Marsel Mano, l’ingénieur qui a développé cette plateforme.
Figure 6 – LeChapter 4 décrit comment mettre en place une plateforme EEG-IRMf temps-réel pour faire des expériences de NF bimodal.
LeChapitre 5 présente la première étude de NF-EEG-IRMf réalisée dans le cadre de cette thèse. Cette étude vise à évalue la valeur ajoutée du NF-EEG-IRMf comparé au NF-EEG et au NF-NF-EEG-IRMf. A cette fin, nous introduisons un protocole de NF-EEG-IRMf pour l’entraînement à l’imagerie motrice et em-ployons un design intra-sujets dans lequel chaque participant réalise la tâche d’imagerie motrice dans trois conditions de NF : EEG, IRMf et NF-EEG-IRMf. Ces conditions sont évaluées en terme d’intensité des activations EEG et IRMf.
Figure 7 – LeChapter 5présente une étude dans laquelle les partici-pants ont réalisé une tâche d’ima-gerie motrice avec NF unimodal et bimodal.
LeChapitre 6 présente la seconde étude de NF-EEG-IRMf réalisée dans le cadre de cette thèse. Dans cette étude, on introduit deux stratégies de feedback in-tégré pour le NF-EEG-IRMf et étudions leurs effets sur une tâche d’imagerie motrice au moyen d’un design inter-groupes. Un feedback intégré permet de représenter l’EEG et l’IRMf avec un seul feedback au lieu de deux feedbacks
ac r o n y m s
séparés, ce que nous supposons être sous-optimal en terme de charge cogni-tive et de possibilités pour définir une cible de NF bimodal. Le premier feed-back intégré est un graphe bi-dimensionnel (2D) dans lequel chaque dimen-sion représente l’information provenant d’une modalité. Le second feedback intégré est une jauge uni-dimensionnelle (1D) qui intègre les deux informa-tions en une seule. Tout comme dans la première étude, les condiinforma-tions de NF sont évaluées en terme d’intensité des activations EEG et IRMf.
Figure 8 – LeChapter 6présente une étude dans laquelle on éva-lue les effets de deux stratégies de feedback intégré pour le
NF-EEG-IRMf. LeChapitre 7 résume les contributions de cette thèse et discute des perspec-tives qu’elle laisse entrevoir.
1
G E N E R A L I N T R O D U C T I O N"Never permit a dichotomy to rule your life."
— Pablo Picasso
1.1 w hat i s n e u r o f e e d bac k ?
This question is not as innocent as it seems. Doing a PhD on neurofeedback is somehow like studying a living legend, and making this legend live. Had it been only for the thrill of discovering the intrigue of neurofeedback history, and the fuss of untangling the confusion about what NF is, it would have been worth it. Yet, trying to play a part in the NF saga was also very much compelling.
Putting it simply, neurofeedback is the process of feeding back real-time in-formation to an individual about his/her ongoing brain activity, so that he/she
can train to self-regulate neural substrates of specific behavioral functions1. NF 1For example emotion regulation, motor
performance, attention, pain perception, craving ...
has been extensively studied for brain rehabilitation of patients with psychiatric and neurological disorders and for peak performance training of healthy
sub-jects2. NF is also being used by practitioners in some countries but their practice 2Dichotomy #1: clinical versus
non-clinical applications of NF, seeSection 2.5
does not necessarily reflect the research3.
3Dichotomy #2: NF practice versus NF
re-search, seeChapter 2
Neurofeedback has a lot in common with brain-computer interfaces (BCIs) in the way that both approaches exploit brain activity measures in real-time. In NF, the purpose is directed towards an internal control (self-regulation) while the purpose of traditional BCIs is directed towards communication and
con-trol of external objects (orthosis, computer, ...)4. Interestingly, BCI applications 4Dichotomy #3: NF and BCI (Huster et al.,
2014)
were historically derived from NF. Yet it sometimes happen that the BCI com-munity gives the NF comcom-munity a cold shoulder and does not dare to use the NF word even when they are actually doing NF. Indeed, the BCI community has recently started developing BCIs designed for brain rehabilitation, just like NF. Such BCIs are coined "restorative BCIs" as opposed to traditional "assistive
BCIsand can be considered as an equivalent of NF5. Because NF and BCI are 5NF≡ restorative BCI ≠ assistive BCI
so related and complementary, this thesis is taking in consideration both the NF and the BCI literature. However there exist differences in methodological
aspects between the two fields that will be important to consider6. 6SeeSection 2.4for more explanations
about the similarities and differences be-tween NF and BCI
1.2 t i m e f o r n f t o g o m u lt i m o da l ?
Nowadays there is still a great need for the development of new methods for
the treatment of neurological and psychiatric disorders7. Some patients do not 7Examples include: stroke, depression,
anx-iety disorders, ADHD, epilepsy, chronic pain, addiction, schizophrenia, tinnitus, autism, migraines, ...
respond well to classical treatments or suffer from strong side-effects. For the most unfortunate, there might even be no viable cure. By exploiting neuroplas-ticity together with the self-regulation ability of the patient, NF appears to be a promising non-invasive alternative or complement to existing treatments such as pharmacological treatments, neurosurgery, psychotherapy and passive
stim-1.2 t i m e f o r n f t o g o m u lt i m o da l ?
ulation techniques. NF even makes one dream of long-term efficacy with lit-tle or no side-effects. However, looking back at NF history, the path to the promised land of NF turned out to be very long and winding. One does not put so easily someone’s brain at his/her own disposal.
NF research dates back to the late 50s with the seminal work of Joe Kamiya at the University of Chicago on the operant conditioning of EEG alpha waves. Some researchers8even date it back to the first demonstration of classical
con-8(Martijn Arns, Batail, et al.,2017)
ditioning of the human EEG by french psychologist Gustave Durup and french neurophysiologist Alfred Fessard in the 30s9, that means not long after the
9Dichotomy #4: classical versus operant
conditioning. Conditioning is a concept from behavioral psychology that relates to the shaping of behaviors. Classical condi-tioning involves placing a neutral signal be-fore a reflex (i.e. involuntary and automatic behaviors) so that eventually the neutral signal will trigger the reflex (association). Operant conditioning involves applying re-inforcement and/or punishment after a vol-untary behavior in order to strenghten or weaken it. The latter has traditionally be thought to play a central role in the NF pro-cess. But recently, the understanding of NF process has switched to more complex mod-els involving both voluntary and unvolun-tary mechanisms.
human EEG was first described by Hans Berger in the 20s. One could argue that as soon as one gets a new way to measure the brain activity, one has a new way to self-control it, providing one can extract fast enough something meaningful from it. Many years after the first demonstration of EEG-NF, in the early 2000’s, the advent of real-time fMRI allowed the birth of fMRI-NF10.
10(S.-S. Yoo & Jolesz,2002a)
fMRI-NF gave access to the self-regulation of deep brain regions with high spa-tial resolution, which was not possible with EEG-NF. A decade later, magneto-encephalography (MEG)11and functional near-infrared spectroscopy (fNIRS)12
11(Lal et al.,2005; Sudre et al.,2011) 12(Mihara et al.,2012; Kober, Wood, et al.,
2014)
were added to the list of possible NF modalities. To this day, EEG and fMRI are the most common modalities in NF research and offer a variety of approaches13,14.
13(Hammond,2011; Sulzer et al.,2013) 14Dichotomy #5 (the golden one): EEG
and fMRI
EEG-NF is available as traditional amplitude-based NF that targets frequen-cies at one or two electrodes, slow cortical potentials (SCP) NF, z-score NF that consists in normalizing different quantitative EEG (QEEG) metrics, or LORETA NF that targets reconstructed signal from cortical regions of interest. For its part, fMRI-NF has mainly evolved from single-region to multivariate approaches.
Figure 9 – This figure illustrates the closed loop of EEG-NF, fMRI-NF, and EEG-fMRI-fMRI-NF, prepara-tory offline steps "Protocol and task design", and "Calibration", as well as combined EEG-fMRI con-cepts such as neurovascular cou-pling and data integration
Despite the fact that over the years many NF approaches have been devel-oped and studied for a large range of applications, the optimal methodology
11
and the effectiveness of NF remains debated. Currently, the most convincing application of NF is in the treatment of attention-deficit hyperactivity disorder (ADHD) in children with EEG-NF, for which controlled, randomized trials and an initial set of meta-analyses have been published. The limited level of evidence of NF is likely to be a result of insufficient evidence-based criterions of NF stud-ies (small sample size, lack of control, no randomization, no double-blind trials, ...), of the heterogeneity of approaches used in different studies, and of the lack
of knowledge about the underlying mechanisms of NF which makes it difficult to establish methodological guidelines. This state of affairs is actually changing
as increasingly rigorous approaches are becoming the new standard15, and as 15(Sulzer et al.,2013; Stoeckel et al.,2014;
Thibault, Lifshitz, & Raz,2016)
new studies are delving into the mechanisms16as well as the methodological
16(Ninaus et al.,2013; Sitaram, Ros, et al.,
2016; Emmert, Kopel, Sulzer, et al.,2016; Birbaumer, Ruiz, & Sitaram,2013; Kober, Witte, et al.,2013)
aspects of NF17.
17(Emmert, Kopel, Koush, et al., 2017;
Krause et al.,2017; Sorger, Kamp, et al.,
2016; Sepulveda et al.,2016)
Another possible reason for the lack of efficiency of current approaches might be the inherent limitations of single imaging modalities18. Indeed, most NF
ap-18(Biessmann et al.,2011; Fazli, Dahne, et
al.,2015)
proaches rely on the use of a single brain imaging modality among EEG, fMRI, fNIRS or MEG. Each of these modalities is sensitive to a particular biophysi-cal phenomenon related to brain activity and comes with its own technibiophysi-cal and physiological limitations19. Given the complexity of brain activity that sparks 19
(Biessmann et al.,2011)
at different spatial and temporal scales, no one should doubt that it would take
more than one device to catch it within its smallest nooks20. 20Saying that brain activity is complex
is a bit of an understatement(Bullmore et al.,2009). The human brain is estimated to have about 86 billion neurons (16 bil-lions in the cerebral cortex, 69 in the cere-belum) (Herculano-Houzel,2009) that fire between 0.1 - 200 times per second. "It is a complex temporally and spatially multi-scale structure that gives rise to elaborate molecular, cellular, and neuronal phenom-ena that together form the physical and bi-ological basis of cognition."(Bassett & Gaz-zaniga,2011)
Combining modalities could allow to overcome some of the limitations of single modalities, extract richer and more accurate information about the ongo-ing brain activity and therefore enable to develop more effective NF approaches. In particular, the combination of EEG and fMRI is most promising as it allows to combine the high temporal resolution of EEG together with the high spatial resolution of fMRI.
In the BCI community, the field of hybrid BCI has recently emerged21, the
21(Pfurtscheller, B. Z. Allison, et al.,2010;
Amiri, Fazel-Rezai, & Asadpour,2013)
term "hybrid” referring to a multimodal combination of sensors. A hybrid BCI is defined as the combination of two BCIs or of at least a BCI and another system such as another biofeedback system (like an electromyogram for example)22.
22(Pfurtscheller, B. Z. Allison, et al.,2010)
They can be designed to work simultaneously or sequentially. Their purpose is mostly to augment the usability and/or the performance of the BCI. Most of the hybrid BCIs combining two BCIs that have been proposed in the liter-ature relied only on EEG paradigms, but some hybrid BCI combining EEG
and fNIRS have also been proposed23and have shown enhanced performance. 23(Fazli, Mehnert, et al.,2012; Buccino,
Ke-les, & Omurtag,2016)
These encouraging results suggest that using hybrid/multimodal approaches for NF could outperform the efficiency of unimodal approaches. If the portability and cost of the device are critical criterions for assistive BCI because they are meant to be used on a frequent basis, these criterions are less decisive in NF. This is a reason why the BCI community (when they are not doing NF) is more likely to investigate the combination of EEG and fNIRS than the one of EEG and fMRI.
1.3 c o m b i n i n g e e g a n d f m r i f o r n f
EEG and fMRI are complementary in their strengths and limitations and in the
nature of their signals24(seeFigure 10). EEG reflects the sum of synchronized 24"marry the blind (EEG) and the lame
( fMRI)"
post-dendritic potentials of pyramidal cells. It benefits from a high temporal (milliseconds) resolution which makes it able to detect the rhythms of the brain
1.3 c o m b i n i n g e e g a n d f m r i f o r n f
which range from delta (0.5 - 4Hz) to gamma (>30Hz). However, its spatial res-olution (centimeters) is limited by volume conduction of the head and the num-ber of electrodes. Also source localization from EEG is inaccurate because of the ill-posed inverse problem. On its part, fMRI indirectly measures the brain activity through the blood oxygen-level dependent (BOLD) effect. fMRI is sen-sitive to the magnetic properties of the blood which change with its oxygen concentration which varies in order to supply energy to the neurons when they are active25. It offers a much appreciated spatial resolution (millimiters) of the
25You may try reading this sentence
back-wards if you prefer traveling time the
for-ward way whole brain. However its temporal resolution is limited by the time required
to acquire one brain volume (>=hundreds of milliseconds or seconds), and the fact that the hemodynamic response peak is delayed of 4-6s from the neuronal onset and that it acts like a low-pass filter that smears out the neuronal response.
Figure 10 – Physiological basis of EEG/MEG and fMRI (from
(Deneux,2011)) The development of combined EEG-fMRI was initially motivated by applica-tions in epilepsy in order to localize neural sources of epileptic discharges. The first EEG-fMRI study took place in 199226. At that time, EEG and fMRI had to
26(Ives, Warach, & Schmitt,1993)
be recorded separately in an interleaved manner for subject and hardware safety and data quality issues. Indeed the rapidly changing radio-frequency pulses cou-pled to the strong static magnetic field induce currents into electrically conduc-tive objects that can produce heating at the electrode sites, damage tissues or hardware and introduce artifacts in the data. By early 2000s the development of MR-compatible EEG devices made of non-magnetic materials and the de-velopment of artifact reduction algorithms made it possible to simultaneously acquire EEG and fMRI. From that time on, combined EEG-fMRI has found its place in pre-surgical planning for epilepsy and has significantly contributed to advance the study of resting-state, sleep, and cognitive brain function.
In the context of NF, combined EEG-fMRI opens up new avenues for cross-modal paradigm validation and most interestingly for the development of new NF approaches that would mix both modalities, either at the calibration phase or for online use to provide a bimodal NF signal, or used alternatively. By the time this PhD started (late 2013), very few NF studies had resorted to combined EEG-fMRI, yet all of them had different motivations and relied on different ap-proaches which illustrate the variety that EEG-fMRI has to offer. Most
