Suite à cet état de l'art concernant les ICMs passives, et plus particulièrement l'estimation de la charge mentale, de la fatigue mentale et de l'attention sélective, les axes de recherche proposés pour ce travail de thèse sont détaillés ci-après. Ils visent à répondre à diérents manques mis au jour dans la littérature concernant les marqueurs électrophysiologiques de nos états mentaux d'intérêt, ainsi que les chaînes de traitement pour estimer la charge et la fatigue mentale.
3.6.1 Marqueurs électrophysiologiques
Du fait de la relation di cile à établir entre état mental et mesure physiologique, il est nécessaire d'évaluer avec précision les modulations de marqueurs classiques de la littérature pour des états mentaux d'intérêt qui peuvent se trouver en conjonction dans les situations de la vie courante. Les marqueurs de fatigue mentale sont très bien documentés. Toutefois, ces marqueurs ont le plus souvent été identi és à l'aide de tâches induisant un degré avancé de fatigue proche d'un état de somnolence, et en comparant seulement cet état avancé de fatigue/somnolence à un état non fatigué. Peu d'études à notre connaissance ont évalué les marqueurs de fatigue intermédiaires au cours du temps passé sur la tâche. Il serait donc nécessaire d'évaluer des marqueurs classiques de la fatigue mentale chez des sujets qui ne basculeraient pas dans la somnolence, ainsi que de valider l'utilité des mesures EEG, EOG et de ECG pour caractériser cet état de fatigue. Les marqueurs de charge mentale, quant à eux, ont principalement été dé nis en utilisant des tâches opposant seulement deux états, un état de relaxation versus un état de charge élevée, ce qui, à notre sens, n'est pas représentatif d'une situation réelle. Par ailleurs, à notre connaissance, peu de recherches ont été menées sur l'évolution de ces marqueurs avec la fatigue au cours du temps passé sur la tâche. En n, notons que la notion de charge mentale est moins consensuelle que celle de fatigue mentale. En eet, la charge mentale peut être modulée par une variété de tâches, chacune pouvant manipuler diérents processus cognitifs. Cette diversité de tâches conduit à un manque de clarté et de consensus dans la littérature sur les marqueurs de charge mentale. Peu d'études ont tenté de trouver des marqueurs de charge indépendants de la tâche. Il paraît donc nécessaire de valider les modulations classiquement rapportées concernant
leur modulation par les états de fatigue et de charge mentale, et a fortiori par l'action conjointe de celles-ci, n'est pas ou peu documentée.
3.6.2 Chaînes de traitement
Au sujet des chaînes de traitement développées pour l'estimation de la fatigue comme de la charge mentale, il existe de nombreux articles testant l'in uence du type de classi eur utilisé, mais les prétraitements sont généralement peu étudiés. De plus, les fenêtres d'analyse permet- tant d'obtenir de bonnes performances de classi cation sont généralement longues. Or, il paraît nécessaire d'évaluer la faisabilité d'eectuer cette estimation en utilisant une fenêtre d'analyse très courte pour avoir un système réactif. Pour ce faire, il faudrait donc déterminer l'intérêt de la fusion intra-modalité EEG, ainsi que l'utilité d'étapes de ltrage spatial et de sélection d'élec- trodes. L'intérêt des marqueurs d'activités électrophysiologiques périphériques est aussi à évaluer. Concernant plus spéci quement la charge mentale, de nombreuses études ne présentent des performances de classi cation qu'entre un état de relaxation et un état de charge élevée. Ces systèmes ne mesurent donc pas un niveau de charge mentale, mais plutôt le fait d'eectuer ou non une tâche. Une mesure plus subtile du niveau de charge paraît nécessaire pour les appli- cations d'ICM passives. En outre, la littérature présente des résultats obtenus avec des tâches générant potentiellement beaucoup de données artéfactuelles liées à une activité visuo-motrice importante. Comme le recommandent Gerjets et collaborateurs, il paraît donc nécessaire de chercher à développer des chaînes de traitement à partir de tâches bien contrôlées, de type la- boratoire, en contrôlant et réduisant l'activité motrice des sujets car le classi eur pourrait se
baser sur ces corrélats plutôt que sur des corrélats perceptuo-cognitifs [259]. Par exemple, pour
la détermination de marqueurs de la charge mentale, il serait préférable d'éviter des tâches de mémoire visuo-spatiale, car celles-ci impliquent potentiellement des patterns de mouvements ocu- laires variés. En n, l'estimation de la charge mentale est a priori plus sujette à des phénomènes de non-stationnarité dans les données que l'estimation de la fatigue. Bien que la stabilité des performances des chaînes de traitement à travers les sujets et selon le contexte ait été récem- ment documentée, la stabilité des performances dans le temps n'est à notre connaissance pas documentée, et la stabilité des performances quelle que soit la tâche commence tout juste à être étudiée, avec peu de résultats et des études ne prenant en compte qu'un seul type de tâche (e.g. charge en mémoire). Or, Gerjets et collaborateurs précisent bien dans leurs recommandations qu'il faudrait entraîner le classi eur à partir de données de tâches de mémoire variées, faisant appel à des fonctions exécutives diérentes (e.g. inhibition, shifting, updating) et des modes de représentation diérents (e.g. lettres, chires, mots).
3.6.3 Objectifs du travail de thèse
A n de répondre aux manques de la littérature que nous avons identi és, le but de ce travail de thèse a été de proposer une expérimentation en laboratoire a n de bien contrôler les facteurs manipulés et les facteurs environnementaux, en essayant toutefois de rester proche des caracté- ristiques d'une activité opérateur. L'expérimentation a aussi été implémentée de sorte à lever
certains biais expérimentaux des études de la littérature. Grâce aux données recueillies par le biais de ce protocole, le travail de thèse s'est centré sur l'analyse des marqueurs électrophysio- logiques de charge mentale et d'attention sélective au cours du temps passé sur la tâche. En n, l'étape essentielle de ce travail a été l'évaluation des performances de diérentes chaînes de clas- si cation en fonction des signaux physiologiques utilisés, avec des fenêtres d'analyse très courtes. Dans le but de choisir les chaînes les plus performantes, l'intérêt de la sélection d'électrodes et du ltrage spatial a été évalué, ainsi que la stabilité des performances des chaînes au cours du temps. La problématique principale de ce travail peut donc se résumer à : Quels marqueurs électrophysiologiques et quelles chaînes de traitement donnent les meilleures performances, les plus stables dans le temps ?
Ce rapport de thèse sera structuré de la manière suivante. Le projet WAVE2, mis en place
a n de recueillir les données pour eectuer nos analyses, est détaillé dans le chapitre 4. Celui-
ci inclut un protocole expérimental permettant la modulation de 1) la charge en mémoire de travail par une tâche de réponse diérée de type Sternberg, 2) de l'attention sélective par une tâche d'oddball insérée dans cette tâche de mémoire, et 3) de la fatigue mentale par un temps de passation important (i.e. 1h30). Les analyses eectuées concernant l'estimation de la fatigue
mentale sont ensuite décrites dans le chapitre 5. Ce chapitre détaille des travaux concernant
l'extraction de marqueurs oculaires dérivés des signaux EEG pour eectuer un suivi de la fatigue, ainsi que l'estimation du niveau de fatigue eectuée à partir de mar-
queurs cérébraux et cardiaques. Le chapitre suivant, chapitre 6, décrit les travaux réalisés
concernant l'estimation de la charge mentale, avec notamment une estimation basée sur des marqueurs d'activité EEG spontanée, et une autre basée sur des marqueurs évoqués, ainsi qu'une comparaison de leur stabilité dans le temps. Ce chapitre inclut aussi en perspective des détails concernant des travaux actuellement en cours. Ces travaux en cours visant à étudier l'eet du type de tâche sur l'estimation de la charge mentale sont présentés. En eet, le protocole mis
en place dans le projet WAVE2 n'incluait qu'une seule tâche. Or, nous avons vu que la charge
mentale peut être induite par une diversité de tâches. Il est donc primordial, pour une application vie réelle, de concevoir des systèmes d'estimation robustes à la tâche. Ces travaux font notam- ment partis du projet CARACOg. À noter que celui-ci inclut l'utilisation de sondes auditives indépendantes de la tâche et ignorées a n de venir sonder le niveau de charge de la personne. En n, puisque la littérature récente commence à présenter des systèmes basés sur des mesures de synchronie, une étude en cours de l'utilité des mesures de connectivité pour l'estimation de la
charge sera brièvement présentée. Suite à ce chapitre sur la charge mentale, le chapitre7présente,
quant à lui, l'eet conjoint de la fatigue et de la charge mentale sur les marqueurs de
Protocole expérimental et acquisition
de données : Projet WAVE
2
Après avoir présenté dans le chapitre précédent notre problématique de recherche et l'état de l'art associé, le chapitre qui suit détaille la procédure expérimentale (participants, protocole expé- rimental, acquisitions) mise en ÷uvre a n de recueillir les signaux neurophysiologiques re étant les diérents états mentaux d'intérêt (fatigue et charge mentales, attention sélective). Ce proto-
cole de laboratoire, intitulé WAVE2 (Workload, Attention and Vigilance EEG-based Estimation),
comprend ainsi une tâche faisant varier la charge en mémoire de travail sur deux niveaux (i.e. 2/6 chires à mémoriser), au sein de laquelle une tâche de détection de cible -forme géométrique- a été insérée a n d'évaluer l'attention sélective temporelle. Ce paradigme expérimental est eectué pendant une longue période a n de jouer sur le temps passé sur la tâche et d'évaluer la fatigue mentale qui en résulte.
4.1 Montage du projet et Comité de Protection des Personnes
Ce projet de recherche a été réalisé en accord avec le code éthique de l'association médicale mondiale (Déclaration de Helsinki) pour les expérimentations humaines. Il a nécessité l'obten- tion d'autorisations d'expérimenter du Comité de Protection des Personnes Sud-Est (RCB : 2012-A00826-37) et de l'Agence Nationale de Sécurité du Médicament et des produits de santé(B120921-30). Le dossier que j'ai dû réaliser pour cela est disponible en Annexe (voir annexeB).