Perspectives à moyen et long terme

Pour l’instant, le contrôle de notre ICM hybride a été réalisé en utilisant les signaux provenant soit de l’EMG, soit des joysticks. Le contrôle par les signaux EEG n’a été évalué que lors de traitements réalisés hors-ligne, c’est-à-dire sur des signaux enregistrés au préalable. L’étude de la fusion des signaux provenant des trois niveaux de contrôle était initialement prévue dans mon sujet de thèse, mais elle n’a pas été abordée faute de temps. Or une fusion de l’ensemble des signaux (EEG, EMG, et joysticks) est indispensable pour qualifier réellement notre système d’ICM hybride.

Une telle fusion présente un intérêt pour adapter, en temps réel, notre ICM hy- bride à la motricité de l’utilisateur. Cette adaptation devra être réalisée en prenant en compte la fiabilité des différents capteurs, afin de pondérer de manière évolutive les signaux de chacun d’entre eux. Il sera probablement nécessaire de distinguer deux niveaux d’adaptation pour fusionner les signaux. En premier lieu, la fusion

pourrait permettre de pondérer différemment les signaux de contrôle EEG, EMG et distaux quand la baisse d’efficacité des mouvements est ponctuelle, causée par exemple par une fatigue excessive de l’utilisateur. Dans ce cas, on peut considérer que la dynamique de temps est relativement courte et envisager de définir la fiabi- lité des capteurs à partir d’indicateurs de fatigue. D’autre part, il faudra envisager une évolution sur le long terme des pondérations, suivant la progression de la pa- thologie elle-même. Dans ce cas, on peut espérer que l’utilisation de notre système pendant de longues périodes constituera un entraînement profitable au contrôle à terme par l’intermédiaire des seuls signaux cérébraux.

C’est pourquoi, dans la continuité de mes travaux, il serait intéressant d’étudier cette problématique en tant que telle dans le cadre d’une autre thèse de Doctorat. Il faut rappeler que les logiciels ont été développés en vue de pouvoir implémenter simplement les techniques de fusion. Notamment, tous les signaux sont enregistrés par un logiciel unique (OpenVIBE) qui centralise les données et devrait permettre de valider plusieurs approches de fusion sans nécessiter de changer l’architecture de traitement.

Pour l’instant, notre ICM hybride a été évaluée pour contrôler la trajectoire d’un mobile dans un environnement virtuel. Néanmoins, le contrôle de trajectoire a été étudié pour être transféré au pilotage d’un fauteuil roulant dans un environne- ment réel. Cela présente un intérêt majeur pour des patients dont les capacités motrices ne permettent pas le contrôle d’un joystick 2D, lequel est habituellement utilisé sur un fauteuil roulant. Quand leur capacité à contrôler un doigt n’est plus suffisamment précise et fiable, le pilotage d’un fauteuil roulant devient la plupart du temps impossible. Une perspective à long terme, mais qui constitue pourtant l’intérêt principal de l’approche de contrôle de trajectoire que nous avons proposée, concerne l’utilisation de notre ICM hybride pour piloter un fauteuil roulant.

Annexe A

Protocoles expérimentaux

A.1

Expérimentation 1

Période : janvier - février 2015. Nombre de séances par sujet : 2. Durée de la séance : 1h.

Objectifs des sujets :

— Contrôler l’application labyrinthe en vue immersive et aérienne avec les si- gnaux joysticks (séance 1).

— Contrôler l’application labyrinthe en vue immersive avec les signaux joysticks puis EMG (séance 2).

Caractéristiques des sujets :

— Nombre : 9 (3 femmes et 6 hommes). — Age : 20 à 53 ans (moyenne : 35 ans).

— Main dominante : 2 gauchers et 7 droitiers.

Paramètres :

— Distance écran/sujet : 90 cm.

— Fréquence d’échantillonnage de l’amplificateur : 512 Hz. — Fréquence d’échantillonnage de l’arduino : 5 Hz.

— Electrodes utilisées : C1, C3, C2, C4, C5, C6, F C3, CP3, F C4, CP4, EM G1, EM G2,

EM G3, EM G4, Fz.

Etapes pour réaliser l’expérimentation :

1. Connexion de l’amplificateur à OpenVIBE :

— Brancher l’amplificateur et l’ordinateur sur batterie. — Lancer « openvibe-acquisition-server.cmd ».

— Vérifier dans « Driver Properties » puis « Set Amplifier Filters » que « But- terworth - 4 - [48 ; 52] - 512 » et « Butterworth - 8 - [0.01 ; 200] - 512 » apparaissent respectivement dans l’onglet « Notch filter » et « Band Pass filter ».

— Vérifier dans « Driver Properties » puis « Change channel names... » que le fichier « NomElectrodes1.txt » est importé.

2. Visualisation des signaux physiologiques : — Equiper le sujet avec le casque EEG. — Lancer le scénario « visualisation.xml ».

— Vérifier les signaux EEG à l’aide de la fenêtre « Signal display - Non Fil- tered ». Demander au sujet de contracter la mâchoire pour parasiter les signaux EEG ou de fermer les yeux pour visualiser le rythme α (rythme plus ample).

— Placer les électrodes EMG en fonction du type de mouvement réalisé pour actionner les joysticks. Vérifier les signaux EMG à l’aide des fenêtres « Si- gnal display - main gauche » et « Signal display - main droite ». Lorsque la personne actionne le contacteur, le signal EMG est plus ample qu’au repos.

3. Acquisition des signaux EMG et EEG :

— Lancer l’exécutable « UniVRPNityServer.exe » situé dans le fichier « VRPN2Unit ». — Lancer la dernière version de l’application Unity 3D dans le répertoire

« Application ». Dans le menu de l’application cliquer sur l’onglet « Entraî- nement ».

— Dans OpenVIBE lancer la dernière version du scénario « acquisition ». Le nombre de répétition des mouvement est modifiable dans l’onglet « Num- ber of Trials For Each Class » de la boîte « Graz Motor Imagery BCI Stimu- lator ».

— Copier/coller les fichiers « DataArduinoAcquisition.ov » et « DataAcquisi- tion.ov » dans un autre répertoire. Les données sont écrasées à chaque utilisation du scénario.

4. Calcul du classifieur pour les signaux EMG : — Lancer la dernière version du scénario « LDA ».

5. Contrôle de l’application :

— Dans le menu de l’application Unity 3D, cliquer sur « Labyrinthe » puis « GPS ».

— Lancer la dernière version du scénario « fusion ».

— Noter le temps mis par l’utilisateur pour finir le labyrinthe.

— Sauvegarder dans un répertoire les fichiers « DataApplication.ov », « Da- taArduinoApplication.ov », « trajectoire.txt » et « mouchard.txt » après chaque application Unity 3D. Ils sont écrasés à chaque lancement du scénario OpenVIBE.

— La touche « H » du clavier permet d’afficher l’aide dans l’application Unity 3D pour pouvoir changer la vue de la caméra. La touche « Y » permet de passer en vue aérienne.

— Pour utiliser les signaux EMG, changer dans la dernière version du fichier python « fusion.py » la valeur du vecteur α, de [0, 1, 0] en [0, 0, 1].