Analyse de séquences oculométriques et d'électroencéphalogrammes par modèles markoviens cachés

HAL Id: hal-01339458

https://hal.inria.fr/hal-01339458

Submitted on 29 Jun 2016

HAL is a multi-disciplinary open access archive for the deposit and dissemination of sci- entific research documents, whether they are pub- lished or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers.

L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.

Analyse de séquences oculométriques et

d’électroencéphalogrammes par modèles markoviens cachés

Jean-Baptiste Durand, Anne Guérin-Dugué, Sophie Achard

To cite this version:

Jean-Baptiste Durand, Anne Guérin-Dugué, Sophie Achard. Analyse de séquences oculométriques

et d’électroencéphalogrammes par modèles markoviens cachés. JdS 2016 - 48èmes Journées de la

Statistique, May 2016, Montpellier, France. �hal-01339458�

Analyse de s´ equences oculom´ etriques et d’´ electroenc´ ephalogrammes par mod` eles

markoviens cach´ es

Jean-Baptiste Durand ¹ , Anne Gu´ erin-Dugu´ e & Sophie Achard ²

1 Univ. Grenoble Alpes, Laboratoire Jean Kuntzmann et Inria, Mistis, 51 rue des Math´ ematiques, B.P. 53, F-38041 Grenoble cedex 9, France ;

jean-baptiste.durand@imag.fr

2 Univ. Grenoble Alpes, CNRS, GIPSA-lab, 11 rue des Math´ ematiques,

B.P. 46, F-38040 Grenoble, France ; [anne.guerin|sophie.achard]@gipsa-lab.grenoble-inp.fr

R´ esum´ e. Cette ´ etude vise ` a analyser des s´ equences de mouvements oculaires collect´ ees au cours de tˆ aches de lecture visant ` a acqu´ erir de l’information ` a des fins d´ ecisionnelles.

L’analyse, bas´ ee sur des semi-chaˆınes de Markov cach´ ees, met en ´ evidence diff´ erentes phases d’acquisition, qui sont alors reli´ ees ` a des caract´ eristiques de signaux ´ electroenc´ e- phalographiques multicanaux collect´ es concomitamment ` a la lecture. Cette analyse permet de r´ ev´ eler des changements de variance et de corr´ elation entre canaux suivant les phases et les bandes de fr´ equence.

Mots-cl´ es. Oculom´ etrie, ´ electroenc´ ephalogrammes, s´ equences multimodales, semi- chaˆınes de Markov cach´ ees.

Abstract. This work aims at analysing sequences of eye movements. These sequences were measured during reading tasks involving information acquisition so as to take deci- sions. Their analysis, based on hidden semi-Markov chains, highlights different phases of acquisition, which can be related to particular characteristics in multichannel electroen- cephalograms measured synchronously with eye movements during the reading tasks. This analysis reveals changes associated with the different phases of information acquisition, occuring in variances and correlations between channels at specific frequencies.

Keywords. Eye movements, electroencephalograms, multimodal sequences, hidden semi-Markov chains.

1 Introduction

Cette ´ etude consiste en l’analyse jointe de signaux oculom´ etriques (suivi du mouve-

ment des yeux au cours du temps) et d’´ electroenc´ ephalogrammes (EEG) collect´ es sur des

participants lors de tˆ aches de lecture visant ` a acqu´ erir de l’information afin de prendre

une d´ ecision.

1.1 Objectifs de l’´ etude

Simola et al. (2008) ont montr´ e par l’analyse oculom´ etrique d’exp´ eriences d’acquisition et de recherche d’information textuelle que la lecture n’est pas un processus homog` ene dans le temps, ni d’un point de vue cognitif, ni du point de vue du mouvement des yeux.

Au contraire, ces types de processus mettent en œuvre plusieurs ´ etapes ou phases, telles que la lecture rapide, normale, approfondie – en termes d’oculom´ etrie – et la formulation, l’´ elimination d’hypoth` eses, la confirmation et la d´ ecision – en termes cognitifs. Sur la base d’un mod` ele markovien cach´ e, les auteurs ont mis en ´ evidence la possibilit´ e d’identifier des ´ etapes ` a partir des seuls mouvements oculaires. Il est alors possible d’interpr´ eter la succession de ces ´ etapes lors d’une s´ equence observ´ ee particuli` ere comme une strat´ egie de lecture traduisant une progression par ´ etapes cognitives distinctes.

Notre objectif est d’une part d’identifier ces ´ etapes dans un nouveau contexte exp´ e- rimental et d’autre part, d’arriver ` a les caract´ eriser du point de vue des EEG. ` A terme, nous souhaiterions ´ egalement quantifier la diversit´ e des strat´ egies de lecture suivant les textes et suivant les participants.

1.2 Protocole et donn´ ees

Les donn´ ees ont ´ et´ e obtenues ` a partir d’exp´ eriences au cours desquelles des participants ont ` a accomplir une sorte de revue de presse. Un th` eme est pr´ esent´ e au participant, puis un texte qui traite soit de ce th` eme, soit d’un th` eme compl` etement diff´ erent, soit d’un th` eme proche. Le participant doit d´ ecider le plus rapidement possible si le texte traite ou non du th` eme pr´ esent´ e. Le protocole est int´ egralement d´ ecrit dans Frey et al. (2013).

Notre ´ etude se limite aux textes traitant du th` eme pr´ esent´ e pr´ ealablement. Le corpus se compose de 60 textes, chacun d’entre eux ´ etant lu (dans un ordre randomis´ e) par les 15 participants. Lors de la lecture et jusqu’` a la prise de d´ ecision, la position des yeux sur l’´ ecran et les EEG sur 30 canaux sont enregistr´ es avec un pas de temps de 1 ms. La lecture est compos´ ee d’une succession de p´ eriodes d’environ 180 ms, appel´ ees fixations, durant lesquelles le regard se pose sur une portion du texte comprenant typiquement de 5 ` a 10 caract` eres, et de p´ eriodes d’environ 40 ms, appel´ ees saccades, qui permettent aux yeux de se fixer sur une autre portion de texte. La fixation est le pas de temps naturel (bien que de dur´ ee variable) pour l’analyse oculom´ etrique, car on peut associer ` a chaque saccade la lecture de quelques syllabes ou mots tr` es courts.

Apr` es ´ elimination de donn´ ees aberrantes, le jeu analys´ e comprend 897 s´ equences, ap- pel´ ees traces oculom´ etriques, dont la longueur cumul´ ee est de 13 797 fixations. Pour une fixation t d’un participant s sur un document d, la donn´ ee est une variable cat´ egorielle X _s,d,t caract´ erisant la saccade suivant cette fixation. En effet l’amplitude de la saccade

sortante

(relativement ` a une fixation donn´ ee) caract´ erise localement la strat´ egie de

lecture. En lecture usuelle, les mots sont fix´ es en s´ equence avec une probabilit´ e plus im-

portante de les sauter, s’ils sont courts, fr´ equents et pr´ edictibles dans le contexte du texte.

Pour une lecture plus rapide, le nombre de mots saut´ es entre deux fixations sera plus im- portant. Enfin, un mot plus long, moins fr´ equent pourra ˆ etre refix´ e et on peut ´ egalement observer des retours en arri` ere de relecture de portions de texte. Aussi ces diff´ erentes situations ont ´ et´ e cat´ egoris´ ees et cod´ ees par une variable pouvant prendre cinq valeurs possibles : 0 si la saccade a une amplitude de 2 mots ou plus dans le sens de lecture, 1 si l’amplitude est d’un mot, 2 si le mˆ eme mot est relu, 3 si le mot pr´ ec´ edent est lu et 4 si la saccade a une amplitude de 2 mots ou plus dans le sens oppos´ e ` a la lecture. Les dur´ ees associ´ ees ` a chaque fixation sont aussi disponibles. La longueur de la s´ equence (s, d) est not´ ee T s,d . Un exemple de trace oculom´ etrique est repr´ esent´ e Figure 1.

2 Mod´ elisation des traces oculom´ etriques

Afin d’identifier des phases dans le processus de lecture qui puissent ˆ etre interpr´ et´ ees comme des ´ etapes dans les processus cognitifs, des mod` eles de semi-chaˆıne de Markov cach´ ee ont ´ et´ e utilis´ es. Des mod` eles de Markov cach´ es discriminatifs avaient ´ et´ e utilis´ es par Simola et al. (2008) mais dans un contexte un peu diff´ erent o` u l’objectif ´ etait la discrim- ination (supervis´ ee) entre plusieurs types de tˆ aches de lecture (trouver un mot, r´ epondre

`

a une question, trouver des textes int´ eressants). L’hypoth` ese sous-jacente ` a ces mod` eles est que des changements de strat´ egie au cours de la lecture refl` etent des ´ etapes cognitives, traduites indirectement ` a travers des changements de dynamique oculom´ etrique (et donc des changements de r´ egime des (X _s,d,t ) 1≤t≤T

).

Le mod` ele consid´ er´ e est markovien cach´ e ` a dur´ ee explicite, suivant la terminologie de Yu (2010). Les param` etres sont estim´ es par maximum de vraisemblance, et le choix de la famille des lois d’observation et de temps de s´ ejour est effectu´ e en mˆ eme temps que l’estimation des param` etres, en utilisant le module sequence analysis de la plate-forme OpenAlea (description d´ etaill´ ee par Durand, 2011). Les 897 s´ equences sont consid´ er´ ees comme mutuellement ind´ ependantes, et de mˆ eme loi. Le nombre d’´ etats cach´ es est estim´ e

`

a l’aide du crit` ere ICL-BIC de McLachlan et Peel (2000, chap. 6) afin d’obtenir des

´ etats aux caract´ eristiques contrast´ ees, et donc interpr´ etables. Un mod` ele ` a 5 ´ etats a ´ et´ e s´ electionn´ e, avec deux classes d’´ etats transitoires {0, 1, 2} et {3} et un ´ etat absorbant 4.

Les ´ etats 0 et 1 ont tendance ` a alterner, et leur dur´ ee de s´ ejour est tr` es courte ; ils peuvent ˆ etre interpr´ et´ es comme une seule phase de lecture normale (phase 0) avec principalement X _s,d,t ∈ {0, 1, 2}. L’´ etat 2 (phase 1) peut s’interpr´ eter comme une phase de lecture rapide avec une plus forte proportion de X _s,d,t = 0, et l’´ etat 3 (phase 2) comme une phase de lecture approfondie avec une plus faible proportion de X s,d,t = 0. L’´ etat absorbant 4 (phase 3) est caract´ eris´ e par une plus forte proportion de X _s,d,t = 4. Les lois des dur´ ees de fixation n’´ etant pas diff´ erenci´ ees suivant ces ´ etats, cette variable a ´ et´ e ignor´ ee.

La restauration des ´ etats cach´ es par principe du maximum a posteriori (s´ equence

d’´ etats la plus probable sachant les observations, calcul´ ee par l’algorithme de Viterbi) a

permis de r´ esumer les traces oculom´ etriques ` a une s´ equence de phases (voir exemple Figure 1).

Figure 1 – Trace oculom´ etrique avec phases restaur´ ees. Chaque segment repr´ esente une saccade et chaque cercle, la dur´ ee de fixation (avec un rayon proportionnel ` a la dur´ ee).

Les fixations de couleur verte sont associ´ ees ` a la phase restaur´ ee 0 (lecture normale) et celles de couleur rose, ` a la phase 1 (lecture rapide).

3 Analyse des EEG

Par souci de synth` ese nous nous focalisons sur 6 des 30 canaux choisis sur la base de l’´ etude pr´ ealable de Frey et al. (2013) pour leur rˆ ole contrast´ e en terme d’analyse de pro- cessus cognitifs ´ el´ ementaires mis en jeux dans l’analyse d’information textuelle : ´ electrodes frontale gauche F7, frontale droite F8, frontale centrale Fz, centrale Cz, pari´ etale Pz et occipitale Oz (voir sch´ ema des positions dans cette r´ ef´ erence, Figure 5).

On s’attend ` a ce que l’activation d’une r´ egion du cerveau se traduise par l’augmenta- tion de la variabilit´ e des EEG dans certaines gammes de fr´ equences (voir Fitzgibbon et al., 2004). Afin de conserver la dimension temporelle du signal et ` a la fois de distinguer suivant les fr´ equences, une repr´ esentation en ondelettes des EEG a ´ et´ e r´ ealis´ ee en util- isant une d´ ecomposition MODWT (Maximal Overlap Discret Transform) sur 7 ´ echelles de r´ esolution (la septi` eme ´ etant la moins r´ esolue), les 5 derni` eres ´ etant d´ esign´ ees par Gamma haute (62,5 ` a 125 Hz), Gamma basse (31,2 ` a 62,5 Hz), Bˆ eta (15,6 ` a 62,5 Hz), Alpha (7,8

`

a 15,6 Hz) et Thˆ eta (3,9 ` a 7,8 Hz).

La comparaison des variances par phase, par ´ echelle et par ´ electrode a mis en ´ evidence certaines diff´ erences significatives (voir Figure 2a), si l’on consid` ere que les coefficients d’ondelette sont ind´ ependants et de mˆ eme loi. Les diff´ erences les plus marqu´ ees sont associ´ ees ` a l’´ electrode Oz dans les bandes Thˆ eta et Alpha, aux ´ electrodes F7 et F8 dans la bande Thˆ eta et ` a l’´ electrode F8 dans la bande Gamma haute. Cependant, la variabilit´ e individuelle et li´ ee au texte n’est pas prise en compte dans ces comparaisons (violation des hypoth` eses d’ind´ ependance et de mˆ eme loi) et pour certaines s´ equences, des inversions surviennent dans l’ordre des variances induit par les phases.

La comparaison des corr´ elations entre ´ electrodes par phase fait apparaˆıtre, notam-

ment dans la bande Thˆ eta (Figure 2b), des diff´ erences marqu´ ees d’une phase ` a l’autre,

particuli` erement entre les ´ electrodes Pz et Cz, et ´ egalement entre F7 et F8. De plus ces changements de corr´ elation sont bien plus reproductibles d’une s´ equence ` a l’autre que les changements de variance.

a) b)

Figure 2 – Coefficients d’ondelette : a) variance empirique par phase, ´ electrode et bande de fr´ equence ; b) corr´ elation empirique entre ´ electrodes par phase dans la bande de fr´ equence Thˆ eta.

4 Discussion et perspectives

La caract´ erisation des EEG par phase en section 3 n’est valide que si l’incertitude sur les ´ etats de la semi-chaˆıne de Markov cach´ ee est faible, autrement dit si les caract´ eristiques des mouvements oculaires sont bien s´ epar´ ees d’un ´ etat ` a l’autre. Or des profils d’entropie (voir Durand et Gu´ edon, 2016) mettent en ´ evidence une incertitude importante dans les changements d’´ etat. Il en r´ esulte ´ egalement une mauvaise identification des p´ eriodes de transition entre motifs de corr´ elation sur les coefficients d’ondelette.

Afin d’obtenir des phases aux caract´ eristiques plus contrast´ ees, il est donc souhaitable d’int´ egrer les deux sources d’information, oculom´ etrie et EEG, au sein d’un seul mod` ele composite qui ´ etende par exemple les chaˆınes de Markov cach´ ees coupl´ ees de Zhong et Ghosh (2001) au cas semi-Markovien avec des pas de temps diff´ erenci´ es pour les diff´ erentes sources, et un ´ eventuel d´ ecalage temporel dans les transitions, refl´ etant une latence entre les processus de lecture et d’int´ egration de l’information.

Une fois r´ eduite l’incertitude sur les phases, il deviendra alors possible pour les valider

et affiner leur interpr´ etation de les relier ` a des caract´ eristiques s´ emantiques du texte

fix´ e ` a chaque instant, et de d´ eterminer des clusters de participants et de textes pour

quantifier la variabilit´ e des traces oculom´ etriques li´ ee ` a ces deux facteurs. Ces sources de variabilit´ e pourront ˆ etre int´ egr´ ees au mod` ele proprement dit, plutˆ ot qu’´ etudi´ ees a posteriori et conditionnellement aux ´ etats restaur´ es.

Remerciements

Ce travail est en partie financ´ e par le LabEx PERSYVAL-Lab (ANR-11-LABX-0025- 01).

Bibliographie

[1] Durand, J.-B. Statistical models of sequences and trees in OpenAlea. First OpenAlea workshop on Functional-Structural Plant Modelling. 14-15 Juin, Montpellier, France (2011)

[2] Durand, J.-B et Gu´ edon, Y. Localizing the latent structure canonical uncertainty : entropy profiles for hidden Markov models. Statistics and Computing, 26(1), 549–567 (2016)

[3] Fitzgibbon, S.P., Pope, K.J., Mackenzie, L., Clark, C.R. et Willoughby, J.O. Cogni- tive tasks augment gamma EEG power. Clinical Neurophysiology, 115(8), 1802–1809 (2004).

[4] Frey, A., Ionescu, B., Lemaire, B., Lopez Orozco, F. , Baccino, T. et Gu´ erin-Dugu´ e, A.

Decision-making in information seeking on texts : an Eye-Fixation-Related Potentials investigation. Frontiers in Systems Neuroscience 7, Article 39 (2013)

[5] McLachlan, G., Peel, D. : Finite mixture models. Wiley Series in Probability and Statistics. John Wiley and Sons (2000)

[6] Simola, J., Saloj¨ arvi, J. et Kojo, I. Using hidden Markov model to uncover processing states from eye movements in information search tasks. Cognitive Systems Research 9(4), 237–251 (2008)

[7] Yu, S.-Z. Hidden semi-Markov models. Artificial Intelligence 174(2), 215–243 (2010)

[8] Zhong, S. et Ghosh, J. A new formulation of coupled hidden Markov models. Rapport

technique, Dept. of Electrical and Computer Eng., Univ. of Texas at Austin (2001)