Contributions

Nous résumons dans cette section les contributions apportées dans chacun des trois axes de recherche abordés dans cette thèse.

Axe 1

Les deux principales contributions de notre approche de reconnaissance automatique de tâches concernent la granularité et la généricité de la reconnaissance. Celles-ci sont essentiellement liées à l’intégration de l’oculométrie. D’un point de vue théorique, l’oculométrie permet de tirer profit de l’hypothèse mind-eye voulant que les mouvements des yeux reflètent plusieurs processus cognitifs [132]. Contrairement à l’activité de la souris, du clavier et aux événements logiciels, qu’utilise à ce jour la majorité des approches de reconnaissance automatique, l’information provenant des mouvements oculaires est accessible instantanément et continuellement durant l’interaction. La méthode que nous avons proposée exploite ces qualités pour permettre une reconnaissance continue, rapide et détaillée des buts courants de l’utilisateur et de l’exécution de la tâche. D’un point de vue pratique, le recours aux données oculométriques confère à la reconnaissance de tâche une plus grande généricité. Les approches reposant sur les événements logiciels sont presque toujours développées ad hoc pour un système particulier. Ce choix est rentable si l’approche n’est utilisée que dans ce système, mais ne l’est plus lorsqu’il faut changer

d’environnement. Inversement, notre méthode reposant sur les zones d’intérêt (AOI) permet d’inférer les buts courants en restant à la surface de l’interaction et peut donc être appliquée indifféremment à plusieurs IHM. Le revers de la médaille tient cependant au fait que cette surface cache parfois l’interaction réelle dans les interfaces ayant certains types de contenu dynamique (voir Figure 7).

Puisqu’à ce jour les logiciels d’oculométrie n’offrent pas de solution satisfaisante à ce problème, notre technique de changement automatique de contexte d’AOI représente une autre contribution. Elle a d’ailleurs rendu possible l’expérimentation effectuée avec le simulateur Race to Mars, dans laquelle les éléments de l’interface changent en fonction de l’interaction (voir Figure 47 et Figure 48). Nous avons aussi proposé une méthode semi- supervisée d’entraînement du modèle de reconnaissance, basé sur les modèles de Markov en couches, permettant de tirer profit des connaissances sur la tâche que possède l’expert utilisant notre outil.

Axe 2

Les travaux de Picard et al. (2001) [202], basés sur l’analyse des caractéristiques des signaux physiologiques, représentent aujourd’hui l’exemple paradigmatique des approches de reconnaissance physiologiques des émotions. Ce cadre de travail, dans lequel se situe notre deuxième axe de recherche, est maintenant bien structuré et établi dans la littérature. Des spécialistes du domaine ont récemment identifié 11 défis méthodologiques dans le but de le faire évoluer [245, 247-250]. Parmi ceux-ci, deux ont été abordés dans cette thèse et représentent les principales contributions de l’axe 2. Le premier concerne la construction

temporelle des caractéristiques physiologiques utilisées en entrées dans les algorithmes

d’inférence. À ce jour, tous les travaux segmentent les signaux de la même manière en fonction des stimuli présentés aux sujets. Cette méthode ne tient pas compte des temps de réaction et d’évolution propres à chaque signal, certains évoluant beaucoup plus rapidement que d’autres (ex. : activité pupillaire vs électrodermale). Nous avons donc proposé une approche d’optimisation empirique de la latence (avec le stimulus) et de la durée avec lesquelles extraire les caractéristiques des signaux physiologiques. Et cela aussi en fonction du construit psychologique inféré, puisqu’un même signal n’évolue pas de la même manière selon le type de réaction en question (ex. : valence émotionnelle vs charge

cognitive). Les résultats obtenus lors de l’expérimentation décrite au chapitre 2 montrent que notre approche de construction temporelle a permis d’améliorer la qualité de la prédiction de 11 % (activation) et 25 % (charge cognitive). Seule la valence n’a pas été améliorée -3 %. Des explications pour ce dernier résultat ont été proposées à la section 3.5. Le grand nombre de participants impliqués dans cette expérimentation permet d’envisager l’utilisation directe de ces paramètres d’extraction dans d’autres travaux similaires. Une publication est d’ailleurs en préparation afin de partager ces résultats.

La seconde contribution de cet axe a trait au défi lié à la généricité de la reconnaissance physiologique des émotions. Celle-ci est particulièrement difficile en raison de l’idiosyncrasie des réactions émotionnelles (c.-à-d. chaque personne réagit différemment face à un même stimulus). Les résultats significativement supérieurs obtenus par les approches dépendantes du sujet (vs indépendantes) illustrent d’ailleurs bien ce fait. Cependant, les méthodes indépendantes du sujet offrant un intérêt scientifique et industriel considérable, en raison du fait que les modèles résultants ne nécessitent pas d’être ré- entraînés pour chaque nouveau sujet. Nous avons donc proposé une approche pour en améliorer la performance. Celle-ci repose sur l’idée de rendre explicites les facteurs d’idiosyncrasie en les modélisant sous forme de variables faisant partie des entrées des algorithmes d’inférence. Une part de la contribution de ce travail revient à la recherche effectuée pour formaliser cette stratégie au sein de la théorie de la Spécificité de la Réponse Individuelle (SRI) [168]. Nous avons utilisé la dimension psychologique de celle-ci (les autres étant les dimensions biologique et situationnelle) pour intégrer la personnalité des sujets dans le modèle d’inférence. L’inclusion des paramètres de personnalité mesurés à l’aide du questionnaire Eysenck n’a permis que d’augmenter faiblement la performance des modèles d’inférence. Une interprétation de ces résultats et des avenues de recherche ont été proposées à la section 3.5. Nous persistons à croire qu’il s’agit, en ajoutant éventuellement les autres dimensions de la SRI, d’une voie très prometteuse pour rendre plus génériques les approches indépendantes du sujet.

Axe 3

Plusieurs moyens existent déjà dans les domaines de l’évaluation de l’expérience utilisateur et de la performance pour mesurer certains aspects des réactions émotionnelles en contexte

d’IHM. La plupart sont subjectifs et/ou employés en amont ou en aval de l’interaction (ex. : questionnaires, observations). Le suivi des signaux physiologiques est reconnu comme une des méthodes les plus prometteuses pour ajouter une mesure objective et dynamique des réactions. Toutefois, les professionnels de ces domaines ne possèdent pas, à ce jour, d’outil simple et intégré pour réaliser ce type d’analyse. En proposant une approche d’évaluation et un outil complet pour la réaliser, les principales contributions du troisième axe de recherche sont essentiellement d’ordre méthodologique et industriel. Comme le relèvent plusieurs études [96, 97, 195], le principal obstacle à l’utilisation des signaux physiologiques est leur valeur informative réduite lorsque non précisément associés au comportement des utilisateurs. L’outil commercial le plus avancé dans cette voie est Observer XT43 de la compagnie Noldus. Celui-ci permet de synchroniser plusieurs signaux physiologiques et de les annoter manuellement en fonction du comportement de l’utilisateur. Aucune fonctionnalité d’analyse n’est ensuite offerte pour interpréter cette information. La structure de données, que nous avons présentée au chapitre 4, permet au contraire de modéliser automatiquement le couplage réactions/comportement. Les opérations d’analyse statistique soutiennent ensuite le travail de diagnostic de l’expert en évaluation, en identifiant dans l’interaction des causes potentielles aux réactions des utilisateurs. L’importance relative de ces causes est quantifiée en termes d’effet de taille (r) et de probabilité (valeur-p). Nous avons donc investi plusieurs efforts au niveau de la valorisation industrielle de ce travail. L’approche et l’outil développés font l’objet d’une déclaration d’invention auprès de la société de valorisation de la recherche universitaire Univalor44. Dans le cadre de cette démarche, notre outil est présentement utilisé en partenariat avec l’agence en stratégie interactive Nurun45 pour l’évaluation de sites internet commerciaux.

Au niveau de la valorisation scientifique, plusieurs articles ont été publiés dans le cadre de cette thèse. Le travail entourant la technique de reconnaissance de tâches présentée au chapitre 2 a été publié dans la revue Interacting with Computers [55]. Les approches de couplage des données et de diagnostic de l’interaction présentées au chapitre 4 ont été publiées dans les actes ACM de la conférence ERGO’IHM 2012 [57]. L’approche générale

43 _{http://www.noldus.com/human-behavior-research/products/the-observer-xt} 44 _{http://www.univalor.ca/}

d’évaluation de l’interaction faisant l’objet de cette thèse a été publiée dans les actes ACM des conférences Measuring Behaviour 2010 [75] et IHM 2010 [74]. Ce travail a aussi été présenté sous forme d’affiche au 78e congrès annuel de l’ACFAS [56]. De plus, notre outil a permis à d’autres étudiants d’inclure l’analyse des réactions émotionnelles dans leurs travaux de recherche. Khoi Nguyen et Joseph Morin, deux étudiants à la maîtrise en communication, ont utilisé notre outil pour analyser les réactions d’utilisateurs dans le contexte des jeux vidéo (Microsoft Kinect) et du commerce électronique.