La plupart des études scientifiques en RI repose sur la démarche expérimentale classique, avec comparaison de conditions de test et de contrôle, sur des tâches de recherche d’information et comparaison de scores avant et après le
1 En anglais, les auteurs distinguent knowledge et knowing. Cette distinction n’existe pas en français, et nous avons opté pour les mots connaissance et savoir, le premier étant plutôt le résultat
(connaissance produite, knowledge) et le deuxième faisant référence au processus de compréhension et d’acquisition de la connaissance (knowing).
Modèles de recherche de l’information || 60
test (pré-test/post-test), ainsi que d’éventuels questionnaires (pour mesurer par exemple l’habileté spatiale des participants, ou leur compétences en lecture).
Pour mesurer les croyances épistémologiques, un questionnaire a été élaboré il y a quelques années portant sur les croyances épistémologiques spécifiques à Internet (Internet-Specific Epistemological Questionnaire (ISEQ)) (Bråten, Strømsø, & Samuelstuen, 2005). Il s’agit d’un questionnaire de 36 questions, permettant d’évaluer quatre dimensions théoriques : deux dimensions sur les connaissances basées sur Internet (ce qu’une personne considère comme connaissances sur Internet) et deux dimensions sur l’acquisition de connaissances sur Internet (comment une personne apprend sur Internet). Les quatre dimensions sont (Bråten et al., 2005) :
• Certitude des connaissances basées sur Internet : évalue le degré avec lequel les étudiants considèrent que les connaissances sur Internet sont vraies, correctes et certaines, plutôt que provisoires et en évolution
• Simplicité des connaissances basées sur Internet : évalue le degré avec lequel les étudiants considèrent les connaissances localisées sur Internet sont l’accumulation de faits et détails spécifiques plutôt que des concepts complexes
• Source des connaissances : évalue le degré avec lequel les étudiants considèrent que les connaissances proviennent d’Internet et y demeurent, plutôt que d’être construites par soi-même
• Justification des connaissances : évalue le degré avec lequel les étudiants acceptent les connaissances trouvées sur Internet, plutôt que de les évaluer en raisonnant ou en les comparant avec d’autres sources de connaissances
Les auteurs ont réalisé une étude sur des écoliers Norvégiens pour évaluer la validité de leur questionnaire, en la soumettant à des analyses factorielles. L’analyse factorielle à quatre dimensions ne produisant pas des résultats concluants, les auteurs ont forcé l’analyse sur deux dimensions en incluant 28 items du questionnaire, ce qui leur a permis d’obtenir des valeurs intéressantes. Le premier
Modèles de recherche de l’information || 61
facteur identifié (avec une bonne cohérence interne : α = .90) est General Internet Epistemology, regroupant des items sur la certitude et la simplicité des connaissances provenant d’Internet ainsi que des items évaluant Internet en tant que source de connaissances. Le deuxième facteur (α = .70) est Justification for Knowing ; il contient quatre items, portant sur l’évaluation critique des connaissances trouvées sur Internet à travers l’utilisation de plusieurs sources, le raisonnement et l’activation de connaissances antérieures (Bråten et al., 2005).
Les questionnaires et l’évaluation des performances font partie des techniques offline, recueillant les données a posteriori, après que le test soit terminé.
Comme l’expliquent Baccino et al (2005), « en termes de processus cognitifs, grâce à ces techniques, on obtient des données concernant le résultat des processus de raisonnement ou de compréhension mis en place par les sujets lors de l’interaction avec le produit » (p. 93).
Les techniques online ajoutent une dimension aux données précédentes : elles permettent de recueillir les données au moment pendant que l’activité se déroule, et donc de récolter des données sur le déroulement des processus cognitif.
La plus connue de ces techniques est celle d’eye-tracking, déjà décrite précédemment. L’utilisation de cette technique appliquée au domaine de la résolution de problèmes est appelé « traçage des processus » (process tracing) (Glaholt & Reingold, 2011). Les mouvements oculaires peuvent être considérés comme étant une mesure valide de la distribution spatiale de l’attention et constitue une mesure fidèle des processus en cours, sans être intrusif (Glaholt & Reingold, 2011).
Les données issues de l’eye-tracker peuvent être couplées avec d’autres données, comme par exemple les verbalisations rétrospectives ou concourantes.
Certaines études ont également étudié le lien entre les mouvements de la souris et les mouvements oculaires, avec des résultats contradictoires. De façon chronologique, Lohse & Johnson (1996) ont d’abord montré des différences significatives entre les données obtenues des deux méthodes de traçage sur une tâche de prise de décision dans un contexte de risque (paris), alors que Chen, Anderson & Sohn (2001) ont montré de fortes corrélations positives entre les Modèles de recherche de l’information || 62
régions visitées par les fixations oculaires et la souris. Cette dernière étude comporte des limites importantes : seulement cinq participants ont pris part à cette étude, et aucune tâche précise ne leur était proposée. Certains auteurs considèrent tout de même que le curseur de la souris indique où l’utilisateur porte son attention, et qu’il permet de catégoriser les comportements des utilisateurs (lecture, réflexion, interaction avec les menus, défilement de page) (Arroyo, Selker, & Wei, 2006). De plus, cliquer sur un lien peut être considéré comme étant l’action principale observable de la recherche d’informations. En effet, cette action indique l’information à laquelle l’individu accède.
Le lien entre ces deux indicateurs nous semble être une question intéressante dans le cas d’une tâche de recherches d’informations, d’autant plus que certains outils de tests en ligne proposent de tracer les mouvements de la souris pour évaluer l’utilisabilité des sites (par exemple CrazyEgg, PicNet, ClickTale).
Modèles de recherche de l’information || 63
7 Problématique
Ce travail se focalise sur les interactions homme-machine, dont l’objectif est de voir comment le système peut accompagner de la meilleure façon possible une tâche donnée, en s’intéressant particulièrement à l’activité cognitive. L’idée est de s’intéresser à une activité cognitive complexe, à savoir la recherche d’informations, et de déterminer en quoi les caractéristiques de l’interface affectent ces processus.
Une problématique récente de l’étude des tâches de recherche d’information, en particulier dans le cadre de l’évaluation de l’utilisabilité des interfaces, concerne l’utilisation de données online (oculométrie, enregistrement des actions et déplacement souris, …). L’avantage de ces méthodes et de permettre d’observer non seulement les performances à la tâche, mais également les comportements qui ont conduit à ces performances, permettant une meilleure inférence des processus impliqués (Baccino & Colombi, 2000). Les inconvénients de ces méthodes sont principalement la lourdeur de l’analyse et la difficulté de valider la relation entre un comportement observable à un processus cognitif.
Par ailleurs, nous avons abordé le nombre important des méthodes d’évaluation de l’utilisabilité d’une interface, dont les caractéristiques varient énormément. Certaines impliquent des utilisateurs, d’autres non; certaines sont plus rapides à mettre en œuvre que d’autres. Les outils qui sont développés en ligne se veulent faciles à utiliser, et mettent en avant le gain de temps et de coûts qu’elles offrent. En effet, en configurant un test d’utilisabilité en ligne sans modération, l’expert n’a plus besoin d’être présent à toutes les sessions de test, et récupère des données quantitatives (selon les caractéristiques de l’outil choisi) qu’il « suffit » d’analyser, pour émettre ensuite les recommandations au client.
Qu’en est-il vraiment? Ces outils sont nouveaux, peu d’études existent à ce jour sur ce sujet. Nous souhaitons donc nous intéresser plus en détail à leur utilisation. Bien que les avantages potentiels de ces outils soient déjà bien décrits, il semble évident que tout un ensemble de données qualitatives soient perdues. En effet, l’évaluateur n’étant pas présent aux côtés de l’utilisateur lors de la réalisation du test, il ne peut pas lui demander de penser à voix haute, d’expliquer ses choix, de
Problématique || 64
commenter ses difficultés. Il nous paraît donc pertinent d’étudier ces outils d’évaluation en ligne, afin de débusquer les zones d’ombre présentes, et de situer leur apport au niveau méthodologique.
Un autre aspect méthodologique que nous nous proposons d’étudier est celui de l’apport des mesures online. Il s’agit des données qui rendent compte du comportement au moment où il s’effectue (les données offline étant recueillies après le test) (Baccino et al., 2005). Comme l’expliquent ces auteurs, les techniques offline amènent des informations sur le résultat de l’interaction humain-machine, à travers des données récoltées une fois le test terminé (telles que les opinions, les performances en terme de nombre d’erreur, par exemple). Au niveau des processus cognitifs, ces techniques rendent compte uniquement du résultat des processus de raisonnement ou de compréhension des participants. Les données online permettent quant à elles d’obtenir des informations sur le déroulement des processus cognitifs. Un des méthodes online les plus connues actuellement est l’enregistrement des mouvements oculaires, qui « permet de faire des inférences sur le processus de recherche visuelle des informations, sur les stratégies d’exploration des pages adoptées par le sujet, sur la lecture et le balayage du texte, sur le décours attentionnel du sujet, etc. » (Baccino et al., 2005, p. 93). Une autre mesure online est le traçage des mouvements de la souris effectués par l’utilisateur, qui constitue une « riche source d’informations comportementales pour comprendre, modeler et satisfaire les besoins d’information » (Huang, White, & Dumais, 2011, p.
1225), et qui pourraient donc apporter les mêmes informations que le traçage des mouvements oculaires des participants. Des études ont démontré un lien entre ces deux mesures (Chen et al., 2001; Huang et al., 2011) ; l’enregistrement de la souris nécessitant un matériel moins lourd que celui des yeux, la fin de celui-ci est-elle annoncée ? Nous souhaitons creuser cet aspect méthodologique.
Ces méthodes servent à analyser l’activité réalisée par des humains, et les données ne prennent du sens que lorsqu’elles sont remises dans leur contexte d’utilisation. Nous aborderons donc une activité en particulier : la recherche d’information. A travers des mesures online, nous souhaitons identifier la façon dont
Problématique || 65
les personnes évaluent le contenu et les sources de sites internet, et le rôle de leurs croyances épistémologiques sur ce processus cognitif.
Problématique || 66