AUBERT Damien Maîtrise de Psychologie Cognitive
GOUMI Antonine Travail d’étude et de recherche
Ce document est mis à disposition sous un contrat Creative Commons
L’effet de différents types d’interfaces sur la recherche d’informations dans un
CD-ROM pédagogique
Résumé
Cette recherche a pour but de mettre en évidence les effets que peuvent avoir différents types de structures d’interfaces et différents types de questions sur la recherche d’information dans un produit multimédia.
Un questionnaire composé de deux types de questions (locales et globales) permettait à trois groupes de participants de chercher des informations dans un CD-ROM, grâce à trois types d’interfaces possédant chacune une structure différente (index, carte de connaissances et mixte).
Les effets de ces différents types de questions et de ces différents types de structures d’interfaces étaient mesurés. Les résultats montrent que l’index est l’interface la plus économique et la plus rapide pour trouver une information, contrairement à la carte de connaissances. L’interface mixte est aussi efficace que l’index après entraînement, pour deux groupes de participants (IUT et professionnels).
Mots-clefs : recherche d’informations, interfaces, questions
Introduction
Introduction
Les premiers modèles théoriques et recherches concernant la recherche d’informations sont apparus dans les années quatre-vingt. Mais c’est surtout à partir du milieu des années quatre-vingt-dix, avec l’essor des nouvelles technologies, du web et des produits multimédia, qu’ont eu lieu les études les plus pertinentes. Chercher de l’information dans des documents hypertextes devenait essentiel. Pour étudier cela, les questions apparaissent comme le meilleur moyen de provoquer la recherche d’informations. Les effets des différents types de questions et des différents types de structures d’interfaces ont été et doivent encore être étudiés, pour permettre aux utilisateurs une meilleure navigation.
Notre recherche n’a pas pour but de valider un modèle théorique mais se situe dans le cadre d’une collaboration entre le Laboratoire Langage et Cognition de l’Université de Poitiers et le Département Innovation Pédagogique de l’Ecole Nationale Supérieure des Télécommunications. Quel sont les effets de différentes représentations des contenus sur l’accès à l’information ? Certains modes de représentation externe des contenus favorisent-ils l’accès à l’information ? Pour répondre à cette question, différentes structures d’interfaces ont été testées sur l’accès à l’information dans le cadre d’un CD-ROM pédagogique. Cette étude se situe donc à la frontière entre recherche fondamentale et développement de technologies de formation innovantes.
Cadre théorique
Nous débuterons ce cadre théorique à la recherche d’informations par la présentation de deux modèles théoriques, celui de Guthrie (1988) et celui de Rouet et Tricot (1998). Dans le but d’appuyer ces modèles (et notamment celui de Guthrie) nous décrirons l’expérience de Dreher et Guthrie (1990) qui permet de mettre également en évidence la recherche
d’informations comme étant une véritable compétence. Les recherches effectuées par
Edwards et Hardman (1989) et Mc Donald et Stevenson (1998) nous permettrons de montrer
Nous tenons d’emblée à signaler que c’est sur le modèle de Rouet et Tricot (1998) que notre recherche s’appuie.
Modèles théoriques
L’un des premiers modèle cognitif de la recherche d’informations fut proposé par Guthrie (1988). Ce modèle contient cinq composantes. En premier lieu, la formation du but : une question ou une consigne amène le lecteur à trouver une information dans le document qui lui est proposé. Il se forme alors une représentation de l’objectif à atteindre. La seconde étape est celle de la sélection d’une catégorie d’informations. Toutes les catégories
d’informations dont dispose le sujet ne sont pas appropriées. Il doit choisir la plus pertinente.
Après avoir sélectionné une catégorie appropriée, le lecteur en extrait l’information qui lui est utile pour parvenir au but qu’il s’est fixé. L’information extraite est ensuite intégrée à la formation du but. Enfin, le lecteur peut réutiliser les quatre composantes précédentes jusqu'à ce qu’il parvienne au but exigé et donc à fournir une réponse correcte. C’est le recyclage.
Mais le modèle de Guthrie, s’il a été pour l’essentiel largement validé, se limite aux documents techniques. De plus, c’est un modèle linéaire : le processus de recyclage n’intervenant qu’à la fin.
C’est essentiellement à partir du modèle de Guthrie que Rouet et Tricot (1995, 1998) ont à leur tour construit un modèle des processus cognitifs à l’œuvre dans la recherche d’informations dans les documents hypertextes. Ce modèle conçoit la recherche
d’informations comme un processus cyclique et décrit deux types de processus : les processus élémentaires qui constituent la recherche d’informations en elle-même, et les processus de gestion cognitive.
Selon Rouet et Tricot, trois processus élémentaires constituent le cycle de base de toute recherche d’informations : Evaluation, Sélection, Traitement. Nous emploierons par la suite l’expression "modèle EST".
L’évaluation a lieu en premier et correspond au but de la recherche : le sujet se construit une représentation du but et identifie les informations requises. Puis il compare les
informations disponibles avec cette représentation du but. Cela lui permet de produire des critères qui vont guider sa recherche : critères déclaratifs relatifs aux caractéristiques de l’information recherchée et critères procéduraux relatifs à la procédure à suivre. Dans notre
Le processus de sélection permet ensuite de faire le choix d’une catégorie d’informations pertinente, grâce à l’évaluation précédente. Il s’opère plusieurs sélections chacune utilisant les résultats des précédentes. Trois types de représentations mentales doivent donc être activées : représentation du but, des catégories déjà examinées, des catégories disponibles. Si une catégorie cible est estimée pertinente elle est sélectionnée. Dans notre recherche, le processus de sélection concerne la phase de navigation jusqu’à l’accès dans l’article. Par conséquent, les temps et les nombres de clics liés à cette phase devraient être influencés par le type
d’interface utilisée (carte de connaissances, index ou mixte).
Le traitement correspond à l’examen de l’information précédemment sélectionnée. Le sujet doit alors évaluer la pertinence de l’information par rapport à sa représentation du but : si l’information sélectionnée correspond au but, son contenu est intégré à la solution en cours de réalisation. Si ce n’est pas le cas, il doit opérer une nouvelle et meilleure sélection, voire modifier sa représentation du but. Le processus de traitement dans notre recherche concerne la phase d’exploration des articles. Il devrait donc être influencé par le type de question posée (locale ou globale).
Trois processus de gestion cognitive permettent de superviser et d’optimiser le cycle décrit précédemment.
La planification correspond à une préparation de l’activité ; elle permet de décider quand et comment les processus élémentaires pourront être activés. Ce processus est important pour notre recherche : il intervient notamment au moment de la phase d’évaluation dans la carte de connaissances (cf. ci-dessous Mc Donald & Stevenson, 1998).
Le contrôle est relatif à la vérification du résultat. En cela, il intervient dès la sélection et lors du traitement. Cela est intéressant dans le cadre de la recherche d’informations car le sujet ne connaît pas la nature des informations qui vont lui permettre de répondre à la question et il ne sait donc pas si les informations qu’il sélectionne sont nécessaires et/ou suffisantes.
Enfin, la régulation relève d’une modification du déroulement de l’activité pour améliorer le résultat.
La recherche d’informations, une véritable compétence
Le modèle de recherche d’informations de Guthrie (1988) est à l’origine de
but des auteurs était de mettre en évidence des patterns de distribution de temps différents entre les chercheurs efficaces et les chercheurs moins efficaces. Pour faire leur recherche d’informations, les élèves pouvaient accéder à un index, à une table des matières et à un glossaire. Les résultats montrèrent que les chercheurs efficaces et moins efficaces ne dépensent pas leur temps de la même façon : pour les questions complexes, les chercheurs efficaces allouent plus de temps à la sélection de catégories et moins de temps à l’extraction de l’information, tandis que les chercheurs moins efficaces passent moins de temps à la sélection de catégories mais plus de temps à l’extraction de l’information. Pour les questions simples, la distribution des temps des chercheurs moins efficaces était comparable à celle des chercheurs efficaces pour les questions complexes ce qui signifie que pour les chercheurs moins efficaces, une question simple apparaît déjà comme complexe. Ces résultats ont permis de mettre en lumière le fait suivant : la recherche d’informations dans un système hypertexte relève d’une véritable compétence. Des chercheurs sont efficaces et accèdent rapidement à l’information recherchée tandis que d’autres, moins efficaces, mettent plus de temps pour accéder à l’information pertinente.
Les effets d’interfaces
Plusieurs recherches montrent que les différents types d’interfaces jouent un rôle important dans la recherche d’informations.
Les effets de différentes structures d’hypertexte sur la perception de leurs utilisateurs ont notamment été examinés par Edwards et Hardman (1989). Les informations étaient présentées aux lecteurs sous la forme de trois différentes structures d’hypertexte :
hiérarchique (liens enchâssés), index (mots organisés en liste) ou mixte (combinaison des deux types d’accès). Les effets de ces différentes structures d’hypertexte sur la perception des utilisateurs du document furent examinés. Une série de questions permettait aux lecteurs d’explorer le document. Afin de mesurer l’efficacité de la recherche et du type d’hypertexte utilisé, les parcours empruntés par les lecteurs étaient enregistrés : l’index était l’hypertexte qui était utilisé le plus efficacement, l’hypertexte mixte était celui qui l’était le moins et le plus difficile à utiliser. Pour déterminer la représentation cognitive de l’hypertexte que les sujets se formaient, ils devaient ensuite trier des fiches, modèles réduits des écrans, selon comment ils imaginaient qu’elles étaient ordonnancées dans le document. Cela permit de
l’hypertexte que ceux de la condition mixte. Il y a dans la condition mixte, une difficulté d’acquisition d’un modèle conceptuel de la structure du document hypertexte.
La perspective adoptée par Mc Donald et Stevenson (1998), concerne l’efficacité de deux aides à la navigation dans un hypertexte, une carte de connaissances et une table des matières, sur les performances de sujets avec ou sans connaissances préalables du domaine traité. Les résultats de cette étude sont en faveur de la carte de connaissances : les parcours effectués par les sujets dans l’hypertexte furent plus long en terme de clics avec la carte de connaissances, mais plus courts en terme de temps. Quant au nombre de réponses correctes, il resta identique avec la carte comme avec la table des matières. Ceci montre que la carte de connaissances est donc un bon outil d’aide à la navigation. Grâce à elle l’utilisateur peut prévisualiser, prévoir, et donc planifier le parcours qu’il va effectuer. Elle lui permet d’avoir une vision globale de la structure du document qui lui est présenté, des informations
disponibles et des relations entre les différents éléments.
Ces deux études montrent que les performances en terme d’efficacité de parcours et de réponses correctes ne sont pas les mêmes selon le type d’interface utilisée. Les interfaces de type hiérarchie ou carte de connaissances permettent à l’utilisateur de se former une
représentation spatiale et ainsi de planifier son parcours, rendant de cette manière ses performances meilleures.
Les différents types de questions
Les processus cognitifs impliqués dans le fait de répondre à des questions sont décrits par Rouet et Vidal-Abarca (2002). Les questions jouent notamment un rôle facilitateur dans la compréhension de documents : elles aident l’utilisateur du document à mieux le comprendre, en le guidant vers les informations appropriées. Ces auteurs citent plusieurs travaux
concernant les différents types de questions.
Les questions sont un moyen selon Rothkopf (1982) de stimuler et de guider les activités d’étude de documents ; elles focalisent l’attention du lecteur sur des aspects spécifiques du document qui leur est présenté.
D’après Rickards (1979), les questions possèdent deux dimensions : la direction de leurs effets (les questions rétrogrades encouragent l’examen mental de ce qui a été lu tandis que les
Grâce au modèle QUEST Graesser et Franklin (1990) tentent de rendre compte des processus sous-jacents à la résolution de questions. Un mécanisme de catégorisation permet d’identifier le type de question, son objet et sa source. Les questions diffèrent d’après la taille de la structure conceptuelle nécessaire pour répondre. Ainsi, les questions simples se réfèrent à un seul concept ou à une seule proposition, et une question complexe fait appel à une structure conceptuelle plus large. Le processus de résolution de question à proprement parler considère d’abord le cas où la question doit être résolue sur la base de la mémoire : suite à l’activation d’un nœud de connaissances (directement si le nœud de connaissances correspond à un terme de la question, indirectement si l’activation se propage selon une logique
contextuelle) un mécanisme de radiation de l’activation, procédure de recherche "en arc", propage l’activation dans le réseau de connaissances, permettant ainsi de réduire l’espace de recherche en identifiant les nœuds de connaissances qui doivent être choisis pour répondre.
Lorsque la réponse à la question doit être recherchée dans le document, le processus de résolution se focalise alors d’abord sur la localisation de l’information pertinente puis sur son utilisation pour élaborer la réponse.
Quatre sources d’influence de la recherche d’information textuelle sont identifiées par Mosenthal (1996) : la complexité du document (son organisation structurelle et la quantité d’information qu’il contient), le type d’information recherchée (concrète ou abstraite), le type de correspondance entre la question et le texte et la plausibilité des distracteurs.
Le rapport qu’entretient la question avec le document permettant d’y répondre amène à distinguer questions de haut niveau et questions de bas niveau. Cette dichotomie, très usitée dans l’ensemble de la littérature concernée, arbore trois axes de description : la quantité d’information demandée par la question, le type d’information recherchée et le type de processus déclenché au niveau du traitement de la question et du pattern de recherche provoqué. Les questions de haut niveau focalisent l’attention sur un large éventail de concepts, les questions de bas niveau sur une seule phrase ou proposition. Les questions de haut niveau, si elles consomment plus de ressources cognitives, permettent également une compréhension profonde. Elles sont en effet plus exigeantes, mais cela rend l’étude du document plus efficace que les questions de bas niveau. De plus, les informations sont mieux intégrées. Cette difficulté inhérente aux questions de haut niveau se traduit notamment par des temps de lecture et de réflexion plus élevés. C’est ce que tendent à montrer les différentes
Dans la recherche de Dreher et Guthrie (1990) présentée plus haut, les lycéens effectuaient leurs recherche d’informations grâce à deux types de questions : simples ou complexes. La localisation d’un élément précis dans le document devait permettre de répondre aux questions simples. Les questions complexes consistaient en la mise en relation de différents éléments du document ou en la localisation de plusieurs éléments.
Finalement, les questions sont un moyen de guider l’utilisateur dans le document, en permettant ainsi une meilleure compréhension, notamment pour les questions de haut niveau qui nécessitent plus de temps.
Hypothèses, buts
Nous pouvons donc faire les hypothèses suivantes : en terme de nombre de clics, selon les résultats de Edwards et Hardman (1989), l’index sera plus efficace que l’interface mixte et d’après les résultats de Mc Donald et Stevenson (1998) l’index plus efficace que la carte de connaissances.
Les temps de sélection, correspondant au temps de parcours jusqu’à l’accès dans l’article- cible, devraient être influencés par le type d’interface utilisée. Aussi, toujours d’après
Edwards et Hardman (1989) les temps de sélection devraient être plus courts avec l’index qu’avec l’interface mixte et selon Mc Donald et Stevenson (1998) plus courts avec la carte de connaissances qu’avec l’index.
Les temps de traitement correspondent au parcours effectué dans l’article-cible. Ils devraient donc être influencés par le type de questions et ainsi, d’après les recherches citées par Rouet et Vidal-Abarca (2002) être plus élevés avec les questions globales qu’avec les questions locales.
Quant au nombre de réponses correctes au questionnaire, selon MC Donald et Stevenson (1998), il devrait rester identique quel que soit le type d’interface utilisée.
Pour vérifier ces hypothèses, trois groupes de sujets ont testé le matériel ; chaque expérience considère l’un de ces trois groupes.
Expérience 1
Méthode
Participants
Le premier groupe était composé de 18 étudiants préparant leur Brevet de Technicien Supérieur (BTS) en électronique 2e année au Lycée Louis Armand de Poitiers. Leur
participation s’effectuait dans le cadre de Travaux Pratiques. Une seule fille faisait partie de ce groupe. Leur moyenne d’âge au moment de la passation était de 21,4 ans.
Les élèves de la classe de BTS ayant participé à cette première expérience sont très peu habitués à chercher de l’information. Lors d’une rencontre avec leurs professeurs, ces derniers nous ont informé que leurs élèves, s’ils ont besoin d’un renseignement en rappport avec leurs cours, ne le rechercheront pas à la bibliothèque ou sur internet, mais en feront la demande directement à leur enseignant. Ils bénéficient essentiellement d’un apprentissage par observation et écoute et prennent peu de décisions de leur propre chef ; ils sont donc très peu autonomes. Ainsi, rechercher de l’information n’est pas pour eux une activité courante.
D’autre part, leurs habitudes de travail sur ordinateur ainsi que leur niveau en lecture sont homogènes (cf. annexe 1, tableau 1-1).
Matériel
Le matériel de l’expérience se compose d’un CD-ROM « L’Electronique en questions » et d’un questionnaire de douze questions.
CD-ROM
Ce CD-ROM comporte environ 90 articles présentant chacun une notion ou un problème d’électronique. Chaque article est accessible via trois interfaces permettant
d’accéder aux contenus. Nous présentons pages suivantes les copies d’écran de ces différentes interfaces (cf. figures 1, 2, 3, 4).
Figure 1 : Interface A, carte de connaissances du CD-ROM "L’Electronique en questions"
(le menu déroulant à gauche est activé).
Une carte de connaissances sous la forme d’un puzzle (interface A) permet de visualiser l'organisation des grandes notions de l’électronique. En bas de l’écran se trouvent plusieurs signets correspondant à des notions plus larges. Il suffit de cliquer sur l’un de ces signets pour mettre en surbrillance les notions qui lui sont rattachées via les pièces de puzzle.
Figure 2 : Interface A, carte de connaissances du CD-ROM "L’Electronique en questions", réseau de liens hypertextes correspondant à la pièce de puzzle « Concevoir et utiliser un bloc logique ».
Ensuite, un clic sur l’une des pièces du puzzle permet d’accéder à un réseau de liens hypertextes : les nœuds correspondent à des concepts en rapport avec la pièce sur laquelle on a cliqué. Entre les noeuds se trouvent des points d’interrogation permettant d’accéder aux articles en cliquant dessus ; lorsqu’on amène le curseur de la souris sur un point
d’interrogation, cela révèle un titre d’article.
Figure 3 : interface B, index du CD-ROM "L’Electronique en questions".
Un index alphabétique des mots-clefs du contenu du CD-ROM (interface B) constitue la seconde interface. Il est possible de faire défiler toute la liste alphabétique ou bien de cliquer sur l’une des lettres de l’alphabet selon le mot-clef recherché. Une fois celui-ci trouvé, un clic permet de faire apparaître le titre des articles correpondant à ce mot-clef. Un clic sur le titre permet d’accéder au contenu de l’article.
Figure 4 : Interface C, interface mixte du CD-ROM "L’Electronique en questions".
La troisième interface (interface C) mêle les deux interfaces précédentes, c’est pourquoi nous l’appellerons « interface mixte ». Elle est à la fois composée d’un menu large et d’une liste alphabétique de mots-clefs. Cette interface possède l’avantage d’être interactive : cliquer sur un mot-clef met en surbrillance les parties du menu s’y rapportant, cliquer sur une partie du menu laisse apparaître les mots-clefs correspondants. Le fonctionnement est ensuite le même que précédemment : en cliquant sur un titre d’article on accède à son contenu.
La version de ce CD-ROM permettait d’enregistrer et d’éditer les parcours de chaque élève : les choix faits pour localiser l’article-cible et le temps mis pour y parvenir (cf. annexe 2).
Questionnaire
Un questionnaire papier de 12 questions permettait aux élèves d’effectuer la recherche
Le nombre de clics minimums pour accéder à chaque article-cible est de deux, quel que soit le type d’interface utilisée. La forme du questionnaire ainsi que son contenu ont été discutés, améliorés, puis validés avec Philippe Coulaud, enseignant des BTS.
Le test papier « La pipe et le rat » (Lefavrais, 1986) permettait d’évaluer leur vitesse de lecture. Le test logiciel « Bouton » (réalisé et programmé par Hervé Potelle, doctorant au LACO) était destiné à évaluer leur habitude de travail sur ordinateur via le maniement de la souris. Ces deux tests nous ont ainsi permis de constituer nos variables contrôles.
Un questionnaire intitulé « Donnez-nous votre avis » nous a permis de recueillir leurs impressions et leurs opinions sur le CD-ROM, les interfaces et les questions posées (cf.
annexe 4). Les réponses à ce questionnaire ne sont pas traitées dans les résultats mais ont été utilisées comme une aide à l’interprétation de certains effets. Ces données sont néanmoins disponibles en annexe dans leur intégralité (cf. annexe 5).
Procédure
Les sujets évaluaient le CD-ROM lors de deux séances de deux heures environ chacune, espacées d’une semaine, le 05 et le 12 décembre 2001. Ces séances se déroulaient dans la salle informatique de leur lycée.
Les élèves étaient accueillis en salle informatique du lycée équipée de PC (de type 200MHz, 32Mo RAM) avec carte son et écran 15’. Chaque élève disposait d’un poste ainsi que d’un casque audio. Le déroulement de la séance leur était exposé. Le contenu et le fonctionnement du CD-ROM et des interfaces leur étaient présentés : cette démonstration s’effectuait grâce à un vidéo projecteur et durait environ 10 minutes. Puis, au moyen d’une question-test servant d’entraînement, ils se familiarisaient avec le CD-ROM.
Les élèves devaient chercher la réponse aux questions posées dans le logiciel, et noter leurs réponses sur le questionnaire papier prévu à cet effet.
Le questionnaire leur était distribué, ainsi que les consignes. Ils disposaient de 10 minutes pour répondre à chaque question ; nous les avertissions au bout de 10 minutes et les encouragions à passer à la question suivante. Il leur était également précisé que les questions devaient être traitées dans l’ordre et que même s’ils connaissaient la réponse à l’une d’entre elles, ils devaient trouver l’article permettant d’y répondre. Le parcours effectué par chaque
question. D’autre part, les sujets voyaient six questions lors de la première séance et six autres questions lors de la seconde séance (cf. annexe 6).
Lors de la première séance, avant de commencer à répondre au questionnaire, les élèves passaient le test papier « La pipe et le rat » et le test logiciel « Bouton ».
Lors de la deuxième séance ils répondaient en fin de séance au questionnaire
« Donnez-nous votre avis ».
Plan, Variables, Hypothèses
Les variables indépendantes (VI) sont :
a) les types d’interfaces avec trois modalités A/Carte de connaissances, B/Index, C/Mixte.
b) les types de questions avec deux modalités, locales et globales.
c) la séance avec deux modalités, séance 1 et séance 2.
Les variables dépendantes (VD) sont les nombres de clics, les temps de parcours, et l’exactitude des réponses au questionnaire.
Le plan est donc S18 * I3 * Q2 * Se2 avec I : types d’interfaces, Q : types de questions et Se : séance.
Un contrebalancement était effectué pour l’ordre de présentation des questions et les interfaces à utiliser.
Les hypothèses expérimentales sont les suivantes : le nombre de clics sera faible avec l’index et plus élevé avec la carte de connaissances ; l’interface mixte serait celle qui
conduirait au nombre de clics le plus important.
Les temps de sélection devraient être plus longs avec l’interface mixte qu’avec l’index et plus longs avec l’index qu’avec la carte de connaissances.
Les temps de traitement devraient être plus longs dans la condition questions globales que dans la condition questions locales.
Enfin, le nombre de réponses correctes au questionnaire devrait rester identique quel que soit le type d’interface considérée.
Résultats
Pour chacune des VD, nous avons calculé les moyennes pour chaque type de question et chaque type d’interface (cf. annexe 8) et réalisé une analyse de la variance (ANOVA) selon
Analyse des parcours
Comme signalé plus haut, la version de ce CD-ROM permettait d’enregistrer et d’éditer les parcours de chaque élève : nombre de clics et temps de sélection et de traitement.
Un logiciel traçait le parcours de chaque étudiant. Ces parcours étaient enregistrés puis traités.
Nous les mettions ensuite en pages et les triions en vue de leur traitement (cf. annexe 2).
Nous tenons à préciser ici qu’il s’agit des nombres de clics et des temps de parcours relatifs à la phase de sélection du modèle EST (cf. introduction, modèles théoriques, page 3).
En d’autres termes, nous avons opéré l’analyse des parcours jusqu’à l’entrée des sujets dans l’article-cible. Au-delà, il s’agissait pour les sujets de la lecture de l’article-cible et par
conséquent de la phase de traitement. Or, il ne nous a pas été permis d’explorer cette phase de traitement avec les BTS, suite à des bugs en série.
Des sujets n’ayant pas atteint l’article-cible, nous avons dû considérer pour ceux-ci la totalité du parcours relatif à la question.
Enfin, des 216 données, 19 étaient manquantes : question non traitée ou mauvaise interface utilisée. Nous avons remplacé ces données par la moyenne de la condition à laquelle chacune correspondait (cf. annexes 8).
Nombre de clics
Le nombre de clics minimums pour accéder à chaque article est de 2 quel que soit le type d’interface utilisée. Dans certains cas, l’article-cible était accessible dès l’entrée dans l’interface C considérant ainsi un seul clic ; ce phénomène étant aléatoire, nous avons quand même compté deux clics par défaut.
Tableau 1 : Nombres moyens de clics en fonction du type d’interface et du type de question A (carte) B (index) C (mixte) Moyenne
Locales 10,67 (7,81) 6,52 (6,24) 11,42 (12,03) 9,54 (9,20) Globales 11,41 (10,97) 3,93 (2,90) 9,41 (11,09) 8,18 (9,61) Moyenne 11,04 (9,46) 5,22 (5,22) 10,31 (10,31) 8,86 (9,41)
N.B. : le nombre entre parenthèses représente l’écart-type. En l’absence d’un effet de la variable séance (cf. résultats ci-dessous), ce tableau regroupe les deux séances.
Il apparaît clairement au vu des moyennes que l’interface B est la plus économique
L’analyse de la variance montre d’abord un effet principal significatif du type d’interface : F(2,34)=10,90, p=.0002. Les comparaisons partielles (cf. annexe 9, tableau 9-2) montrent que l’interface B est significativement plus économique que l’interface A (le nombre moyen de clics passe en effet de 11,03 avec l’interface A à 5,22 avec l’interface B, soit une diminution de 52,68%) et que l’interface C (le nombre moyen de clics passe en effet de 5,22 avec l’interface B à 10,31 avec l’interface C, soit une augmentation de 97,5%). On peut donc affirmer que quel que soit le type de question, l’index est l’interface la plus économique et la plus efficace en terme de nombre de clics, c’est celle qui conduit le plus
"rapidement" à trouver l’article cible.
On constate également une interaction triple marginalement significative séance*type de question*interfaces : F(2,34)=2,84, p=.0725.
Séance 1
Nombre moyen de clics
8,866666
4,8
13,0625
11,42857
3,333333
6,583333
0 2 4 6 8 10 12 14 16
Interfaces A B C
Séance 2 12,4706
8,235294
9,777777 11,3889
4,52941
11,8235
Interfaces A B C
Questions Locales Questions Globales
Figure 5 : Nombre moyen de clics en fonction du type d’interface, de la séance, et du type de question (A = carte, B = index, C = mixte).
On observe clairement lors de la première séance une tendance à l’interaction entre le type d’interface et le type de question, notamment en ce qui concerne l’interface C, les questions locales aboutissant à deux fois plus de clics que les questions globales. En revanche, lors de la
comparaisons planifiées ne permettent pas de confirmer cette tendance, cet effet n’est donc statistiquement pas significatif.
Aucun autre effet ou interaction significatifs n’ont été constatés.
Temps de sélection
Tableau 2 : Temps moyens de sélection en fonction du type d’interface et du type de question, exprimés en secondes.
A (carte) B (index) C (mixte) Moyenne
Locales 287,03 (168,95) 234,53 (188,80) 250,97 (183,06) 258,36 (180,27) Globales 244,24 (210,78) 116,84 (133,77) 201,57 (176,61) 190,61 (194,72) Moyennes 266,91 (191,04) 175,69 (172,93) 226,27 (180,32) 222,95 (184,56) N.B. : les chiffres entre parenthèses représentent l’écart-type. En l’absence d’un effet de la variable séance (cf. résultats ci-dessous), ce tableau regroupe les deux séances.
D’une manière générale, c’est l’interface B qui conduit à trouver l’article cible en un minimum de temps (176,69 secondes en moyenne). Et ce sont les questions globales qui sont résolues plus rapidement que les questions locales (190,61 secondes en moyenne).
L’analyse de la variance montre un effet principal significatif du type de question : F(1,17)=10,86, p=.0043. Les questions globales sont résolues plus rapidement que les questions locales, quelle que soit la séance et le type d’interface utilisée, les temps de sélection étant respectivement de 258,36 secondes et de 190,61 secondes.
On observe également un effet principal significatif du type d’interface : F(2,34)=5,82, p=.0067. Les comparaisons partielles (cf. annexe 9, tableau 9-4) montrent que l’interface B est significativement plus économique que l’interface A, le temps moyen de sélection passant de 266,91 secondes avec l’interface A à 175,69 secondes avec l’interface B, soit une
diminution de 34,17%. En revanche, il n’y a statistiquement pas de différence entre l’interface B et l’interface C, ni entre l’interface A et l’interface C. On peut donc affirmer que quel que soit le type de question, l’index est l’interface la plus rapide et la plus efficace en terme de temps de sélection, c’est celle qui conduit le plus rapidement à trouver l’article cible.
On constate également une interaction triple séance*type de question*interfaces : F(2,34)=6,65, p=.0037.
Séance 1
Temps sélection (sec.)
283,3333
176,0666
300,4375
268,4285
84,7333
129,6666
0 50 100 150 200 250 300 350
Interfaces A B C
Séance 2
295,8235 293
201,5 220,0555
148,941
273,4705
Interfaces A B C
Questions locales Questions globales
Figure 6 : Temps moyens de sélection en secondes, en fonction du type d’interface, de la séance, et du type de question (A = carte, B = index, C = mixte).
Les comparaisons partielles significatives (cf. annexe 9, tableau 9-5) montrent les effets suivants :
Lors de la première séance, les questions globales sont résolues plus rapidement que les questions locales, avec les interfaces B et C.
Lors de la deuxième séance, les questions globales sont résolues plus rapidement que les questions locales, avec l’interface B.
On peut donc conclure que quelle que soit la séance, les questions globales sont résolues plus rapidement que les questions locales, avec l’interface B. Les questions globales sont résolues plus rapidement que les questions locales avec l’interface C, seulement pour la première séance.
Aucun autre effet ou interaction significatifs n’ont été constatés.
Résultats au questionnaire
Une procédure et un barême de correction ont été mis en place pour noter les réponses aux questions (cf. annexe 3). Le questionnaire était noté sur 12 : 2 points par question.
L’accord inter-juge était de 98,33%.
Séance 1
Notes moyennes /2
0,5
0,777778
0,611111
0,333333
0,611111
0,722222
0,0 0,2 0,4 0,6 0,8 1,0 1,2 1,4 1,6 1,8 2,0
Interfaces A B C
Séance 2 0,666667
0,833333
0,611111 1,055555
0,611111
0,833333
Interfaces A B C
Questions locales Questions globales
Figure 7 : Notes moyennes (sur deux) au questionnaire, en fonction du type d’interface, de la séance et du type de question (A = carte, B = index, C = mixte).
On observe que d’une manière générale, les notes sont assez basses. Il y a une proportion importante de notes 0 : 64,81 % en première séance et 58,33 % en deuxième séance.
L’analyse de la variance montre un effet significatif de la séance : F(1,17)=5,98, p=.03 Les réponses au questionnaire sont significativement meilleures lors de la deuxième séance : 0,77/2 contre 0,59/2 à la première séance soit une amélioration de 30,5%.
Aucun autre effet significatif ou interaction n’ont été constatés.
l’index. En revanche aucune différence n’a été constatée entre la carte de connaissances et l’interface mixte.
Au niveau des temps de sélection, le fait que les questions globales soient résolues plus rapidement que les questions locales n’était pas attendu. Cela peut être dû à des variables parasites non contrôlées lors de la construction du questionnaire. Nous avons notamment examiné le nombre de mots-clefs et de mots-distracteurs pour chaque question avec chaque interface. Les mots-clefs correspondent à des termes communs au questionnaire et au CD- ROM, permettant ainsi la sélection du bon parcours. Au contraire, les distracteurs
correspondent à des termes pouvant orienter le sujet vers un mauvais parcours. Nous avons pu observer que les questions locales étaient dotées de deux fois plus de distracteurs que les questions globales (cf. annexe 11). Ceci est une explication à cet effet constaté.
A l’opposé des résultats de Mc Donald et Stevenson (1998), nous constatons que l’index est plus rapide que la carte de connaissances en terme de temps de sélection. L’explication que l’on peut donner à cela vient du fait que les élèves ont majoritairement préféré l’index pour des raisons de praticabilité et de rapidité (cf. annexe 5, tableau 5-1).
Quant à l’inversion des patterns de distribution de temps de sélection pour l’interface mixte, elle peut être due à un changement dans le type d’utilisation de cette interface. En regardant plus en détail les parcours édités par le logiciel, nous avons observé que lors de la première séance, l’interface mixte était utilisée à 74% comme un index : les sujets se sont servis majoritairement de la liste de mots-clefs. En revanche, lors de la deuxième séance, ils s’en sont servis à 44% avec le plan et à 56% comme un index : ils ont mieux exploité les possibilités d’interactivité offertes par cette interface, ce qui n’était pas le cas lors de la première séance.
Enfin, conformément à notre hypothèse, le nombre de réponses correctes est resté identique quel que soit le type d’interface utilisée. En revanche, l’amélioration des réponses au questionnaire d’une séance à l’autre justifie le découpage opéré en deux séances. La première séance a servi d’entraînement et de familiarisation au sujet avec le matériel et la procédure (CD-ROM et questionnaire). Cela peut également être imputé au fait que la seconde séance s’est déroulée dans de meilleures conditions que la première, lors de laquelle de nombreux bugs ont eu lieu.
Expérience 2
Introduction
Nous avons répliqué la première expérience avec des élèves de l’Institut Universitaire Technologique (IUT) de Poitiers ; ce choix a été motivé par le fait que ces étudiants subissent à l’entrée de leur cursus une sélection plus sévère que les BTS. Nous pensions donc que ces élèves auraient un meilleur niveau en électronique. De plus, le produit "L’Electronique en Questions" s’adresse à un large public d’étudiants ; l’évaluation devait donc reposer sur plusieurs échantillons.
Méthode
Participants
Le deuxième groupe était formé de 9 étudiants volontaires, en première année d’IUT Génie Electrique et Informatique Industriel à Poitiers, d’une moyenne d’âge de 19,7ans. Ces élèves, contrairement aux précédents, étaient obligés de se déplacer et ne travaillaient pas dans leur cadre habituel.
Leurs habitudes de travail sur ordinateur et leur niveau en lecture sont homogènes (cf.
annexe 1, tableau 1-2).
Matériel et Procédure
Le matériel et la procédure étaient strictement identiques à l’expérience précédente.
Les séances se sont déroulées les 18 et 25 avril dans la salle IPT du département de psychologie de l’UFR Sciences Humaines.
Plan, Variables, Hypothèses
Les variables et les hypothèses sont identiques à l’expérience précédente, seul le plan change au niveau du nombre de participants : S9 * I3 * Q2 * Se2 avec I : types d’interfaces,
Résultats
Chacune des VD ont été considérées de la même manière que pour l’expérience 1 : calcul des moyennes pour chaque type de question et chaque type d’interface (cf. annexe 8) puis ANOVA selon le plan S9 * I3 * Q2 * Se2 (cf. annexe 9). Au vu des résultats qui vont suivre, nous signalons une nouvelle fois que comme dans l’expérience précédente,
l’homogénéité de chaque type de questions (locales/globales) est relative (cf. annexe 7).
Analyse des parcours
Il s’agit comme dans l’expérience précédente des nombres de clics relatifs à la phase de sélection. En revanche, en ce qui concerne les temps de parcours, nous avons pu considérer ici les temps relatifs à la phase de sélection et les temps relatifs à la phase de traitement.
En ce qui concerne les nombres de clics et les temps relatifs à la phase de sélection 1 donnée sur 108 était manquante et 6 données sur 108 étaient manquantes pour les temps de traitement : question non traitée, mauvaise interface utilisée... Ces données ont été remplacées par la moyenne de la condition à laquelle chacune correspondait. (cf. annexes 8).
Des sujets n’ayant pas atteint l’article-cible, nous avons dû considérer pour ceux-ci la totalité du parcours relatif à la question.
Nombre de clics
Nombre moyen de clics
9,333333
10
5 13,8889
5,666666
8,75
0 2 4 6 8 10 12 14 16
7,11111
4,555555
2,88889 9,333333
5,11111
4,444444
Questions locales Questions globales
Il apparaît clairement au vu des nombres moyens de clics que d’une manière générale, l’interface A est la moins économique. Il ne semble pas y avoir d’effet du type de question, hormis pour la seconde séance lors de laquelle les questions locales sont résolues en moins de clics que les questions globales.
L’analyse de la variance montre d’abord un effet principal significatif du type de séance: F(1,8)=6,06, p=.04. La deuxième séance est en effet plus économique en terme de nombre de clics (5,57 clics en moyenne) que la première séance (8,77), soit une diminution de 36,48%.
On constate également un effet du type d’interface : F(16,2)=4,89, p=.02. Au vu des comparaisons partielles (cf. annexe 9, tableau 9-8), l’interface A est celle qui est
significativement la moins économique. Le nombre moyen de clics passe en effet de 9,92 avec l’interface A à 6,33 avec l’interface B, soit une diminution de 36,18%. Et le nombre moyen de clics passe de 9,92 avec l’interface A à 5,27 avec l’interface C, soit une diminution de 46,87%. Il n’y a pas de différence significative entre les interfaces B et C, on ne peut donc pas considérer que l’une est plus économique que l’autre : elles aboutissent toutes deux au même nombre de clics.
Aucun autre effet ou interaction significatifs n’ont été constatés.
Il reste néanmoins à noter que les IUT obtiennent lors de la première séance, un nombre de clics plus élevé que les BTS (cf. page 16) et semblent utiliser l’interface C plus efficacement lors de la seconde séance (moins de clics).
Temps de sélection
Les temps de sélection considèrent le temps passé par le sujet jusqu’à son entrée dans l’article cible.
Tableau 3 : Temps moyens de sélection exprimés en secondes en fonction du type d’interface et du type de question.
A (carte) B (index) C (mixte) Moyenne Locales 272,00 (186,07) 206,78 (186,63) 157,33 (172,70) 212,04 (184,63)
Au regard de ces temps moyens de sélection, il apparaît que quelle que soit la séance, l’interface B est la plus économique et il ne semble pas y avoir d’effet du type de question, même si les questions locales sont résolues plus rapidement avec l’interface C et les questions globales avec l’interface B.
Cependant, une ANOVA ne montre aucun effet significatif des variables. Cela peut être dû aux forts écarts-types.
Temps de traitement
Les temps de traitement sont relatifs au temps de recherche des réponses de la part des sujets, dans les articles.
Temps moyens de traitement (sec.)
Séance 1 472,4444
454,625
421,5555 446
538,75
432,5
0 50 100 150 200 250 300 350 400 450 500 550 600 650
Interfaces A B C
Séance 2 359,25
451,222 463
427,222
614,875
518,5555
Interfaces A B C
Questions locales Questions globales
Figure 9 : Temps moyens de traitement en secondes, en fonction du type d’interface, de la séance et du type de question (A = carte, B = index, C = mixte).
Il apparaît que les questions locales demandent moins de temps de traitement que les questions globales. On observe également, un temps moyen de traitement plus élevé avec l’interface B, surtout pour les questions globales.
L’ANOVA montre d’abord un effet principal significatif du type d’interface : F(2,16)=3,98, p=.03. Au vu des comparaisons partielles (cf. annexe 9, tableau 9-11), l’interface A est significativement plus économique que l’interface B, le temps moyen de traitement passant de 426,23 s avec l’interface A à 514,87 s avec l’interface B, soit une augmentation de 20,79%. En revanche, il n’y a statistiquement pas de différence entre
l’interface B et l’interface C, ni entre l’interface A et l’interface C. On peut donc affirmer que quel que soit le type de question, la carte de connaissances est l’interface la plus rapide et la plus efficace en terme de temps de traitement, c’est celle qui amène le sujet à résoudre le plus rapidement la question posée.
On observe également une interaction double significative entre les séances et le type d’interface : F(2,16)=3,79, p=.04.
Interfaces
Temps moyens de traitement
459,222
496,6875
427,0277 393,236
533,0485
490,7777
0 50 100 150 200 250 300 350 400 450 500 550 600
A B C
Séance 1 Séance 2
Figure 10 : Temps moyens de traitement en secondes, en fonction du type d’interface et de la séance (A = carte, B = index, C = mixte).
Les comparaisons partielles significatives (cf. annexe 9, tableau 9-12) montrent les effets suivants :
Et, lors de la seconde séance les temps de traitement sont significativement plus courts avec l’interface A qu’avec les deux autres interfaces : ils augmentent de 35% avec l’interface B et de 24,8% avec l’interface C.
Résultats au questionnaire
Séance 1
Notes moyennes /2
0,777778
0,888889 0,888889 0,888889
1,11111
1,22222
0,0 0,2 0,4 0,6 0,8 1,0 1,2 1,4 1,6 1,8 2,0
Interfaces A B C
Séance 2 1
1,22222
1 0,888889
1,11111
0,666667
Interfaces A B C
Questions locales Questions globales
Figure 11 : Notes moyennes (sur deux) au questionnaire, en fonction du type d’interface, de la séance et du type de question (A = carte, B = index, C = mixte).
D’une manière générale, les notes des IUT sont relativement bonnes : 51,85% de ces notes sont égales à 1 ou 2 lors de la première séance, comme lors de la deuxième séance.
L’analyse de la variance ne montre aucun effet ou interaction significatifs. Cependant, on observe une inversion concernant le type de question : alors que les questions globales sont mieux réussies lors de la première séance, ce sont les questions locales qui sont mieux
réussies lors de la seconde séance. Mais cet effet n’est pas significatif.
Discussion de l’expérience 2
Au niveau de l’effet du type d’interface, la carte de connaissances apparaît comme étant moins économique que l’index, ce dont nous avions fait l’hypothèse d’après les résultats de Mc Donald et Stevenson (1998). En revanche, le fait que l’interface mixte soit aussi
économique que l’index n’était pas attendu et contredit les résultats d’Edwards et Hardman (1989). Cela peut être imputé au fait que lors de la seconde séance, l’interface mixte a été utilisée autant en tant qu’index qu’en tant que plan. Mais cela reste insuffisant pour expliquer cet effet, cette observation ne valant pas pour la première séance.
Le fait que les IUT obtiennent lors de la première séance un nombre de clics plus élevé que les BTS peut être dû au fait qu’ils ont plus cherché à explorer le CD-ROM, contrairement aux BTS. Le détail des parcours édités par le logiciel montre en effet que ces étudiants privilégient la phase de sélection : en d’autres termes, ils explorent le produit avant d’entrer dans un article.
On trouve l’explication à leur utilisation plus efficace en terme de nombre de clics de l’interface C lors de la seconde séance dans le fait que les élèves ont bien "cerné"
l’interactivité de cette interface et le fait qu’elle combine les deux autres interfaces (cf. annexe 5, tableau 5-2).
Relativement aux temps de traitement, l’effet du type d’interface et l’interaction double interface/séance n’étaient pas attendus, et cela paraît difficilement explicable. En effet, les articles sont identiques, quelle que soit l’interface utilisée pour y accéder. Comme signalé plus haut, les temps de traitement, c’est-à-dire les temps de navigation dans les articles, ne peuvent donc pas être influencés par le type d’interface mais par le type de question. Cela peut donc être imputable au hasard ou à des variables parasites.
Le nombre de réponses correctes au questionnaire est resté identique quel que soit le type d’interface utilisée. Cela reste donc conforme à notre hypothèse.
L’amélioration des notes lors de la deuxième séance constatée pour les BTS n’est pas reproduite par les IUT. On peut néanmoins noter que même si les élèves d’IUT ne
parviennent pas à hisser leurs scores en deuxième séance, ils ont tout de même effectué un nombre de clics plus faible lors de la seconde séance. Ces élèves ont donc dû certainement
Expérience 3
Introduction
Cette troisième expérience a été organisée, l’opportunité s’étant présentée de recruter des professionnels du monde de l’électronique. De plus, cela nous permettait d’élargir encore notre échantillon de sujets et de tester le produit sur un autre type de population.
Méthode
Participants
Le troisième groupe était recruté sur la base du volontariat. D’une moyenne d’âge de 25,9ans, ce groupe était composé de 4 professionnels du domaine de l’électronique, dont une fille. Trois des sujets étaient ingénieurs de formation, le quatrième, technicien, possédait un DUT. Ils étaient amenés à se déplacer et ne travaillaient pas dans leur cadre habituel.
Leurs habitudes de travail sur ordinateur et leur niveau en lecture sont homogènes (cf.
annexe 1, tableau 1-3).
Matériel et procédure
Le matériel et la procédure étaient strictement identiques aux expériences précédentes.
Les séances se sont déroulées les 18 et 25 avril dans la salle IPT du département de psychologie de l’UFR Sciences Humaines.
Plan, Variables, Hypothèses
Les variables et les hypothèses sont identiques aux expériences précédentes, seul le plan change au niveau du nombre de participants : S4 * I3 * Q2 * Se2 avec I : types d’interfaces, Q : types de questions et Se : séance.
Résultats
Etant donné que seulement quatre personnes ont participé à cette expérience, les résultats ne seront pas traités statistiquement, nous nous contenterons donc d’en faire une description grâce aux moyennes calculées pour chaque type de question et chaque type d’interface (cf. annexe 8).
Analyse des parcours
Nombre de clics
Séance 1
Nombre moyen de clics
6,75
4,75
7,75
6
3,75
2,75
0 1 2 3 4 5 6 7 8 9
Interfaces A B C
Séance 2 6,5
2,5 2,5
6,666666
4,75
2,5
Interfaces A B C
Questions locales Questions globales
Figure 12 : Nombre moyen de clics en fonction du type d’interface, de la séance, et du type de question (A = carte, B = index, C = mixte).
L’observation des résultats montre que les nombres de clics sont faibles avec l’interface B (index) et élevés avec l’interface A (carte). L’interface mixte provoque un nombre de clics élevé pour les questions locales lors de la première séance. Cette différence entre les questions locales et globales pour l’interface C lors de la première séance s’estompe
Temps de sélection
Séance 1
Temps sélection (sec.)
168
105,5
250,75 280,25
70
197,75
0 50 100 150 200 250 300 350
Interfaces A B C
Séance 2 94,75
49,75
74,5 176,6666
62,25 69
Interfaces A B C
Questions locales Questions globales
Figure 13 : Temps moyens de sélection en secondes, en fonction du type d’interface, de la séance et du type de question (A = carte, B = index, C = mixte).
On observe que les temps de sélection diminuent entre la première et la seconde séance : les professionnels ont sélectionné les bons articles-cibles plus rapidement lors de la deuxième séance.
D’autre part, l’interface A conduit à un nombre de clics supérieur à l’interface B, qui est la plus économique.
Les questions locales sont résolues en moins de clics que les questions globales avec l’interface A quelle que soit la séance.
Les questions résolues au moyen de l’interface C le sont en un plus petit nombre de clics lors de la seconde séance.
Temps de traitement
Séance 1
Temps traitement (sec.)
515,25
405,25
601,75
486,6666
583,6666
474,75
0 50 100 150 200 250 300 350 400 450 500 550 600 650
Interfaces A B C
Séance 2
518,6666 531,25 524,25
555
475
532,5
Interfaces A B C
Questions locales Questions globales
Figure 14 : Temps moyens de traitement en secondes, en fonction du type d’interface, de la séance et du type de question (A = carte, B = index, C = mixte).
Au vu des résultats, les temps de traitement en seconde séance ne semblent pas sensibles au type d’interface comme au type de question. Cependant, lors de la première séance, les questions locales sont résolues plus rapidement que les questions globales avec l’interface B, ce constat s’inversant pour l’interface C.
Résultats au questionnaire
Les résultats au questionnaire sont aussi mauvais que ceux des BTS : 64,81% de notes 0 en première séance et 58,53% en deuxième séance.
Discussion 3
hypothèse inspirée de Mc Donald et Stevenson (1998) pour le nombre de clics alors que pour les temps de sélection l’ hypothèse également dérivée des résultats de Mc Donald et
Stevenson (1998) est plutôt infirmée. On retrouve là le profil des résultats des BTS et dans une moindre mesure celui des IUT.
Toujours sur les mêmes VD, il semble que l’interface C soit la plus sensible aux effets de familiarisation, bien que ces effets diffèrent grandement dans leurs conséquences : en effet, ces effets se traduisent par une différence de nombre de clics qui s’estompe entre les deux types de question en deuxième séance alors qu’ils amènent une diminution globale quel que soit le type de question pour les temps de sélection. Au-delà de ces effets protéiformes, il apparaît que l’interfaces C, de par son organisation plus complexe, demande un entraînement plus long que les autres interfaces, pour un résultat plus économique en terme de nombre de clics.
Enfin il faut souligner que les temps de sélection subissent une baisse notable de la séance 1 à la séance 2, sans pour autant que le nombre de clics suive cette voie : nous pouvons donc en déduire que les professionnels ont cliqué avec une plus grande fréquence à la séance 2, ce qui peut s’expliquer par l’acquisition d’une plus grande assurance avec le produit en seconde séance.
Comme pour les IUT il semble se dessiner une interaction au niveau des temps de traitement entre le type de question, l’interface et la séance (lors de la première séance, les questions locales sont résolues plus rapidement que les questions globales avec l’interface B, ce constat s’inversant pour l’interface C et ne se retrouvant nullement en deuxième séance) tout aussi inattendu, pour les raisons théoriques évoquées en discussion 2 : les temps de traitement ne devraient pas être influencés par le type d’interface mais par le type de question.
Ces résultats doivent être mis en relation avec les appréciations données par les professionnels aux différentes interfaces. Ainsi la majorité d’entre eux nous ont signalé dans le questionnaire « Donnez-nous votre avis » (cf. annexe 5, tableau 5-3) un besoin de
familiarisation pour pouvoir utiliser efficacement la carte de connaissances (interface A) : sans connaissances préalables solides en électronique les différents thèmes abordés par cette interface semblent difficiles à cerner.
Une fois de plus, cette population de sujets s’en remet, pour ses préférences à l’index en
Discussion générale
D’une manière générale, ce travail nous a permis de montrer que pour des tâches de recherche d’informations ponctuelles l’index est l’interface la plus rapide et la plus
économique, à l’opposé de la carte de connaissances qui paraît être la moins efficace. Quant à l’interface mixte, elle nécessite un fort apprentissage : l’entraînement et la familiarisation en permettent une utilisation plus efficace, ses performances sont alors équivalentes à celles de l’index.
Le type de question n’apparaît pas comme une variable susceptible d’avoir un quelconque effet sur les temps de traitement.
Enfin, lorsqu’il y a eu un effet de la séance, la deuxième séance était meilleure que la première.
Le fait que la carte de connaissances soit moins économique que l’index en terme de nombre de clics est un résultat qui se révèle conforme à notre hypothèse dérivée des résultats de Mc Donald et Stevenson (1998).
Par contre, ces mêmes auteurs avaient montré le caractère efficace de la carte de
connaissances sur le temps de recherche, ce que nos résultats tendent plutôt à infirmer. Là où ils expliquent que cette interface permet une meilleure visualisation de la structure du document hypertexte et ainsi une meilleure planification, les données de nos expériences, ainsi que les appréciations des sujets, nous incitent à avoir recours, pour une explication valable, au modèle théorique de Rouet et Tricot (1995, 1998). En effet, les sujets perdent très certainement du temps au niveau de l’évaluation et plus précisément au niveau de la
comparaison représentation du but / information disponible : nombre d’entre eux se sont plaint d’avoir une représentation floue de ce que recoupaient les thèmes constituant la carte de connaissances.
Le même constat est d’ailleurs certainement à l’origine du nombre de clics élevé pour la carte de connaissances discuté plus haut, l’exploration des sujets devant dès lors suppléer à
annexe 5). En fait, il est certainement possible que ces sujets soit plus habitués à utiliser un index ; et l’index est un reflet plus fidèle des articles disponibles dans le CD-ROM.
La raison de l’absence d’effets du type de questions sur les temps de traitement est à rechercher dans la construction de ces questions. Nous y voyons l’effet de trois variables parasites potentielles : d’une part, le nombre de mots clefs et de distracteurs par question (cf.
annexe 11), d’autre part la possibilité que l’information cible puisse être située au début, au milieu ou à la fin de l’article cible et enfin, il est à regretter que les temps de traitement enregistrés par le produit englobent le temps d’écriture de la part des sujets, les réponses pouvant être plus ou moins longues à écrire. En d’autres termes, la confusion entre temps de lecture et temps d’écriture rend les mesures de temps de traitement imprécises.
Perspectives
Relativement au modèle EST, ces expériences nous ont appris qu’il est difficile de distinguer la phase d’évaluation de la phase de sélection. Il faudrait pour cela une mesure plus fine du temps suivant l’entrée dans chaque interface, c’est-à-dire avant que le sujet ne
commence à effectuer son parcours dans l’interface, les temps correspondant alors à la phase de sélection. Dans cette optique, le terme d’"évaluation" employé dans le modèle EST
apparaît comme étant ambigu puisqu’il décrit à la fois la phase de lecture et de compréhension de la question et un processus métacognitif intervenant pendant la phase de sélection.
L’interface mixte montrant un besoin de familiarisation pour sa bonne utilisation, ceci tend à mettre en évidence le besoin d’une étude plus fine de cette interface, notamment des stratégies de recherche mises en place par les sujets.
Si cette expérience devait être réitérée, il faudrait également tenir compte des
constatations précédentes quant à la construction des questions, c’est-à-dire construire des questions qui soient remaniées et mieux contrôlées.
La démocratisation actuelle d’internet déclenche chez les utilisateurs de nouvelles
l’index. Malgé cela, il est à noter que dans l’ensemble, les utilisateurs ont tout de même fortement apprécié le produit : certains d’entre eux ont souhaité acquérir le CD-ROM.
D’autre part, des modifications restent encore à ajouter au produit : l’interface mixte n’est pas accessible via le menu déroulant, nécessitant un retour au sommaire général.
Enfin, si une population de destination de ce CD-ROM devait être choisie, c’est
incontestablement aux IUT qu’il s’adresserait : ce sont ceux qui ont préféré le produit et nos discussions informelles avec eux nous laissent penser que c’est à eux qu’il s’adapte le mieux.
