La conception et l’instrumentation des tests

Dans le cadre de notre étude, la même base de données du projet DIDATAB a été utilisée par les chercheurs pour la conception du contenu des tests ordonnés. Il s’agissait de tests comportant la description d’une situation initiale avec présentation de données sur une feuille de calcul. Puis, chaque test, disposé sur deux pages, proposait 10 questions ouvertes ou fermées successives mais indépendantes demandant de résoudre un problème simple correspondant à une compétence (écrire une formule, éditer un graphique, trier une table, etc.).

Concernant l’instrumentation des tests avec la technologie du papier et stylo numérique, nous avons conçu la structure des formulaires en projetant sur la lisibilité des données recueillies et dans la limite des exigences de la technologie. Pour cela, pour chaque formulaire, nous avons prévu une zone « identifiant » dans laquelle l’étudiant notera au début du test un identifiant composé de ses initiales (voir Figure 13). Cette valeur permet d’identifier les répondants au cours de la phase de traitement, mais aussi, le premier instant d’écriture dans cette zone représente le temps zéro à partir du quel nous allons calculer les données temps d’écriture dans les autres zones de réponses.

38

Figure 13 : Illustration de la zone « identifiant » depuis le premier test destiné aux étudiants de L3 Economie et Gestion de l’ENS Cachan.

Deux types de questions constituent le test à savoir ; les questions ouvertes et les questions fermées. Pour les questions ouvertes, qui concernent généralement l’écriture de formules, nous avons aménagé des zones de type texte (voir l’exemple Figure 14) pour que le répondant ait un espace suffisant à l’écriture de la formule attendue.

Figure 14 : un exemple de question ouverte depuis le premier test destiné aux étudiants de L3 Economie et Gestion de l’ENS Cachan.

Les questions fermées peuvent être soit à choix unique soit à choix multiple. La technologie d’instrumentation permet de reconnaître chaque type différemment. Les questions à choix unique sont représentées par l’objet bouton radio (voir Figure 15). Pendant la phase d’instrumentation, une valeur est attribuée à chaque bouton comme étant la réponse voulue. Le système de reconnaissance renvoie cette valeur une fois le répondant note une marque sur ce bouton avec le stylo.

39

Figure 15 : exemple de question fermé à choix unique depuis le premier test destiné aux étudiants de L3 Economie et Gestion de l’ENS Cachan.

De la même façon, dans la phase d’instrumentation, une valeur réponse doit être attribuée à chaque choix pour une question fermée à choix multiple (voir Figure 16). Cependant, le système de reconnaissance va renvoyer chaque valeur où le répondant a noté une marque. Pour cela, nous allons avoir la valeur et les données temps de chaque réponse coché.

Figure 16 : exemple de question fermé à choix multiple depuis le deuxième test destiné aux étudiants de L3 Economie et Gestion de l’ENS Cachan.

Concernant les tests destinés aux étudiants suivant une formation en C2i, un besoin spécifique au contexte de la recherche a nécessité d’ajouter devant chaque question une case pour manifester la sûreté du répondant de sa réponse. Si le répondant pense être sûr de sa réponse, il va mettre une marque dans cette case (voir Figure 17).

Nous avons représenté ce choix dans l’instrumentation par un groupe « sûreté » de cases à cocher, sous forme de question fermée à choix multiple où chaque case correspond à une question. Ainsi, le système de reconnaissance, de la technologie Kayentis, renvoie le numéro de la question et le temps d’écriture, si une case de sûreté a été cochée par le répondant.

40

Figure 17 : illustration depuis le premier test de C2i des cases à cochés pour marquer la sureté à propos des réponses aux questions.

A l’issue d’une phase de vérification et de validation du contenu et de l’instrumentation des tests avec les chercheurs, nous importons la structure du formulaire dans la plateforme de Kayentis et nous imprimons des exemplaires pour la préparation à la phase d’administration des tests.

2.5.1. L'administration des tests

Pendant la phase d’administration des tests, nous disposions d’une dizaine de stylos numériques disponibles. Pour cela, une partie des tests était imprimée sur papier ordinaire. Pour les chercheurs, ils ont recueilli les réponses de l’ensemble des étudiants, sans avoir les données temps de tous.

Pour les tests qui étaient destinés à des étudiants de L3 économie et gestion à l'ENS Cachan, chacun des tests portait sur des connaissances vues au cours des séances de TP sur le logiciel Excel. Trois tests ont été administrés au cours de l’année de formation (toutes les 4 séances de TP). 37 élèves ont effectué les tests, 9 d’entre eux ont utilisé les stylos numériques pour répondre. Chaque test a duré entre 10 et 15 minutes.

La note obtenue à ces tests était prise en compte dans l’évaluation finale des élèves pour l’obtention de leur diplôme, mais pour une part inférieure à l’examen final. La notation appliquée n’était pas à point négatif : 1 pour une bonne réponse, 0 pour une absence de réponse ou une mauvaise réponse. Les étudiants étaient donc plutôt incités à participer

41

correctement au test et à répondre aux questions posées.

Pour les tests passés à des formés en C2i, les répondants proviennent de 3 institutions : 41 % sont en première année de Gestion Administrative et Commerciale à l’IUT de Rambouillet, 45 % sont en L3 de sciences de l’éducation à Paris 5, et 14 % des répondants préparent une L1 en Sciences de l'Éducation à l’Université Paris 8- Saint Denis.

Deux tests ont été administrés auprès de ces étudiants. Le test 1 a été passé deux séances après le début de l’explication du module « tableur » et le test 2 a été passé deux séances plus tard. Il y a eu 58 répondants avec stylo numérique (sur 128 répondants) au Test 1 et 59 répondants avec stylo numérique (sur 98 répondants) au Test 2.

Une fois les tests administrés, une phase de vérification et de validation de la reconnaissance de l’écriture sur la plateforme de Kayentis était nécessaire. En effet, dans les questions ouvertes l’écriture des formules n’a pas était facile à valider par le système de reconnaissance de l’écriture. Même pour les questions fermées, il arrive que le répondant change d’avis sur un choix unique par exemple lorsqu’il rature avec le stylo une case et coche une autre, dans ce cas le système exige de ne valider qu’un seul choix. Pour cela, les chercheurs avaient comme tâches supplémentaires la vérification et la validation de certaines productions de leurs étudiants sur la plateforme de Kayentis.

Après la validation, nous effectuons l’exportation d’un fichier XML contenant les réponses et les données temps de tous les répondants correspondant à chaque test. C’est ce fichier qui sera traité par notre application afin de fournir les informations souhaitables en format lisible (sous forme de tableau xls ou bien en graphique) pour le chercheur.