l’annota-tion manuelle
Le résultat principal de cette étape était la création d’un schéma de codage des questions présenté dans le Tableau4.4. Ce schéma de codage est présenté avec une liste non exhaustive de mots-clés pour donner une idée de leur nature (une liste des expressions régulières plus détaillée à partir des mots-clés est donnée en Annexe B). Mais nous avons également établi quelques principes à partir de l’étape d’annotation manuelle qui ont été utiles pour annoter automatiquement le reste des données :
4.2.1 Principes d’annotation
— Toutes les questions doivent être simples (c’est-à-dire les questions combinées doivent être préalablement segmentées en plusieurs questions simples, tableau 4.2).
— L’annotation doit être unique sur chaque dimension (c’est-à-dire qu’une question simple peut correspondre à la catégorie "approfondir un concept" ou "ré-expliquer un concept", mais pas les deux), mais il est possible de ne pas avoir d’annotation sur certaines dimensions (par exemple, une question peut ne pas être sur un exemple, ni un schéma, ni une correction).
— La dimension 4 (vérification) est annotée uniquement pour les questions identifiées comme vérification de la dimension 1. Cette dimension est la plus difficile à identifier automatiquement et pourrait idéalement nécessiter une analyse sémantique, ou au moins une représentation du contenu du cours sous forme de vecteur de mots, pour mieux identifier si des connaissances sont liées au cours ou non (mais cela irait à l’encontre de la généricité recherchée de l’approche).
— En cas de non identification de mots-clés associés à une des différentes catégories pos-sibles dans la question, la dimension correspondante est annotée avec la valeur ’0’.
4.2.2 Discussion
Ce qui nous guide dans ce schéma de codage, comme dit auparavant, est l’intention de l’élève et la réaction pédagogique de l’enseignant. Nous avons donc analysé certaines réactions de l’enseignant par exemple une demande de "ré-explication" et "explication" d’un concept. En effet, l’intention de l’élève qui demande une "ré-explication" (réaction attendue par l’enseignant est de ne pas de présenter le concept de la même manière comme il a été déjà vu en cours) est différente de celle qui demande une simple "explication". D’ailleurs, il est toujours explicite qu’un concept a déjà été vu en cours dans les questions de ce corpus, ce qui nous a amené à
séparer les demandes de "ré-explication" et d’"explication" dans la dimension 1 pour faire la différence entre ces deux intentions. D’un autre côté, l’élève pourrait demander à l’enseignant de lui expliquer un concept sous forme d’"exemple" ou "schéma", mais l’enseignant pourrait choisir de répondre à la question selon la modalité d’explication la plus convenable.
4.2.3 Utilisabilité du schéma de codage par un tiers
Afin d’évaluer la compréhensibilité de notre schéma de codage par une personne non impli-quée dans la création du schéma, l’échantillon P ACESEV AL a été annoté par un annotateur novice (qui n’a pas été impliqué dans cette étude et n’avait pas l’habitude non plus d’anno-ter des phrases). Les valeurs Kappa obtenues entre chacun des deux annotateurs experts et l’annotateur novice sont données dans le tableau4.3.
Annotateur Dim1 Dim2 Dim3 Dim4
Kappa entre expert 1 et novice 0.59 0.38 0.56 0.71 (48*) Kappa entre expert 2 et novice 0.67 0.38 0.55 0.78 (57*)
(*) le nombre de chevauchement de segments entre les deux annotateurs
Tableau 4.3 – Les valeurs de Kappa entre différentes annotations manuelles sur
P ACESEV AL de l’étape d’évaluation
Les valeurs Kappa obtenues dans le tableau 4.3 peuvent nous laisser espérer que notre schéma de codage peut être utilisé même par d’autres personnes qui n’ont pas été impliquées dans cette étude.
Dim1 Type de question Description Mots-clés Ree Ré-expliquer /
re-définir
Demander de revenir sur un concept déjà expliqué en cours
Ré-expliquer, redéfinir, répéter, revenir, rappe-ler, résumer, reprendre, etc.
App Approfondir un concept
Approfondir une connais-sance, clarifier une ambi-guïté ou demander plus de détails pour mieux comprendre
Expliquer, détailler, pré-ciser, développer, décrire, etc.
Ver Validation / vérifi-cation
Vérifier ou valider une hypothèse
Est-il, peut-on, faut-il, etc.
Dim2 Modalité d’expli-cation
Description Mots-clés
Exe Exemple Exemple d’application
(cours/exercice)
Exemple, etc. Sch Schéma Schéma d’application ou
explication sur ce dernier
Schéma, représentation, etc.
Cor Correction Correction d’un exercice en cours/examen
correction, réponse, etc. Dim3 Type
d’explica-tion
Description Mots-clés
Def Définir Définir un concept ou un terme
Définir, signifier, veut dire, etc.
Man Manière (com-ment ?)
Demander la manière de procéder
Comment, etc. Rai Raison
(pour-quoi ?)
Demander la raison Pourquoi, raison, etc. Rol Rôles (utilité ?) Demander l’utilité /
fonction
Rôle, utilité, fonction, etc.
Lie Lien entre
concepts
Vérifier le lien entre deux concepts, le définir
Différence entre, corres-pond, relation, similaire, etc.
Dim4 Type de vérifica-tion (facultatif )
Description Mots-clés
Err Erreur / contradic-tion
Détecter une erreur/ contradiction en cours ou dans l’explication de l’enseignant
Erreur, contradiction, comment est-ce possible, etc.
Con Connaissances liées au cours
Vérifier une connaissance (*) Exa Examen Vérifier une connaissance
attendue dans l’examen
Concours, faut-il savoir, par cœur, etc.
(*)Pas de mots-clés spécifique à cette sous-catégorie car les connaissances en cours nécessitent une analyse sémantique. Par conséquent, cette sous-catégorie n’est an-notée que si la question de vérification n’est pas une vérification d’erreur ou d’exa-men (c’est à dire Err et Exa n’ont pas été marquées comme valeur pour cette question).