8.2.1 Méthode
Afin d’identifier la nature des questions posées par les étudiants dans les forums du MOOC, nous avons considéré un échantillon de 500 messages des 4 sessions du MOOC GDP considérées ici (5, 6, 7 et 8). Cet échantillon a été divisé arbitrairement en 3 sous-échantillons (1er sous-échantillon de 200 messages, 2ème sous-échantillon de 100 messages et 3ème sous-échantillon de 200 messages) pour appliquer 4 étapes successives de catégorisation et définir un schéma de codage comme présenté dans la section4.1dans le contexte de PACES. Pour que le corpus brut soit utile pour l’annotation manuelle, certaines étapes de pré-traitement doivent être effectuées.
Nettoyage et pré-traitement des données : Le corpus brut contient des messages en-voyés par des étudiants et des instructeurs dans le forum de discussion du MOOC GDP. Les messages envoyés par les étudiants ne sont pas structurés et contiennent du bruit (un message peut contenir plusieurs questions, opinions, réponses à des questions non liées au cours,etc.). Afin de réduire le bruit et améliorer la structure des messages, certaines étapes manuelles ont été effectuées. Nous avons filtré les messages provenant des instructeurs, les messages qui sont des réponses à d’autres questions posées (en ne conservant que les messages racine - avec l’hypothèse qu’un message racine doit toujours contenir une forme de question) et les sujets de discussion qui ne sont pas liés au cours (tels que le fil "biographie" mentionné ci-dessus, mais aussi les fils dédiés aux questions techniques).
L’étape de découverte, consistait à regrouper des phrases avec des similitudes pour en extraire des concepts significatifs. Bien que les messages des élèves étaient souvent longs et non structurés, nous avons décidé de les segmenter en questions simples (c-à-d. centrées sur un seul sujet). Une fois les phrases segmentées, nous avons regroupé les questions en fonction de leur contenu (c-à-d. les questions ont été identifiées comme liées au cours ou non). Les groupes de questions basées sur les cours sont ensuite annotés selon le schéma de codage introduit dans le Tableau8.2, consistant à annoter chaque question selon les quatre dimensions indépendantes. Nous avons appliqué la même approche sur des questions identifiées non liées au cours et dont la structure et la sémantique semblent similaires (ex : "Je ne trouve pas le lien ?" et "Où est le PDF ?"). Des groupes de questions ont ensuite reçu des "étiquettes" selon ce que nous avons appelé "dimension 0", en référence aux 4 autres dimensions des questions du cours (ex : "ressources non trouvées"). Puis, nous avons identifié les exclusions mutuelles entre étiquettes (par exemple, une question simple ne peut pas être à la fois une demande de "ressources non trouvées" et une demande d’"administration"). En résumé, le nouveau schéma de codage est composé de deux schémas de codage indépendants : le schéma de codage pour les questions liées au cours (annoté comme un vecteur de 4 valeurs) et le schéma de codage des questions non liées au cours identifiées par les catégories de dimension 0 (cf. Tableau 8.3).
L’étape de consolidation consistait à annoter le 2ème sous-échantillon de 100 messages (349 segments) pour valider les catégories et les dimensions identifiées précédemment. Cela a conduit à divers ajustements aux catégories et dimensions comme l’ajout de la catégorie "phatique" au schéma de codage des questions non liées au cours (une expression phatique dans notre contexte est typiquement une question qui implique simplement qu’une réponse est attendue à la fin du message mais sans valeur sémantique intrinsèque, ex : "que pensez-vous de cela ?", "quelqu’un peut-il me répondre ?").
Dans l’étape de validation, deux annotateurs humains ont effectué une annotation séparée pour valider la généralité de nos catégories sur le troisième sous-échantillon de 200 messages (626 segments). Les deux annotateurs humains ont utilisé comme référence unique le schéma de codage créé à la fin de l’étape précédente pour annoter chacun de ces segments. Cela fournit également une base de référence sur le niveau d’accord auquel on peut raisonnablement s’attendre avec le classifieur automatique. Une des 4 dimensions a été ajustée (dimension 4 - Att) et 7 catégories sont issues de l’étape de consolidation : Dim1, Dim2, Dim3, Dim4 (relatives aux questions du cours) et les catégories de Dim0 (socialisation, examen, problème technique, ressources non trouvées, questions administratives, outils et phatiques, relatives aux questions non liées au cours). Les annotateurs humains ont fait deux annotations distinctes et indépendantes sur chaque dimension, et leur accord a été évalué à l’aide du Kappa de Cohen. Tout d’abord, le kappa a été calculé pour déterminer si un segment était une question ou non
(κ = 0.85) et ensuite sur des questions explicites1seulement (κ = 0.96). Pour les 13 segments pour lesquels les deux annotateurs n’étaient pas d’accord sur le fait qu’il s’agissait de questions explicites, une discussion a rapidement abouti à un accord. Les étapes suivantes ont été réalisées sur les 301 segments identifiés comme questions. La deuxième étape consistait à vérifier l’accord sur le sujet de la question (coursvs. non-cours), pour lequel le kappa obtenu était κ = 0.85. Pour les 22 segments pour lesquels les deux annotateurs n’étaient pas d’accord, une nouvelle phase de discussion a conduit à choisir une annotation plutôt que l’autre pour chacun d’entre eux. Il est important de noter que la difficulté principale pour ces segments provient du sujet du MOOC lui-même, lequel enseigne entre autres quelques concepts (réunions, rapports...) et l’utilisation d’outils (Google Drive, anti-virus...). Les mots-clés associés à ces éléments de contenu, dans de nombreux autres MOOCs, ne seraient pas associés au contenu du cours mais aux questions administratives qui l’entourent. De même, le concept du "projet" dans ce MOOC peut faire référence soit à un "projet" (devoir d’évaluation), soit à une gestion de projet (concept de cours). Ces ambiguïtés propres au contenu du MOOC ont donc certainement un effet négatif sur la valeur des kappa obtenus, qui seraient certainement plus élevées sur un MOOC de science "dure" par exemple. Enfin, les kappas ont été calculés pour chacune des 4 dimensions (κ1 = 0, 70, κ2 = 0, 61, κ3 = 0, 69 et κ4 = 0, 57) et pour la dimension 0 des questions ne portaient pas sur le cours (κ0 = 0, 58). Le premier et le deuxième sous-échantillon, qui ont été utilisés respectivement à l’étape de la découverte et de la consolidation (684 segments) ont également été annotés à nouveau sur des questions explicites, le sujet de la question (cours / non-cours) et les 5 dimensions (Dim0 à 4) pour considérer les changements et fournir une vérité terrain à laquelle comparer la notation automatique dans les sections suivantes.
8.2.2 Résultats
Le principal résultat de cette étape a été la création d’un schéma de codage pour les questions pas liées au cours et quelques ajustements pour les questions liées au cours (mis en gras), fournis dans les Tableaux8.2 et 8.3 respectivement. En effet, suite au changement de corpus (GDP), nous avons été amenés à adapter le sujet de la dimension 2 de "modalités d’explication" au "sujet de questions". Idéalement il aurait fallu faire une autre dimension mais la dimension 2 avait changé de nature, on avait trouvé plus des questions sur "le sujet de question" mais pas sur "la modalité d’explication". Les 4 principes de l’étape d’annotation manuelle établies avant dans la section 4.2 tiennent toujours, et nous avons en rajouté deux autres pour annoter automatiquement le nouveau corpus :
- Seules les questions explicites peuvent être annotées en tant que questions de cours ou non
- Seules les questions de cours peuvent être annotées sur Dim1, Dim2, Dim3 et Dim4. Les questions non liées au cours ne doivent être annotées que sur Dim0 (catégories)
1. Une question explicite correspond à une demande avec une formulation claire de question. Un
exemple de question explicite est "Pourriez-vous expliquer X ?", à l’inverse, "Je ne comprenais pas X." serait annotées commequestion implicite
8.3 Similarités entre taxonomies
Comme dans le cas de la version originale du schéma de codage (cf. chapitre4), nous avons constaté a posteriori un certain chevauchement entre certaines typologies destinées aux forums de discussions présentées dans l’état de l’art (cf. section2.2.3) et notre schéma de codage. En particulier, les catégories de la dimension 0 sont globalement incluses dans la catégorie "non cours" [Cui & Wise, 2015]. De même, plusieurs catégories de la dimension 0 correspondent à des sous-catégories dans "sujet de message" [Stumpet al. ,2013], tels que "socialisation", "examen" et "problème technique". En revanche, les catégories concernant les questions de cours ne sont pas bien spécifiques dans la plupart des cas et elles sont largement désignées par "contenu" [Stumpet al. ,2013] ou "cours" [Cui & Wise,2015] dans les autres typologies de messages de MOOC. D’autres schémas de codage existants permettaient de catégoriser les messages dans les forums de discussion [Agrawal et al. , 2015; Almatrafi et al. , 2018]. Cependant, ils ont utilisé des indicateurs pour détecter la "confusion" ou "urgence" dans les messages, ce qui ne correspond pas vraiment au principe de notre schéma de codage. Le tableau
8.4résume les chevauchements identifiés avec certains schémas de codage dans l’état de l’art. Il est important de noter que toutes les typologies présentées concernent des "messages", alors que notre travail se situe à un niveau de granularité plus fin, en s’intéressant aux questions dans ces messages. Nous proposons donc à la fois une granularité fine sur ce qu’on annote, et dans la manière de les annoter.