Amélioration de la qualité du partitionnement

Nous avons fait l’hypothèse que la performance du modèle utilisé à des fins prédictives pourrait être améliorée en l’appliquant à des données regroupées à partir des années précé-dentes. Pour le tester, nous avons annoté automatiquement les données des questions de trois années supplémentaires (2013, 2014 et 2015) et nous avons essayé de former trois modèles de prédiction basés sur trois regroupements différents (comme nous l’avons fait dans la section

5.2.3) : M1 (à partir des données de 2014 uniquement), M2 (à partir des données de 2013

combinées avec les données de 2014) et M3 (à partir des données de 2012, 2013 et 2014) et appliqué chacun des trois modèles aux données de 2015. Ensuite, nous avons comparé les résultats de l’indice de silhouette des trois modèles pour voir s’ils s’amélioraient (c’est à dire si les clusters étaient de meilleure qualité). La comparaison des trois modèles est illustrée dans la Figure6.4.

Les résultats obtenus sur la figure6.4ont montré que les trois modèles de chaque cours ont presque la même performance, c’est-à-dire que la performance du modèle ne s’améliorait pas avec des données supplémentaires, contrairement à notre hypothèse. D’une part, cela signifie que l’on ne peut pas améliorer la performance du modèle en utilisant les données des années précédentes : une explication envisageable est que les questions posées par les étudiants sont assez similaires d’une année à l’autre, ou que la légère amélioration due à l’augmentation des données est compensée par le fait que le contenu du cours peut évoluer d’une année à l’autre et devenir moins pertinent pour la prédiction. D’autre part, cela signifie qu’il suffit d’utiliser l’ensemble des données d’une seule année (idéalement, la précédente, pour limiter les variations liées aux changements de contenu du cours) pour obtenir des résultats acceptables.

Les résultats ont montré que le modèle est stable d’une année à l’autre, même si les clusters sous-jacents ne sont pas extrêmement distincts (avec un indice de silhouette moyen entre 0.1 et 0.2). Mais ce qui reste particulièrement important pour notre objectif final est que la nature des questions posées par les étudiants et les caractéristiques de leur profil restent les mêmes, ce qui signifie que nous pouvons caractériser les étudiants à partir de leurs questions (prédire les profils des étudiants) en utilisant des analyses des années précédentes. Ceci confirme que nos clusters peuvent être utilisés à des fins prédictives, c’est-à-dire qu’on peut donner avec un niveau de confiance correct des informations sur ce qu’on estime être les caractéristiques de l’étudiant posant une question donnée. Il devrait donc nous permettre de fournir aux ensei-gnants des informations supplémentaires sur les questions qu’ils ont reçues (même au début de l’année - lorsqu’il n’y a pas beaucoup de données disponibles sur les élèves qui les ont po-sées), sur la base des similitudes des questions avec les questions posées par les élèves dans les années précédentes. Par exemple, en leur faisant savoir qu’il existe une série de questions qui correspondent à celles posées l’année précédente par les élèves qui assistaient régulièrement au cours et qui ont finalement réussi.

6.5 Synthèse

Nous avons présenté dans cette section une approche qui devrait nous permettre de fournir des informations assez fiable sur le profil des élèves en ligne à partir de leurs questions à l’aide d’un modèle utilisé à des fins prédictives dérivé du clustering des données de l’année précédente. Les résultats ont révélé des clusters similaires obtenus sur différentes années, en termes de qualité et de caractéristiques de clusters d’étudiants pour chaque cours. Ceci nous a permis de répondre positivement aux questions de recherche posées au début de ce chapitre. Ce résultat ouvre des perspectives pour aider les enseignants en leur fournissant plus d’informations sur les élèves qui posent des questions en ligne, grâce aux similarités trouvées avec les élèves qui ont posé les mêmes type de questions l’année précédente.

Une des limites à souligner de ce travail est que le profil des étudiants qui posent les premières questions en ligne établi par le clustering n’est probablement pas fiable (car les clusters sont faits sur la base d’étudiants posant plusieurs questions, c’est à dire à 100% de chaque type de questions posées). D’ailleurs, nous n’avons pas mesuré dans cette analyse le nombre de questions nécessaire pour avoir un profil de questionnant fiable, ni le moment estimé pour l’obtenir afin d’utiliser ce modèle.

-1 0 1 EtuReu -1 0 1 EtuRed -1 0 1 EtuReu -1 0 1 EtuRed NotFin Cluster B_2012 Cluster B_2012_2013

-1 0 1 EtuReu -1 0 1 EtuRed -1 1 EtuReu -1 0 1 EtuRed Cluster D_2012 Cluster D_2012_2013 Cluster C_2012 Cluster C_2012_2013

Figure 6.3 – Comparaison des clusters de 2012 et 2013 en termes de médiane (centre de la barre), 1er quartile (bas de la barre) et 3ème quartile (haut de la barre) des variables dépendantes et moyenne et écart-type de EtuReu et EtuRed pour chaque cluster de BCH

0,100 0,150 0,200 0,250 0,300

BCH

HBDD

BCE

ANT

Figure 6.4 – Indice de silhouette des 3 modèles de clustering utilisés à des fins prédictives réalisés sur les données de 2015 pour chaque cours

Chapitre 7

Evaluation auprès des enseignants

Un des objectifs de ce travail consiste à aider les enseignants à préparer leurs séances de questions-réponses en présentiel (SEPI). Actuellement, les questions envoyées par mail aux enseignants contiennent comme unique information le nombre de votes reçus par question, ce qui permet uniquement une organisation en termes de questions populaires/impopulaires. Cependant, le travail mené dans les chapitres précédents rend possible d’envisager d’autres organisations de questions permettant de traiter les questions des étudiants différemment. Nous avons donc préparé trois organisations de questions alternatives (également appelées dans ce chapitre "visualisation"), en fournissant aux enseignants plus d’informations sur la nature des questions posées et les profils des étudiants. Cela nous a amené à faire un questionnaire à destination des enseignants de PACES leur présentant ces organisations de questions afin de recueillir leurs impressions sur celles-ci. Cette étude nous permettra également d’évaluer l’intérêt de notre travail et notre schéma de codage en particulier auprès des enseignants.

Dans la suite de ce chapitre, nous allons présenter les trois organisations de questions alternatives (textuelle, catégorielle et mixte). Ensuite, l’ensemble des questions posées aux enseignants dans le questionnaire et les données collectées. Nous allons analyser par la suite les réponses des enseignants et leurs choix d’organisations de questions pour répondre à la question de recherche QR5 (cf. section1.1, qui consiste à savoir si les organisations proposées peuvent aider l’enseignant à préparer ses séances questions-réponses. Ces résultats ont donné lieu à une publication dans la conférence LAK20 [Article accepté : Harrak et al. Evaluating Teachers’ Perceptions of Students’ Questions Organization]

7.1 Organisation de questions

L’université de Grenoble dispose d’un système de formation hybride dans laquelle les étu-diants doivent poser chaque semaine des questions à partir de supports de cours étudiés à distance avant le cours (selon une approche de classe inversée), comme présenté dans la section 3.1. Les enseignants de PACES reçoivent par mail la liste des questions par groupe d’étudiants avec pour chaque question le nombre de votes. Cependant, compte tenu du vo-lume de questions posées, les enseignants n’ont souvent pas assez de temps pour répondre à chaque question et doivent donc sélectionner celles auxquelles ils vont répondre. Ils utilisent

donc les votes pour les aider dans ce choix. Nous allons présenter dans cette section trois organisations de questions alternatives que nous avons conçues, basées sur notre schéma de codage (cf. Tableau4.4) et les résultats d’analyses de profils des étudiants (cf. section5.2.3) : une organisation textuelle, une organisation catégorielle et une organisation mixte (mélangeant les deux précédentes).

7.1.1 Organisation textuelle

Dans l’organisation présentée par la figure 7.1, les questions des étudiants passent par l’analyse textuelle décrite dans la section4.1. Les questions sont alors regroupées en fonction de la nature des questions posées (Ré-explication, Approfondissement, Vérification ou Autres, dimension 1 et 4), tel qu’indiqué par les mots-clés mis en gras dans la figure7.1. Nous avons illustré cette organisation avec 8 exemples de questions.

7.1.2 Organisation catégorielle

Dans l’organisation illustrée par la figure 7.2, les questions des étudiants sont regroupées en fonction du profil des étudiants des années passées qui posaient ce type de questions (cf. chapitre 6). La mention "notes inférieures à la moyenne" n’est donc pas basée sur les notes des étudiants qui posent les questions, et serait donc disponible dès la première séance. L’organisation est illustrée avec les mêmes 8 exemples de questions.

7.1.3 Organisation mixte

Dans l’organisation présentée par la figure7.3, nous avons combiné les deux informations précédemment présentées : le type de questions posées par l’étudiant, et une estimation de son niveau par rapport à des données des années passées.