• Aucun résultat trouvé

Chapitre 2 : Les traces des apprenants sur les MOOC

1. L'évaluation des apprentissages dans les MOOC

1.3 Les traces des apprenants reconstruites en données de recherche

Deux constats motivent l’analyse de reconstruction des traces en données dans les recherches

sur les MOOC. D’une part, la conception de nombreux MOOC étudiés prend en compte

l’évaluation des apprentissages au même titre que le contenu, les interactions et les autres

modalités pédagogiques. Les plateformes supportant ces MOOC rivalisent alors en termes de

fonctionnalités censées permettre de garder des traces de cheminement et de réalisations des

apprenants. D’autre part, ces traces produites dans une perspective évaluative sont souvent

reconstruites dans les recherches qualitatives ou quantitatives analysées comme des données

en vue de répondre à diverses problématiques, sans que cela pose de questions particulières.

La reconstruction des traces est interrogée ici en considérant, pour chaque recherche analysée,

la problématique dans laquelle s’inscrit la recherche, les recommandations pour les recherches

futures et, surtout, le triptyque cadre d’analyse, question de recherche et traces de données.

Dix-huit recherches ont recouru aux traces sans faire de lien avec le contenu véhiculé (Arora

et al., 2017 ; Cho et Byun, 2017 ; de Lima et Zorrilla, 2017 ; Firmin et al., 2016 ; Hew, 2016 ;

Jiang et al., 2014 ; Kahan et al., 2017 ; Kellogg et al., 2016 ; Li et al., 2016 ; Liu et al., 2016 ;

Perna et al., 2014 ; Phan et al., 2016 ; Rieber, 2017 ; Soffer et Cohen, 2015 ; Walji et al., 2016 ;

Wang et al., 2016 ; Watted et Barak, 2018 ; Zhang et al., 2016). A titre indicatif, seront

présentés ici deux exemples d’études recourant aux traces de type données individuelles

comme indicatrices de progression des apprenants en décrivant les questions de recherches, les

cadres conceptuels et les types de traces utilisées pour répondre à différentes problématiques

de recherche. Ainsi, Perna et al. (2014) étudient la rétention du point de vue des usages des

participants et mettent en évidence des indicateurs qui prédisent leur progrès et leur achèvement

du cours. Afin de mesurer la progression des étudiants, ces auteurs se basent sur le modèle

d’Ashby (2004) qui permet de différencier les utilisateurs en ceux inscrits entre la date

d’ouverture officielle du cours pour l’inscription et deux mois et ceux inscrits au plus une

semaine après le début du cours. La progression (distinguée en séquentielle et sporadique) est

alors mesurée en considérant des indicateurs intermédiaires : accès à un module, accès au

premier module, accès au dernier module, participation à un quizz, participation au premier

quizz, participation au dernier quizz. Afin d’examiner ces indicateurs de résultats et étapes de

progression, les auteurs recourent aux traces de type données individuels : dates d'inscription,

dates de dernier accès, téléchargements pour chaque vidéo, dates et notes pour chaque devoir,

etc. et traces de type métadonnées concernant les informations sur le syllabus. Les résultats

montrent qu’une diminution est remarquée entre l'inscription à un cours et l’accès au premier

cours, ce qui les laisse croire que l'accès au premier cours est un indicateur d’achèvement. Pour

leur part, Phan et al. (2016) étudient les performances des participants au regard de leurs profils,

motivations d'engagement et connaissances préalables dans le MOOC « Digital Storytelling ».

Plus spécifiquement, ces auteurs interrogent les corrélations statistiques entre, d’une part, les

profils d’engagement des apprenants (autorégulation) et leur connaissance préalable du

contenu et, d’autre part, la performance des apprenants dans le MOOC « Digital Storytelling ».

Ainsi, les auteurs recourent aux données qui comprennent les dossiers de soumission des

apprenants sur les cinq tâches de cours ainsi que les notes des évaluations disponibles sur la

plateforme Coursera.

Six recherches ayant recouru aux traces prennent en compte les contenus des MOOC. Par

exemple, afin d’aider les enseignants ainsi que les apprenants à identifier facilement des posts

pertinents liés au contenu de la matière, Wise et al. (2017) étudient le problème de surcharge

et la sélection des informations pertinentes dans les forums de discussion dans les MOOC. Plus

spécifiquement, ces auteurs étudient les possibilités d’utilisation de l’apprentissage

automatique et le langage naturel pour distinguer les posts de discussion des forums liés au

contenu et les posts non liés au contenu. En d’autres termes, les auteurs développent un modèle

pour classer automatiquement les fils de discussion liés au cours et ceux qui ne le sont pas. Les

posts liés au contenu incluent des posts qui demandent ou répondent à une question liée au

sujet alors que les posts non liés au contenu renvoient aux sujets logistiques et techniques.

Ainsi, les auteurs utilisent des traces du processus d’apprentissage de cinq MOOC dont les

données sont issues des forums de discussion choisis arbitrairement à partir des MOOC des

deux plateformes : Lagunita hébergeant les MOOC « Statistics in Medicine Statistical

Learning, Your Body in the World » et Coursera hébergeant le MOOC « Introduction to

Psychology as a Science ». Les traces combinent des données sur les posts (thread id; post id;

post position in thread; post title and text; post creation data and time). Les résultats soulignent

que le modèle linguistique de classification peut être généralisé pour d’autres cours de

statistiques, cependant il est considéré moins performant pour d’autres domaines. De même,

l'étude d’Almatrafi et al. (2018) vise à faciliter la navigation des instructeurs dans les MOOC

en les aidant à identifier les messages jugés urgents dans les forums de discussion du MOOC

(des postes qui exigent une attention immédiate de la part des instructeurs). Ainsi, ces auteurs

ont utilisé les métadonnées des caractéristiques linguistiques (enquête linguistique et nombre

de mots) pour classer les messages et identifier ceux qui sont urgents dans les forums du

MOOC. Ils ont conclu que ce modèle peut être utilisé par les instructeurs pour accorder la

priorité aux messages urgents.

Pour leur part, Andersen et Ponti (2014) examinent la co-création du contenu par les pairs dans

les MOOC, dans le cadre d’une peer-to-peer university (P2PU). Ces auteurs procèdent selon la

méthode d’ethnographie virtuelle pour analyser les processus d’apprentissage qui se produisent

dans le cours de programmation JavaScript administré par P2PU. Les auteurs examinent les

extraits des fils de discussion dans le MOOC étudié et analysent les données recueillies en

identifiant deux processus d’interactions : « l’identification des problèmes » où les participants

discutent de leurs problèmes dans le cours de JavaScript et « la co-création des tâches » où les

utilisateurs et les organisateurs du MOOC essayent de discuter ensemble l’élaboration des

tâches. Une certaine liberté de création de tâches a été identifiée comme une opportunité

observée dans le MOOC. Cependant les différences remarquées dans les niveaux des

utilisateurs (expérimentés et novices) créent une tension concernant le processus de création

des tâches.

Pour leur part, Watson, Watson, Richardson et Loizzo (2016) caractérisent le rôle du

concepteur et du facilitateur d’un MOOC ainsi que l’expérience vécue au regard du contenu :

trafic des êtres humains et d’un objectif spécifique : transformer l’attitude des participants par

rapport au trafic des humains. De manière spécifique, ces auteurs examinent les stratégies de

conception et de facilitation du MOOC pour changer les attitudes autour du« trafic des êtres

humains ». Le MOOC étudié est sous-tendu par le postulat de la nécessité de mettre en place

trois types de stratégies de dissonance : cognitive (axée sur la présentation de nouveaux savoirs

qui favorisent l’attention de l’apprenant), affective (visant à provoquer un engagement

émotionnel de l’apprenant) et comportementale (visant à favoriser l'attitude cible chez les

apprenants). Les sources de données de cette étude recouvrent des questionnaires (enquête de

satisfaction), des entretiens avec les concepteurs et instructeurs du MOOC ainsi que les traces

d’apprentissage incluant notamment le contenu du syllabus du cours, les messages des

apprenants et enseignants postés dans les forums de discussion et les blogs. De la même

manière, Watson, Watson, Janakiraman et Richardson (2017) ont examiné l'utilisation de la

présence sociale, la présence de l’enseignant et la dissonance comportementale dans un MOOC

sur un contenu spécifique (le comportement et le bien-être des animaux).

En se basant sur des données issues des vidéos de cours, le syllabus et les productions des

apprenants, cet auteur a analysé comment les instructeurs du MOOC enseignent l’écriture. Plus

spécifiquement, l’étude de Kwak (2017) examine les différentes approches d’enseignement

d’un contenu spécifique : l’écriture dans les MOOC. Les résultats ont indiqué que les MOOC

véhiculant le contenu d’écriture s’appuient généralement sur des modèles traditionnels de

transmission : ces MOOC mettent l’accent sur l’enseignement et l’apprentissage des structures

textuelles (caractéristiques textuelles et formes). Le tableau ci-dessous résume les différentes

manières dont le contenu a été interrogé comme objet de recherche dans les études empiriques

recourant aux traces de données.

Tableau 9. Recherches recourant aux traces qui considèrent le contenu comme objet de

recherches

Recherche Exemple de questions de recherche portant sur un contenu

Almatrafi et al

(2018)

Les caractéristiques linguistiques telles que la fréquence des termes et

certaines métadonnées peuvent-elles identifier de manière fiable les

messages urgents dans les forums de discussion du MOOC ?

Andersen et Ponti

(2014)

Quels sont les processus d'interaction qui se produisent dans un cours

en ligne ouvert ?

Kwak (2017) Quelles sont les différentes approches d’enseignement de l’écriture

dans les MOOC ?

Watson, Watson,

Richardson et

Loizzo (2016)

Comment un instructeur du MOOC établit la présence sociale, la

présence de l’enseignant, la dissonance cognitive, la dissonance

affective et la dissonance comportementale pour faciliter le

changement d'attitude face à la question du trafic des humains

Watson, Watson,

Janakiraman et

Richardson (2017)

Comment un instructeur du MOOC établit la présence sociale, la

présence de l’enseignant, la dissonance cognitive, la dissonance

affective et la dissonance comportementale pour faciliter le

changement d'attitude face à la question du comportement et du

bien-être des animaux ?

Wise et al. (2017) Est-ce que les messages de départ des discussions centrées sur un

contenu des MOOC de statistiques ont des caractéristiques

linguistiques qui les distinguent des messages de départ des

discussions qui ne sont pas liées au contenu ?

2. Discussion des résultats et conséquences de la revue