HAL Id: hal-03208548
https://hal.archives-ouvertes.fr/hal-03208548
Submitted on 26 Apr 2021
HAL is a multi-disciplinary open access
archive for the deposit and dissemination of
sci-entific research documents, whether they are
pub-lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.
L’archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d’enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.
Actes des 8ièmes RJC EIAH 2020 : Environnements
Informatiques pour l’Apprentissage Humain
Amel Yessad, Sebastien Jolivet, Christine Michel
To cite this version:
Amel Yessad, Sebastien Jolivet, Christine Michel. Actes des 8ièmes RJC EIAH 2020 : Environnements
Informatiques pour l’Apprentissage Humain. 8e Rencontres Jeunes Chercheurs en EIAH, Jun 2020,
Poitiers - En ligne, France. 2020. �hal-03208548�
Actes des huitièmes rencontres jeunes
chercheur-e-s en EIAH
Édités par Amel Yessad, Sébastien Jolivet et Christine Michel
Les 4 et 5 Juin 2020
Université de Poitiers
France
Les huitièmes rencontres jeunes chercheur-e-s en EIAH 2020 ont été organisées par
l’Université de Poitiers sous
l’égide de l’ATIEF (Association des Technologies de l’Information pour l’Education et la Formation)Table des matières
Comités des journées RJC EIAH 2020 ... 5
Introduction aux actes ... 7
Conférence invitée ... 9
Communications orales ... 10
Évolution du diagnostic cognitif de l'apprenant à l'aide d'une approche numérique et
symbolique. Olivier Allègre ... 11
Evaluer la réutilisabilté d’une question : une utilisation des learning analytics dans un
contexte d’évaluation formative. Rialy Andriamiseza ... 18
Compréhension et évaluation des pratiques enseignantes sur un LMS. Ibtissem Bennacer
... 26
Vers une méthode générique pour l’évaluation des mouvements dans les EVAH. Djadja
Jean Delest Djadja ... 34
Vers un dispositif pédagogique permettant la co-conception de jeux sérieux par les
étudiants en soins infirmiers. Sebastian Gajewski ... 40
Score et chronomètre sur l’interface : quels effets sur l’activité d’élèves d’école
élémentaire ? Marielle Leonard ... 56
Vers des modèles d'analytique des apprentissages avec le numérique. Camila Morais
Canellas ... 64
Construction dimensionnelle de solides en environnement virtuel : impact sur les concepts
de prisme, de pyramide et de base pour des élèves de 6
ème. Xavier Nicolas ... 71
Vers une conception participative de tableaux de bord étudiants adaptatifs avec PADDLE.
Katia Oliver-Quelennec ... 77
Verrous d’une recherche orientée par la conception d’un scénario pédagogique intégrant
un EIAH : retour d’expérience. Maud Plumettaz-Sieber ... 85
Vers un processus semi-automatique de personnalisation de l'apprentissage : définition
d'un méta-modèle de stratégies pédagogiques fondé sur un référentiel de compétences.
Louis Sablayrolles ... 93
FASER LX Test : Un outil de mesure de l’expérience d’apprentissage dans une formation
en ligne. Yassine Safsouf ... 101
Améliorer l'autorégulation de jeunes élèves lors de l'apprentissage de la lecture. Thomas
Sergent ... 108
Conception de tableaux de bord pour la visualisation de pratiques numériques juvéniles :
cas des collèges du département de Loir-Et-Cher. Nesrine Zibani ... 116
Session posters ... 124
Conception d'un jeu vidéo destiné à l'apprentissage de langues : vers la création de
scénarios Ludo-Educatifs pertinents. Lizandro Beccerra Valderrama ... 125
Enrichir les pratiques de classe par le numérique : retour des enseignants sur une
expérimentation menée en Guadeloupe. Lamprini Chartofylaka ... 129
4
Codeclick : Rétroactions Personnalisées Basées sur les Learning Analytics pour
Supporter l'Apprentissage Pratique de la Programmation. Zahi Hodeib ... 133
Co-Conception d’un Tableau de Bord utilisant des Learning Analytics. Joël Person ... 137
Vers une modélisation de l’expérience optimale d’apprentissage via les Learning
Analytics. Sergio Iván Ramírez Luelmo ... 141
L’impact de l’usage du TBI en activités d’interaction orale sur l’engagement scolaire des
élèves dans le cadre de l’enseignement de la langue arabe à l’école élémentaire en
France. Abdessamad Redouani ... 145
Exploration du lien entre les scores aux quiz et le succès des étudiants de l’enseignement
supérieur dans un dispositif d’enseignement hybride. Margault Sacré ... 149
Comités des journées RJC EIAH 2020
Présidents du comité de programme
Amel Yessad
LIP6, Sorbonne Université
Sébastien Jolivet
LDAR, Université de Paris
Comité de programme
Marie-Hélène
Abel
HEUDIASYC, Université de Technologie de Compiègne
Francine
Athias
ELLIADD-FR EDUC, Université de Franche-Comté
Vincent
Barré
LIUM, Le Mans Université
Marie-Laure
Betbeder
DISC, Université de Franche-Comté
Jacques
Beziat
CIRNEF, Université de Caen
Catherine
Bonnat
LIP-CERF, Université de Fribourg
François
Bouchet
LIP6, Sorbonne Université
Julien
Broisin
IRIT, Université Toulouse 3 Paul Sabatier
Armelle
Brun
LORIA, Université Nancy 2
Pierre-André
Caron
CIREL, Université de Lille1
Thibault
Carron
LIP6, Sorbonne Université
Ronan
Champagnat
L3i, Université de La Rochelle
Michel
Christine
TECHNE, Université de Poitiers
Raphaëlle
Crétin-Pirolli
CREN, Le Mans Université
Cyrille
Desmoulins
LIG, Université Grenoble Alpes
Philippe
Dessus
LaRAC, Université Grenoble Alpes
Fahima
Djelil
Lab-STICC, IMT Atlantique
Nour
El Mawas
CIREL, Université de Lille
Sébastien
George
LIUM, Le Mans Université
Jean-Marie
Gilliot
Lab-STICC, IMT Atlantique
Isabelle
Girault
LIG, Université de Grenoble Alpes
Monique
Grandbastien
LORIA, Universite de Lorraine
Françoise
Greffier
ELLIADD, Université de Franche-Comté
Brigitte
Grugeon-Allys
LDAR, Université Paris Est Créteil
Viviane
Gueraud
LIG, Université Grenoble Alpes
Nathalie
Guin
LIRIS, Université de Lyon 1
Sébastien
Iksal
LIUM, Le Mans Université
Stéphanie
Jean-Daubias
LIRIS, Université de Lyon
Sébastien
Jolivet
LDAR, Université de Paris
Jean-Marc
Labat
LIP6, Sorbonne Université
Elise
Lavoué
LIRIS, Université Jean Moulin Lyon 3
Dominique
Leclet Groux
MIS, Université de Picardie Jules Verne
Marie
Lefevre
LIRIS, Université de Lyon 1
Dominique
Lenne
HEUDIASYC, Université de Technologie de Compiègne
Domitile
Lourdeaux
HEUDIASYC, Université de Technologie de Compiègne
Nadine
Mandran
LIG, Université Grenoble Alpes
Iza
Marfisi-Schottman
LUNAM Université, Université du Maine
Bertrand
Marne
ICAR, Université Lumière Lyon 2
Jean-Charles
Marty
LIRIS - équipe SICAL
Christine
Michel
TECHNE, Université de Poitiers
Najoua
Mohib
LISEC, Université de Strasbourg
Mathieu
Muratet
LIP6, INS HEA
6
Chrysta
Pelissier
LHUMAIN, Université Montpellier 3
Daniel
Peraya
TECFA, Université de Genève
Yvan
Peter
CRIStAL, Université de Lille
Claudine
Piau-Toffolon
LIUM, Le Mans Université
Issam
Rebaï
IMT Atlantique
Christophe
Reffay
ELLIADD & ESPE, Université de Franche-Comté
Marilyne
Rosselle
MIS, Université de Picardie
Pierre
Salam
3L.AM, Le Mans Université
Eric
Sanchez
LIP – CERF, Université de Fribourg
Nogry
Sandra
Paragraphe, Université Cergy-Pontoise
Karim
Sehaba
LIRIS, Université Lumière Lyon 2
Franck
Silvestre
IRIT, IUT de Rodez
Patrice
Torguet
IRIT
Jana
Trgalova
S2HEP, Université Lyon 1
Lucile
Vadcard
LaRAC, Université Grenoble Alpes
Rémi
Venant
LIUM, Le Mans Université
Amel
Yessad
LIP6, Sorbonne Université
Coordinateurs des ateliers
Mathieu Muratet
LIP6 & INSHEA
Sabine Zorn
Grhapes, INSHEA
Présidents du comité d’organisation
Christine Michel
TECHNE, Université de Poitiers
Jean-François Cerisier
TECHNE, Université de Poitiers
Membres du comité d’organisation
Aurélien Nguyen
TECHNE, Université de Poitiers
Laetitia Pierrot
TECHNE, Université de Poitiers
Valéry Roché
Service I-médias, Université de Poitiers
Hassina El Kechai
TECHNE, Université de Poitiers
Emilie Besneville
TECHNE, Université de Poitiers
Sylvie Merlet-Fortin
TECHNE, Université de Poitiers
Introduction aux actes
Les huitièmes rencontres jeunes chercheur-e-s en EIAH ont eu lieu en pleine crise sanitaire
mondiale. Elles se sont donc déroulées donc dans un contexte et un format inédit. Le pari de
les maintenir, en dépit de la situation et des difficultés inhérentes, a été porté par la volonté
de ne pas “perdre” tout le travail qui avait été engagé par les doctorants et les relecteurs, et
surtout l’espoir que l’on arriverait malgré tout à avoir des échanges scientifiques de qualité. A
l’issue de cette édition, il semble que le pari a été relevé. Evidemment pour le plaisir de se
retrouver entre membres de la communauté et les échanges informels durant les pauses café
il faudra attendre la prochaine édition.
Si le format est inédit, au niveau de l’esprit nous nous sommes pleinement inscrits dans la
continuité des éditions précédentes en souhaitant que ces rencontres soient un espace de
communication scientifique. Concernant la communication scientifique, dans une optique
exigeante mais bienveillante, grâce à la qualité du travail des membres du comité de
programme, sur 23 soumissions (22 pour une communication et une pour un poster) nous en
avons retenues 15 pour une communication et 7 pour un poster. Les contributions se sont
inscrites dans quatre grandes thématiques scientifiques :
•
Modélisation de l’apprenant, auto-régulation et adaptation
•
Learning Analytics et tableaux de bord
•
Environnements virtuels et jeux sérieux
•
Retours d’expériences sur l’utilisations de plateformes d’apprentissage
Nous avons aussi souhaité que ces rencontres jeunes chercheurs aient une dimension
formative. Le premier apport a été la conférence invitée de Philippe Dessus (Univ Grenoble
Alpes, LaRAC), sur le thème “Sciences Humaines et Informatique : Apports interdisciplinaires
pour l’étude des EIAH”. Sa qualité et le thème abordé rendent son contenu intéressant
largement au-delà
des “jeunes chercheurs”. La seconde dimension formative était
évidemment portée par la soumission d’une communication, la réalisation d’un poster, la
préparation d’une présentation orale, etc. Pour faciliter le travail de réécriture et simplifier
l’intégration des riches retours des relecteurs, nous avons choisi d’offrir la possibilité aux
doctorants de disposer de deux pages supplémentaire pour leur version finale par rapport au
format de la soumission initiale. Le contexte nous a aussi amené, pour limiter au maximum
les risques techniques le « jour J » et rendre la conférence à distance plus dynamique, à
demander aux doctorant-e-s de préparer, en amont de la conférence, une présentation
sonorisée d’une vingtaine de minute qui a été mise à disposition en ligne. Certes l’exercice a
été assez coûteux en termes de préparation, mais gageons qu’il aura aussi permis aux uns et
aux autres de développer des compétences nouvelles et utiles pour la suite.
Pour accentuer encore cette dimension formative, nous avons décidé de mettre en place une
session de travail sur la méthodologie de la recherche en EIAH, dans la continuité de la
“session doctorant-e-s” d’une demi-journée qui avait eu lieu lors de la conférence EIAH 2019.
Cette question présente l’avantage de concerner tous les doctorants, et plus largement tous
les chercheurs, de la communauté EIAH, quels que soient leurs champs disciplinaires de
rattachement. Toujours dans l’esprit de diversité des approches elle a été animée par une
équipe mixte SHS et informatique. Nous remercions vivement Nadine Mandran, Catherine
Bonnat et Pierre Laforcade qui ont bien voulu assurer la préparation et le déroulement de
cette demi-journée.
8
Nous remercions vivement toute l’équipe, pilotée par Christine Michel, constituée de membres
du laboratoire TECHNE et du service I-Média de l’Université de Poitiers, pour la réactivité et
l’efficacité tant en amont que durant la conférence. Un travail important a été réalisé pour le
choix de la plateforme, la mise en ligne des ressources et la gestion du direct.
Tout ce travail
a permis à près d’une centaine de participant-e-s de suivre la conférence
d’ouverture et les diverses présentations dans de très bonnes conditions. La qualité des
interactions durant les sessions a été largement soulignée, celles-ci étant notamment
favorisées l’articulation entre le dispositif technique du chat, qui permettait de réagir
instantanément durant les présentations, et l’animation des chairs. Nous remercions d’ailleurs
les chairs des cinq sessions (Catherine Bonnat, François Bouchet, Sébastien George, Marie
Lefevre et Chrysta Pelissier) pour le sérieux et l’efficacité avec lesquels ils ont rempli leur
mission.
Parmi les éléments positifs à retenir du dispositif il y a la mise à disposition de la communauté
de traces inédites pour une conférence RJC EIAH. En effet, en complément de ces actes,
sont disponibles sur le site des RJC EIAH (
https://rjceiah20.conference.univ-poitiers.fr/programme/
) :
• La conférence invitée de Philippe Dessus
• Les présentations sonorisées (20 minutes pour les communications et 120 secondes
pour les posters) des doctorants
• Les posters
• Les captures des différentes sessions qui incluent les présentations courtes des
doctorants mais aussi les questions et réponses ainsi que les échanges via le chat
En dépit de la situation particulière il nous semble donc que les objectifs assignés à ces 8
erencontres jeunes chercheur-e-s en EIAH ont été remplis. Nous remercions l’ATIEF pour la
confiance témoignée en nous donnant la co-présidence du comité de programme.
Nous souhaitons de belles et riches prochaines éditions, dans un contexte que nous espérons
plus habituel, et enrichi du retour d’expérience de cette édition.
Amel Yessad (LIP6, Sorbonne Université), co-présidente du comité de programme
Sébastien Jolivet (LDAR, Université de Paris), co-président du comité de programme
Conférence invitée
Sciences humaines et informatique : Apports interdisciplinaires pour
l’étude des EIAH
Philippe Dessus
Professeur des Universités, Laboratoire de Recherche sur les Apprentissages en Contexte,
Université Grenoble Alpes
philippe.dessus@univ-grenoble-alpes.fr
/
http://pdessus.fr
L’objet de cette présentation est de montrer, si cela était nécessaire, le double intérêt de
réaliser des recherches interdisciplinaires sur les EIAH, pour faire avancer à la fois la
recherches en sciences humaines et en informatique. Les notions suivantes seront abordées
et discutées à la lumière de la recherche dans ces deux domaines : théories en sciences
humaines, croyances des enseignants envers l’informatique, ouverture (des ressources, de la
pédagogie), compréhension de matériel lu, distance et interactions enseignant-étudiants,
rétroactions, émotions, éthique et respect de la vie privée.
10
Communications orales
En compléments des textes présentés dans ces actes, des diaporamas sonorisés ainsi que
l’enregistrement des sessions de présentation sont disponibles sur le site des RJC EIAH
´
Evolution du diagnostic cognitif de l’apprenant `
a
l’aide d’une approche num´
erique et symbolique
Olivier All`egre LIP6, Sorbonne Universit´e olivier.allegre@lip6.fr
1`ere ann´ee de th`ese?
Abstract. L’objet de la recherche pr´esent´ee ici est un dispositif de di-agnostic cognitif hybride bas´e sur une association de la connaissance experte avec les donn´ees issues des traces des apprenants. Il est car-act´eris´e par plusieurs couches de donn´ees num´eriques et symboliques. Ce diagnostic cognitif concentre les probabilit´es de maˆıtrise des com-posantes de connaissance du domaine construit par les experts, `a l’aide des exercices r´ealis´es par l’apprenant, et les relations existantes entre ces mˆemes composantes de connaissance, d´eriv´ees des relations explicit´ees par les experts. L’objectif est d’adapter le mod`ele du domaine, corre-spondant `a une vision consensuelle des experts sur les r`egles de structure r´egissant le domaine, `a l’apprenant `a l’aide des ´etats de connaissance des apprenants partageant les mˆemes caract´eristiques d’apprentissage. L’apport relatif d’un tel syst`eme sera ´etudi´e `a l’aide des r´esultats d’un en-semble d’apprenants sur la plateforme Kartable, puis compar´e `a d’autres syst`emes d’apprentissage adaptatif.
Keywords: Apprentissage adaptatif · EIAH · diagnostic cognitif.
1
Introduction
L’utilisation de plateformes p´edagogiques num´eriques apporte de nombreuses donn´ees issues des traces des apprenants, exploit´ees par des m´ethodes statis-tiques de fouille de donn´ees. Les experts ont, eux, une connaissance appro-fondie des domaines de connaissance et peuvent en produire des mod`eles bas´es sur les relations pouvant exister entre diff´erentes composantes de connaissance. Ainsi, les syst`emes de mod´elisation de l’apprenant se basent sur des m´ethodes d’extraction num´eriques ou sur des m´ethodes de repr´esentation des connais-sances symboliques. Si ces deux types sont tr`es diff´erents dans leur approches et leurs algorithmes, ils permettent l’´elaboration d’un diagnostic cognitif de l’apprenant. Nous d´efinissons le diagnostic cognitif par la pr´ediction de l’´etat des connaissances de l’apprenant (ce qu’il sait et ne sait pas) mais aussi de sa fa¸con de raisonner. Le but de cette recherche est de pr´edire les connaissances de l’apprenant et les relations logiques existantes entre elles, tout en restant fid`ele
?
au mod`ele d´efini par les experts, `a partir de la r´ealisation de plusieurs activit´es p´edagogiques. Nous veillerons `a concilier les r`egles de structure dict´ees par les experts avec les traces des apprenants. L’enjeu est d’adapter la vision experte du domaine `a l’apprenant : la structure du domaine dict´ee par les experts cor-respond au mieux `a un ”apprenant moyen” mais en aucun cas `a l’int´egralit´e des apprenants. On souhaite d´eterminer les r`egles r´egissant le domaine associ´e `
a l’apprenant, en adaptant ´eventuellement les r`egles initiales donn´ees par les experts.
Dans un premier temps sera ´etudi´ee une structure de donn´ees permettant de stocker `a la fois la repr´esentation symbolique du domaine explicit´ee en amont par un groupe d’experts et la repr´esentation num´erique de l’apprenant regroupant ses r´esultats et ses caract´eristiques. Ensuite, une strat´egie sera mise en place pour cr´eer un mod`ele de l’apprenant `a partir de l’utilisation coordonn´ee du mod`ele du domaine d´etermin´e par les experts et des donn´ees de l’apprenant r´ecolt´ees lors de ses diff´erentes actions, et d’en ´etablir son diagnostic cognitif.
2
Etat de l’art
´
L’apprentissage adaptatif a d´ebut´e d`es les ann´ees 1970, aliment´e par l’int´erˆet grandissant pour l’intelligence artificielle [1]. Plusieurs outils num´eriques et sym-boliques existent permettant un diagnostic cognitif de l’apprenant. On s’attardera sur les techniques qui influencent la recherche pr´esent´ee ici. On remarquera ´
egalement que ces syst`emes s’attardent soit sur la fabrication d’un mod`ele de l’apprenant sans prise en compte d’un mod`ele expert complet, soit, dans le cas o`u un mod`ele expert est initialement introduit, ce dernier n’est pas remis en cause. Notre recherche se place dans ce contexte, et cherche `a r´etablir une com-munication entre les deux mod`eles expert et apprenant.
Les outils num´eriques de diagnostic cognitif les plus repr´esentatifs sont les mod`eles de calculs de maˆıtrise comme l’item response theory (IRT) et ses d´eriv´es Learning Factor Analysis (LFA) [2] et Performance Factor Analysis (PFA) [14]. Des outils issus de l’educational data mining permettent d’extraire de l’information `
a partir des donn´ees ´educatives. Les techniques de clustering [9] et de filtrage col-laboratif [3] sont utilis´ees pour d´eduire des informations sur le niveau de maˆıtrise des apprenants. Le diagnostic cognitif y reste partiel, portant g´en´eralement sur le niveau global de l’apprenant ou sur ses caract´eristiques. Ils ne caract´erisent pas le raisonnement de l’apprenant, et restent assez limit´es en terme d’interpr´etabilit´e des r´esultats qu’ils peuvent produire. Ils ont n´eanmoins l’avantage de ne pas n´ecessiter d’intervention humaine lourde.
D’autres syst`emes construisent des structures hi´erarchiques de connaissances. Il peut s’agir de r`egles de production [13] ou de contraintes [11] bas´ees sur des en-sembles de d´eclarations d’experts. La d´ecomposition du domaine d’apprentissage en composantes de connaissance dans la th´eorie des espaces de connaissance (KST) [8] et ses alternatives telles que Competence-based Knowledge Space The-ory (CbKST) [10] utilisent l’explicitation de relations logiques entre comp´etences
par un ensemble d’experts. Ces mod`eles de diagnostic cognitif misent sur la compr´ehension de l’apprenant et sont donc plus facilement interpr´etables. Cepen-dant, elles peuvent ˆetre coˆuteuses car elles n´ecessitent la disponibilit´e des experts qui doivent construire un mod`ele consensuel et partag´e du domaine.
Des techniques mixtes existent ´egalement, `a l’instar des r´eseaux bay´esiens [4] qui associent concepts, comp´etences, misconceptions et erreurs des apprenants `
a l’aide de relations probabilistes. Le Bayesian Knowledge Tracing (BKT) [5] et ses variantes [6][16] utilisent des variables symboliques latentes et des donn´ees num´eriques afin de calculer des probabilit´es de maˆıtrise. Le Partial Order Knowl-edge Structures (POKS) [7] est bas´e sur la th´eorie KST, mais utilise tout de mˆeme les donn´ees d’utilisation pour inf´erer l’existence des relations entre les comp´etences. L’architecture de ces syst`emes implique une explicabilit´e plus im-portante du diagnostic. N´eanmoins, ces techniques consid`erent leurs r´esultats sans n´ecessairement les comparer aux raisonnements experts pouvant les remet-tre en cause.
3
Architecture multi-couches et organisation des donn´
ees
La strat´egie mise en place dans le cadre de cette recherche d´ebute par une organisation des donn´ees permettant l’interaction entre les donn´ees symboliques et les donn´ees num´eriques, d`es leur acquisition, `a l’aide de trois couches.
Fig. 1. Vue d’ensemble des trois couches. La couche ressources contient les documents p´edagogiques et les exercices, regroup´es en familles. La couche domaine contient les composantes de connaissances, associ´ees `a un graphe du domaine par des liens de pr´erequis. La couche apprenant contient les diagnostics des apprenants, regroup´es en groupe de mˆeme caract´eristiques d’apprentissage.
La couche ressources contient toutes les informations sur les ressources p´edagogiques utilisables par l’apprenant. Elle contient ´egalement les liens hi´erarchiques, donn´es par le support guidant l’apprentissage (comme le d´ecoupage en chapitres et en th`emes) et les hyperliens existants entre les ressources. Pour chaque ressource
sont stock´ees ses diff´erentes caract´eristiques propres, et ind´ependantes de l’usage qui peut en ˆetre fait. On peut y ajouter des liens factuels, comme une ´etude sur la similitude des diff´erents contenus. Les exercices de la couche ressources sont regroup´es en familles d’exercices, associ´ees `a une composante de connaissance, d´efinie ci-apr`es, sur laquelle elle porte.
La couche domaine contient toute la connaissance experte sur la struc-ture du domaine. Elle se compose principalement de composantes de connais-sances, qui peuvent ˆetre d´eclaratives (portant alors sur de la connaissance pure) ou proc´edurales (auquel cas il s’agit de tˆaches techniques simples, telles les comp´etences d´efinies dans la th´eorie CbKST). Nous faisons l’hypoth`ese de l’existence d’une bijection entre l’ensemble des familles d’exercices et l’ensemble des com-posantes de connaissance. La granularit´e de ces derni`eres d´efinit donc le p´erim`etre des exercices, afin qu’ils permettent le diagnostic de chacune des composantes de connaissance. La couche domaine contient ´egalement des graphes du domaine, inspir´es des graphes de comp´etences de la th´eorie KST. Ils sont compos´es d’un ensemble de nœuds (les composantes de connaissances d´ecrites pr´ec´edemment) et de liens de pr´erequis augment´es num´eriquement `a l’aide de tables de proba-bilit´es conditionnelles. L’existence et la pond´eration de ces relations sont d´efinies par des experts.
Enfin, la couche apprenant, unique pour un apprenant donn´e, contient les traces de l’apprenant lors de ses interactions avec les diff´erentes ressources p´edagogiques qu’il a pu rencontrer au cours de ses sessions d’apprentissage, stock´ees dans un graphe directement d´eriv´e du graphe du domaine. Expliqu´e plus pr´ecis´ement dans la partie 4, le graphe de l’apprenant permet le stock-age de la maˆıtrise des composantes de connaissance du graphe du domaine corre-spondant `a l’apprenant. Son association avec les relations de pr´erequis stock´ees dans le graphe du domaine donne lieu `a un r´eseau bay´esien, sur lequel sera men´e un apprentissage des traces de l’apprenant, contraint par les r`egles et valeurs r´egissant le graphe du domaine associ´e `a l’apprenant.
4
Evolution du mod`
´
ele de diagnostic cognitif
On d´efinit dans cette partie une m´ethode permettant une ´evolution du mod`ele de diagnostic cognitif. Ce dernier est d´ecrit dans cette recherche par l’association des valeurs de maˆıtrise des composantes de connaissance stock´ees dans le graphe de l’apprenant avec les relations entre les composantes de connaissance stock´ees dans le graphe du domaine associ´e `a l’apprenant. On proc`ede en trois ´etapes.
`
A chaque fois qu’un apprenant produit des traces sur une famille d’exercices, on proc`ede `a un diagnostic local de la maˆıtrise de la composante de connais-sance sur laquelle l’´evaluation porte. Ce diagnostic d´epend de la nature de la composante de connaissance. L’algorithme Performance Factor Analysis Elo-Extended [15], bas´e sur la th´eorie de r´eponse `a l’item, est sp´ecialement efficace pour tester les connaissances d’un apprenant [12]. Il est utilis´e pour ´evaluer les
Fig. 2. Fonctionnement des trois phases de l’´evolution du diagnostic cognitif. Les phases de diagnostics local et global ne sont pas soumises `a condition. L’´evolution a lieu d`es que l’indicateur (*) est enclench´e, c’est-`a-dire quand un nombre suffisant de diagnostics locaux est effectu´e par un nombre suffisant d’apprenants.
composantes de connaissances d´eclaratives. Les exercices concernant des com-posantes de connaissance proc´edurales sont ´evalu´ees par Bayesian Knowledge Tracing. Il permet, `a l’aide notamment de toutes ses possibilit´es de complexi-fication, une analyse plus effective de l’apprentissage de tˆaches techniques [12]. L’´evaluation de la pr´ecision de cette ´etape sera la comparaison de la pr´ediction du diagnostic avec les r´esultats de l’apprenant sur la plateforme Kartable.
`
A l’aide des tables de probabilit´es conditionnelles stock´ees dans le graphe du domaine associ´e `a l’apprenant, il est possible d’induire de proche en proche les probabilit´es de maˆıtrise des parents et enfants de la composante de connais-sance diagnostiqu´ee. On appelle diagnostic global cette phase de propagation dans le r´eseau bay´esien (form´e par l’association des graphes du domaine et de l’apprenant). La probabilit´e pr´edite de maˆıtrise des comp´etences non-´evalu´ees sera compar´ee avec les r´esultats effectifs de l’apprenant afin d’´evaluer la fiabilit´e du diagnostic global.
Une fois qu’un nombre suffisant de graphes d’apprenants, associ´es `a un mˆeme graphe du domaine, est renseign´e (c’est `a dire que les graphes ont assez de di-agnostics locaux), on proc`ede `a l’´evolution de la structure de ce mˆeme graphe du domaine. Cet indicateur, sur le nombre de diagnostics locaux effectu´es et le nombre d’apprenants renseign´es, reste `a ˆetre d´etermin´e. Cette ´etape permet une adaptation de la vision du domaine donn´ee par les experts `a un groupe
d’apprenants partageant des caract´eristiques d’apprentissage similaires, et pou-vant diverger du st´er´eotype imagin´e par les experts. Cette ´evolution est effectu´ee par apprentissage sur les r´eseaux bay´esiens repr´esentants les associations du graphe du domaine avec les graphes des apprenants ´etudi´es. L’apprentissage est contraint par les valeurs initiales du graphe du domaine, cens´e refl´eter les r`egles de structure du domaine donn´ees par les experts. L’interpr´etabilit´e du graphe de l’apprenant est l’enjeu principal de cette phase. Il doit rester conforme au graphe du domaine initialement introduit par les experts : si un lien de pr´erequis s’av`ere inexistant, il faudra ˆetre capable de juger si son absence est un non-sens du point de vue des experts ou si cela r´epond `a une logique en lien avec les caract´eristiques d’apprentissage des apprenants. L’am´elioration des pr´edictions de maˆıtrise des composantes de connaissance par le diagnostic global sera utiliser pour ´evaluer la fiabilit´e de l’´evolution.
5
Synth`
ese et perspectives
L’association du graphe de l’apprenant (valeurs de maˆıtrise des composantes de connaissance) et du graphe du domaine associ´e (contenant les tables de proba-bilit´es conditionnelles entre les composantes de connaissance) correspond au di-agnostic cognitif d´efini dans l’introduction. L’´etat de connaissance de l’apprenant (au sens de Doignon et Falmagne [8]) a ´et´e ´evalu´e par diagnostics locaux effectu´es sur les traces de l’apprenant, puis par diagnostics globaux sur les composantes de connaissance non-observ´ees. Les raisonnements de l’´el`eve sont repr´esent´es dans notre mod`ele par les tables de probabilit´es conditionnelles du graphe du domaine associ´e `a l’apprenant. Ce dernier est d´etermin´e par apprentissage sur les ´etats de connaissances des apprenants associ´e au mˆeme graphe du domaine, et contraint sur les r`egles de structure expertes initialement introduites. Cette association permet d’´etudier les sp´ecificit´es d’apprentissage de l’apprenant, avec une r´esistance aux comportements sporadiques non pr´edits par les experts.
Le syst`eme sera observ´e et test´e sur la plateforme Kartable, permettant l’´etude de la progression d’un nombre d’apprenants suffisant. Le domaine ´etudi´e est celui des math´ematiques de niveau lyc´ee. Ce syst`eme pourra ´egalement ˆetre compar´e `a d’autres mod`eles uniquement bas´es soit sur de la connaissance experte pure, soit sur des donn´ees d’utilisation d’apprenants seulement.
References
1. Jaime R Carbonell. Ai in cai: An artificial-intelligence approach to computer-assisted instruction. IEEE transactions on man-machine systems, 11(4):190–202, 1970.
2. Hao Cen, Kenneth Koedinger, and Brian Junker. Learning factors analysis–a gen-eral method for cognitive model evaluation and improvement. In International Conference on Intelligent Tutoring Systems, pages 164–175. Springer, 2006. 3. Mohamed Amine Chatti, Anna Lea Dyckhoff, Ulrik Schroeder, and Hendrik Th¨us.
A reference model for learning analytics. International Journal of Technology En-hanced Learning, 4(5-6):318–331, 2013.
4. Konstantina Chrysafiadi and Maria Virvou. Student modeling approaches: A lit-erature review for the last decade. Expert Systems with Applications, 40(11):4715– 4729, 2013.
5. Albert T Corbett and John R Anderson. Knowledge tracing: Modeling the ac-quisition of procedural knowledge. User modeling and user-adapted interaction, 4(4):253–278, 1994.
6. Ryan SJ d Baker, Albert T Corbett, and Vincent Aleven. More accurate student modeling through contextual estimation of slip and guess probabilities in bayesian knowledge tracing. In International conference on intelligent tutoring systems, pages 406–415. Springer, 2008.
7. Michel C Desmarais, Peyman Meshkinfam, and Michel Gagnon. Learned student models with item to item knowledge structures. User Modeling and User-Adapted Interaction, 16(5):403–434, 2006.
8. Jean-Paul Doignon. Knowledge spaces and skill assignments. In Contribu-tions to mathematical psychology, psychometrics, and methodology, pages 111–121. Springer, 1994.
9. Philippe Fournier-Viger, Jerry Chun-Wei Lin, Rage Uday Kiran, Yun Sing Koh, and Rincy Thomas. A survey of sequential pattern mining. Data Science and Pattern Recognition, 1(1):54–77, 2017.
10. J¨urgen Heller, Christina Steiner, Cord Hockemeyer, and Dietrich Albert. Competence-based knowledge structures for personalised learning. International Journal on E-learning, 5(1):75–88, 2006.
11. Antonija Mitrovic. Fifteen years of constraint-based tutors: what we have achieved and where we are going. User modeling and user-adapted interaction, 22(1-2):39– 72, 2012.
12. Jan Papousek, Radek Pel´anek, and V´ıt Stanislav. Adaptive practice of facts in domains with varied prior knowledge. In Educational Data Mining 2014, 2014. 13. Gigliola Paviotti, Pier Giuseppe Rossi, and D´enes Zarka. Intelligent tutoring
sys-tems: an overview. Pensa Multimedia, 2012.
14. Philip I Pavlik Jr, Hao Cen, and Kenneth R Koedinger. Performance factors analysis–a new alternative to knowledge tracing. Online Submission, 2009. 15. Radek Pel´anek. Bayesian knowledge tracing, logistic models, and beyond: an
overview of learner modeling techniques. User Modeling and User-Adapted In-teraction, 27(3-5):313–350, 2017.
16. Michael V Yudelson, Kenneth R Koedinger, and Geoffrey J Gordon. Individual-ized bayesian knowledge tracing models. In International conference on artificial intelligence in education, pages 171–180. Springer, 2013.
´
Evaluer la r´
eutilisabilt´
e d’une question : une
utilisation des learning analytics dans un
contexte d’´
evaluation formative
Rialy Andriamiseza
Institut de recherche en Informatique de Toulouse, Universit´e Toulouse III, 118 Route de Narbonne, 31400 Toulouse, France
rialy.andriamiseza@irit.fr
R´esum´e De nombreux syst`emes permettent d’assister l’enseignant dans la mise en oeuvre d’´evaluations formatives. Ils permettent la collecte de donn´ees et proposent des feedbacks qui visent `a faciliter la prise de d´ecision. Ce papier propose d’´elargir le p´erim`etre de mobilisation des learning analytics dans les syst`emes d’´evaluation formative. Nous illus-trons notre proposition sur une question pr´ecise : comment ´evaluer la r´eutilisabilit´e d’une question mobilis´ee dans le contexte d’une s´equence d’´evaluation formative ? Nous pr´esentons le cadre th´eorique, les hypoth`eses formul´ees pour r´epondre `a cette question, ainsi que le contexte exp´erimental qui permettra de les ´evaluer.
Mots-clefs: ´evaluation formative, learning analytics, Elaastic, instruc-tion par les pairs, objet p´edagogique r´eutilisable, processus en N phases
1
Introduction
Dans un contexte d’´evaluation formative support´ee par des technologies (Technology-Enhanced Formative Assessment - TEFA), les donn´ees collect´ees sont utilis´ees sur un p´erim`etre qui pourrait ˆetre ´elargi. Les learning analytics sont d´ej`a mobi-lis´es afin d’aider l’enseignant dans sa prise de d´ecision et permettent de satisfaire les exigences premi`eres de l’´evaluation formative. Par exemple, certains syst`emes d’´evaluation formative proposent l’aggr´egation et l’affichage de la distribution des votes concernant une question `a choix exclusif sous forme d’histogramme. Nous nous int´eressons `a un feedback qui contient des donn´ees concernant l’im-pact d’une question sur l’apprentissage et qui permettrait `a un enseignant de d´ecider si cette question est r´eutilisable ou pas. En effet, l’aide `a la d´ecision concernant la r´eutilisabilit´e d’une question est une possibilit´e de mobilisation des learning analytics peu trait´ee par les TEFA.
Comment ´evaluer la r´eutilisabilit´e d’une question mobilis´ee dans le contexte d’une s´equence d’´evaluation formative ? Nous nous positionnons sur une r´eutilisabilit´e ´
evalu´ee `a partir de crit`eres s’int´eressant `a l’impact de la question sur l’ap-prentissage. Dans ce contexte, nous faisons la distinction entre 2 niveaux de r´eutilisabilit´e : la r´eutilisation d’une question avec un autre groupe ou une
autre classe d’un mˆeme niveau par l’enseignant qui a con¸cu la question, et la r´eutilisation d’une question par d’autres enseignants.
Ce papier est structur´e comme suit : la premi`ere partie introduit l’´evaluation formative et pr´esente son articulation actuelle avec les learning analytics. La seconde partie d´ecrit le socle th´eorique sur lequel s’appuient nos travaux, et la troisi`eme partie se concentre sur le contexte exp´erimental. Enfin, le papier conclut sur les pistes de nos travaux futurs.
2
Travaux connexes
2.1 L’´evaluation formative
Si l’´evaluation sommative a pour objectif de certifier que l’apprenant maˆıtrise un sujet donn´e, une autre forme d’´evaluation a pour but d’aider l’enseignant et l’apprenant `a prendre des d´ecisions pour am´eliorer l’apprentissage. D`es 1998, Black et William d´efinissent l’´evaluation formative comme “l’ensemble des ac-tivit´es entreprises par les enseignants, et/ou par leurs ´el`eves, qui fournissent des informations qui seront utilis´ees comme feedback pour modifier les activit´es d’enseignement et d’apprentissage dans lesquelles ils sont engag´es” [3]. Un feed-back repr´esente un ´el´ement cl´e dans l’´evaluation formative, et est habituellement d´efini comme ”une information concernant le succ`es d’une tˆache entreprise” [14]. D’apr`es Andersson, l’´evaluation formative est souvent pratiqu´ee de mani`ere informelle et approximative [1]. En effet, dans le contexte de cours en face `a face et sans assistance, la difficult´e de sa mise en oeuvre augmente avec le nombre d’apprenants impliqu´es.
Les syst`emes technologiques interactifs supportant les processus d’´evaluation formative (r´ef´erenc´es dans la suite du papier par l’expression Syst`emes d’ ´Evaluation Formative ou SEF) apportent un d´ebut de solution. Dans un premier temps, les Clickers [2] font leur apparition. Ils proposent une aggr´egation simple et g´en´erique des r´eponses des apprenants (par exemple, sous forme d’histogramme ou de diagramme circulaire repr´esentant la r´epartition des votes sur une ques-tion `a choix exclusif). Par la suite, le d´eveloppement d’applications web telles que Plickers [12] et Poll Everywhere [6] a permis d’augmenter les interactions avec des syst`emes qui s’affranchissent des limites li´ees aux dispositifs mat´eriels propri´etaires. Parmi ces syst`emes, Elaastic [13] et myDalite [13] (´evolutions res-pectives de Tsaap-Notes et Dalite) s’inspirent de l’instruction par les pairs [8,15] pour proposer une version ´etendue de l’´evaluation formative avec une confron-tation de point de vue sur la base d’une argumenconfron-tation ´ecrite.
Les syst`emes d’´evaluation formative n´ecessitent la collecte des traces des apprenants pour la restitution de feedbacks plus riches. Ils mobilisent donc ce que la communaut´e scientifique d´esigne sous l’expression learning analytics.
2.2 Les learning analytics
Les learning analytics sont encore un champ de recherche relativement r´ecent [17]. En 2011, date de la toute premi`ere conf´erence LAK (Learning Analytics
and Knowledge), une d´efinition est propos´ee : “Les learning analytics sont la mesure, la collecte, l’analyse et la communication de donn´ees sur les apprenants et leurs contextes, dans le but de comprendre et d’optimiser l’apprentissage et les environnements dans lesquels il se produit” [18].
Les learning analytics sont d´ej`a exploit´es par les SEF pour r´epondre aux exigences fondamentales de l’´evaluation formative telles que la pr´esentation des r´esultats des apprenants. L’objectif vis´e est la fourniture d’un feedback imm´ediat `
a l’aide d’une visualisation adapt´ee. L’am´elioration continue de l’apprentissage vis´ee par l’´evaluation formative inscrit naturellement les learning analytics dans un cycle vertueux tel que celui propos´e par Clow [7]. Sur la Figure 1, l’´el´ement
Figure 1. Le cycle des learning analytics [7]
”learners” repr´esente les apprenants qui vont g´en´erer des informations. “data” correspond aux traces collect´ees par le syst`eme, “metrics” repr´esente les indica-teurs calcul´es `a partir des traces, et “interventions” comprend toutes les actions qui ont effet sur l’apprenant. Ces interventions peuvent ˆetre la restitution du feedback aux apprenants (sous forme de tableaux de bord par exemple) ou une intervention directe de l’enseignant aupr`es de l’apprenant. `A plus grande ´echelle encore, une intervention peut ˆetre la modification d’une technologie et dans notre cas d’un syst`eme d’´evaluation formative.
La plateforme MyDalite propose d´ej`a des feedbacks qui vont au-del`a des exi-gences fondamentales pr´ec´edemment cit´ees. Ces feedbacks pr´esentent par exemple le nombre d’apprenants qui sont pass´es d’une r´eponse correcte `a une r´eponse in-correcte, et le nombre d’apprenants ´etant pass´es d’une r´eponse incorrecte `a une r´eponse correcte. Ces indicateurs repr´esentent un bon moyen pour l’enseignant de mesurer l’impact de la confrontation de points de vue [5].
`
A partir de ces premiers travaux, nous souhaitons ´etendre l’utilisation des learning analytics en nous int´eressant `a la qualit´e des questions pos´ees aux ap-prenants. En effet, d’apr`es Fisher [9], elles sont un ´el´ement cl´e de la r´eussite d’une s´equence d’´evaluation formative. Plus pr´ecis´ement, nous proposons d’´etudier
comment les learning analytics peuvent aider l’enseignant `a ´evaluer la qualit´e d’une question en vue de la r´eutiliser ou non pour une s´equence d’´evaluation for-mative future. Pour identifier des indicateurs qui serviront notre objectif, nous allons nous appuyer sur un cadre th´eorique apr`es avoir introduit le processus d’´evaluation formative dans lequel nous inscrivons nos travaux.
3
Cadre th´
eorique
3.1 Le processus en N phases
En 2009, Black et William [4] ´enoncent 5 activit´es et 5 strat´egies caract´erisant la mise en oeuvre d’une s´equence d’´evaluation formative. Par exemple, une des activit´es ´evoqu´ees est le questionnement de la classe, et une des strat´egies est d’amener les apprenants `a devenir des ressources d’instruction pour les autres apprenants. Dans le cadre de sa th`ese [19], Silvestre s’est appuy´e sur ces tra-vaux pour proposer un processus d’´evaluation formative qui, en comparaison `a d’autres processus s’appuyant sur les technologies tels que les SEPT (Syst`emes d’Echange et de Partage de Texte) ou encore les SVI (Syst`emes de Vote Interac-tif), supporte l’ensemble de ces activit´es et strat´egies. Il s’agit du processus en N phases qui, comme son nom l’indique, se d´ecompose en plusieurs phases.
La premi`ere phase est celle o`u les apprenants r´epondent `a la question en cochant la/les bonnes r´eponses et en r´edigeant une justification de celle(s)-ci. Si la question est une question ouverte, seule une justification ´ecrite est demand´ee. La seconde phase est celle o`u les apprenants se voient attribuer une ou plusieurs r´eponses (accompagn´ees de leur justification) fournies par d’autres apprenants. Ils/elles doivent ´evaluer ces r´eponses sur une ´echelle de 1 `a 5. Cette confronta-tion de points de vue permet aux apprenants de porter un second regard sur leur propre r´eponse et d’´eventuellement changer d’avis. Enfin, la troisi`eme phase est la phase de restitution au sein de laquelle l’enseignant ´echange avec les appre-nants sur les r´eponses et les ´evaluations r´ealis´ees entre pairs. Le processus a ´et´e implant´e initialement dans la plateforme Tsaap-Notes1puis dans la plateforme Elaastic2 activement maintenue `a ce jour.
Nous inscrivons nos travaux de recherche dans le contexte d’utilisation du processus en N phases car l’utilisation de ce dernier est une occasion de l’´evaluer et de l’analyser. De plus, le support exhaustif des activit´es et strat´egies ca-ract´erisant l’´evaluation formative par le processus en N Phases induit une grande diversit´e d’interactions qui rend possible la collecte de donn´ees vari´ees : les votes, les degr´es de confiance, les changements d’avis, les arguments des apprenants, les ´evaluations par les pairs. Elles sont autant de dimensions exploitables pour r´epondre `a notre question de recherche.
1. http ://notes.tsaap.eu/tsaap-notes/ 2. https ://elaastic.irit.fr/elaastic-questions/
3.2 R´eutilisabilit´e d’une question dans le contexte de l’´evaluation formative
Pour assister l’enseignant dans l’´evaluation de la r´eutilisabilit´e d’une ques-tion, le SEF utilis´e pouvoir qualifier cette question. En ce qui concerne l’´evaluation formative, nous assimilons une question pos´ee dans un processus en N phases `a un objet p´edagogique r´eutilisable (ou RLO pour Reusable Learning Object ).
En 2011, les travaux de Sanz Rodriguez [16] proposaient des indicateurs de r´eutilisabilit´e pour les learning objects. Les m´etriques propos´ees par ce mod`ele permettent de sp´ecifier les conditions d’utilisation de la ressource mais elles ne donnent pas d’indication sur l’impact de la ressource en terme d’apprentissage. Sanz Rodriguez d´efinit la r´eutilisabilit´e comme ”le degr´e auquel un learning object peut fonctionner (...) pour diff´erents utilisateurs pour diff´erents environ-nements digitaux et dans diff´erents contextes ´educationnels”. Notre objectif est d’´evaluer la r´eutilisabilit´e d’une question sur la base de l’effet de la question sur l’apprentissage quand elle se d´eroule dans une s´equence d’´evaluation formative. En 2017, les travaux de Koh et Linge sur les RLO [11] proposent un mod`ele ´
evaluant la r´eutilisabilit´e d’un objet p´edagogique en s’appuyant sur la mesure du niveau d’engagement des ´etudiants dans l’activit´e qui int`egre l’objet. La mesure de cet engagement s’effectue sur 5 dimensions propos´ees par Howland et al. [10] pour caract´eriser l’activit´e d’apprentissage : active, constructive, authentique, intentionnelle et collaborative. Dans notre contexte d’activit´es d’´evaluation for-mative, ce mod`ele s’int´eresse `a l’effet de la question sur l’apprentissage. Plus pr´ecis´ement, il mesure l’engagement cognitif induit par la ressource et se concentre sur la performance des apprenants (feedback, comp´etences/connaissances). Nous pouvons appuyer nos travaux sur ce mod`ele. Ainsi, nous ´emettons l’hypoth`ese qu’une question est r´eutilisable quand l’activit´e d’apprentissage qui l’int`egre (la mise en œuvre du processus en N phases pour cette question dans notre cas) est ´evalu´ee positivement sur les 5 dimensions de Koh et Linge. Le Tableau 1 propose une interpr´etation des 5 dimensions dans ce contexte. Nous avons iden-tifi´e, pour chacune des dimensions, des indicateurs susceptibles de participer `a la qualification de l’ex´ecution du processus en N phases pour une question donn´ee. Maintenant que des indicateurs ont ´et´e identifi´es, nous devons d’une part v´erifier qu’ils permettent de mesurer la r´eutilisabilit´e d’une question et, si c’est le cas, identifier les valeurs significatives des indicateurs dans chaque dimension. Le paragraphe suivant pr´esente le cadre exp´erimental permettant l’´etude de nos indicateurs en contexte ´ecologique.
4
Cadre exp´
erimental
Le projet B4MATIVE ! n´e d’une collaboration entre l’Acad´emie de Nancy-Metz et l’IRIT (Institut de Recherche et d’Informatique de Toulouse) vise `a offrir l’opportunit´e aux enseignants de prendre des d´ecisions de r´eingenierie p´edagogique. Le projet b´en´eficie d’un terrain d’exp´erimentation, le “lyc´ee 4.0” comprenant 50 ´etablissements pilotes, dont l’objectif est d’´equiper l’ensemble
Table 1. Les indicateurs de la r´eutilisabilit´e d’une question dans le contexte du pro-cessus en N phases
Dimension Description Indicateurs
Active
L’apprenant participe `a une acti-vit´e : s´electionne un item ou ´evalue ses pairs.
Le taux de participation est ´elev´e `
a la phase 1 (part de participants inscrits au devoir qui a soumis une r´eponse) et `a la phase 2 (part de participants ayant soumis une r´eponse `a la phase 1 qui a soumis une r´eponse `a la phase 2)
Constructive L’apprenant utilise ses capacit´es cognitives
L’argumentation textuelle est de taille coh´erente avec le temps pass´e entre la lecture et la r´eponse. Les apprenants expriment leur degr´e de confiance
Intentionnelle L’apprenant a des opportunit´es de rem´ediation apr`es feedback
La tendance de changement d’avis est significative. Le taux de r´eussite augmente apr`es la phase 2
Authentique
L’apprenant utilise des
comp´etences li´ees aux connais-sances que le cours lui a apport´ees
Les apprenants ont un bon ressenti concernant l’impact de la s´equence sur leur apprentissage
Collaborative
La s´equence favorise les confronta-tions de point de vue et les discus-sions
La tendance de changement d’avis est positive. Les taux de participa-tion sont ´elev´es. L’´ecart-type moyen des ´evaluations de l’ensemble des r´eponses est significatif
des lyc´ees du Grand Est avec des outils num´eriques capables de r´epondre aux besoins d’enseignement d’aujourd’hui. Pour accomplir cela, les enseignants ont exprim´e le besoin d’un outil num´erique favorisant une ´evaluation formative indi-vidualis´ee. La plateforme Elaastic, d´evelopp´ee `a l’IRIT depuis 2015, est d´eploy´ee dans le cadre du projet B4MATIVE !. Elle permet de poser une question et de l’ex´ecuter dans le contexte du processus en N phases. Elaastic convient `a dans n’importe quel niveau d’enseignement et quelque soit la mati`ere. Un travail de d´eveloppement sera r´ealis´e pour adapter la plateforme `a ces exp´erimentations car dans sa version actuelle, Elaastic ne collecte pas tous les indicateurs mentionn´es. L’objectif des exp´erimentations sera d’analyser des donn´ees d’utilisation pour v´erifier la corr´elation entre les valeurs des indicateurs mentionn´es dans la section 3 et la r´eutilisation r´eelle des questions par les enseignants d’une classe `a une autre. Pour mesurer cette r´eutilisation r´eelle, la plateforme Elaastic doit pouvoir fournir deux indicateurs. En effet, comme mentionn´e pr´ec´edemment (voir Section 1), nous consid´erons deux niveaux de r´eutilisabilit´e. Ainsi, pour une question, la r´eutilisabilit´e par le mˆeme enseignant avec un autre groupe sera mesur´ee par un indicateur dont la valeur sera le nombre d’utilisation tandis que la r´eutilisabilit´e de la question par un enseignant autre que le concepteur sera mesur´ee par un indicateur dont la valeur sera le nombre de partage. Chaque question doit pouvoir
ˆ
etre r´eutilis´ee et partag´ee. C’est-`a-dire qu’un enseignant qui utilise une question doit avoir l’occasion de la r´eutiliser avec un autre groupe ou une autre classe de mˆeme niveau ou de la partager pour permettre `a d’autres enseignants de l’utiliser.
Si cette corr´elation est ´etablie, nous nous concentrerons sur l’identification de valeurs ”seuils” des indicateurs. Nous nous donnons 6 mois de collecte de donn´ees afin que ces derni`eres soient significatives, ainsi qu’un minimum de 30 enseignants.
5
Conclusion
Nous avons introduit les concepts d’´evaluation formative et de learning ana-lytics et nous avons montr´e que leur association concerne un p´erim`etre que nous souhaitons ´elargir. A cette fin, la principale contribution de ce papier est la d´efinition d’indicateurs pour la r´eutilisabilit´e d’une question dans le cadre du processus en N phases. Enfin, nous avons d´ecrit le cadre exp´erimental permet-tant de valider ces indicateurs en situation r´eelle.
Nous avons propos´e, dans ce papier, un seul nouvel axe de mobilisation des learning analytics dans le contexte de l’´evaluation formative. Pourtant, le p´erim`etre de mobilisation des learning analytics pourrait s’´etendre `a d’autres probl´ematiques pos´ees par l’utilisation des SEF. Par exemple, il serait int´eressant qu’un apprenant puisse disposer d’un tableau de bord lui permettant de faciliter ses s´eances de r´evisions.
R´
ef´
erences
1. Andersson, C., Palm, T. : The impact of formative assessment on student achieve-ment : A study of the effects of changes to classroom practice after a comprehensive professional development programme. Learning and Instruction 49, 92–102 (Jun 2017)
2. Beatty, I.D., Gerace, W.J. : Technology-enhanced formative assessment : A research-based pedagogy for teaching science with classroom response technology. Journal of Science Education and Technology 18(2), 146–162 (2009)
3. Black, P., Wiliam, D. : Assessment and Classroom Learning. Assessment in Edu-cation : Principles, Policy & Practice 5(1), 7–74 (Mar 1998)
4. Black, P., Wiliam, D. : Developing the theory of formative assessment. Educatio-nal Assessment, Evaluation and Accountability (formerly : JourEducatio-nal of Personnel Evaluation in Education) 21(1), 5 (2009)
5. Charles, E.S., Lasry, N., Bhatnagar, S., Adams, R., Lenton, K., Brouillette, Y., Dugdale, M., Whittaker, C., Jackson, P. : Harnessing peer instruction in-and out-of class with mydalite. In : Education and Training in Optics and Photonics. p. 11143 89. Optical Society of America (2019)
6. Clark, S. : Enhancing active learning : Assessment of poll everywhere in the class-room (2017)
7. Clow, D. : The learning analytics cycle : closing the loop effectively (2012)
8. Crouch, C.H., Mazur, E. : Peer instruction : Ten years of experience and results. American journal of physics 69(9), 970–977 (2001)
9. Fisher, D., Frey, N. : Checking for understanding : Formative assessment techniques for your classroom. ASCD (2014)
10. Howland, J.L., Jonassen, D.H., Marra, R.M. : Meaningful Learning with Techno-logy : Pearson New International Edition. Pearson Higher Ed (2013)
11. Koh, J.H.L. : Designing and integrating reusable learning objects for meaningful learning : Cases from a graduate programme. Australasian Journal of Educational Technology 33(5) (2017)
12. Krause, J.M., O’Neil, K. : Assessment Tool for K–12 and PETE Professionals p. 7 (2017)
13. Parmentier, J.F., Silvestre, F. : La (d´e-)synchronisation des transitions dans un processus d’´evaluation formative ex´ecut´e `a distance : impact sur l’engagement des ´
etudiants. In : 9`eme Conf´erence sur les Environnements Informatiques pour l’Ap-prentissage Humain (EIAH 2019). pp. 97–108 (2019)
14. Sadler, D.R. : Formative assessment and the design of instructional systems. Ins-tructional Science 18(2), 119–144 (Jun 1989)
15. Sadler, P.M., Good, E. : The impact of self-and peer-grading on student learning. Educational assessment 11(1), 1–31 (2006)
16. Sanz-Rodriguez, J., Dodero, J.M., Sanchez-Alonso, S. : Metrics-based evaluation of learning object reusability. Software Quality Journal 19(1), 121–140 (2011) 17. Siemens, G. : Learning analytics : The emergence of a discipline. American
Beha-vioral Scientist 57(10), 1380–1400 (2013)
18. Siemens, G., Long, P. : Penetrating the fog : Analytics in learning and education. EDUCAUSE review 46(5), 30 (2011)
19. Silvestre, F. : Conception et mise en oeuvre d’un syst`eme d’´evaluation formative pour les cours en face `a face dans l’enseignement sup´erieur. Ph.D. thesis, Universit´e de Toulouse, Universit´e Toulouse III-Paul Sabatier (2015)
Détection et évaluation des pratiques
enseignantes dans un LMS par les Teaching
Analytics
Ibtissem BENNACERPremière année
Laboratoire d'Informatique de l'Université du Mans, Avenue Olivier Messiaen, 72000 Le Mans, France
Ibtissem.Bennacer@univ-lemans.fr https ://lium.univ-lemans.fr/
Résumé En éducation, l'adoption de nouvelles pratiques enseignantes et l'utilisation des systèmes de gestion de l'apprentissage (Learning Ma-nagement System, LMS) sont devenus aujourd'hui un enjeu crucial a n d'assurer l'amélioration continue des processus d'enseignement et d'ap-prentissage. Si les Learning Analytics, qui mettent l'étudiant au centre de l'analyse de l'apprentissage, ont fait l'objet de nombreux traveaux ces dernières années, les enseignants ont également un rôle et un impact important sur l'apprentissage, notamment dans le manière de concevoir et réaliser leurs activités. C'est dans ce cadre que cet article propose une approche technique et méthodologique qui vise à permettre l'améliora-tion de la compréhension des pratiques de concepl'améliora-tion pédagogique, et à créer un support numérique pour l'accompagnement des enseignants dans leur scénarisation pédagogique.
Mots-clés : Pratique enseignante - Scénarisation pédagogique - LMS.
1 Introduction
Dernièrement, de nouvelles pratiques d'enseignement ont été introduites dans le système éducatif a n d'augmenter le nombre d'apprenants tout en perfection-nant la qualité des enseignements et de faciliter les apprentissages. De plus, l'utilisation croissante des systèmes de gestion de l'apprentissage par les ensei-gnants permet de faciliter la mise en ÷uvre des diérentes pratiques, et grâce à la collecte des données des utilisateurs [9], elle ouvre la voie aux Learning Analytics et aux Teaching Analytics. La première de ces méthodes concerne la collecte et l'exploitation des traces laissées par les apprenants pour améliorer le processus d'apprentissage. La seconde se réfère aux méthodes et aux outils pour aider les enseignants à analyser et à améliorer leurs conceptions pédagogiques, et plus récemment, à l'analyse de la manière dont ceux-ci dispensent leurs en-seignements et adoptent ces nouvelles pratiques. Nous nous focalisons dans cet article sur les Teaching Analytics, dans l'objectif d'analyser la pratique ensei-gnante et d'assister les enseignants dans la scénarisation pédagogique à l'aide
d'un système informatique. Pour répondre à cette problématique, nous présen-tons l'amorce d'un projet de recherche, visant à proposer une solution pour la détection des pratiques enseignantes et l'étude de leur pertinence pour orir, in ne, des recommandations aux enseignants concernant la scénarisation pédago-gique de leurs pratiques enseignantes sur un LMS. Ce projet s'appuie sur un terrain expérimental universitaire dans lequel deux LMS sont en production. Le premier est massivement utilisé par la plupart des enseignants (env. 640 ensei-gnants et enseiensei-gnants-chercheurs) et des étudiants (env. 12000 étudiants par an) depuis 15 ans. Le second LMS est dédié à l'apprentissage à distance (une ving-taine de diplômes proposés en ligne). L'objectif de cet article est d'exposer la proposition de notre recherche d'un point de vue technique et méthodologique. Nous présentons dans la section suivante un état de l'art sur les pratiques en-seignantes les plus répandues et sur l'utilisation des données issues des LMS. En section 3, nous décrivons notre solution fondée sur trois axes : (i) l'analyse de pertinence d'un scénario pédagogique, (ii) la détection automatique d'une pratique enseignante et (iii) l'assistance à la scénarisation pédagogique.
2 État de l'art
2.1 Les pratiques enseignantes
Dans le domaine de l'éducation, plusieurs travaux ont mis en lumière les dif-férentes pratiques enseignantes à l'Université. En eet, avant de se lancer dans une pratique enseignante, il est important de préciser son intention pédagogique qui représente le but de l'enseignant et exprime les éléments à transmettre aux apprenants (ex. : savoirs, savoir-faire, etc.) [7]. Pour décrire et formaliser cette intention pédagogique, il est nécessaire d'utiliser une scénarisation pédagogique qui fait référence à "une description plus ou moins formelle d'une séquence d'en-seignement dé nissant les objectifs pédagogiques cibles et les moyens à mettre en ÷uvre pour atteindre ces objectifs" [16]. Dans le domaine des sciences de l'édu-cation, un scénario pédagogique est une formalisation écrite, structurée et par-tageable de ce qu'un enseignant prévoit de faire ou a fait [17]. En revanche, dans le domaine de l'informatique appliquée à l'éducation le concept de scénario est vu comme "un ensemble ordonné d'activités, régies par des acteurs qui utilisent et produisent des ressources" [11]. En n, la manière qu'a l'enseignant de réaliser son activité professionnelle et d'implémenter un scénario pédagogique représente une pratique enseignante [2]. Ainsi, Altet dé nit la pratique comme : "l'ensemble des comportements, actes observables, actions, réactions, interactions, mais elle comporte aussi les procédés de mise en ÷uvre de l'activité dans une situation donnée par une personne" [3].
Il existe de nombreuses pratiques enseignantes. Parmi les plus répandues, l'ap-proche par projet cherche à familiariser les étudiants à la complexité du monde professionnel à travers la réalisation d'une production concrète [13]. La classe in-versée est une autre pratique plébiscitée qui s'appuie sur l'enseignement inversé où les apprenants suivent la leçon par eux-même hors du temps scolaire (en ex-ploitant des supports de cours mis à leur disposition) puis réalisent les exercices
d'application en classe [8]. L'alternance pédagogique est une troisième approche qui permet à l'étudiant d'intégrer une expérience de travail dans une entreprise avec des tâches professionnelles. Outre ces trois exemples connus, de nombreuses autres formes de pratiques sont proposées dans la littérature, comme le roman du stage, l'hybridation de classe, la classe transplantée, etc.
La formalisation des scénarios pédagogiques, en référence à une pratique ensei-gnante particulière, au sein d'un LMS est rare. Toutefois, il existe des méta-modèles qui permettent de concevoir des scénarios intégrant les technologies numériques comme le modèle ISiS, basé sur une scénarisation dirigée par les intentions dans le contexte des EIAH [7]. Mais, nous n'avons pas trouvé de for-malismes décrivant pour une pratique donnée, les caractéristiques attendues d'un scénario pédagogique implémenté au sein d'un LMS (ex. : type d'activité, séquen-cement, temporalité) au sens informatique du terme (i.e : modèle de données ou processus). En eet, avoir un tel formalisme permettrait de faciliter l'analyse automatique des scénarios pédagogiques, en vue de les comparer et d'étudier leur pertinence.
2.2 L'utilisation des données des LMS
Dans la littérature, beaucoup de travaux ont exploité les activités des diants sur les LMS pour étudier le décrochage scolaire, la motivation des étu-diants, la procrastination, etc. [18]. Par exemple, dans le cadre des Learning Analytics, plusieurs travaux ont été menées, comme la mesure du sens de la communauté dans les cours en ligne à partir des chiers de logs des activités des étudiants [5], ou encore l'analyse de la relation entre le comportement des élèves et leurs notes nales, puis la comparaison au plan de l'enseignant [4]. Par contre, les Teaching Analytics, employés pour l'analyse des actions des enseignants eux-même dont leur manière de concevoir leurs scénarios pédagogiques, sont encore peu investigués par rapport aux Learning Analytics. À ce titre, nous pouvons trouver quelques travaux dans la littérature, tel qu'une méthode pour extraire et classi er automatiquement les actions de l'enseignant pendant son cours [12]. Aussi, Sergis et Sampson proposent une approche pour concevoir un processus continu d'investigation, de ré exion et d'amélioration de la conception pédago-gique [15]. Toutefois, il semble que très peu de travaux existent sur la collecte et l'exploitation des traces des enseignants issues d'un LMS qui peuvent avoir un impact important sur l'amélioration et l'évaluation des scénarios pédagogiques. À titre d'exemple, en s'appuyant sur l'engagement des enseignants dans les dis-cussions de forum et le temps de réponse aux étudiants, Dawson et al. ont pu identi er les unités d'enseignement "les plus actives" en termes d'interactions en ligne [6].
3 Questions de recherche
Nous avons pu diviser la problématique d'analyse des pratiques enseignantes et de l'assistance des enseignants dans la scénarisation pédagogique, en trois
sous-problématiques. La première (1) vise mesurer la pertinence d'une scéna-risation pédagogique pour une pratique enseignante donnée. Pour répondre à cette première sous-problématique, nous avons identi é les deux questions de recherche suivantes : (1.a) pour une pratique enseignante donnée, existe-t-il un scénario pédagogique plus pertinent qu'un autre ?, et (1.b) peut-on mesurer la pertinence d'un scénario pédagogique à partir des traces d'activité d'un LMS ? La seconde sous-problématique (2) questionne l'exploitation des données issues d'un LMS en vue d'identi er une pratique enseignante particulière. Pour ré-pondre à cette deuxième sous-problématique, l'exploitation de l'apprentissage automatique nous semble être pertinente. En eet, l'apprentissage automatique est un ensemble de techniques permettant à une machine d'apprendre à réaliser une tâche sans avoir à la programmer explicitement. Son objectif principal est d'extraire et d'exploiter automatiquement l'information présente dans un jeu de données [1]. Ainsi, nous visons ici à répondre à la question de recherche suivante : quels modèles d'apprentissage automatique permettraient la détection d'une pra-tique enseignante particulière en s'appuyant sur les traces d'activités des en-seignants et des étudiants issues d'un LMS ? Une dernière sous-problématique concerne l'assistance de l'enseignant dans sa scénarisation pédagogique sur un LMS, à travers les deux questions suivantes : (a) quels sont les éléments à re-commander aux enseignants lors de la scénarisation pédagogique d'une pratique d'enseignement particulière sur un LMS ? et (b) sous quelle forme présenter les éléments, cités dans la question précédente aux enseignants ?
4 Solution proposée
Pour la réalisation de notre approche, nous envisageons la mise en ÷uvre d'une démarche inspirée à la fois de la méthodologie Thedre (Traceable Hu-man Experiment Design Research) et du DBR (Design-based Research). En eet, Thedre est un processus de conduite de recherche composé de cinq sous-processus qui sont la plani cation, l'expérimentation, le contrôle, la décision et la commu-nication. Cette méthode concerne les domaines de recherche en informatique qui intègrent des utilisateurs pour accroitre la connaissance scienti que et construire des outils supports à cette recherche [10]. Par ailleurs, les méthodologies de type DBR consistent en la conduite d'un processus itératif qui invite à produire des recherches qui se rapportent à la pratique. L'analyse des résultats obtenus par cette méthodologie se fait de manière collaborative entre chercheurs et praticiens [14]. A cet eet, nous optons pour le processus et les outils proposés par la mé-thode Thedre, en interagissant avec les ingénieurs pédagogiques de l'Université (7 ingénieurs) et les enseignants au fur et à mesure.
La gure 1 représente l'architecture globale de notre solution qui comporte 3 modules, dont nous présentons ici les deux premiers. Le dernier module, qui n'est pas détaillé dans cet article, sera dédié à l'approche que nous allons em-ployer pour assister l'enseignant, fondée sur des outils de visualisation et de recommandation.
