O
pen
A
rchive
T
OULOUSE
A
rchive
O
uverte (
OATAO
)
OATAO is an open access repository that collects the work of Toulouse researchers and
makes it freely available over the web where possible.
This is an author-deposited version published in :
http://oatao.univ-toulouse.fr/
Eprints ID : 19182
The contribution was presented at RJC-EIAH 2016 :
https://rjceiah.sciencesconf.org/
To cite this version :
Venant, Rémi Evaluation et visualisation de la
performance de l'apprenant lors d'une activité pratique. (2016) In: 6emes
Rencontres Jeunes Chercheurs en Environnements Informatiques pour
l'Apprentissage Humain (RJC-EIAH 2016), 16 June 2016 - 17 June 2016
(Montpellier, France).
Any correspondence concerning this service should be sent to the repository
administrator:
[email protected]
Evaluation et visualisation de la performance de lÕapprenant lors
dÕune activitŽ pratique
RŽmi Venant
2
ndannŽe
Univ. Toulouse III, Institut de Recherche en Informatique de Toulouse (IRIT), 115 route de Narbonne 31400 Toulouse [email protected]
RŽsumŽ
La prise de conscience de lÕapprenant sur la performance de son activitŽ ainsi que celle de ses pairs fait lÕobjet de nombreuses recherches. Dans le cadre des activitŽs pratiques ˆ distance, cette awareness personnelle et sociale doit •tre rendue tout au long de la session dÕapprentissage. Cette problŽmatique est abordŽe ici en trois Žtapes : (1) la dŽfinition dÕune mŽtrique de performance, (2) la collecte et lÕanalyse de donnŽes pour infŽrer cette mŽtrique en temps rŽel, et (3) la restitution de la performance aux apprenants, au cours de leur activitŽ pratique, sans augmenter leur charge cognitive. Nous proposons dans cet article (i) une mŽtrique pour notre contexte de lÕenseignement de lÕinformatique, (ii) un framework gŽnŽrique pour lÕanalyse de donnŽes et lÕinfŽrence dÕindicateurs, et (iii) des outils de visualisation. Nos propositions ont ŽtŽ implantŽes dans Lab4CE, un environnement de tŽlŽ-TPs pour lÕinformatique, et expŽrimentŽes dans un contexte dÕapprentissage rŽel. Si les outils sont utilisŽs par la plupart des apprenants, lÕexpŽrimentation montre lÕexistence dÕune relation entre leur utilisation et la performance, ainsi quÕune tendance ˆ leur exploitation pour la recherche dÕaide exŽcutive.
Introduction
Les Travaux Pratiques ˆ distance (tŽlŽ-TPs) sÕappuient sur lÕapprentissage exploratoire qui vise, entre autres, ˆ lÕapprentissage profond et ˆ la rŽflexion (de Jong et al. 2013). Avec ces enseignements, les apprenants doivent sÕapproprier le savoir thŽorique acquis prŽalablement par la manipulation et lÕanalyse de ressources distantes, rŽelles ou virtuelles. Les tŽlŽ-TPs sont mis en Ïuvre ˆ travers des syst•mes complexes qui soul•vent diffŽrentes problŽmatiques matŽrielles et logicielles. Les recherches dans ce domaine concernent essentiellement la conception dÕarchitectures (Harward et al. 2008), le partage de ressources (Lowe et al. 2013), la rŽpartition de charge (Sancristobal et al. 2010) et la standardisation (Salzmann et al. 2015). Toutefois, la prŽsence dÕartefacts pŽdagogique a ŽtŽ montrŽ comme important pour lÕengagement de lÕapprenant dans ces activitŽs (Corter et al. 2011).
Au sein des environnements dÕapprentissage traditionnels, lÕ(auto-)Žvaluation de la performance des apprenants reprŽsente une information critique qui doit leur •tre fournie (Arnold & Pistilli 2012). Dans cette optique, une approche commune est lÕutilisation dÕoutils dÕanalyse de donnŽes dÕapprentissage
(learning analytics en anglais) et dÕoutils dÕawareness pour concevoir des tableaux de bord qui fournissent un retour sur les rŽsultats gŽnŽraux des apprenants (Prensky 2011), leur niveau global de performance ou encore leurs forces et faiblesses (Howlin & Lynch 2014). Pour cela, ces outils sÕappuient sur lÕŽvaluation de lÕacquisition de connaissances par les apprenants et de leur ma”trise de concepts thŽoriques. Cependant, dans ce contexte dÕactivitŽs pratiques que reprŽsentent les tŽlŽ-TPs, ces techniques sont inappropriŽes car elles ne permettent pas de mesurer la capacitŽ des apprenants ˆ appliquer leurs connaissances thŽoriques pendant une situation dÕapprentissage pratique.
Nous Žtudions donc dans cet article la question suivante : comment doter un environnement de tŽlŽ-TPs dÕoutils dÕawareness personnels et sociaux pour reflŽter aux apprenants leurs niveaux de performance ? Les travaux prŽsentŽs ont ŽtŽ rŽalisŽs dans le contexte de Lab4CE, un EIAH (environnement informatique pour lÕapprentissage humain) pour lÕenseignement pratique de lÕinformatique (Broisin et al. 2015). Notre approche repose sur les processus de rŽcolte et dÕanalyse de donnŽes dÕapprentissage pour tracer et Žtudier les interactions entre les apprenants et leurs ressources, infŽrer des indicateurs pŽdagogiques, et les exposer via diffŽrentes techniques de visualisation.
La section suivante identifie les besoins pour Žvaluer la performance des apprenants au sein dÕactivitŽs pratiques. La troisi•me section prŽsente Lab4CE, notamment ses fonctionnalitŽs dÕanalyse de donnŽes pour le calcul dÕindicateurs pŽdagogiques, ainsi quÕune mŽtrique de performance en accord avec nos contextes technique et pŽdagogique. Celle-ci est ensuite exploitŽe par deux outils dÕawareness pour rapporter le niveau de performance des apprenants pendant leurs activitŽs pratiques, et permettre lÕŽtude de leurs actions. Dans une derni•re section, nous prŽsentons une expŽrimentation menŽe dans un contexte rŽel dÕapprentissage pour Žvaluer nos contributions.
Besoins pour lÕŽvaluation dans les TŽlŽ-TPs
La performance de lÕapprenant illustre sa capacitŽ ˆ dŽmontrer des aptitudes spŽcifiques et la ma”trise de connaissances (Achumba et al. 2013). Sa mesure repose classiquement sur des Žvaluations effectuŽes apr•s lÕactivitŽ dÕapprentissage (Arnold & Pistilli 2012), comme proposŽes par (Ritzhaupt et al. 2015), ou par lÕobservation physique (Achumba et al. 2013).
avec toute forme dÕawareness au cours dÕune activitŽ pratique, tandis que lÕobservation physique nŽcessite quÕun grand nombre dÕenseignants soit physiquement prŽsent avec les apprenants. Ces prŽrequis sont en contradiction avec les tŽlŽ-TPs qui tendent ˆ offrir un apprentissage ˆ distance. La mesure immŽdiate de la performance dans le contexte des tŽlŽ-TPs implique donc la dŽfinition dÕune mŽtrique qui sÕappuie sur les actions menŽes par les apprenants pendant le TP.
Pour restituer cette performance, les tableaux de bord munis de multiples fonctionnalitŽs de visualisation et dÕexploration semblent •tre une exploitation frŽquente de lÕanalyse de donnŽes. SAM, proposŽ par (Govaerts et al. 2012), FORGE (Mikroyannidis & Gomez-Goiri 2015), Realizeit (Howlin & Lynch 2014) et SocialLearn (Ferguson & Shum 2012) sont des outils proposant une ou plusieurs formes de visualisation de donnŽes dÕapprentissage. Toutefois, Realizeit et LearningLocker (lÕoutil de visualisation utilisŽ dans FORGE) sont propriŽtaires et nÕoffrent pas la possibilitŽ de les intŽgrer au sein dÕun autre environnement comme le n™tre.
DÕautre part, les outils SocialLearn ou Realizeit ne reposent pas sur des formats de donnŽes interopŽrables, et ne sont donc pas capables dÕintŽgrer dÕautres traces que celles pour lesquelles ils ont ŽtŽ con•us. En revanche, SAM ou LearningLocker reposent respectivement sur les formats Contextualized Attention Metadata (CAM) et Tin Can Api (xAPI), et peuvent ainsi traiter nÕimporte quelle donnŽe qui respecte ces formats.
LÕawareness pour les situations dÕapprentissage pratique nŽcessite une synchronisation entre les actions rŽalisŽes par les apprenants et les informations qui leur sont retournŽes. Ces informations doivent reflŽter lÕinstant prŽsent, ce qui implique un traitement en pseudo temps-rŽel et la mise ˆ jour automatique des visualisations. Dans SAM, les donnŽes exploitŽes par les tableaux de bord semblent •tre mises ˆ jour de mani•re asynchrone (ˆ la demande de lÕutilisateur). Par contre, LearningLocker ou (Hecking et al. 2014) proposent des architectures sÕappuyant sur lÕutilisation des WebSocket pour retourner un feedback immŽdiat.
Les mod•les de conception et technologies utilisŽes peuvent Žgalement nuire ˆ la possibilitŽ dÕintŽgration.
Par exemple, SocialLearn repose sur un ensemble dÕoutils fortement couplŽs. La rŽutilisation de ces outils est donc contrainte par les autres entitŽs, voire ˆ une rŽingŽnierie de lÕapplication.
Enfin, ces approches exposent les donnŽes ˆ travers des tableaux de bord dŽtaillŽs, obligeant les apprenants ˆ alterner entre ces interfaces de visualisation et celles dŽdiŽes ˆ lÕapprentissage. Des formes plus simples de visualisation, con•ues comme des composants lŽgers tels que ceux proposŽs dans le projet ROLE (Santos et al. 2010), diminueraient la charge cognitive supplŽmentaire. En effet, (Kirsh 2000) sugg•re dÕŽviter lÕaffichage simultanŽ de diffŽrents composants complexes qui am•nent lÕapprenant ˆ diviser son attention pour apprŽhender les multiples informations.
Ces diffŽrentes visualisations ne peuvent donc pas •tre rŽutilisŽes sans adaptation ˆ notre contexte. Notre objectif est donc dÕidentifier et de concevoir des mŽtriques et des visualisations adaptŽes au contexte des activitŽs pratiques. La section suivante introduit notre environnement de tŽlŽ-TPs et analyse comment la performance des apprenants peut y •tre infŽrŽe.
La performance dans Lab4CE
La prŽsentation de Lab4CE se concentre ici sur la fonctionnalitŽ de collecte et dÕanalyse de donnŽes qui permet la conception, lÕinfŽrence, le stockage et la rŽutilisation dÕindicateurs pŽdagogiques tel que le niveau de performance de lÕapprenant.
Lab4CE : un EIAH pour lÕapprentissage
pratique de lÕinformatique
Lab4CE (Broisin et al. 2015) est un environnement de tŽlŽ-TPs pour lÕapprentissage de lÕinformatique qui propose diffŽrents services pour amŽliorer lÕexpŽrience utilisateur et lÕengagement des apprenants lors de leurs activitŽs pratiques. Cet EIAH sÕappuie notamment sur un gestionnaire de cloud computing (informatique nuagique) pour la gestion des ressources, ainsi que sur une plateforme web collaborative pour faciliter leur manipulation ˆ travers une Interface Riche dÕApprentissage (IRA). Les apprenants contr™lent leurs machines virtuelles (i.e., les dŽmarrer, les arr•ter ou les mettre en veille), crŽŽes ˆ la volŽe selon le sujet du TP, et envoient des instructions ˆ travers un terminal web proposŽ dans lÕIRA illustrŽe par la figure 1. LÕIRA int•gre aussi des fonctionnalitŽs de communication gr‰ce ˆ une messagerie instantanŽe et un syst•me collaboratif pour permettre aux apprenants de travailler simultanŽment sur une m•me ressource virtuelle.
Au sein de Lab4CE, diffŽrentes informations sont collectŽes : les connexions ˆ la plateforme, les messages instantanŽs, les invitations de collaboration entre apprenants, les actions/instructions sur les machines, et la navigation entre les diffŽrentes interfaces de lÕIRA. Ces donnŽes peuvent •tre analysŽes pour Žtudier comment les apprenants manipulent les ressources pour rŽaliser le TP, et donc pour infŽrer une mŽtrique de performance.
Le mod•le de traces
La spŽcification xAPI, utilisŽe aujourdÕhui dans de nombreux projets (Murray et al. 2012; Rabelo et al. 2015), a ŽtŽ adoptŽe pour concevoir notre mod•le de traces. xAPI propose une structuration flexible des donnŽes pour reprŽsenter les actions dÕutilisateurs sur des ressources : un enregistrement xAPI (statement en anglais) se compose dÕau moins trois ŽlŽments : lÕacteur (lÕutilisateur), le verbe (lÕaction) et lÕobjet (la ressource). Il peut aussi comprendre la date de rŽalisation de lÕaction, son contexte ou son rŽsultat.
Pour reprŽsenter une instruction exŽcutŽe sur une machine distante, nous avons con•u un objet xAPI spŽcifique. Par exemple, lÕinstruction Ç rm Ðv myfile È, dont la rŽponse retournŽe par la machine sur laquelle elle a ŽtŽ exŽcutŽe est Ç rm : myfile : No such file or directory È, est reprŽsentŽe par un objet instruction et son rŽsultat associŽ, illustrŽs par la figure 2.
Le framework dÕanalyse de donnŽes
Le framework illustrŽ par la figure 3 a pour objectif la gŽnŽration et le stockage dÕenregistrements xAPI, ainsi que lÕenrichissement de ces derniers par lÕinfŽrence dÕindicateurs. Il sÕinspire dÕinfrastructures existantes telles que celle proposŽe dans le projet Migen (Santos et al. 2010), ou encore dans lÕapproche flexible et extensible proposŽe par (Hecking et al. 2014). Cependant, ˆ la diffŽrence de ces approches, notre architecture rŽside essentiellement c™tŽ client afin de bŽnŽficier du potentiel du calcul distribuŽ sur les postes clients connectŽs ˆ la plateforme.
Notre proposition inclut trois couches de composants
faiblement couplŽs c™tŽ client, ainsi que deux dŽp™ts distants. Les capteurs surveillent les flux de donnŽes sur des composants spŽcifiques de Lab4CE ((1) sur la figure 3), gŽn•rent des ŽlŽments xAPI et les envoient au forgeur dÕenregistrements sous forme dÕŽv•nements (2). La figure 3 illustre deux exemples de capteurs utilisŽs dans Lab4CE : le capteur 1 surveille le terminal et envoie un ŽvŽnement ˆ chaque instruction exŽcutŽe. Cet ŽvŽnement comprend 4 ŽlŽments : le verbe (Ç exŽcuter È), lÕobjet (lÕinstruction envoyŽe), le rŽsultat (la rŽponse retournŽe) et lÕestampille horaire. Le capteur 2 surveille les composants de lÕIRA qui g•rent les informations relatives ˆ lÕidentitŽ de lÕutilisateur et au TP auquel il participe.
Le forgeur agr•ge les diffŽrents ŽlŽments en enregistrements xAPI, qui sont alors routŽs soit au moteur dÕenrichissement (3a), soit directement au dŽp™t dÕenregistrements dÕapprentissage (Learning
Record Store, LRS en anglais) (3b).
Le moteur dÕenrichissement souscrit au forgeur (B) pour recevoir les enregistrements quÕil peut enrichir dÕapr•s les r•gles dŽcrites dans le dŽp™t de r•gles (A). Ensuite, il inf•re et ajoute ˆ chaque enregistrement un ou plusieurs indicateurs, et les renvoie au forgeur (4) avant leur stockage dans le LRS (5).
Les composants c™tŽ client ont ŽtŽ dŽveloppŽs avec AngularJS, un framework Javascript MVC (mod•le-vue-contr™leur) populaire. Ce type de framework facilite la crŽation des capteurs puisquÕil permet de lier de fa•on transparente le mod•le de donnŽes utilisŽ dans les capteurs et celui de la structure DOM dÕune page web, manipulŽe par lÕutilisateur. Les deux dŽp™ts ont ŽtŽ con•us sous la forme dÕune pile applicative comprenant une base de donnŽes noSQL (MongoDb) pour faciliter lÕintŽgration de nouvelles structures dÕenregistrement, ainsi quÕune couche dÕacc•s Spring Java pour exposer ˆ la fois une interface dÕacc•s REST et des point dÕacc•s full-duplex (i.e., Web Socket, Ajax/XHR Streaming). Pour exploiter les traces un composant peut utiliser lÕinterface REST de mani•re asynchrone, ou souscrire ˆ un flux dÕenregistrements xAPI en temps-rŽel via un point dÕacc•s full-duplex.
La justesse dÕune instruction comme mŽtrique
de performance
Les donnŽes traitŽes par le framework contiennent notamment les instructions exŽcutŽes par les apprenants sur les ressources virtuelles, ainsi que les rŽponses correspondantes. Ces sŽquences dÕinstructions reprŽsentent le dŽroulŽ de lÕactivitŽ pratique rŽalisŽe par lÕapprenant et refl•tent donc sa progression au sein du TP. Ces instructions peuvent •tre automatiquement ŽvaluŽes comme techniquement justes ou fausses : la rŽponse retournŽe par la ressource distante fournit des informations qui peuvent •tre utilisŽes pour infŽrer lÕŽtat de son exŽcution. Dans le reste de cet article, nous nous rŽfŽrerons ˆ cet Žtat comme la justesse
technique : une instruction qui est techniquement juste
signifie quÕelle a ŽtŽ correctement exŽcutŽe.
Pour infŽrer cet indicateur, nous avons identifiŽ les Figure 2. Instruction au format xAPI
diffŽrents patrons de messages dÕerreurs qui peuvent survenir dans un terminal quand une commande techniquement fausse est exŽcutŽe. A partir de cette Žtude, 4 r•gles (R) ont ŽtŽ dŽfinies pour alimenter le moteur dÕenrichissement de traces : R1 rŽv•le les erreurs survenant lorsque les arguments dÕune commande sont incorrects ; R2 dŽtecte les erreurs relatives ˆ lÕappel dÕune commande inconnue ; R3 et R4 sÕappliquent aux erreurs spŽcifiques au manuel dÕune commande. Finalement, une r•gle de plus haut niveau inf•re notre indicateur en combinant ces 4 r•gles dans un prŽdicat mathŽmatique. Cet indicateur expose ainsi la justesse technique dÕune commande.
Pour valider le calcul de notre indicateur, nous avons manuellement ŽvaluŽ la justesse technique dÕun Žchantillon de 300 commandes produites par les Žtudiants. Sur la base de cet Žchantillon, 298 commandes furent ŽvaluŽes de fa•on identique par le moteur, soit dans 99.3% des cas.
Outils de visualisation pour lÕawareness
Les outils de visualisation prŽsentŽs ici sÕappuient sur la justesse technique des instructions exŽcutŽes par les apprenants, et visent ˆ fournir une connaissance de leur performance afin de leur permettre dÕanalyser ce quÕils font et pourquoi ils le font.
LÕoutil de comparaison social
Les outils de comparaison sociale sont con•us pour doter les apprenants dÕune conscience sociale sur la performance de chacun dÕentre eux. Ces outils permettent ainsi aux membres dÕun groupe de comparer leur progression par rapport ˆ celle de leurs partenaires (Michinov & Primois 2005).
LÕoutil de visualisation que nous avons con•u affiche un ensemble de barres de progression qui refl•te le niveau de performance des apprenants (dÕapr•s la justesse technique dÕune instruction) par un simple code couleur (vert si la valeur est vraie, rouge sinon). Une barre de progression est un composant lŽger qui souscrit au LRS pour recevoir un flux dÕenregistrements xAPI dÕinstructions ˆ propos dÕun apprenant ou dÕun groupe dÕapprenants. LÕoutil dessine alors un dŽgradŽ de couleurs au fil des enregistrements re•us, ˆ la mani•re dÕun spectrogramme, graphiquement rŽparti dans le temps.
Cet outil illustrŽ par la figure 4 est intŽgrŽ dans
Lab4CE et fournit trois barres de progression distinctes. La premi•re (Ma session en cours) refl•te la performance individuelle de lÕapprenant connectŽ ˆ la plate-forme pendant sa session courante ; la seconde exprime le cumul de cette performance pour lÕensemble des sessions de travail rŽalisŽes par lÕapprenant sur le TP quÕil rŽalise ; la derni•re expose ce m•me cumul, mais pour lÕensemble des apprenants inscrit au TP courant. Ainsi, ce mode de visualisation demeure opŽrationnel que les Žtudiants travaillent en m•me temps, ou de mani•re dŽsynchronisŽe, puisque les barres sont automatiquement mises ˆ jour ˆ chaque nouvelle commande exŽcutŽe par un apprenant. Cet outil de comparaison sociale permet aux apprenants de prendre conscience de leur propre performance ainsi que celle de leurs pairs, avec un faible effort cognitif leur permettant de rester concentrŽs sur leur activitŽ. De plus, les tuteurs sont conscients du niveau de performance du groupe et sont donc plus ˆ m•me dÕajuster les objectifs et/ou le dŽroulŽ du TP. Cependant, cette visualisation simple ne permet pas aux apprenants dÕanalyser en dŽtail leurs propres actions ainsi que celles de leurs pairs ; lÕoutil suivant rŽpond ˆ ce besoin.
LÕoutil de rŽflexion ˆ posteriori
Selon Boud et al. (1985), la rŽflexion est un processus qui consiste ˆ repenser les expŽriences effectuŽes, les rŽŽvaluer, et apprendre de ces processus de rŽŽvaluation. Par ce mod•le, les apprenants deviennent conscients de leur progression dans leur apprentissage, et capables de prendre des dŽcisions appropriŽes pour lÕamŽliorer. Ce processus peut •tre encouragŽ par les TICE ˆ travers des outils de rŽflexion ˆ posteriori (reflection-on-action en anglais) (Wilson & Wing 2008), dŽfinis par (Davis et al. 2005) comme lÕanalyse des processus dÕapprentissage apr•s que les actions aient ŽtŽ effectuŽes.
Pour revoir une session de travail, nous proposons une interface illustrŽe en figure 5 qui permet aux apprenants dÕaffiner lÕanalyse de leur propre travail ou celui de leurs pairs. Le formulaire en haut de lÕinterface offre un ensemble de filtres pour visualiser une session selon un utilisateur, une date ou une ressource. Pour chaque ressource sŽlectionnŽe, une chronologie des instructions exŽcutŽes est reprŽsentŽe. Chaque nÏud de la chronologie reprŽsente une instruction ; celui-ci est
colorŽ selon sa justesse technique, tandis que le dŽtail de lÕinstruction appara”t dans un simili-terminal lorsque le curseur est positionnŽ sur le nÏud correspondant.
Bien que ce tableau de bord ne puisse •tre utilisŽ compŽtitivement avec lÕIRA (lÕapprenant ne peut porter son attention que sur lÕune ou lÕautre des interfaces), il engage les apprenants dans un processus de rŽflexion en soulignant les difficultŽs rencontrŽes, et permet aux tuteurs de revoir les actions des apprenants et dÕŽvaluer leur rŽussite. Si lÕon se rŽf•re aux catŽgories dÕawareness proposŽes par Gutwin et al. (1995), permettre ˆ lÕapprenant de savoir ce que les autres ont fait pour rŽaliser la t‰che fait partie de lÕawareness de lÕespace de travail (workspace awareness).
Ces deux outils, implantŽs dans Lab4CE, ont ŽtŽ expŽrimentŽs dans un contexte dÕapprentissage rŽel.
Experimentation : utilisation des outils
LÕexpŽrimentation a ŽtŽ rŽalisŽe ˆ lÕUniversitŽ Toulouse III, et a impliquŽ 32 Žtudiants de premi•re annŽe inscrits dans un cours sur les commandes Linux. Les t‰ches ˆ rŽaliser concernaient la manipulation de fichiers et de rŽpertoires, la gestion des droits utilisateurs, et la gestion des processus. Avec Lab4CE, chaque Žtudiant pouvait accŽder quand il le souhaitait, ˆ sa propre machine. Les 3 sessions pratiques de 90 minutes chacune rŽalisŽes pendant cette Žtude se sont dŽroulŽes en prŽsentiel. Les apprenants devaient Žgalement remettre deux comptes-rendus : un apr•s la premi•re session, le second en rapport avec les seconde et troisi•me sessions.
Le tableau 1 dŽcrit lÕutilisation des deux outils dÕawareness ; les utilisateurs actifs sont ceux qui ont exŽcutŽ au moins 30 instructions dans une m•me session de travail. Les outils ont ŽtŽ utilisŽs par la majoritŽ des Žtudiants actifs. LÕoutil de rŽflexion ˆ posteriori a ŽtŽ utilisŽ de mani•re homog•ne pour analyser son propre travail, tandis que son utilisation pour analyser le travail rŽalisŽ par des pairs a diminuŽ au fil des sessions. Cette diminution peut •tre expliquŽe par lÕaugmentation du niveau de performance des apprenants : meilleurs ils sont, moins ils ont besoin dÕŽtudier le travail des autres. De m•me, lÕoutil de comparaison sociale, masquŽ par dŽfaut dans lÕIRA, a ŽtŽ affichŽ par la plupart des utilisateurs et semble suivre la m•me tendance dÕutilisation.
Session pratique 1 2 3
Nb. dÕutilisateurs actifs 17 32 30 % dÕutilisateurs actif dans le groupe 53.1 100 93.8
Outil de Comparaison Sociale (OCS)
% dÕutilisateurs actifs qui ont
affichŽ lÕOCS 76.5 59.4 60.0 Score moyen de performance sur
une Žchelle de 0 ˆ 100 84.8 86.0 87.6
Outils de rŽflexion ˆ posteriori
% dÕutilisateurs actifs qui ont
analysŽ leur propre travail 41.2 43.8 40.0 % dÕutilisateurs actifs qui ont
analysŽ le travail de pairs 64.7 46.9 30.0
Tableau 1. Statistiques d'usage des outils
En plus des statistiques du tableau 1, une autre information intŽressante est le nombre dÕanalyses de travaux de pairs effectuŽes le jour o• le premier rapport devait •tre rendu. Presque 43% des Žtudiants ont analysŽ au moins une session dÕun autre apprenant en utilisant lÕoutil de rŽflexion, ce qui semble montrer une tendance ˆ la recherche dÕaide exŽcutive (i.e., obtenir directement la rŽponse au probl•me sans entrer dans un processus de rŽflexion (Gall 1981)). Pour limiter cette tendance, il sera nŽcessaire dans nos travaux futurs de contr™ler lÕacc•s ˆ cet outil en fonction de lÕapprenant.
Conclusion
Nous proposons dans cet article deux outils dÕawareness qui visent ˆ exposer aux apprenants leurs niveaux de performance pendant quÕils rŽalisent une activitŽ de travaux pratiques. Un outil dÕawareness sociale rŽv•le les niveaux courants et gŽnŽraux de performance, et permet aux apprenants de se situer par rapport au groupe de participants. La technique de visualisation simple employŽe par cet outil le rend utilisable pendant une session pratique, alors que les utilisateurs rŽalisent leur activitŽ dÕapprentissage, sans requŽrir une attention particuli•re. DÕautre part, lÕoutil de rŽflexion ˆ posteriori permet aux apprenants dÕanalyser plus en dŽtail leur propre travail ainsi que celui de leurs pairs.
Ces deux outils sÕappuient sur un framework dÕanalyse de donnŽes dÕapprentissage gŽnŽrique, exploitant le format xAPI et intŽgrant un moteur dÕinfŽrence capable de gŽnŽrer des indicateurs pŽdagogiques sur les donnŽes collectŽes. Ces outils ont ŽtŽ intŽgrŽs dans la plateforme Lab4CE et expŽrimentŽs dans un contexte dÕapprentissage rŽel. La plupart des apprenants ont utilisŽ les deux outils, relativement ˆ leur niveau de performance.
Toutefois, la tendance dŽtectŽe ˆ la recherche dÕaide exŽcutive doit •tre adressŽe pour faire prŽvaloir une entraide constructive entre apprenants. Aussi, les instructions, ŽvaluŽes uniquement selon leur justesse technique, devraient lÕ•tre Žgalement dÕun point de vue sŽmantique en considŽrant le contexte pŽdagogique de lÕactivitŽ pratique : une commande peut •tre techniquement juste sans pour autant •tre pertinente pour lÕobjectif attendu. Ce calcul de la justesse sŽmantique nŽcessite la production de solutions aux activitŽs pratiques, soit manuellement par les tuteurs et enseignants, soit automatiquement. Outre cet indicateur de performance, les traces collectŽes dans notre syst•me pourront •tre utilisŽes pour infŽrer dÕautres indicateurs indŽpendants du domaine dÕapprentissage. Les travaux de (Dimitrakopoulou 2004; Jermann & Dillenbourg 2008), qui proposent des mod•les et outils pour lÕanalyse des interactions entre apprenants, reprŽsentent une premi•re piste de rŽflexion.
Enfin, cette exploitation des diffŽrentes traces ouvre Žgalement la voie au profilage dÕapprenants et ˆ la fouille de motifs sŽquentiels qui reprŽsentent dÕautres domaines dÕinvestigation en concordance avec lÕŽvaluation de la performance des apprenants.
RŽfŽrences
Achumba, I. E., Azzi, D., Dunn, V. L., & Chukwudebe, G. A. (2013). Intelligent performance assessment of students' laboratory work in a virtual electronic laboratory environment. Learning Technologies, IEEE
Transactions on, 6(2), 103-116.
Arnold, K. E., & Pistilli, M. D. (2012, April). Course signals at Purdue: using learning analytics to increase student success. In Proceedings of the 2nd international conference on learning analytics and knowledge (pp. 267-270). ACM.
Broisin, J., Venant, R., & Vidal, P. (2015). Lab4CE: a Remote Laboratory for Computer Education.
International Journal of Artificial Intelligence in Education, 1-27.
Boud, D.; Keogh, R. and Walker, D. (1985). What is Reflection in Learning? In Reflection Turning
Experience into Learning, pp. 7Ð17.
Corter, J. E., Esche, S. K., Chassapis, C., Ma, J., & Nickerson, J. V. (2011). Process and learning outcomes from remotely-operated, simulated, and hands-on student laboratories. Computers & Education, 57(3), 2054-2067.
Davis, D., Trevisan, M., Leiffer, P., McCormack, J., Beyerlein, S., Khan, M. J., & Brackin, P. (2013). Reflection and Metacognition in Engineering Practice.
Using Reflection and Metacognition to Improve Student Learning, 78-103.
De Jong, T., Linn, M. C., & Zacharia, Z. C. (2013). Physical and virtual laboratories in science and engineering education. Science, 340(6130), 305-308. Dimitrakopoulou, A. (2004). State of the art on Interaction and Collaboration Analysis (D26. 1.1). EU
Sixth Framework programme priority, 2.
Ferguson, R., & Shum, S. B. (2012, April). Social learning analytics: five approaches. In Proceedings of
the 2nd international conference on learning analytics and knowledge (pp. 23-33). ACM.
Gall & S.N.-L. (1981). Help-seeking: An understudied problem-solving skill in children. Developmental
Review, 1(3), 224Ð246.
Govaerts, S., Verbert, K., Duval, E., & Pardo, A. (2012, May). The student activity meter for awareness and self-reflection. In CHI'12 (pp. 869-884).
Gutierrez-Santos, S., Mavrikis, M., & Magoulas, G. (2010, June). Layered development and evaluation for intelligent support in exploratory environments: the case of microworlds. In Intelligent Tutoring Systems (pp. 105-114). Springer Berlin Heidelberg.
Harward, V. J., Del Alamo, J. A., Lerman, S. R., Bailey, P. H., Carpenter, J., DeLong, K., & Long, P. D. (2008). The ilab shared architecture: A web services infrastructure to build communities of internet accessible laboratories. Proceedings of the IEEE,
96(6), 931-950.
Hecking, T., Manske, S., Bollen, L., Govaerts, S., Vozniuk, A., & Hoppe, H. U. (2014). A flexible and extendable learning analytics infrastructure. In
Advances in Web-Based LearningÐICWL 2014 (pp.
123-132). Springer International Publishing.
Howlin, C., & Lynch, D. (2014, October). Learning and Academic Analytics in the Realizeit System. In
E-Learn: World Conference on E-Learning in Corporate, Government, Healthcare, and Higher Education (Vol.
2014, No. 1, pp. 862-872).
Jermann, P. & Dillenbourg, P. (2008). Group mirrors to support interaction regulation in collaborative problem solving. Computers & Education, 51(1), pp.279Ð296. Kirsh, D. (2000). A few thoughts on cognitive overload. Intellectica, 1(30),19-51
Lowe, D., Newcombe, P., & Stumpers, B. (2013). Evaluation of the use of remote laboratories for secondary school science education. Research in
Science Education, 43(3), 1197-1219.
Michinov, N., & Primois, C. (2005). Improving productivity and creativity in online groups through social comparison process: New evidence for asynchronous electronic brainstorming. Computers in
human behavior, 21(1), 11-28.
Mikroyannidis, A., Gomez-Goiri, A., Domingue, J., Tranoris, C., Pareit, D., Gerwen, V. V., & Marquez-Barja, J. (2015). Deploying learning analytics for awareness and reflection in online scientific experimentation. In 5e Workshop in Awareness and
Reflection in TEL (CEUR 2015) (pp. 105-111).
Murray, K., Berking, P., Haag, J., & Hruska, N. (2012). Mobile Learning and ADL's Experience API.
Connections: The Quarterly Journal, 12(1), 45.
Prensky, M. (2011). Khan Academy. Educational
Technology, 51(5), 64.
Rabelo, T., Lama, M., Amorim, R. R., & Vidal, J. C. (2015, October). SmartLAK: A big data architecture for supporting learning analytics services. In Frontiers
in Education Conference (FIE), IEEE (pp. 1-5).
Ritzhaupt, A. D., Pastore, R., & Davis, R. (2015). Effects of captions and time-compressed video on learner performance and satisfaction. Computers in
Human Behavior, 45, 222-227.
Salzmann, C., Govaerts, S., Halimi, W., & Gillet, D. (2015, February). The Smart Device specification for remote labs. In Remote Engineering and Virtual
Instrumentation (REV), IEEE (pp. 199-208).
Sancristobal, E., Castro, M., Harward, J., Baley, P., DeLong, K., & Hardison, J. (2010, April). Integration view of web labs and learning management systems. In
Education Engineering (EDUCON), 2010 IEEE (pp.
1409-1417). IEEE.
Wilson, J., & Jan, L. W. (2008). Smart thinking:
