Une dernière partie des questions posées aux enseignants et aux apprenants avait comme but d’évaluer globalement notre solution.
En tant qu’experts, après avoir consulté les ressources à recommander pour chaque notion, les enseignants sont invités à exprimer leurs points de vue sur l’intérêt des recommandations, la méthode que nous utilisons pour proposer les recommandations et plus précisément l’importance des critères que nous exploitons pour adapter les ressources aux spécificités du MOOC et de proposer d’autres critères qu’ils trouvent intéressants.
Le questionnaire destiné aux enseignants comporte 4 questions dédiées à cette fin.
— Une question ouverte qui demande l’avis des enseignants sur l’idée de recommander des ressources externes pour un apprenant qui est en train de suivre un MOOC.
— Une question fermée qui présente aux enseignants les différents critères sur lesquels nous nous sommes appuyés pour calculer l’adaptation des ressources externes à recommander avec les caractéristiques du MOOC et leur demande de les noter un par un selon leur importance, sur une échelle de 1 à 3 (pas très important, important, très important).
— Une question ouverte qui invite les enseignants à proposer d’autres critères qu’ils trouvent qu’il est important de les prendre en compte au moment du choix des ressources à recommander, afin de respecter les spécificités du cours initial et faciliter l’intégration de ces ressources dans son contenu.
— Une question ouverte qui demande aux enseignants de présenter d’autres suggestions.
En tant qu’apprenants, les répondants de foule factory sont aussi invités à exprimer leurs avis sur l’idée de la recommandation de ressources externes, après avoir consulté les ressources recommandées et en avoir étudié quelques-unes.
Le questionnaire destiné aux apprenants comporte 3 questions dédiées à cette fin.
— Une question ouverte qui demande aux répondants de supposer qu’ils sont en train de suivre un cours en ligne et d’exprimer leur avis sur le fait que d’autres ressources du web lui sont
12.3. Évaluation globale de l’approche 95 recommandées quand ils n’ont pas répondu correctement au test d’évaluation d’une certaine section du cours. Les répondants sont invités à choisir entre :
1. C’est une bonne idée, mais je n’ai pas le temps de les étudier. 2. C’est une bonne idée et je vais en étudier certaines.
3. Ce n’est pas une bonne idée, car je n’ai pas envie de me disperser en étudiant des ressources externes.
4. Ou un autre avis à présenter.
— Une question fermée qui demande aux répondants de supposer qu’ils sont en train de suivre un cours en ligne et de préciser leur comportement quand ils ne comprennent pas certaines notions du cours. Est-ce qu’ils reprennent le même cours ou bien est-ce qu’ils cherchent d’autres cours en ligne ?
— Une question fermée est présentée à ceux qui ont répondu à la question précédente en disant qu’ils préfèrent chercher d’autres ressources en ligne et leur demande de préciser si les ressources recommandées leur permettent de gagner du temps par rapport au temps passé à chercher eux-mêmes des ressources externes.
Chapitre
13
Résultats de l’évaluation
Dans ce chapitre nous synthétisons les réponses et les commentaires des enseignants et des apprenants aux questions présentées dans les deux questionnaires d’évaluation.
13.1 Évaluation globale de l’approche
13.1.1 Opinion des experts
Après avoir consulté les ressources sélectionnées par notre module de recommandation pour permettre aux apprenants du MOOC d’acquérir des connaissances dans trois de ses objectifs d’ap-prentissage, tous les experts ont été d’accord sur le fait que la recommandation de ressources externes dans le cadre d’un MOOC est une bonne idée.
Concernant les critères à respecter par les ressources recommandées, définis dans notre solution pour tenir compte des spécificités du MOOC, nous avons obtenu les résultats suivants.
Les quatre experts ont attribué la note maximale3 au critère portant sur le niveau de connaissance
apporté par la ressource. Les experts considèrent donc que les ressources proposées à un apprenant pour lui permettre d’apprendre une certaine notion du MOOC doivent lui permettre d’acquérir le niveau de connaissance censé être apporté en étudiant le MOOC. Pour le moment cette information n’est pas décrite dans les métadonnées des REL que nous avons étudiées. Dans notre solution nous avons donc considéré deux degrés de performances : (1) la ressource apporte la notion et (0) la ressource n’apporte pas la notion. Il faut donc trouver d’autres moyens pour déduire le degré de performance à acquérir dans un certain élément de connaissance en étudiant la REL. Il y a d’autres éléments de métadonnées comme la difficulté de la ressource ou son niveau éducatif qui peuvent être utilisés pour se rapprocher de cette information.
Trois experts ont attribué la note maximale3 au critère portant sur la durée d’apprentissage de la
ressource à recommander. Ces experts considèrent donc que le fait que les REL proposées aient une durée d’apprentissage acceptable et pas longue est un critère très important. Le quatrième expert a attribué la note 2. Il considère donc que ce critère est important mais qu’il est moins
important que celui portant sur le niveau de connaissance apporté par la ressource. Suite à notre étude des métadonnées, nous avons remarqué que l’élément de métadonnée défini pour décrire la durée d’apprentissage des REL n’est, dans la plupart des cas, pas renseigné. L’importance de ce critère selon
98 CHAPITRE 13. Résultats de l’évaluation les experts montre que le renseignement de cette métadonnée en décrivant les REL peut améliorer la réutilisation des ressources concernées.
Concernant le critère portant sur la granularité de la ressource, deux experts lui ont attribué la note maximale3 et les deux autres lui ont attribué la note 2. Donc le fait que la granularité des REL à
recommander soit en adéquation avec la granularité des ressources du MOOC dans lequel on les recommande est un critère important selon les experts mais il est moins important que les deux autres portant sur le niveau de connaissance et sur la durée d’apprentissage.
Un quatrième critère a été proposé par les enseignants, il s’agit de prendre en compte le type des ressources pédagogiques à recommander. Dans notre solution, nous prenons en considération le type pédagogique des REL pour l’adaptation des recommandations avec le style d’apprentissage de l’apprenant.
13.1.2 Opinion des apprenants
Les résultats de l’évaluation globale de notre approche du point de vue des apprenants sont basés sur leurs réponses après avoir consulté les ressources sélectionnées par notre module de recommandations. 60% des répondants de foule factory approuvent la recommandation de ressources pédagogiques externes quand ils n’ont pas répondu correctement à un test d’évaluation d’un cours qu’ils sont en train de suivre. Ils considèrent qu’il s’agit d’une bonne idée et qu’ils suivront certaines des ressources recommandées. 23,8% considèrent qu’il s’agit d’une bonne idée mais ils ont un problème avec le temps qu’ils vont passer pour suivre des ressources supplémentaires.
Le manque de temps supplémentaire dont disposent les apprenants renforce l’importance du critère de la durée d’apprentissage que nous prenons en compte dans notre solution. Cela souligne aussi l’importance de renseigner l’élément de métadonnée sur la durée d’apprentissage dans les entrepôts de descriptions des REL. 14,3% des répondants ne la considèrent pas comme une bonne idée et ils ne veulent pas se disperser en étudiant des ressources externes en plus du cours qu’ils sont en train de suivre. D’autres répondants ont choisi de proposer d’autres réponses que celles proposées dans le questionnaire. Parmi les réponses que nous avons eues il y a celles qui sont pour la proposition de ressources externes. Le répondant dit qu’il trouve que c’est une bonne idée et qu’elle est indispensable. Les deux autres réponses que nous avons reçues mettent en valeur que le fait de ne pas avoir les connaissances suffisantes ou le temps suffisant peut l’empêcher de suivre d’autres ressources. Ceci souligne l’utilité des critères que nous avons définis sur les prérequis des ressources recommandées qui doivent être connus par l’apprenant en plus de la durée d’apprentissage et de la granularité de la ressource. Bien que nous ayons trouvé des éléments de métadonnées dédiés à la description des prérequis des ressources dans certainsbindings RDF(s)/OWL utilisés par les entrepôts de descriptions
de REL, ces éléments ne sont pas renseignés dans la plupart des cas dans les descriptions des REL. 55,2% des répondants de foule factory ont dit qu’ils préfèrent chercher d’autres cours en ligne quand ils ont en train de suivre un cours et ils ont l’impression de ne pas comprendre certaines notions de ce cours. Le reste des répondants préfèrent répéter le même cours. 72,4% de ceux qui préfèrent chercher d’autres cours en ligne, trouvent que les ressources qui leur ont été recommandées leur permettent de gagner du temps par rapport au temps qu’ils auraient du passé à chercher des ressources sur le web.
13.2. Évolution des connaissances des apprenants suite aux recommandations 99 avoir consulté les ressources recommandées, ce qui influence nécessairement leurs réponses.
13.2 Évolution des connaissances des apprenants suite aux
recomman-dations
Après avoir consulté les ressources recommandées pour chacune des trois notions du MOOC, 81,6% des répondants de Foule Factory pensent que les ressources recommandées pour la notion du modèle relationnel leur ont permis d’acquérir de nouvelles connaissances, 69,5% des répondants pensent que les recommandations pour la notion des SGBD leur ont permis d’acquérir des connaissances sur cette notion et 60,5% des répondants trouvent que les ressources portant sur la notion SQL l’ont aidé à apprendre de nouvelles connaissances sur cette notion.
Selon les réponses données par les répondants au même quiz présenté avant et après les recom-mandations pour chacune des trois notions du MOOC, le tableau 13.1 présente les pourcentages des réponses correctes fournies par les répondants. En étudiant les résultats obtenus, nous remarquons une amélioration dans les réponses pour toutes les questions sauf pour une question portant sur la notion du modèle relationnel Q2 − MR pour laquelle le pourcentage des réponses correctes a diminué. Pour comprendre les causes de cette diminution, nous avons commencé par étudier les ressources qui ont été recommandées aux apprenants pour permettre d’acquérir la notion du modèle relationnel. Quatre ressources ont été proposées aux répondants. Parmi ces ressources, il y a une ressource R1 qui ne contient pas l’information sur laquelle porte la question Q2 − MR, deux ressources R2et R3 qui contiennent cette information et une ressource R4 qui contient l’information mais qui est très volumineuse et qui est constituée par 37 modules nécessitant chacun au moins 3 heures pour assimiler leur contenu.
Par la suite, nous avons sélectionné les répondants qui ont fourni des réponses correctes à la question Q2 − MR avant les recommandations et de mauvaises réponses après les recommandations, pour voir qu’elles sont les ressources qui ont été suivies par ces répondants parmi les 4 ressources recommandées. Parmi les 15 répondants qui ont été sélectionnés, nous avons trouvé que 10 répondants ont choisi de suivre la ressource qui ne contient pas l’information traitée dans la questionQ2 − MR et 3 ont suivi la ressource volumineuse. La dégradation des réponses fournies par ces répondants peut être expliquée par le fait qu’ils n’ont pas trouvé la bonne réponse dans la ressource suivie ou qu’ils n’ont pas complètement suivi la ressource à cause de sa longueur. On peut en déduire qu’ils ont donc répondu à la question au hasard sans être sûrs de la bonne réponse.
Il faut aussi noter que deux parmi les trois répondants qui ont choisi de suivre la ressource
R4 ont laissé des commentaires sur sa longueur :beaucoup trop de documents PDF à ouvrir et trop long. D’où vient l’importance des critères définis dans notre approche sur la granularité et la durée
d’apprentissage des REL recommandées et la nécessité donc de renseigner ces informations dans les métadonnées de ces REL pour renforcer leur réutilisation dans le cadre des recommandations.
100 CHAPITRE 13. Résultats de l’évaluation
Modèle relationnel SGBD SQL
Q1MR Q2MR Q3MR Q1SGBD Q2SGBD Q3SGBD Q1SQL Q2SQL
Avant les recommandations 48% 42% 41% 31% 51% 24% 42% 16%
Après les recommandations 76% 34% 52% 41% 68% 28% 43% 20%
Tableau13.1 – Réponses au quiz d’évaluation avant et après les recommandations
Figure13.1 – Pourcentage de satisfaction par rapport à la recommandation de ressources externes dans le cadre d’un cours en ligne