Génération de scénarios textuels formels avec SDLD-Editor

Chapitre 4 : Implémentation du Modèle SDLD : SDLD-Editor

4.3. Conception d’un scénario avec l’éditeur SDLD-Editor

4.3.2. Génération de scénarios textuels formels avec SDLD-Editor

Le deuxième type d’instance de scénario que peut générer l’éditeur est sous forme XML, ce qui lui permet d’être exécuté sur des systèmes de gestion d’apprentissage. Le scénario généré est conforme au modèle SDLD mais peut être transformé vers d’autres langages ou standards comme IMS-LD pour permettre l’interopérabilité entre les différents systèmes d’apprentissage. La Figure 4.11 montre un exemple d’un scénario conforme à SDLD sous forme XMI généré à l’aide de SDLD-Editor.

Figure 4.11 : Un scénario pédagogique conforme à SDLD sérialisé avec XMI.

4.4. Conclusion

SDLD-Editor est un environnement de conception basé sur le modèle SDLD. Il a fait l’objet de plusieurs versions successives, visant à mettre en œuvre des solutions différentes en termes d’interface graphique et de partage de ressources, au sein de communautés d’enseignants.

SDLD-Editor a fait l’objet d’expérimentations auprès de praticiens de l’enseignement supérieur. Ces expérimentations visaient essentiellement à valider la représentation visuelle du scénario que nous proposons, et à enrichir le système avec des gabarits, des patrons et des composants réutilisables, qui puissent permettre de nouvelles pratiques de partage et de réutilisation des scénarios.

<?xml version="1.0" encoding="UTF-8"?>

<SDLD:LearnerCenteredScenario xmi:version="2.0" xmlns:xmi="http://www.omg.org/XMI"

xmlns:SDLD="http://www.example.com/StructureDialogieLearningDesign"> <learners LearnerCategoryName="assistant le cours"

degreeOfautonomy="High"/>

<structures StructureDescription="strcuture avec moins de choix

d'activitÃ©s ni de stratÃ©gie d'apprentissage" Concerns="//@learners.1"> <objectives/> <strategies/> <containSpecific SpecificObjectiveDescription=""/> <containActivity Level="Collective"/> </structures> <structures DegreeOfFlexibility="Moderate"

StructureDescription="structure avec plus de choix aux apprenants" Concerns="//@learners.0"/>

Chapitre 5 :

Expérimentation

du Modèle SDLD et

de SDLD-Editor

Génération de Scénarios d’Activités Pédagogiques Interactives pour un Environnement Virtuel de Formation (EVF) 77

Chapitre 5 :

Expérimentation de SDLD

et SDLD-Editor

5.1. Introduction

Après la conception du modèle SDLD et le développement de son environnement SDLD-Editor, nous avons expérimenté l’outil auprès d’une population de praticiens. Ce chapitre est consacré à la présentation des résultats de cette expérimentation. Menée dans des conditions réelles d’utilisation, l’objectif est de confronter, au modèle SDLD d’une part, et à l’environnement SDLD-Editor d’autre part, des praticiens qui ont une expérience en conception pédagogique des unités d’apprentissage déployées à distance ou en ligne. Il s’agit, principalement, de recueillir des données sur l’utilité et l’utilisabilité du modèle et de l’environnement. L’expérimentation est consacrée à l’évaluation du modèle SDLD, puis à celle de l’éditeur SDLD-Editor.

L’évaluation du modèle SDLD consiste en la création, sous forme textuelle, de scénarios pédagogiques. Elle est réalisée auprès d’enseignants participants d’abord à une formation sur la scénarisation pédagogique et l’utilisation de SDLD. Elle a pour objectif d’évaluer la réponse aux besoins d’expressivité et de formalisation du scénario pédagogique ainsi qu’au besoin de contrôlabilité de la qualité du scénario. Pour l’évaluation de l’éditeur, les enseignants ont été amenés à implémenter leurs scénarios, déjà créés à l’aide de SDLD, dans l’environnement.

5.2. Contexte de l’expérimentation

L’objectif de cette première expérimentation est de confronter au modèle SDLD et à l’environnement SDLD-Editor des praticiens issus de notre public cible identifié (enseignants appelés à concevoir un apprentissage à distance et/ou en ligne). Les résultats escomptés sont particulièrement en termes d’utilisabilité, d’expressivité, d’utilité, de flexibilité, de réutilisabilité, et de contrôlabilité de la qualité des scénarios pédagogiques.

Génération de Scénarios d’Activités Pédagogiques Interactives pour un Environnement Virtuel de Formation (EVF) 78

5.3. Objectifs de l’expérimentation

L’objectif de cette expérimentation vise à tester auprès de praticiens la facilité d’utilisation du modèle SDLD et de son éditeur ainsi que l’intérêt de leur adoption pour faciliter le développement de la conception d’apprentissage en ligne et à distance. Elle vise en particulier à tester les hypothèses formulées au chapitre 1.

Nous rappelons les hypothèses formulées :

- (H1) : un formalisme graphique qui s’accorde avec le vocabulaire métier des praticiens est plus

propice à l’utilisation qu’un formalisme computationnel ou narratif ;

- (H2) : l’intégration des déterminants de la qualité de scénario lors de sa création facilite la

contrôlabilité de sa qualité ;

- (H3) : l’intégration de la modélisation d’apprenants dans la modélisation de la situation

d’apprentissage permet de fournir une description adaptable aux besoins des apprenants et aux objectifs de l’enseignant.

- (H4) :l’utilisation et la réutilisation de Structures et Dialogues comme des outils de conception

permettent aux praticiens d’élaborer plus efficacement un scénario.

5.4. Méthodologie de l’expérimentation

Cette expérimentation a été menée en Octobre 2015 à l’Ecole Nationale Supérieure d’Informatique (ESI) située à Oued-Smar à Alger durant une semaine. Six (06) enseignants en informatique et une (01) enseignante en électronique ont participé à l’expérimentation. Les participants ont comme caractéristique commune d’avoir une expérience dans la conception de cours à distance et/ou en ligne. Parmi les participants, deux (02) ne possèdent aucune compétence sur le concept d’EML, et les autres sont plus familiarisés avec le langage IMS-LD. De plus, aucun des participants n’a déjà utilisé des langages de modélisation pédagogique dans leurs pratiques.

L’expérimentation a été menée sur trois (03) phases :

- 1ère_{Phase : Phase d’introduction}

Cette phase s’est déroulée en deux sessions de deux (02) heures durant le premier jour de l’expérimentation. Elle a consisté en la présentation du modèle SDLD, présentation de l’éditeur SDLD-Editor qui supporte l'utilisation du modèle ainsi que l’explication de la méthode de son utilisation. L’explication est enrichie par une illustration d’utilisation à travers un exemple de scénarisation. Cette phase représente ainsi la première étape pour révéler les objectifs et la

Génération de Scénarios d’Activités Pédagogiques Interactives pour un Environnement Virtuel de Formation (EVF) 79 méthodologie de l’expérimentation. Parallèlement, elle est destinée à répondre à toutes les questions des participants concernant leurs rôles dans l’expérimentation.

- 2ème_{Phase : Phase de scénarisation}

Cette phase s’est effectuée en trois (03) jours, durant lesquels les enseignants ont été amenés à modéliser leurs cours (chacun selon sa discipline et la matière qu’il enseigne) en utilisant le modèle SDLD. D’un côté, les participants étaient appelés à remplir un format textuel de scenario (sous forme de tableau) qui leur a été fourni (Annexe A). D’un autre côté, ils ont été appelés à créer des scénarios graphiques en utilisant SDLD-Editor (qui supporte le modèle SDLD).

- 3ème_{Phase : Phase de recueil des résultats}

Cette phase s’est déroulée sur une (01) journée, en répondant à un questionnaire en ligne de 14 questions sur l’expérience de modélisation pédagogique avec SDLD (Annexe B). Deux (02) types de question : des questions à choix unique (Oui, Non, ou NSP) et des questions sur une échelle allant de 1 à10. Pour ce dernier type, un classement entre 1 et 4 a été considéré comme un «Non», entre 4 et 6 «NSP», et «Oui» dans les autres cas. Un champ commentaire a été alloué à chaque question pour recevoir plus d'explications. Un champ a également été ajouté à la fin du questionnaire, où les participants pouvaient ajouter des commentaires, d es observations ou encore des suggestions.

5.5. Résultats

Les résultats de l’expérimentation ont été groupés en cinq (05) catégories, selon les critères de l’évaluation du modèle et de l’éditeur :

1- Utilisabilité : Pour mesurer la facilité d’utilisation de SDLD et de SDLD-Editor, trois (03) questions

d’ordre général ont été posées.

- Pour la première et la troisième question, les participants sont invités à noter la difficulté de

scénarisation avec SDLD et SDLD-Editor, sur une échelle allant de 1 (Facile) à 10 (Difficile).

- La deuxième question concerne l’efficacité d’utilisation de la théorie de la distance

transactionnelle TDT lors de la scénarisation et est à choix unique avec une possibilité d’apporter un commentaire (Annexe B). Nous avons fait le choix de présenter les réponses en les regroupant par questions, et non en les présentant selon le formalisme auquel étaient exposés les participants (Tableau 5.1).

Génération de Scénarios d’Activités Pédagogiques Interactives pour un Environnement Virtuel de Formation (EVF) 80

Question /Réponse Oui Non NSP

Difficulté d’utilisation de SDLD 3 3 1

Est-ce que vous pensez que l’utilisation de la théorie (degré d’autonomie, de flexibilité et de dialogue) est

appropriée pour concevoir vos cours ? 5 2

Difficulté d’utilisation de SDLD-Editor 3 1 3

Tableau 5.1 : Résultats de l’évaluation de l’utilisabilité de SDLD et de SDLD-Editor.

En ce qui concerne l’utilisation du modèle SDLD, seul un (01) enseignant l’a estimé comme Moyen, les autres participants ont eu des réponses opposées. Trois (03) ont trouvé que le modèle était Difficile à utiliser, et les trois (03) autres l'ont trouvé plutôt Facile à utiliser.

Les résultats sur l’efficacité de l’utilisation de la théorie de la distance transactionnelle (TDT) dans la scénarisation des cours à distance étaient positifs, où cinq (05) sur les sept (07) participants ont convenu qu’elle est Efficace. Les autres n'ont pas donné d’explication à leurs réponses négatives. Par rapport à l’utilisation de SDLD-Editor, trois (03) participants l’ont jugé Difficile, trois (03) plutôt

Moyen, et un (01) comme Facile.

Sur la base de ces résultats, nous constatons que la majorité des participants considèrent l'approche SDLD utilisable pour modéliser leurs cours en ligne.

2- Expressivité : Pour évaluer l’expressivité de SDLD par rapport aux EMLs existants et pour savoir si

les concepts de SDLD sont compréhensibles par les praticiens, nous avons demandé aux participants de répondre à deux (02) questions (Tableau 5.2).

- La première question concerne quatre (04) concepts comparés à un concept dans IMS-LD ; - La deuxième, concernant l’expressivité du modèle SDLD, est plus générale.

Questions / Réponses Oui Non

Est-ce que vous pensez que l'utilisation des quatre concepts (teacher-to-learner dialogue, learner-to-learner dialogue, learner-to- resource dialogue, learner-to-interface dialogue) est plus expressive que l’utilisation d’un seul concept qui permet de représenter les quatre types d’interaction ?

6 1

Identifiez-vous des problèmes avec les concepts du modèle SDLD ? 4 3

Génération de Scénarios d’Activités Pédagogiques Interactives pour un Environnement Virtuel de Formation (EVF) 81 Pour l'expression des concepts des types d'interactions, seul un (01) participant pense qu'ils ne sont pas Efficaces, les six (06) autres participants ont déclaré que les quatre (04) nouveaux concepts leur ont permis de mieux réfléchir sur l'utilité de chaque type d'interaction par rapport aux activités d'apprentissage proposées.

Les réponses concernant la compréhension générale des concepts de SDLD ont montré que quatre (04) des participants ont eu des problèmes de compréhension qui sont plutôt relatifs à la manipulation des concepts dans l'outil de création (SDLD-Editor) et non pas aux concepts..

3- Utilité : Une série de quatre (04) questions a été posée aux participants pour évaluer l’utilité du modèle

SDLD, particulièrement pour savoir s’il répond, selon les enseignants, aux besoins des apprenants et aux objectifs d’enseignement. Le tableau 5.3 présente les résultats obtenus pour les trois (03) questions à choix unique. La quatrième question demande l'avis des participants sur l'aspect le plus utile dans l’utilisation de SDLD. Les réponses à cette question sont directement discutées avec le reste des réponses.

Question /Réponse Oui Non NSP

Pensez-vous que l'utilisation de SDLD dans un

contexte à distance et/ou en ligne est utile ? 3 3 1

Est-ce que SDLD permet à l'enseignant de répondre

aux besoins des Apprenants ? 5 2 /

Est-ce que SDLD répond aux objectifs des enseignants

lors de la scénarisation ? 6 1 /

Tableau 5.3.Résultats relatifs à l'évaluation de l'utilité de SDLD

Par rapport à l'utilité de l'approche de modélisation avec SDLD, un enseignant l’a jugé Moyenne, les autres participants avaient des estimations différentes. Trois (03) d'entre eux ont trouvé que l'approche était utile contrairement aux trois (03) autres participants. Pour obtenir plus de détails, une autre question a été suggérée aux participants portant sur l’aspect le plus utile dans SDLD. A cette question, les participants ont évoqué l'outil de modélisation graphique, les paramètres de la théorie TDT (le degré de dialogue, le degré d'autonomie, et le degré de flexibilité), les quatre types d'interaction qui les ont aidés à choisir les types d'activités à offrir ainsi que le fait que SDLD leur a permis de définir clairement leurs objectifs pédagogiques. Nous avons également demandé aux enseignants si SDLD leur permet

Génération de Scénarios d’Activités Pédagogiques Interactives pour un Environnement Virtuel de Formation (EVF) 82 de prendre en compte les besoins des apprenants lors de la scénarisation. Cinq (05) participants ont eu des réponses affirmatives, seulement deux (02) ont donné des réponses négatives. L'un d'entre eux pensait que tester le scénario résultant était nécessaire, tandis que l'autre a suggéré d'ajouter des indicateurs concernant le degré de flexibilité, le degré de dialogue et le degré d'autonomie afin de juger cet aspect.

Dans le même contexte, les participants devaient répondre à une question plus générale : est ce

que SDLD répond aux objectifs de l'enseignant lors de la planification du cours?’. L’ensemble des

participants ont donné une réponse affirmative (7/7) parce que, selon eux, SDLD les a guidés dans la définition des activités en fonction des objectifs d'apprentissage prévus et selon la LDQ désirée. Cependant, ils pensent que les utilisateurs potentiels de SDLD doivent d’abord maîtriser la théorie TDT pour profiter pleinement des possibilités qu’offre cette théorie.

Ainsi, sur la base des réponses à ces quatre (04) questions, nous pouvons affirmer que la majorité des participants ont trouvé SDLD Utile pour modéliser des unités d'apprentissage à distance et/ou en ligne.

4- Flexibilité et réutilisabilité : Les participants ont été interrogés sur la facilité de modification des

scénarios créés avec SDLD (Tableau 5.4). Trois (03) sur les sept (07) ont donné des réponses négatives, dû, selon eux, à la terminologie qui ne leur est pas familière et à la courte durée d'utilisation.

Questions / Réponses Oui Non NSP

Pensez-vous que le scénario exprimé avec

SDLD est facilement modifiable ? 4 3 /

Pensez-vous que le scénario exprimé avec

SDLD est facilement réutilisable ? 3 3 1

Tableau 5.4 : Résultats relatifs à l'évaluation de la flexibilité et la réutilisabilité de SDLD.

Une autre question a été proposée aux participants qui porte sur la facilité de réutilisation des scénarios pédagogiques crées avec SDLD. Les réponses des participants ont été variées. Un (01) participant n’avait Pas d'Avis sur ce point, trois (03) ont donné des réponses Affirmatives et les autres participants ont donné des réponses Négatives.

Génération de Scénarios d’Activités Pédagogiques Interactives pour un Environnement Virtuel de Formation (EVF) 83 À travers les commentaires, ce résultat est expliqué par le peu de temps consacré à l’expérimentation : en effet, les participants ne disposaient pas suffisamment de temps pour réutiliser dans des contextes différents les scénarios pédagogiques qui ont été créés par les enseignants.

5- Contrôlabilité : Pour évaluer la contribution de SDLD pour contrôler la qualité des scénarios

pédagogiques deux (02) questions ont été proposées (Tableau 5.5).

Questions / Réponses Oui Non NSP

Pensez-vous que SDLD permet une contrôlabilité

de la qualité de vos scénarios ? 4 3 /

Est-ce qu’il vous serait approprié que l’éditeur de scénario vous permet de mesurer et d’afficher une mesure de qualité en correspondance avec les degré d’autonomie, de flexibilité et de dialogue que vous spécifiez ?

5 / 2

Tableau 5.5 : Résultats relatif à l’évaluation de la contrôlabilité de la qualité des scénarios pédagogiques dans SDLD.

Selon les réponses, quatre (04) sur sept (07) participants ont indiqué que la spécification des degrés d'autonomie, de dialogue et de flexibilité leur a permis d'être plus conscients de la qualité des scénarios dans chaque étape du processus de création des scénarios pédagogiques. Les trois (03) autres participants ne sont pas complètement en désaccord sur la contrôlabilité de SDLD, mais avaient souhaité disposer d'indicateurs numériques mesurables pour les déterminants de la qualité. En outre, ils ont préféré avoir des indicateurs d'erreur afin de comparer ce qui était attendu avec ce qu'ils ont réalisé dans leurs scénarios. Pour la deuxième question, sur l'amélioration de SDLD-Editor en fournissant un système de mesure de qualité, qui mesure et affiche un indicateur de LDQ lors de la modélisation des unités d'apprentissage, les résultats obtenus correspondent aux commentaires qui ont été recueillies dans la précédente question. On relève qu’aucun participant n’a nié l'utilité d’un tel add-on dans l'outil de création des scénarios (SDLD-Editor).

Enfin, les participants ont été invités à soumettre des commentaires, des observations et des suggestions, et la plupart des commentaires recueillis ont concerné essentiellement SDLD-Editor. En effet, Ils ont suggéré des 'améliorations pour être plus intuitif, ergonomique et facile à utiliser, sachant qu’il est dédié à des enseignants sans connaissances techniques au préalable. Ils ont également suggéré la proposition d’une méthode de conception d’un logiciel qui masque et facilite la complexité de la théorie TDT de sorte que l'enseignant-concepteur n’aura pas à maîtriser la TDT pour pouvoir utiliser

Génération de Scénarios d’Activités Pédagogiques Interactives pour un Environnement Virtuel de Formation (EVF) 84 SDLD.

5.6. Discussion et Interprétation

En comparaison avec les EMLs existants, à travers l’utilisation de SDLD pour modéliser des unités d’apprentissage, nous pouvons résumer les résultats que nous avons obtenus comme suit:

 La modélisation des unités d’apprentissage avec les EMLs de création existants prouvent une rigidité à créer une variété de structures pour la même unité. La modélisation de l’unité IBL (Chapitre 4), par exemple, impliquerait que l’enseignant-concepteur doit créer deux différents scénarios pour exprimer les deux structures de la même unité. La modélisation ainsi faite parait appropriée mais manque d’optimalité, et aussi, le fait qu’il n’est pas possible de définir la relation entre les deux scénarios ni de lier le scénario à son contexte d’utilisation. Ce problème se complique davantage dans le cas où plusieurs structures sont définies pour la même unité. Par contre, SDLD offre une meilleure flexibilité dans la définition des structures pour la même unité d’apprentissage et en plus, il permet également de lier chaque structure à son contexte (learner category).

 Il est possible de modéliser l’unité IBL avec les EMLs de création existants. Cela exige de l’enseignant-concepteur la création de deux scénarios différents pour exprimer les deux structures de la même unité. La modélisation ainsi faite parait appropriée mais pose un problème de manque d’optimalité, notamment le fait qu’il n’est pas possible de définir la relation entre les deux scénarios ni de lier le scénario à son contexte d’utilisation. Ce problème se complique davantage dans le cas où plusieurs structures sont définies pour la même unité. Ainsi, les EMLs de création existants montrent une rigidité à créer une variété de structures pour la même unité. Par contre, SDLD offre une flexibilité dans la définition des structures pour la même unité d’apprentissage, et en plus, il permet également de lier chaque structure à son contexte (learner category).

 Dans les EMLs existants (formels et semi formels), il n’est pas possible de distinguer les différents types d’interaction prévues dans l’unité d’apprentissage. Par exemple, dans IMS-LD, les interactions dans l’unité IBL pourraient être modélisées en utilisant le concept de role-part. Dans chaque role-part, l’enseignant-concepteur affecte une activité à un rôle. Donc l’activité « participate in a war room session », par exemple, serait affectée au rôle Enseignant et au rôle Apprenant pour désigner deux role-part qui appartiennent à un même act. L’analyse de la convivialité du concept role-part a confirmé la difficulté pour les enseignants-concepteurs

Génération de Scénarios d’Activités Pédagogiques Interactives pour un Environnement Virtuel de Formation (EVF) 85 d’affecter la même activité aux différents rôles. En plus, les praticiens n’arrivent pas à comprendre la nécessité de combiner un rôle et une activité dans un autre concept « role-part » [67]. Cela est dû à l’utilisation des métaphores et des concepts qui sont loin des pratiques des enseignants pour modéliser la facette interactionnelle de l’unité d’apprentissage. Ce point n’a pu être remédié même dans les EMLs semi formels. Dans SDLD, l’utilisation des catégories de dialogue permet à l’utilisateur d’affecter chaque activité à un ou plusieurs types d’interaction. L’intégration de chaque type se fait selon ce que l’Enseignant-Concepteur estime comme

Dans le document Génération de scénarios d’activités pédagogiques interactives pour un environnement virtuel de formation (EVF) (Page 94-134)