Méthodologie d’évaluation

7.2.1. Pertinence de l’approche

L’objectif étant de permettre la mise en place d’un système d’assistance active dans des applications informatiques dédiées spécifiquement à l’apprentissage en adoptant une approche à base de traces d’interactions. Pour déterminer la pertinence de l’approche, plusieurs questions ont été soulevées (Tableau 7.1) :

- Premièrement, existe-t-il une situation de difficulté et de besoin d’assistance dans les environnements d’apprentissage ?

- Deuxièmement, existe-t-il un désir de mettre en place de l’assistance dans des environnements d’apprentissage de manière proactive, basée sur la détection de difficultés ?

- Troisièmement, une telle approche est-elle réalisable ?, si oui, sera-elle adoptée par les apprenants ?

Tableau 7.1 : Évaluation de la pertinence de l’approche.

7.2.2. Le Modèle IMAC

Une des principales contributions théoriques de notre travail est le modèle IMAC, qui permet la définition et la modélisation de situations d’assistance très variées pour des environnements d’apprentissage. Nous avons cherché à évaluer d’une part sa couverture et son utilisabilité et d’autre part son intérêt pour faciliter la définition de systèmes d’assistance pour les concepteurs d’assistance (Tableau 7.2).

Tableau 7.2 : Évaluation de la pertinence du modèle IMAC.

7.2.3. L’Outil MISNA

Afin de mettre en œuvre la phase de spécification de l’assistance du processus de conception d’un système d’assistance pour un environnement d’apprentissage, nous avons développé un éditeur d’assistance. Cet outil propose deux interfaces, une pour permettre à des concepteurs d’assistance de décrire l’environnement d’apprentissage et une autre, pour définir un système d’assistance composé d’un ensemble de situations d’assistance basées sur le modèle IMAC.

Aspects à évaluer

Méthodes d’évaluation

Critères de validation Évaluation menée

Existence d’une situation de besoin d’assistance

Questionnaire auprès des apprenants

Des apprenants expriment un besoin d’assistance

Questionnaire auprès des

apprenants durant les

expérimentations (sur PowerPoint) Existence d’une volonté de mise en place d’une assistance proactive

Questionnaire auprès des enseignants ayant une expertise dans le domaine des environnements d’apprentissage et de l’assistance pédagogique.

Identification de situations

dans lesquelles des

apprenants ont des difficultés d’apprentissage et qui souhaitent la mise en place d’une assistance pédagogique

Questionnaire auprès des enseignants ayant une expertise

dans le domaine des

environnements d’apprentissage et de l’assistance pédagogique. Faisabilité et adoption de l’approche Implémentation de l’approche proposée

Mise en place de systèmes d’assistance pédagogique dans un environnement d’apprentissage.

Implémentation de l’approche proposée dans l’outil MISNA

Aspects à évaluer

Méthodes d’évaluation Critères de validation Évaluation menée

Couverture et utilisabilité du modèle IMAC

Expérimentation avec des concepteurs d’assistance : définition de systèmes d’assistance à l’aide du modèle IMAC

Définition de systèmes

d’assistance par des concepteurs d’assistance, informaticiens et non informaticiens Expérimentation avec des concepteurs d’assistance : utilisation du modèle IMAC Intérêt du modèle IMAC pour faciliter la spécification de systèmes d’assistance

Questionnaire auprès des concepteurs

d’assistance utilisant le modèle IMAC pour définir une assistance pédagogique

Les concepteurs d’assistance jugent que l’utilisation du modèle IMAC facilite la définition de l’assistance, et qu’il permet à des concepteurs d’assistance de définir une assistance pédagogique adéquate pour les apprenants.

Questionnaire auprès des concepteurs d’assistance utilisant le modèle IMAC.

Pour évaluer cette proposition opérationnelle, nous devons évaluer, d’une part son utilité et d’autre part son utilisabilité par des concepteurs d’assistance, qu’ils soient informaticiens ou non.

Afin de mettre en œuvre la phase d’exécution de l’assistance, nous avons développé un détecteur d’assistance qui s'appuie sur trois (03) modules : un outil pour la collecte de traces, qui permet de collecter les traces d’interactions des apprenants avec l’environnement d’apprentissage, un outil de calcul d’indicateurs, capable de déterminer les indicateurs révélateurs de difficultés rencontrées par les apprenants, et un outil d’assistance, capable de réaliser des actions d’assistance dans l’environnement.

Afin d’évaluer l’exécution de l’assistance dans MISNA, nous devons tout d’abord montrer que MISNA permet l’exécution des situations d’assistance, ensuite, nous devons évaluer la satisfaction des apprenants vis-à-vis de l’assistance proposée (Tableau 7.3).

Tableau 7. 3 : Évaluation de la pertinence de l’outil MISNA.

7.3. L’Expérimentation

Afin d’évaluer les différents aspects de nos propositions, nous avons conduit trois expérimentations de différentes d’aspects :

7.3.1. Spécification de systèmes d’assistance avec MISNA

7.3.1.1. Utilisation du format MAT pour la description de l’environnement d’apprentissage

Nous avons demandé aux enseignants de la matière « Méthodologie » de travailler en

Aspects à évaluer

Méthodes d’évaluation Critères de validation Évaluation menée

Utilité et Utilisabilité de l’éditeur d’assistance de MISNA

Expérimentation avec des concepteurs d’assistance : description de l’environnement d’apprentissage

Utilisation avec succès de l’éditeur de MISNA par des concepteurs d’assistance

Expérimentation avec des concepteurs d’assistance : utilisation de l’éditeur de MISNA

Expérimentation avec des concepteurs d’assistance : définition de systèmes d’assistance

Définition avec l’éditeur de MISNA des situations d’assistance répondant aux choix et aux souhaits des concepteurs

Expérimentation avec des concepteurs d’assistance : utilisation de l’éditeur de MISNA Exécution de l’assistance avec MISNA Expérimentation : exécution d’assistance avec MISNA

L’assistance exécutée correspond aux attentes des concepteurs d’assistance

Expérimentation avec des concepteurs d’assistance : définition puis exécution de l’assistance avec MISNA Acceptation et Efficacité de l’assistance fournie

Expérimentation avec des apprenants

satisfaction des apprenants vis-à-vis de l’assistance proposée

Expérimentation avec des apprenants : satisfaction des apprenants.

collaboration avec les enseignants de la matière « Informatique » en utilisant l’interface de description de MISNA pour décrire le contenu qu’ils souhaitent proposer à leurs apprenants, sous le format MAT (Module, Activité et Tâche).

Le but de cette collaboration est de décrire l’environnement d’apprentissage aussi bien le coté pédagogique, que le coté technique et administratif. A l’issue de cette phase de description, nous avons obtenu comme résultat, une représentation structurée pour notre formation constituée de six (06) modules : Inscription et Connexion, Paramètres, Techniques

de Réalisation, Préparation de la présentation, Réalisation et en fin, Composition et Animation des diapositives. Chaque module se compose d’une ou de plusieurs activités, et

chaque activité se compose, aussi, d’une ou de plusieurs tâches. Pour exemple, le module

Paramètres se compose de deux activités : Paramètres de MISNA et Paramètres d’apprentissage. La première activité, Paramètres de MISNA se compose elle-même de deux

tâches : Paramètres d’utilisation de MISNA et Paramètres du contact (Figure 7.1).

Figure 7. 1 : L’arbre des composants du système d’apprentissage[BEG16].

7.3.1.2.

Création de Situations d’Assistance avec le Modèle IMAC

Dans une deuxième étape, nous avons demandé à notre équipe de concepteurs d’assistance (les enseignants des deux matières : Informatique et Méthodologie) de passer à la deuxième phase de l’expérimentation, phase de spécification du système d’assistance. Grâce à l’interface de spécification de MISNA, les concepteurs ont pu définir 112 situations d’assistance, 51 indicateurs, 67 seuils et 138 propositions. Les situations de besoins

d’assistance sont de différents types ( les propositions produites sont contenu des messages est soit suivre (Figure 7.2).

Figure 7.2

Nous remarquons que la majorité des propositions

Message, ce qui signifie probablement, que les concepteurs jugent que ces deux types sont les

plus adaptés au style d’apprentissage de leurs étudiants.

7.3.2. Exécution du système

Nous avons réalisé une expérimentation d’assistance a été intégré afin

fournie.

Nous avons demandé aux

session de TP d’une durée d’une heure et demie. Nous avons de 40 étudiants, repartis en deux

disponibles. Les étudiants PowerPoint) à partir de texte

Inscription et connection Preparation de présentation 45% 37% 18% Indicateurs

ance sont de différents types (Pédagogique, Technique, Cognitif, M sont de type Message, Modification de l’interface

des propositions de pré-requis, soit des explications des étapes à

.2 : Résultats de la phase de spécification [BEG16]. Nous remarquons que la majorité des propositions est soit de type E

probablement, que les concepteurs jugent que ces deux types sont les plus adaptés au style d’apprentissage de leurs étudiants.

Exécution du système d’assistance avec l’outil MISNA

avons réalisé une expérimentation avec l’outil MISNA dans laquelle

afin d’évaluer l’utilité, l’efficacité et l’acceptation de l’assistance

Nous avons demandé aux étudiants d’utiliser l’environnement de formation pendant une une heure et demie. Nous avons mené l’expérimentation

40 étudiants, repartis en deux (02) groupes de 20 correspondant au nombre de disponibles. Les étudiants devaient réaliser une présentation professionnelle

textes proposés portant sur le domaine de la communication. Les

11% 13% 15% 21% 19% 21% Situations d'assistance

Paramètres Technique de réalisation

Réalisation Composition et animation

Temporelle Interaction Production 41% 12% Propositions d'assistance Exemple Message Modification de l'interface Méthodologique) et odification de l’interface et Exemple. Le

requis, soit des explications des étapes à

Exemple ou de type

probablement, que les concepteurs jugent que ces deux types sont les

MISNA dans laquelle un système d’évaluer l’utilité, l’efficacité et l’acceptation de l’assistance

de formation pendant une expérimentation auprès correspondant au nombre de machines sentation professionnelle (avec la communication. Les

réalisation

animation de diapos 47%

textes proposés sont des thèmes d’exposés réalisés par les étudiants liés à la thématique. À la fin de la création de la présentation, les participants étaient invités à remplir un questionnaire portant sur leur expérience d’utilisation de l’outil MISNA afin de mesurer l’apport des interventions et des propositions d’assistance , où ils donnent leur point de vue sur la pertinence de chaque intervention par un avis de satisfaction ou de non- satisfaction.

7.3.3. Résultats de l’expérimentation

Les 40 apprenants qui composent l’échantillon ont été répartis en trois (03) groupes (Tableau 7.4):

Dans le document Un Modèle d’Adaptation pour un Environnement Virtuel de Formation (EVF) (Page 121-126)