Chapitre 6. Evaluation des propositions
6.2 Méthodologie
6.2.1 Choix méthodologiques
Nous avons adopté une méthode d’évaluation comparative, c'est-à-dire que nous comparons une situation de conception avec et sans MIRLEGADEE. Nous pouvons ainsi comparer à la fois les différences de démarche et les résultats produits dans les deux situations. Comme nous découpons l’expérimentation en deux phases, la première pour décrire globalement un MRLG, la seconde pour définir les interactions détaillées du scénario, chaque groupe fera une partie avec et une partie sans MIRLEGADEE,
Nous proposons deux sujets (i.e. deux cahiers des charges pour la conception de MRLG) différents, le premier sur les châteaux forts, incite à utiliser des dispositifs mobiles, le second sur la construction d’EcoQuartiers incite à utiliser des dispositifs fixes. Nous cherchons à la fois à évaluer la capacité de MIRLEGADEEE à assister la conception de plusieurs types de MRLG différents, et à éliminer un biais éventuel lié à un sujet précis.
Ainsi, nous formons 4 groupes de participants, comme le montre le Tableau 16. Nous prévoyons 5 participants par groupe, avec des profils équivalents dans chaque groupe si possible.
Sujet 1 : les Châteaux forts
Sujet 2 : les EcoQuartiers Phase 1 avec MIRLEGADEE
Phase 2 sans MIRLEGADEE Groupe 1 Groupe 2
Phase 1 sans MIRLEGADEE
Phase 2 avec MIRLEGADEE Groupe 3 Groupe 4
Tableau 16 - Formation de 4 groupes pour l'expérimentation
6.2.2 Protocole expérimental
Afin de focaliser l’évaluation sur les points qui nous intéressent, et non sur la scénarisation qui est en grande partie réalisée par l’environnement LEGADEE, nous divisons notre évaluation en deux phases : la description globale d’un MRLG, puis la décomposition d’une séquence en actions (Tableau 17). Les documents complets accompagnant l’évaluation sont disponibles en annexe (Annexe VII).
Tableau 17 - L'évaluation est découpée en deux phases
6.2.2.1 Phase 1 : Description globale d’un MRLG
Dans la phase 1, les participants doivent concevoir un MRLG à partir d’un sujet imposé. Ils ont 1h15 pour définir les éléments qui interviennent dans le MRLG ainsi que l’organisation globale. La durée est volontairement courte pour que les participants restent dans la description amont des MRLG et ne détaillent pas le scenario. Les cahiers des charges donnés aux participants (présentés dans l’Annexe VII, p.286 et p292) donnent la consigne suivante:
« Dans le cadre de cette mission de conception d’un Learning Game innovant, vous devez définir les objectifs pédagogiques et ressorts ludiques du Learning Game, l’environnement dans lequel il va se dérouler et la façon dont est utilisée la Réalité Mixte. Vous devez aussi prévoir le déroulement global du scénario. L’objectif est de fournir une base de discussion à l’ensemble des membres du projet, qu’il s’agisse des experts du domaine (les enseignants), des game designers, ou des développeurs. »
Nous évaluons dans cette phase la capacité de MIRLEGADEE à aider le concepteur à mieux définir le projet (H1), à le soutenir dans l’étape de génération
Phase 2 : Décomposition d'une séquence en actions
Groupes 1 et 2 sans MIRLEGADEE Groupes 3 et 4 avec MIRLEGADEE
Phase 1 : Description globale d'un MRLG
d’idées et dans le choix des types de jeux, ressorts de jeux et dispositifs de Réalité Mixte (H2), et à formaliser ses idées d’un point de vue global (H3a). Pour cette phase, nous avons fourni à chaque concepteur les documents suivants :
• Introduction à l’expérimentation, qui présente le but de l’expérimentation, ce qu’est la Réalité Mixte, et quelques conseils de conception (disponible en annexe p.282)
• Le cahier des charges correspondant à leur sujet : château fort (disponible en annexe p.286) ou EcoQuartier (disponible en annexe p.292)
• La description de MIRLEGADEE pour les groupes 1 et 2 • Un carnet de route à compléter
6.2.2.2 Phase 2 : Description globale d’un MRLG
Durant la phase 2, nous demandons aux participants de découvrir un MRLG avec MIRLEGADEE, répondant au même cahier des charges que le jeu qu’ils devaient concevoir dans la partie 1. Ils ont pour cela 30 minutes s’ils ont utilisé MIRLEGADEE dans la phase 1, ou 45 minutes sinon. Ensuite, ils doivent décomposer une séquence imposée (la séquence est le niveau intermédiaire de description du scénario) en actions élémentaires. C'est-à-dire qu’ils doivent préciser comment chaque séquence sera réalisée concrètement.
Nous évaluons dans cette seconde phase la capacité de MIRLEGADEE à décrire précisément un scénario au travers d’une décomposition en actions (H3b), mais aussi celle des concepteurs à comprendre un scénario décrit dans MIRLEGADEE (H3c).
Pour cette phase, nous avons fourni à chaque concepteur les documents suivants : • La description de MIRLEGADEE pour les groupes 3 et 4
• Un carnet de route à compléter
• Le scénario à compléter était fourni en xml, et devait être importé et consulté avec MIRLEGADEE (le MRLG réalisé pour le sujet 1 est présenté en Annexe V).
6.2.2.3 Organisation des sessions
Notre expérimentation est individuelle, mais demande 4 heures par personne. Nous avons regroupé les participants par sessions. Ils étaient donc rassemblés dans une même pièce, chacun sur son ordinateur.
Nous avons effectué notre expérimentation en 6 sessions :
• Deux sessions dans le cadre de notre laboratoire. Elles regroupaient des enseignants-chercheurs, des doctorants, ainsi qu’un concepteur de formations travaillant pour la SNCF.
• Deux sessions avec des concepteurs de formations professionnelles, d’abord dans la société Symetrix (Grenoble) (Figure 105), spécialisée
dans la conception de serious games, puis à l’Université du Service de la SNCF (Paris).
• Une session dans le laboratoire LIP6 (Paris), avec des membres de l’équipe de recherche.
• Une session à l’UTES (Figure 105) avec une classe de 10 étudiants en Master 2 Ingénierie de la formation en ligne30 (la plupart étant enseignants en formation continue).
Figure 105 - Deux sessions d'expérimentation : à Symetrix (à gauche) et à l'UTES (à droite)
Nous avons assisté à l’ensemble des expérimentations à l’exception d’une, pour laquelle le concepteur a effectué la seconde partie de l’évaluation seul, à un autre moment. Nous avons cherché à recruter essentiellement des enseignants ou formateurs, ayant des connaissances dans les Learning Games.