Chapitre 2. Modèle conceptuel et patrons de conception pour les jeux sérieux
V. Évaluation qualitative et discussion sur ces outils méthodologiques
V.3. Évaluation quantitative
Les éléments d’évaluation des 6 facettes et des patrons de conception présentés dans les sections précédentes sont essentiellement qualitatifs, car il est assez complexe de fournir une évaluation quantitative. Je travaille néanmoins sur deux méthodes qui pourront nous donner quelques éléments quantitatifs.
La première méthode est fondée sur le fait que la bibliothèque de patrons de conception de l’équipe MOCAH est disponible en ligne à tout internaute qui peut consulter, noter et commenter les patrons, mais aussi traduire ou proposer de nouveaux patrons. L’approche de l’évaluation que je propose est de récolter les traces des visiteurs, mais aussi leurs commentaires, notes et corrections proposées. J’ai donc mis en place un système de récolte de trace. Il est 18 On appelle aussi « diagramme du point triple » le diagramme de changement d’état.
relativement étendu pour de mesurer l’utilisation des patrons de conception selon plusieurs indicateurs :
– temps passé sur chaque patron de conception (informations sur l’intérêt qu’y portent les visiteurs).
– nombre de liens suivis vers d’autres patrons (indiquer l’efficacité de notre bibliothèque comme langage de patrons)
– taux de retour des visiteurs (indicateur pour savoir si des patrons sont adoptés par leurs utilisateurs)
L’équipe MOCAH a par ailleurs d’autres projets d’indicateurs.
Cette approche de l’évaluation quantitative est limitée par certains aspects. D’une part, en l’absence de « bibliothèque témoin » je ne peux que recueillir des informations sur l’efficacité relative des patrons de conception les uns par rapport aux autres. D’autre part, cette efficacité ne sera pas mesurée en terme d’amélioration de la conception des jeux séreux ou d’aide à la communication entre différents experts, mais seulement en terme d’intérêt des visiteurs pour ces patrons.
La prise de mesure est en cours à l’heure actuelle, car nous avons besoin d’un plus grand nombre de visiteurs uniques pour pouvoir extraire des valeurs significatives : actuellement, et malgré la dissémination scientifique importante [Marne et al., 2011 ; Capdevila Ibáñez et al., 2011 ; Marne et al., 2012a ; Marne et al., 2012b ; Marne & Labat, 2012], la bibliothèque reçoit seulement une moyenne de 6,2 visites par jour. Ce qui représente, à l’heure où ces lignes sont écrites, environ 1200 visiteurs qui y passent plus d’une minute, dont plus de 700 plus de 2 minutes et jusqu’à plus de 2h (la moyenne de la durée des visites des visiteurs connus étant d’environ 4min30).
Pour compenser ces limites, je propose aussi une autre approche de l’évaluation des patrons de conception qui se fonde sur les 6 facettes des jeux sérieux. Étant donné qu’il reste très difficile de mesurer si un jeu sérieux est réussi ou pas, et donc encore plus difficile de savoir si un outil de conception a aidé à réussir un jeu sérieux [Marfisi-Schottman, 2012], je propose de tenter de mesurer la ressemblance entre le jeu sérieux qui a été conçu et celui qui était désiré par l’équipe de conception. C’est-à-dire, mesurer la distance entre les spécifications établies dans les premières étapes de la conception avec les spécifications du produit fini, ou chaque étape de la conception. Pour cela, je propose d’analyser les spécifications grâce à une typologie en cours de mise au point. Cette typologie vise à classer les jeux sérieux et les outils proches (comme les EIAH, les simulations, les jeux vidéo, etc.). Elle se fonde sur les 6 facettes et pour chacune d’elle mesure une valence. Par exemple, pour la facette Conditions d’utilisation (voir p.39), certains projets ont tendance à bien définir dès le départ comment le jeu sérieux sera utilisé par les apprenants-joueurs (c’est le cas de Donjons & Radon). Dans d’autres projets de jeu sérieux, les concepteurs ne définissent pas précisément les conditions d’utilisation et préfèrent laisser plus de liberté, c’est-à-dire en laisser l’usage déterminer ces conditions. Il s’agit donc de deux valences opposées correspondant à la 6e facette : d’un côté la définition précise des conditions d’utilisation, de l’autre laisser ouvertes les possibilités d’utilisation. À l’instar de [Marfisi-Schottman & George, 2012 ; Marfisi-Schottman, 2012] qui
utilisent une grille d’évaluation des jeux sérieux fondée sur les 6 facettes de la conception des jeux sérieux, nous avons l’intention de construire des questionnaires, afin de mesurer ces valences pour les 6 facettes. La mesure des valences pour chacune des facettes nous permet d’établir un type pour le jeu sérieux mesuré (voir les exemples de stéréotypes présentés sur la Figure 18).
Figure 18 : Exemples de stéréotypes de produits déterminés grâce aux valences liées à chacune des
6 facettes de la conception des jeux sérieux.
La mesure que je propose est donc de déterminer dès que possible dans la phase de conception le type du jeu sérieux désiré grâce à ses valences, puis de mesurer en fin de conception ou après la réalisation le type final du jeu sérieux et de les comparer. En comparant les différences de types et de valences initiaux et finaux entre les jeux sérieux conçus avec et sans les patrons de conception, nous aurons une autre mesure quantitative de leur efficacité : l’efficacité à aider les concepteurs à rester fidèles au type de jeu sérieux qu’ils voulaient concevoir. Jeu de simulation Définition des objectifs pédagogiques Précision de la simulation du domaine Interfaçage ludique avec la simulation Mélange pédago-ludique de la progression Développement du décorum Définition des conditions d’utilisation
EIAH sans simulation
Définition des objectifs pédagogiques Précision de la simulation du domaine Interfaçage ludique avec la simulation Mélange pédago-ludique de la progression Développement du décorum Définition des conditions d’utilisation
Jeu sérieux à métaphore extrinsèque Définition des objectifs pédagogiques Précision de la simulation du domaine Interfaçage ludique avec la simulation Mélange pédago-ludique de la progression Développement du décorum Définition des conditions d’utilisation
Jeu sérieux à métaphore intrinsèque Définition des objectifs pédagogiques Précision de la simulation du domaine Interfaçage ludique avec la simulation Mélange pédago-ludique de la progression Développement du décorum Définition des conditions d’utilisation