V. Le Serious Game JeStiMulE
3. Le projet JeStiMulE 1 Présentation du logiciel
JeStiMulE est jeu éducatif informatisé élaboré par le Service Universitaire de Psychiatrie de l’Enfant et de l’Adolescent du CHU-Lenval en collaboration avec le Laboratoire de Psychologie Cognitive et Sociale de l’Université de Nice – Sophia Antipolis.
L’acronyme JeStiMulE signifie Jeu Educatif pour la Stimulation Multisensorielle d’Enfants atteints de troubles envahissants du développement.
Il s’agit d’un jeu interactif ayant pour but de réduire les déficits en compétences sociales d’enfants avec TSA.
Ce serious game va permettre d’aider à la reconnaissance de sept émotions (la joie, la tristesse, la peur, la colère, la surprise, le dégoût et la douleur), qu’elles soient exprimées sur des visages, par des gestes mais également en tenant compte d’un contexte situationnel ou communicatif.
JeStiMulE cible un groupe hétérogène de personnes avec Autisme ou Trouble Envahissant du Développement, qu’ils soient lecteurs ou non-lecteurs et avec ou sans déficience intellectuelle.
Il comprend deux phases de jeux ayant chacune des objectifs différents :
Une phase d’apprentissage dont l’objectif est l’apprentissage des émotions sur le visage des avatars ainsi que de gestes émotionnels associés.
Une phase d’expérimentation dont le but est de mettre en contexte les apprentissages de la première phase grâce à une plateforme de jeu en 3 D. L’enfant est amené à analyser de multiples situations dans lesquelles il doit reconnaître et anticiper les émotions des personnages grâce au contexte, qui est à chaque fois différent.
3.2. Phase d’apprentissage
La phase d’apprentissage est constituée de 3 niveaux avec une progressivité croissante.
• Niveau 1 : ce niveau permet d’apprendre à reconnaitre les émotions sur les visages des avatars.
• Niveau 2 : ce niveau permet d’apprendre à reconnaitre les émotions sur les gestes associés aux visages des avatars.
• Niveau 3 : ce niveau permet d’apprendre à reconnaitre les émotions sur les gestes associés aux visages des avatars.
3.2.1. Niveau 1 Il est composé de six jeux.
L’objectif de ce niveau est d’apprendre au joueur à reconnaître les émotions sur les visages d’avatars des deux sexes ayant des âges, des vêtements et des apparences différents.
Il permet également de faire comprendre au joueur l’intérêt de regarder les yeux et la bouche de l’avatar pour pouvoir reconnaître l’émotion qu’il exprime.
Dans un premier temps, l’enfant découvre les émotions proposées par le jeu et que chacune d’elles est associée à une couleur. Puis, lorsque que la règle de priorisation des yeux et de la bouche est apprise, il doit reconnaître des émotions sur le visage d’avatars
d’abord isolés, puis en groupe en faisant une recherche d’intrus (ANNEXE I), permettant ainsi de consolider cette règle.
3.2.2. Niveau 2
Il est composé de sept jeux.
L’objectif est d’apprendre à reconnaître les émotions grâce aux gestes exprimés par des avatars des deux sexes ayant des âges, des vêtements et des apparences différents (ANNEXE II).
L’enfant découvre que les émotions ne s’expriment pas uniquement par le visage mais qu’elles peuvent aussi s’accompagner de gestes et qu’il peut s’en saisir pour deviner l’émotion de l’avatar lorsque son visage n’est pas visible. Cependant, un des jeux de ce niveau lui permet d’apprendre que, si possible, la priorité doit être donnée aux mimiques plutôt qu’aux gestes car ceux-ci ne sont pas toujours émotionnels.
3.2.3. Niveau 3 Il n’y a qu’un jeu.
La reconnaissance des émotions s’effectue sur tous les avatars du jeu et implique trois modalités de réponses : le code couleur, des mots émotionnels et des expressions figuratives. Il doit cliquer successivement sur la couleur, le mot émotionnel et l’expression idiomatique correspondant à l’émotion exprimée par l’avatar.
3.3. Phase d’expérimentation (ANNEXE III)
Elle se décline en 3 modules de jeu comportant 30 scènes chacun, permettant à l’enfant d’expérimenter en réalité virtuelle des interactions sociales réciproques :
19 scènes de reconnaissance, dans lesquelles l’enfant doit tenir compte du contexte pour savoir qu’elle est l’émotion exprimée par les personnages.
7 scènes d’anticipation, dans lesquelles, toujours en se servant du contexte, le joueur doit anticiper l’émotion qui va apparaître sur le visage masqué de l’avatar. 4 scènes de demande de pièces de puzzle où l’enfant doit s’adapter à la situation
de communication selon l’âge de l’avatar, en utilisant « tu » ou « vous » selon qu’il s’agit d’un adulte ou d’un enfant.
Il existe 5 environnements de jeu dans une ville virtuelle.
Chaque environnement comporte plusieurs scènes, qui apparaissent de façon aléatoire, incitant le joueur à y retourner plusieurs fois.
Lorsque la réponse donnée par l’enfant est juste, il gagne une pièce de puzzle. Le module se termine lorsque le puzzle est complété.
A la fin de chaque scène, une fois que le joueur a donné sa réponse, il lui sera proposé un choix d’action. Il doit choisir ce qu’il aurait fait s’il s’était trouvé face à cette scène. 3.4. JeStiMulE : support au développement du lexique émotionnel de
l’enfant avec TSA
Au cours de la progression dans la phase d’apprentissage, du vocabulaire émotionnel est introduit.
A chaque émotion sont associés quatre adjectifs émotionnels, sélectionnés en fonction de leur fréquence grâce à la base de données Manulex, qui fournit les fréquences d'occurrences des mots extraits d'un corpus de 54 manuels scolaires de lecture, pour des niveaux allant du CP au CM2.
Par exemple, pour la joie, les mots donnés sont « content » ou « heureux »…
Des études ont été menées par l’équipe en charge du projet JeStiMulE pour examiner l’impact de son utilisation sur les sujets testeurs au niveau du lexique émotionnel, grâce à une épreuve de fluence passée avant et après les séances de jeu.
Les résultats de ces recherches ont permis de montrer que les participants ont tous amélioré leur score, donnant davantage de mots émotionnels après l’entrainement avec JeStiMulE.