Modélisation des erreurs réalisées par un apprenant humain en environnement virtuel de formation

(1)

Mod´ elisation des erreurs r´ ealis´ ees par un apprenant humain en

environnement virtuel de formation

Rapport de stage

Thanh Hai Trinh (tthai@ifi.edu.vn)

Encadrant :

C´ edric Buche (buche@enib.fr)

Laboratoire :

Centre Europ´ een de R´ ealit´ e Virtuelle (CERV) ´ equipe AR´ eVi Laboratoire d’Informatique des Syst` emes Complexes (LISyC, EA 3883)

Universit´ e Europ´ eenne de Bretagne Ecole Nationale d’Ing´ enieurs de Brest

28 juillet 2008

(2)

Remerciements

Je tiens tout d’abord ` a remercier les professeurs informatiques et fran¸ cais de Institut de la Francophonie pour l’Informatique (IFI) qui nous ont donn´ e les cours durant les ann´ ees de Master.

Je souhaite ´ egalement remercier M. Jacques Tisseau, directeur du Centre Euro- p´ een de R´ eealit´ ee Virtuelle (CERV) pour m’avoir accueilli dans son laboratoire pour effectuer le stage de fin d’´ etude, et M. C´ edric Buche, mon encadreur de stage pour son aide pr´ ecieuse et son encouragement.

Enfin, je remercie aussi les personnes du CERV pour leur sympathie et leur

accueil. Merci Fabien et Nico pour m’avoir corrig´ e ce rapport de stage et mes trans-

parents de soutenance.

(3)

Table des mati` eres

Remerciements i

Table des figures iv

Liste des tableaux vi

Introduction 1

1 Contexte du stage 3

1.1 Syst` eme Tutoriel Intelligent . . . . 3

1.2 Mod` ele des erreurs dans ITS existant . . . . 6

1.3 Recherche des causes des actions erron´ ees . . . . 7

1.3.1 La m´ ethode CREAM . . . . 7

1.3.2 Automatisation de CREAM . . . . 9

1.4 Bilan . . . . 10

2 Impl´ ementation de CREAM 12 2.1 Repr´ esentation du sch´ ema de classification . . . . 12

2.2 Description du contexte . . . . 16

2.3 Mod` eles des liens cons´ equences-ant´ ec´ edents . . . . 16

2.4 Recherche des causes . . . . 17

2.5 R´ esultat . . . . 18

3 Int´ egration d’analyse r´ etrospective ` a l’ITS existant 22 3.1 Reconnaissance de plans de l’apprenant dans EVF . . . . 22

3.2 Classification des actions erron´ ees selon le sch´ ema de CREAM . . . 23

3.2.1 D´ etection des actions erron´ ees du ph´ enotype S´ equence . . . . 23

3.2.2 D´ etection des actions erron´ ees du ph´ enotype Mauvais objet . 24 3.2.3 D´ etection des actions erron´ ees du ph´ enotype Temps/Dur´ ee . 25 3.3 Exp´ erimentations . . . . 26

3.3.1 Protocole : application GASPAR . . . . 26

(4)

3.3.2 R´ esultats . . . . 30

Conclusion 41

Glossaire 42

Bibliographie 43

Annexes 45

A R´ esultats de l’analyse r´ etrospective 45

(5)

Table des figures

1 Une sc` ene sous l’application S´ ecuR´ eVi . . . . 1

1.1 Architecture d’un ITS . . . . 3

1.2 Les mod` eles de l’ITS . . . . 4

1.3 Mod` ele des erreurs dans le processus p´ edagogique . . . . 5

1.4 Travail proc´ edural en ´ equipe dans MASCARET . . . . 6

1.5 Diff´ erents types d’erreurs . . . . 7

1.6 La classification des actions erron´ ees . . . . 7

1.7 Les cat´ egories des g´ enotypes . . . . 8

1.8 Exemple du lien entre ph´ enotype-ant´ ec´ edent . . . . 8

1.9 Exemple du lien entre cons´ equent-ant´ ec´ edent . . . . 9

1.10 Analyse r´ etrospective . . . . 9

1.11 Graphe causal . . . . 10

2.1 CREAM Navigator . . . . 13

2.2 Exemple du lien entre cons´ equence-ant´ ec´ edent . . . . 13

2.3 R` egles reps´ esentant le lien cons´ equence-ant´ ec´ edent . . . . 13

2.4 Repr´ esentation les ph´ enotypes . . . . 14

2.5 Repr´ esentation les g´ enotypes . . . . 15

2.6 Repartition les ant´ ec´ edents sp´ ecifiques en trois groupes (P,T,0) . . . 15

2.7 Questionnaire de description du contexte . . . . 16

2.8 Notre mod` ele UML reps´ esentant les liens cons´ equence-ant´ ec´ edent . . 17

2.9 Interface de l’onglet CPC’s . . . . 19

2.10 Interface de l’onglet Phenotypes . . . . 20

2.11 Interface de l’onglet Genotypes . . . . 20

2.12 Interface de l’onglet Repartition des ant´ ec´ edents sp´ ecifiques . . . . . 21

2.13 Interface de l’onglet CREAM . . . . 21

3.1 Une sc` ene sous GASPAR . . . . 26

3.2 Le personnage IA . . . . 27

3.3 Le personnage Officier . . . . 27

3.4 La cabine catapulte . . . . 28

3.5 Le d´ eflecteur . . . . 28

3.6 Une proc´ edure dans GASPAR . . . . 29

3.7 Situation p´ edagogique 1a . . . . 30

3.8 Situation p´ edagogique 1b . . . . 31

3.9 D´ etection du ph´ enotype S´ equence . . . . 32

3.10 Situation p´ edagogique 2 . . . . 33

(6)

3.11 D´ etection du ph´ enotype Mauvais objet . . . . 34

3.12 Situation p´ edagogique 3 . . . . 35

3.13 Les ph´ enotypes et les g´ enotypes des actions erron´ ees affich´ es dans l’ITS 36

3.14 Les assistances possibles . . . . 36

(7)

Liste des tableaux

3.1 Liens causaux du ph´ enotype S´ equence . . . . 37

3.2 Liens causaux du ph´ enotype Mauvais objet . . . . 38

3.3 Liens causaux du ph´ enotype Temps/Dur´ ee . . . . 39

A.1 Liens causaux du ph´ enotype Direction . . . . 46

A.2 Liens causaux du ph´ enotype Vitesse . . . . 47

A.3 Liens causaux du ph´ enotype Distance/Magnitude . . . . 48

(8)

Introduction

J’ai effectu´ e mon stage au sein de l’´ equipe AR´ eVi (Atelier de R´ ealit´ e Virtuelle) du CERV (Centre Europ´ eenne de R´ ealit´ e Virtuelle) dont un des axes de recherche est le d´ eveloppement d’environnements immersifs d´ edi´ es ` a la formation professionnelle moyennant les techniques de r´ ealit´ e virtuelle, appel´ es les Environnements Virtuels de Formation (EVF).

Plus sp´ ecifiquement, mon stage s’int` egre au sein du projet MASCARET (Multi- Agent System for Collaborative Adaptive and Realistic Environment for Training).

L’objectif ` a long terme de ce projet est de concevoir les mod` eles r´ ealistes et adaptifs permettant de simuler le travail proc´ edural et collaboratif. L’apport de ce mod` ele a ´ et´ e montr´ e par les deux applications S´ ecuR´ eVi

¹

et GASPAR

²

qui permettent de mettre en situation les apprenants pour la formation dans les cas d’urgences. Pour que le processus de formation soit efficace, un syst` eme tutoriel intelligent (Intelligent Tutoring System ou ITS, en anglais) a ´ et´ e int´ egr´ e ´ egalement dans MASCARET per- mettant suivre et fournir des assistances p´ edagogiques ` a l’apprenant et le formateur.

Fig.

1 – Une sc` ene sous l’application S´ ecuR´ eVi

L’ITS existant propos´ e par Buche [Buche 05a, Buche 05b] consid` ere les erreurs comme des informations cruciales. Lorsque l’apprenant r´ ealise une action erron´ ee, le syst` eme est capable de d´ etecter et typer son occurrence, ces informations sont

1Sécurité et Réalité Virtuelle

2Gestion de l’Activité aviation et des Sinistres sur Porte-avions par la Réalité virtuelle

(9)

ensuite analys´ ees dans la phase de raisonnement p´ edagogique pour d´ ecider d’appor- ter ´ eventuellement les assistances. Malgr´ e le fait que le m´ ecanisme de d´ etection des erreurs soit g´ en´ erique, les explications sur les erreurs sont encore d´ ependantes du domaine d’apprentissage.

L’objectif de notre stage est d’am´ eliorer le mod` ele des erreurs existant pour qu’il puisse non seulement d´ etecter et identifier les actions erron´ ees r´ ealis´ ees par l’ap- prenant humain mais ´ egalement reconnaitre l’origine de leur occurrence. Pour ce faire, nous nous appuyons sur la m´ ethode CREAM (Cognitive Reliability and Er- ror Analysis Method) dans le domaine de l’´ etude de la fiabilit´ e humaine (Human Reliability Analysis ou HRA). Cette approche fournit un sch´ ema de classification distinguant clairement les observations des erreurs (les ph´ enotypes) et les causes (les g´ enotypes). Ce sch´ ema est associ´ e avec une m´ ethode d’analyse r´ etrospective qui, ` a partir du ph´ enotype d’une action erron´ ee, permet de rechercher des causes suscep- tibles de son occurrence. L’impl´ ementation de CREAM est l’objet des travaux de El-Kecha¨ı [El-Kecha¨ı 07a, El-Kecha¨ı 07b]. Cependant, l’int´ egration de CREAM ` a un ITS n’a pas encore ´ et´ e effectu´ ee.

Dans le premier chapitre de ce rapport, nous allons pr´ esenter l’ITS existant,

le mod` ele des erreurs actuel et le principe de CREAM. Dans le deuxi` eme chapitre,

nous montrons notre approche pour mod´ eliser le CREAM. L’int´ egration de l’analyse

r´ etrospective dans l’ITS existant va ˆ etre d´ etaill´ ee dans le troisi` eme chapitre. Enfin,

nous allons conclure en faisant le bilan de nos travaux et en pr´ esentant les ´ evolutions

possibles.

(10)

Chapitre 1

Contexte du stage

1.1 Syst` eme Tutoriel Intelligent [Buche 05a]

Pour l’objectif principal de fournir une assistance aux diff´ erents facteurs de l’ap- prentissage (le formateur ou l’apprenant), il existe nombreux informations dont l’ITS doit tenir compte : les connaissances sur le domaine d’apprentissage, les connais- sances sur le processus p´ edagogique, l’´ etat physique ainsi que psychologique de l’ap- prenant, etc. En outre, pour que les assistances soient efficaces, il faut ´ egalement tenir compte de la fa¸ con dont les connaissances sont repr´ esent´ ees et l’interaction entre le formateur/l’apprenant et le syst` eme. La figure 1.1 illustre l’architecture classique d’un ITS avec les quatre mod` eles suivants :

Fig.

1.1 – Architecture d’un ITS, tir´ e de [Buche 05a], d’apr` es Woolf B.P, 1992

•

mod` ele du domaine : repr´ esente la connaissance de l’expert sur le domaine.

Comme un syst` eme d’expert traditionnel, il contient la partie d´ eclarative re-

pr´ esentant la connaissance que l’apprenant doit acqu´ erir ainsi que la partie

proc´ edurale interpr´ etant des connaissances ;

(11)

1.1. Syst` eme Tutoriel Intelligent

•

mod` ele de l’apprenant : permet d’´ etablir l’´ etat de ses connaissances ` a un instant donn´ e ;

•

mod` ele p´ edagogique : permet d’effectuer des choix p´ edagogiques selon le com- portement et le mod` ele de l’apprenant ;

•

mod` ele d’interface : permet l’´ echange d’information entre le syst` eme et l’utili- sateur.

Cependant, l’architecture pr´ esente n’a pas encore pris en compte la notion des erreurs r´ ealis´ ees par l’apprenant dans l’EVF. Pour ce faire, Buche [Buche 05a] pro- pose un mod` ele de l’ITS ajoutant les deux mod` eles : mod` ele des erreurs et mod` ele du formateur (cf. figure 1.2). L’apport de cette proposition est que les erreurs sont consid´ er´ ees comme des informations cruciales qui ensuite seront prises en compte dans le processus de raisonnement p´ edagogique.

Fig.

1.2 – Les mod` eles de l’ITS, d’apr` es [Buche 05a]

•

mod` ele des erreurs : caract´ erise les erreurs et contient une base de connais- sances sur les erreurs classiques

•

mod` ele du formateur : permet de pr´ eciser les instructions du formateur li´ ees ` a l’exercice ` a effectuer

Chaque mod` ele est repr´ esent´ e sous forme d’un agent ayant des connaissances et des comportements propres. Enfin, le fonctionnement de l’ITS est d´ efini en plusieurs

´

etapes moyennant les interactions entre les agents, ce m´ ecanisme se d´ eroule comme ci-dessous (cf. figure 1.3) :

1. Observer (InterfaceAgent repr´ esentant le mod` ele interface) : cette ´ etape a pour but de reconnaitre les actions, les d´ eplacements de l’apprenant et les ´ el´ ements dans l’espace virtuel observ´ es par l’apprenant

2. D´ etecter et Identifier les erreurs (ErrorAgent repr´ esentant le mod` ele des er- reurs) : le syst` eme compare les actions de l’apprenant (fournies par Learne- rAgent repr´ esentant le mod` ele de l’apprenant) avec les actions ` a r´ ealiser (r´ e- cup´ er´ ees de mod` ele du domaine repr´ esentant par ExpertAgent ) pour d´ etecter et identifier les erreurs (voir les d´ etails dans la section 1.2)

3. Proposer des assistances p´ edagogiques : grˆ ace au PedagogicalAgent repr´ esen-

tant le mod` ele p´ edagogique

(12)

1.1. Syst` eme Tutoriel Intelligent 4. Choisir une assistance p´ edagogique : cette ´ etape est dirig´ ee par TeacherAgent

repr´ esentant le mod` ele du formateur

5. Repr´ esenter l’assistance p´ edagogique : les aides p´ edagogiques sont affich´ ees par InterfaceAgent

Fig.

1.3 – Mod` ele des erreurs dans le processus p´ edagogique, d’apr` es [Buche 05a]

Dans le cadre de ce stage, nous nous concentrons sur le mod` ele des erreurs et le

mod` ele d’interface. L’id´ ee principale est d’am´ eliorer le mod` ele des erreurs existant

pour qu’il puisse non seulement d´ etecter et identifier les actions erron´ ees r´ ealis´ ees

par l’apprenant humain mais aussi reconnaitre l’origine de leur occurrence. Nous

modifions par la suite le mod` ele d’interface en ajoutant les primitives servant ` a

repr´ esenter dans l’environnement virtuel les nouvelles informations trouv´ ees.

(13)

1.2. Mod` ele des erreurs dans ITS existant

1.2 Mod` ele des erreurs dans ITS existant

Dans le contexte de simulation des tˆ aches proc´ edurales et collaboratives, l’ITS actuel se base et s’int` egre au mod` ele MASCARET [Querrec 02, Querrec 04] o` u les apprenants humains et les agents collaborent pour r´ ealiser ensemble une mission. Les apprenants sont divis´ es en ´ equipes compos´ ees de plusieurs rˆ oles, chaque rˆ ole contient un nombre de tˆ aches ` a r´ ealiser par les apprenants selon une proc´ edure pr´ ed´ efinie.

Dans MASCARET, les entit´ es virtuelles (les objets physiques 3D) sont repr´ esent´ ees par la biblioth` eque AR´ eVi

³

d´ evelopp´ e au sein du CERV. La liaison entre les objets virtuels et les comportements possibles est d´ ecrite grˆ ace au m´ eta-mod` ele VEHA

⁴

[Chevaillier 07] qui consid` ere la r´ ealisation des activit´ es humaines (par exemple : la proc´ edure, les actions, les op´ erations, les ressources associ´ ees, les ´ etats etc.) sous certaines contraintes (contraintes temporelles ou bien des conditions faisables : pr´ e- condition, post-condition).

Fig.

1.4 – Travail proc´ edural en ´ equipe dans MASCARET, d’apr` es [Querrec 02]

Grˆ ace au mod` ele MASCARET, le ErrorAgent repr´ esentant le mod` ele des erreurs dans l’ITS peut pouvais caract´ eriser plusieurs diff´ erents types d’actions erron´ ees :

•

RuleError : repr´ esent les erreurs sur la r` egle d’usage d’une action

•

ActionError : la pr´ e-condition d’une action n’est pas satisfaisante

•

TeamError : l’apprenant r´ ealise une action qui n’existe pas dans son rˆ ole

•

ProceduralError : l’apprenant effectue une action qui ne devrait pas ˆ etre r´ ealis´ e

3http ://sourceforge.net/projects/arevi/

4Virtual Environment supporting Human Activities

(14)

1.3. Recherche des causes des actions erron´ ees

•

TeamProceduralError : l’apprenant r´ ealise une action qui n’existe pas dans sa responsabilit´ e ainsi que dans la proc´ edure

Fig.

1.5 – Diff´ erents types d’erreurs, d’apr` es [Buche 05a]

Pour expliquer la raison des actions erron´ ees d´ etect´ ees, le mod` ele pr´ esente se base sur une base de connaissances contenant les erreurs classiques dans le domaine d’apprentissage. Lorsqu’une action erron´ ee est d´ etect´ ee et typ´ ee, l’ITS va chercher dans cette base les r` egles permettant de l’interpr´ eter.

Dans la partie suivante, nous montrons la m´ ethode CREAM qui se pr´ esente comme une approche g´ en´ erique permettant de connaitre les causes des actions erro- n´ ees.

1.3 Recherche des causes des actions erron´ ees

1.3.1 La m´ ethode CREAM [Hollnagel 98]

CREAM est une m´ ethode dans le domaine de l’´ etude de la fiabilit´ e humaine. Pour d´ ecrire toutes les actions erron´ ees possibles, CREAM utilise un sch´ ema de classi- fication qui ´ etablit une distinction entre les observations d’erreurs (les ph´ enotypes, cf. figure 1.6) et des causes (les g´ enotypes ). Hollnagel pr´ ecise qu’il y a trois princi- paux facteurs influen¸cant les actions erron´ ees : les facteurs individuels, technologies et organisationnels. Chaque groupe est d´ etaill´ e en quelques sous-cat´ egories, la figure 1.7 pr´ esente toutes des causes possibles divis´ ees en trois groupes des g´ enotypes : P(ersonne), T(echnologie) et O(rganisation).

Fig.

1.6 – La classification des actions erron´ ees, d’apr` es [Hollnagel 98]

(15)

1.3. Recherche des causes des actions erron´ ees

Fig.

1.7 – Les cat´ egories des g´ enotypes, d’apr` es [Hollnagel 98]

Les liens de causalit´ e entre g´ enotype-ph´ enotype sont repr´ esent´ es en ´ etablissant un nombre de relations cons´ equences – ant´ ec´ edents entre les ´ el´ ements dans le sch´ ema de classification. Tout d’abord, chaque ph´ enotype est associ´ e avec un ou plusieurs ant´ ec´ edents g´ en´ eraux et sp´ ecifiques (cf. figure 1.8 pour l’exemple du ph´ enotype Mau- vais objet ). Les ant´ ec´ edents g´ en´ eraux sont alors consid´ er´ es ` a leur tour comme des cons´ equences dans les autres groupes des liens causaux, l’occurrence d’un ant´ ec´ edent g´ en´ eral est exprim´ ee par la connexion avec les autres g´ enotypes, dans des cat´ ego- ries diff´ erentes. La figure 1.9 montre un exemple d’un tel cas : l’ant´ ec´ edent g´ en´ eral Observation manqu´ ee (du ph´ enotype Mauvais objet dans la figure 1.8) joue le rˆ ole d’une cons´ equence dans un autre groupe qui est consid´ er´ e comme ayant ´ et´ e caus´ e par les autres ant´ ec´ edents.

Fig.

1.8 – Exemple du lien entre ph´ enotype-ant´ ec´ edent, d’apr` es [Hollnagel 98]

Par cons´ equent, le sch´ ema de classification contient non seulement des liens de

causalit´ e directes (entre (i) un ph´ enotype et ses ant´ ec´ edents, et (ii) une cons´ equence

et ses ant´ ec´ edents) mais aussi des liens causaux indirects puisque dans la plupart

(16)

1.3. Recherche des causes des actions erron´ ees

Fig.

1.9 – Exemple du lien entre cons´ equent-ant´ ec´ edent, d’apr` es [Hollnagel 98]

de cas, un ant´ ec´ edent g´ en´ eral dans un groupe deviendra une cons´ equence dans un autre groupe.

Enfin, le sch´ ema pourrait ˆ etre associ´ e ` a la fois une m´ ethode d’analyse r´ etrospec- tive (la recherche des causes) et une m´ ethode pr´ edictive de performances. Toutefois, pour notre objectif de d´ etection des actions erron´ ees et puis pour la recherche des causes, nous nous int´ eressons ` a l’analyse r´ etrospective. En consid´ erant la construc- tion du sch´ ema pr´ esent´ e ci-dessus, nous pouvons constater qu’il existe des ´ el´ ements terminaux, ce sont soit des ant´ ec´ edents sp´ ecifiques soit des cons´ equences sans ant´ ec´ e- dents (ou bien des ant´ ec´ edents ne sont pas encore d´ efinis). Dans CREAM, l’analyse r´ etrospective prend en entr´ ee le ph´ enotype d’une action erron´ ee. Ensuite, en se ba- sant sur des liens de causalit´ e fournis par le sch´ ema de classification, l’objectif du m´ ecanisme d’analyse est de remonter, apr` es plusieurs it´ erations, aux causes racines permettant d’exprimer l’occurrence du ph´ enotype entr´ ee (cf. figure 1.10).

Fig.

1.10 – Analyse r´ etrospective, d’apr` es [Hollnagel 98]

1.3.2 Automatisation de CREAM [El-Kecha¨ı 07a]

L’analyse r´ etrospective de CREAM reste encore une m´ ethode manuelle puisque ` a partir d’une cons´ equence particuli` ere, il existe nombreux ant´ ec´ edents dans le sch´ ema qui peuvent ˆ etre consid´ er´ es comme l’origine de la cons´ equence. Par cons´ equent, ` a chaque it´ eration, l’utilisateur doit choisir parmi a nombre des ant´ ec´ edents g´ en´ eraux l’ant´ ec´ edent le plus probable (selon l’exp´ erience de l’utilisateur).

Pour automatiser CREAM, [El-Kecha¨ı 07a] propose de transposer des liens cons´ e-

quences - ant´ ec´ edents en graphes causaux o` u les nœuds repr´ esente les diff´ erents an-

(17)

1.4. Bilan t´ ec´ edents et les diff´ erentes cons´ equences, les arcs repr´ esentent les liens causaux. La figure 1.11 montre comme l’exemple le graphe causal construit ` a partir du ph´ enotype Mauvais objet.

Fig.

1.11 – Graphe causal, d’apr` es [El-Kecha¨ı 07a]

Chaque nœud dans le graphe causal est attribu´ e une valeur de masse repr´ esentant la certitude de choisir ce nœud comme une cause probable. Cette valeur est calculable en utilisant la th´ eorie de l’´ evidence de Dempster-Shafer. Nous ne pr´ esentons ici que le r´ esultat de travaux de [El-Kecha¨ı 07a] :

m(a) = p (C (a))

∗ ^X

∀b∈Cons(a)

m(b)

P

∀i∈{P,T,O}

(p(i)

∗

n

ib

)

!

(1.1) o` u :

– m(a) : la masse de l’ant´ ec´ edent a

– C(a) : la cat´ egorie de a

– Cons(a) : l’ensemble des cons´ equences de a

– p(i) : le poids de la cat´ egorie i

– n

_ib

: le nombre d’ant´ ec´ edents de b appartenant ` a la cat´ egorie i

1.4 Bilan

Ce chapitre avait l’objectif de pr´ esenter une vue globale de l’ITS ainsi que de son mod` ele des erreurs existant. Dans ces travaux, l’auteur a propos´ e un mod` ele de l’ITS se compos´ e de six mod` eles : mod` ele du domaine, mod` ele de l’apprenant, mod` ele du formateur, mod` ele p´ edagogique, mod` ele d’interface et mod` ele des erreurs. Cette pro- position sert ` a d´ evelopper un ITS permettant d’assister le formateur et l’apprenant dans l’environnement virtuel de formation de travail proc´ edural et collaboratif. Le mod` ele des erreurs existant ´ etait capable de d´ etecter et typer des diff´ erents types d’erreurs, cependant, il manque encore un mod` ele g´ en´ erique permettant d’identifier

«

les raisons

»

des actions erron´ ees r´ ealis´ ees par l’apprenant.

Notre approche s’appuie sur la m´ ethode CREAM [Hollnagel 98] qui se compose :

d’un sch´ ema de classification qui distingue clairement les observations des erreurs (les

ph´ enotypes) et les causes ; d’une m´ ethode d’analyse r´ etrospective qui, ´ etant donn´ e

(18)

1.4. Bilan le ph´ enotype d’une action erron´ ee, permet de remonter aux causes susceptibles de son occurrence.

La mise en œuvre de CREAM a ´ et´ e l’objet d’´ etude des travaux de [El-Kecha¨ı 07a]

qui a propos´ e tout d’abord un mod` ele de description de tˆ aches appel´ e METISSE [El-Kecha¨ı 06] afin de reconnaˆıtre les plans de l’apprenant dans l’EVF, et puis d´ e- tecter des actions erron´ ees. Pourtant, l’impl´ ementation informatique de METISSE n’´ etait pas encore compl` ete, et l’int´ egration de CREAM ` a l’ITS n’a pas ´ et´ e effectu´ ee.

Dans le reste de ce rapport, nous allons pr´ esenter en premier temps notre impl´ emen-

tation de CREAM, et ensuite, nous montrons comment nous int´ egrons le m´ ecanisme

d’analyse r´ etrospective de CREAM au mod` ele des erreurs dans l’ITS existant.

(19)

Chapitre 2

Impl´ ementation de CREAM

Dans ce chapitre, nous pr´ esentons notre approche pour mod´ eliser le CREAM.

Nous commen¸ cons par la repr´ esentation du sch´ ema de classification des erreurs. En- suite, nous d´ ecrivrons notre mod` ele pr´ esentant des liens de causalit´ e entre cons´ equence- ant´ ec´ edent. Grˆ ace ` a ce mod` ele, nous pouvons op´ erationnaliser l’analyse r´ etrospective par un algorithme r´ ecursif. Pour trouver les causes les plus probables, nous impl´ e- mentons la th´ eorie de l’´ evidence de Dempster-Shafer.

2.1 Repr´ esentation du sch´ ema de classification

Il existe certains outils qui permettent de manipuler, d’observer et de tracer

´

etape par ´ etape l’analyse r´ etrospective telle que CREAM Navigator d´ evelopp´ e par [Serwy 07] (voir la figure 2.1). Cependant, ce navigateur est compl` etement ferm´ e parce qu’il ne maintient pas une repr´ esentation explicite du sch´ ema de classification.

L’objectif principal de cet outil est en effet d’illustrer le fonctionnement de CREAM, l’auteur fait aucune modification sur le sch´ ema, la description des erreurs est cod´ ee en dur et fix´ ee selon ce qui est pr´ esent´ e dans [Hollnagel 98].

Afin de repr´ esenter les modes d’erreurs ainsi que des causes probables, [El-Kecha¨ı 07a]

a propos´ e une m´ ethode utilisant une base de r` egles pour exprimer les liens entre an- t´ ec´ edent et cons´ equent, en suite, la recherche des causes est ex´ ecut´ ee par inf´ erences en arri` ere. Autrement dit, cette approche ne fait pas une distinction entre la repr´ e- sentation du sch´ ema et la m´ ethode d’analyse. Par exemple, le lien

«la cons´

equence

Probl`eme de m´emoire

est caus´ ee par l’ant´ ec´ edent g´ en´ eral

Demande excessive

et l’ant´ ec´ edent sp´ ecifique

Autre priorit´e»

(cf. figure 2.2) est repr´ esent´ e par les r` egles dans la figure 2.3. La principale limitation de cette m´ ethode est ´ evidemment sur la performance du m´ ecanisme d’inf´ erence. Un autre probl` eme se produit ´ eventuelle- ment en ajoutant ou supprimant les autres erreurs qui demandent potentiellement une modification importante sur la base des r` egles.

Dans le cadre de notre d´ eveloppement, comme le sugg` ere de [Hollnagel 98], nous avons l’intention de s´ eparer la m´ ethode d’analyse (cf. section 2.3 et 2.4) et la repr´ e- sentation des erreurs. Nous d´ etaillons ci-dessous les quatre fichiers de donn´ ees au format XML

⁵

permettant d´ ecrire le sch´ ema de classification :

5eXtensible Markup Language

(20)

2.1. Repr´ esentation du sch´ ema de classification

Fig.

2.1 – CREAM Navigator [Serwy 07]

Fig.

2.2 – Exemple du lien entre cons´ equence-ant´ ec´ edent, tir´ e de [El-Kecha¨ı 07a]

Fig.

2.3 – R` egles reps´ esentant le lien cons´ equence-ant´ ec´ edent dans la figure 2.2,

d’apr` es [El-Kecha¨ı 07a]

(21)

2.1. Repr´ esentation du sch´ ema de classification – questionnaire.xml : repr´ esenter une liste des questions propos´ ee au formateur.

Ce questionnaire nous permet d’´ evaluer les conditions communes de perfor- mance (Common Performance Conditions ou CPC’s)(cf. figure 2.7 section 2.2) – phenotype.xml : ce fichier stocke les observations d’erreurs (ph´ enotypes) qui seront le point de d´ epart pour l’analyse r´ etrospective. Dans ce fichier, chaque ph´ enotype est associ´ e avec ses ant´ ec´ edents g´ en´ eraux et sp´ ecifiques.

Par exemple, la figure 2.4 repr´ esente le lien causal entre le ph´ enotype Mauvais objet et les ant´ ec´ edents (cf. figure 1.8).

<Phenotypes>

<GeneralConsequent name=”Mauvais objet” description=”...” >

<GeneralAntecedents>

<item>Probl` eme d’acc` es</item>

<item>Probl` eme de communication</item>

<item>Mauvaise identification</item>

<item>Plan inad´ equat</item>

<item>Sc´ enario inad´ equat</item>

<item>Inattention</item>

<item>Performance variable</item>

<item>Observation manqu´ ee</item>

</GeneralAntecedents>

<SpecificAntecedents>

<item>Label inad´ equat</item>

</SpecificAntecedents>

</GeneralConsequent>

...

</Phenotypes>

Fig.

2.4 – Repr´ esentation les ph´ enotypes

– genotype.xml : contenir toutes les causes possibles (ou g´ enotypes) qui sont clas- s´ ees en trois groupes (Personne, Technologie et Organisation), chaque groupe est ensuite d´ etaill´ e en plusieurs cat´ egories. Le plus important est que ce fi- chier repr´ esente ´ egalement les liens entre une cons´ equences et ses ant´ ec´ edents g´ en´ eraux/sp´ ecifiques. La figure 2.5 illustre l’exemple de g´ enotype Observation manqu´ ee (cf. figure 1.9).

– repartition.xml : permettre de d´ eterminer le groupe (P,T,O) auquel chaque ant´ ec´ edent est associ´ e (voir la figure 2.6). Cette classification sert ` a calculer la masse de chaque ant´ ec´ edent comme une cause probable (cf. section 2.4).

Enfin, en consid´ erant que CREAM est naturellement une m´ ethode flexible et adaptable ` a diff´ erents environnements ainsi que diff´ erents contextes d’analyse, cette strat´ egie de repr´ esentation du sch´ ema de classification permet de personnaliser le sch´ ema sans aucune modification sur la m´ ethode d’analyse. Par exemple, pour mieux adapter au contexte d’EVF, [El-Kecha¨ı 07a] a propos´ e certaines modifications sui- vantes pour que le sch´ ema soit plus sp´ ecialis´ e :

– traduire les textes dans la classification d’anglais ` a fran¸ cais

(22)

2.1. Repr´ esentation du sch´ ema de classification

<Genotypes>

<Category name=”Personne” >

<SubCategory name=”observation” >

<GeneralConsequent name=”Observation manqu´ ee” description=”...” >

<GeneralAntecedents>

<item>Probl` eme de ressources</item>

<item>Mauvais diagnostic</item>

<item>Plan inad´ equat</item>

<item>Handicap</item>

<item>Inattention</item>

</GeneralAntecedents>

<SpecificAntecedents>

<item>Surcharge cognitive</item>

<item>Signaux multiples</item>

<item>Bruit</item>

<item>Parallaxe</item>

<item>Mauvaise qualit´ e visuelle</item>

</SpecificAntecedents>

</GeneralConsequent>

...

</SubCategory>

...

</Category>

...

</Genotypes>

Fig.

2.5 – Repr´ esentation les g´ enotypes

<Repartition>

<item name=”Omission ant´ erieure” group=”Personne” description=”...”/>

<item name=”Label inad´ equat” group=”Technologie” description=”...”/>

<item name=”Conflit de convention” group=”Technologie” description=”...”/>

<item name=”Mauvaise orientation” group=”Technologie” description=”...”/>

...

</Repartition>

Fig.

2.6 – Repartition les ant´ ec´ edents sp´ ecifiques en trois groupes (P,T,0)

(23)

2.2. Description du contexte

– ajouter, supprimer certains ant´ ec´ edents, cons´ equences, etc.

2.2 Description du contexte

Dans CREAM, Hollnagel a soulign´ e que le contexte influence fortement les ac- tions humaines. Il est donc essentiel de prendre en compte la description de l’en- vironnement virtuel dans lequel l’apprenant human est immerg´ e. L’objectif est de d´ eterminer comment chaque facteur (P, T, O) influe sur la formation.

Pour cela, nous sommes inspir´ es de la proposition pr´ esent´ ee dans [El-Kecha¨ı 07a]

en utilisant un questionnaire qui sera r´ epondu par le formateur avant chaque session de formation (voir la figure 2.7) :

</Questionnaire>

Fig.

2.7 – Questionnaire de description du contexte inspir´ e de [El-Kecha¨ı 07a]

Ensuite, chaque facteur sera attribu´ e un coefficient calcul´ e selon la formule ci- dessous :

poids(C

i

) = N ombre de Oui aux questions lies la catgorie C

N ombre total de Oui (2.1)

o` u C

i

est respectivement une des trois cat´ egories P,T ou O.

Par exemple, dans l’exemple du questionnaire de la figure 2.7, il y a quatre r´ eponses Oui, parmi eux, 1 question li´ ee ` a la cat´ egorie Personne, 2 questions li´ ees ` a la cat´ egorie Technologie et 1 question li´ ee ` a la cat´ egorie Organisation. Le poids de chaque facteur est donc respectivement de

¹₄

= 0, 25 (pour la cat´ egorie Personne),

2

4

= 0, 5 (cat´ egorie Technologie ) et

¹₄

= 0, 25 (cat´ egorie Organisation). Ces valeurs permettent de d´ efinir le facteur le plus probable menant ` a des actions erron´ ees, dans ce cas-l` a, ce sont des g´ enotypes li´ es ` a la cat´ egorie Technologie.

2.3 Mod` eles des liens cons´ equences-ant´ ec´ edents

Pr´ ec´ edemment, dans la section 1.3.1, nous avons mis l’accent sur la nature non-

hi´ erarchique de CREAM. Le sch´ ema de classification contient non seulement des

liens directes (par exemple, (i) entre un ph´ enotype et ses ant´ ec´ edents, et (ii) entre

une cons´ equence et ses ant´ ec´ edents) mais aussi des liens indirects puisque dans la

plupart de cas, un ant´ ec´ edent g´ en´ eral dans un groupe deviendra une cons´ equence

dans un autre groupe. Ainsi, il m` ene ´ egalement ` a une structure de donn´ ees non-

hi´ erarchique pour mod´ eliser ces relations interd´ ependantes.

(24)

2.4. Recherche des causes La figure 2.8 montre le diagramme UML

⁶

pour repr´ esenter la connexion entre cons´ equents - ant´ ec´ edents.

Fig.

2.8 – Notre mod` ele UML reps´ esentant les liens cons´ equence-ant´ ec´ edent Ici, nous allons construire un graphe de causalit´ e o` u nous utilisons le terme

«nœud»

pour indiquer soit une cons´ equence soit un ant´ ec´ edent. Les arˆ etes repr´ e- sentent les connexions cons´ equences-ant´ ec´ edents. Chaque nœud est d´ ecrit par :

•

name : son nom

•

group : le groupe d’erreurs (P, T, O) associ´ ee ` a un nœud

•

category : sa cat´ egorie dans le groupe

•

description : la description en texte permet de mieux expliquer la s´ emantique d’un nœud dans un contexte particulier

•

terminal : Comme pr´ ecis´ e dans la section 1.3.1, les it´ erations dans l’analyse r´ etrospective s’arrˆ etent lorsque la cons´ equence trait´ ee est une cause

«racine».

C’est-` a-dire elle est un ant´ ec´ edent sp´ ecifique ou bien, elle est une cons´ equence dont ant´ ec´ edents sont marqu´ es comme

«non-d´

efinis». Cet attribut bool´ een permet d’identifier si un nœud est une cause

«racine»

ou pas

Le point important est que, chaque nœud contient les deux listes : l’une y compris ses ant´ ec´ edents, l’autre pointe vers ses cons´ equences. Enfin, chaque nœud doit inclure

´

egalement une valeur de masse qui repr´ esente la certitude du choix de ce nœud comme une cause probable. Les deux m´ ethodes addAntecedent() et addConsequent() servent ` a la maintenance de ces deux listes d’ant´ ec´ edents et de cons´ equences d’un nœud. Une fois un nœud appelle la m´ ethode addAntecedent() qui ajoute un nœud

«parent»

comme un de ses ant´ ec´ edents, ce nœud ajoute ´ egalement lui-mˆ eme ` a la liste des cons´ equences de son

«p`

ere» (en utilisant la m´ ethode addConsequent() du nœud parent), la valeur de l’attribut terminal puis sera ensuite mis ` a false.

2.4 Recherche des causes

Dans la partie 1.3.1, nous avons pr´ esent´ e le principe du m´ ecanisme d’analyse r´ e- trospective de CREAM qui , ´ etant don´ ee le ph´ enotype d’une action erron´ ee, permet

6Unified Modeling Language

(25)

2.5. R´ esultat d’inf´ erer les liens causaux expliquant son occurrence. Dans notre contexte, l’analyse r´ etrospective est ex´ ecut´ e par un GenotypeAnalyzer contenant l’attribut graph (re- pr´ esentant le graphe causal) qui est initialis´ e en pointant vers le ph´ enotype entr´ ee (le nœud de d´ epart), puis cet analyseur fait l’appel des m´ ethodes correspondantes pour trouver les causes

«racines».

En se basant sur le mod` ele pr´ esent´ e ci-dessus, notre analyse se d´ eroule comme le suivant :

•

Entr´ ee : ph´ enotype de l’action erron´ ee

•

Initialisation : construire un nœud pointant vers le ph´ enotype d’entr´ ee. Ini- tialiser le graph causal par ce nœud comme la racine. Cette phase se fait moyennant la m´ ethode createGraphFromPhenotype().

•

Etape 1 ´ : lire ` a partir du fichier Phenotype.xml, trouver tous les ant´ ec´ edents g´ en´ eraux du ph´ enotype d’entr´ ee. La m´ ethode getAntecedentFromPhenotype() est utilis´ ee.

Pour chaque ant´ ec´ edent faire

Ajouter-le dans la liste des ant´ ec´ edents du nœud racine

•

Etape 2 ´ : Pour chaque nœud non-visit´ e dans le graphe

– Trouver ses ant´ ec´ edents g´ en´ eraux / sp´ ecifiques ` a partir du fichier geno- type.xml en utilisant la m´ ethode getGenotypeFromAntecedent()

– Les-Ajouter dans la liste des ant´ ec´ edents par les deux m´ ethodes addAnte- cedent()/addConsequent()

– Retourner ` a l’´ etape 2. Cette recherche r´ ecursive s’arrˆ ete lorsque le nœud s´ electionn´ e est un nœud ant´ ec´ edent sp´ ecifique ou une cons´ equence g´ en´ erale sans ant´ ec´ edents.

Avec cet algorithme, nous avons finalement atteint un r´ eseau de causalit´ e dans lequel chaque nœud est associ´ e avec ses ant´ ec´ edents et cons´ equences. Les

«feuilles»

sont des causes

«racines»

(les nœuds avec l’attribut terminal ayant valeur false et leur liste des ant´ ec´ edents est vide). La m´ ethode findListTerminal() sert ` a trouver les causes racines pour reconstruire ensuite le chemin des liens cons´ equence-ant´ ec´ edent vers le ph´ enotype entr´ ee.

Afin de calculer la certitude de chaque nœud comme une cause probable, nous h´ eritons de la proposition pr´ esent´ ee dans [El-Kecha¨ı 07a] en utilisant la th´ eorie de l’´ evidence de Dempster-Shafer (cf. section 1.3.2). Grˆ ace au mod` ele repr´ esentant le graphe causal (cf. figure 2.8), pour chaque nœud, nous pouvons connaitre :

– quelle cat´ egorie est-t-il associ´ e ? Le poids de cette cat´ egorie est d´ ej` a calcul´ ee selon la formule 2.1 ;

– compter le nombre d’ant´ ec´ edents de chaque nœud appartenant respectivement

`

a la cat´ egorie (P,T,O).

Par cons´ equent, en utilisant la m´ ethode calculateMass(), chaque nœud dans le graphe causal sera attribu´ e une valeur de masse selon la formule 1.1, page 10.

2.5 R´ esultat

Pour rendre op´ erationel CREAM, nous avons d´ evelopp´ e un outil graphique qui

permet d’observer le fonctionnement de CREAM. Cet outil se compose de cinq on-

(26)

2.5. R´ esultat

glets correspondant ` a des ´ etapes d’analyse d´ ecrites ci-dessus.

La figure 2.9 pr´ esente l’interface de l’onglet CPC’s permettant de d´ efinir le contexte de l’environnement d’apprentissage. Avant chaque session d’enseignement, le formateur r´ epond au questionnaire, les r´ eponses sont sauvegard´ ees dans le fichier Questionnaire.xml qui est lu plus tard par l’ITS pour afficher dans l’environnement virtuel ainsi que pour calculer le facteur le plus probable menant ` a des actions erro- n´ ees.

Fig.

2.9 – Interface de l’onglet CPC’s

L’onglet Phenotypes et l’onglet Genotypes (cf. respectivement les figures 2.10 et 2.11) permettent d’´ etablir des liens causaux entre les ´ el´ ements du sch´ ema de classi- fication. Tout d´ epend du domaine d’apprentissage et de contexte d’analyse, l’expert peut d´ efinir dynamiquement ces connexions de causalit´ e pour que les explications du sch´ ema soient compr´ ehensibles ` a l’apprenant. Les r´ esultats sont stock´ es respec- tivement dans les fichiers Phenotypes.xml et Genotypes.xml qui servent ` a la phase d’analyse.

L’onglet R´ epartition (cf. figure 2.12) permet de r´ epartir les ant´ ec´ edents sp´ eci-

fiques ` a la cat´ egorie correspondante. Enfin, les r´ esultats de l’analyse est visualis´ e

par l’onglet CREAM (voir la figure 2.13).

(27)

2.5. R´ esultat

Fig.

2.10 – Interface de l’onglet Phenotypes

Fig.

2.11 – Interface de l’onglet Genotypes

(28)

2.5. R´ esultat

Fig.

2.12 – Interface de l’onglet Repartition des ant´ ec´ edents sp´ ecifiques

Fig.

2.13 – Interface de l’onglet CREAM

(29)

Chapitre 3

Int´ egration d’analyse

r´ etrospective ` a l’ITS existant

Le chapitre pr´ ec´ edent a pr´ esent´ e notre impl´ ementation de CREAM. A partir du point de d´ epart qui est un ph´ enotype d’une action erron´ ee, nous avons pu indiquer les raisons de son occurrence en fournissant des liens causaux. Toujours dans le but de mieux supporter le formateur et l’apprenant dans l’environnement virtuel, nous pr´ esentons dans ce chapitre l’int´ egration du m´ ecanisme de recherche des causes de CREAM ` a l’ITS existant. Ainsi, lorsque l’apprenant fait une erreur, l’ITS peut four- nir au formateur les raisons susceptibles expliquant l’origine des erreurs.

Pour cela, il est indispensable que, tout d’abord, le syst` eme doive ˆ etre capable de reconnaitre les actions erron´ ees r´ ealis´ ees par l’apprenant pendant sa r´ ealisation de tˆ aches. Pour ce faire, nous pr´ esentons dans la premi` ere section la m´ ethode de reconnaissance de plans qui permet de d´ etecter des actions inattendues de l’appre- nant. Ensuite, nous montrons notre proposition pour mettre en correspondent les actions erron´ ees d´ etect´ ees et la classification de Hollnagel. Ce chapitre se termine par une pr´ esentation sur le r´ esultat exp´ erimental de notre int´ egration sous l’application GASPAR.

3.1 Reconnaissance de plans de l’apprenant dans EVF

Afin de d´ etecter les actions erron´ ees r´ ealis´ ees par un apprenant humain dans EVF, il est indispensable de reconnaitre :

1. les activit´ es de l’apprenant dans le pass´ e

2. son action en cours (dans le sens que l’action vient d’ˆ etre fait par l’apprenant) 3. les actions que l’apprenant doit faire selon une proc´ edure pr´ ed´ efinie

Comme nous avons montr´ e dans la section 1.2, l’ITS existant sert ` a assister le formateur et l’apprenant au cours de la r´ ealisation des missions proc´ edurales et collaboratives. Il se base sur le mod` ele MASCARET [Querrec 02] qui propose une approche utilisant des multi-agents pour simuler la collaboration entre les apprenants humains et les agents. Les apprenants sont r´ eunis en ´ equipe ayant plusieurs rˆ oles pr´ ed´ efinis, chaque rˆ ole contient certaines tˆ aches ` a r´ ealiser par l’apprenant (associ´ ees

´

eventuellement avec les ressources correspondantes). Le mod` ele de l’apprenant dans

(30)

3.2. Classification des actions erron´ ees selon le sch´ ema de CREAM l’ITS suppose ´ egalement que chaque apprenant poss` ede une m´ emoire ´ epist´ emique contenant toutes les actions r´ ealis´ ees dans le pass´ e.

Enfin, pour reconnaitre le plan de l’apprenant dans l’EVF, nous avons pu r´ ecu- p´ erer du mod` ele MASCARET des informations suivantes :

- derni` ere action : la derni` ere action r´ ealis´ ee par l’apprenant dans le pass´ e (` a noter que, dans MASCARET, chaque action est ´ eventuellement associ´ e avec une ou plusieurs ressources)

- action en cours : l’action vient d’ˆ etre faite par l’apprenant

- action(s) correcte(s) (en fonction du rˆ ole) : les actions doivent ˆ etre effec- tu´ ees par l’apprenant dans son rˆ ole

- action(s) correcte(s) (en fonction du plan) : les actions peuvent ˆ etre effec- tu´ ees par l’apprenant d’apr` es le plan pr´ ed´ efini. Ici, il est essentiel de faire la distinction entre

«actions correctes en fonction du rˆ

ole» et

«actions correctes

en fonction du plan». Dans le premier cas, parce que l’apprenant pourrait jouer plusieurs rˆ oles, il repr´ esente tous les actions possibles que le syst` eme attend de l’apprenant. Le second concerne les cas o` u il y a plus d’un apprenant dans EVF pour r´ ealiser ensemble une procedure pr´ ed´ efinie. Par cons´ equent, dans ce cas-l` a, il est possible qu’un apprenant effectue une bonne action, conform´ ement au plan, mais il n’est pas correct par rapport ` a son rˆ ole.

- action(s) prochaine(s) dans le rˆ ole : Les prochaines action(s) doivent ˆ etre ef- fectu´ ees par l’apprenant dans son rˆ ole

- plan complet : Une description pr´ ecise de toutes les actions (avec des ressources associ´ ees) que l’apprenant doit respecter pour r´ ealiser une mission

Dans la section suivante, nous pr´ ecisons comment utiliser ces informations pour d´ etecter les actions erron´ ees de l’apprenant et ensuite, faire une correspondance avec la classification des erreurs de Hollnagel.

3.2 Classification des actions erron´ ees selon le sch´ ema de CREAM

3.2.1 D´ etection des actions erron´ ees du ph´ enotype S´ equence

D’apr` es Hollnagel, l’ex´ ecution d’une action au mauvais endroit dans une s´ equence ou une proc´ edure est une action erron´ ee commune (donc dans notre contexte de la simulation des tˆ aches proc´ edurales et collaboratives). Le probl` eme de S´ equence se compose de plusieurs effets sp´ ecifiques :

– Omission : une action qui n’a pas ´ et´ e effectu´ ee

– Sauter en avant : Une ou plusieurs action(s) d’une s´ equence ont ´ et´ e saut´ ee(s) – Sauter en arri` ere : Une ou plusieurs action(s) qui ont d´ ej` a ´ et´ e effectu´ ees, sont

effectu´ ees ` a nouveau

– R´ ep´ etition : la derni` ere action est r´ ep´ et´ ee

– Inversion : l’ordre des deux actions voisines est invers´ e

– Mauvaise action : une action externe (ou non pertinente) est effectu´ ee

(31)

3.2. Classification des actions erron´ ees selon le sch´ ema de CREAM L’algorithme 1 pr´ esente notre m´ ecanisme pour d´ etecter les actions erron´ ees du ph´ enotype S´ equence :

if action en cours

∈

action(s) correcte(s) (en fonction du rˆ ole) then

1.1

c’est une action correcte (le phenotype S´ equence n’apparaˆıt pas);

1.2

else

1.3

if action en cours

6∈

action(s) correcte(s) (en fonction du plan) then

1.4

l’effet sp´ ecifique =

«Mauvaise action»;

1.5

else

1.6

if action en cours

≡

derni` ere action then

1.7

l’effet sp´ ecifique =

«R´

ep´ etition»;

1.8

end

1.9

Comparer l’ordre relatif de l’action en cours avec l’ordre des

1.10

action(s) prochaine(s) en utilisant le plan complet;

if id action en cours < id prochaine action then

1.11

l’effet sp´ ecifique =

«Sauter en arri`

ere et/ou Omission»;

1.12

else

1.13

l’effet sp´ ecifique =

«Sauter en avant et/ou Omission»;

1.14

end

1.15

if id action en cours = id prochaine action + 1 then

1.16

l’effet sp´ ecifique =

«Inversion»;

1.17

end

1.18

end

1.19

end

1.20

Algorithme 1 : D´ etection des actions erron´ ees du ph´ enotype S´ equence

3.2.2 D´ etection des actions erron´ ees du ph´ enotype Mauvais objet Dans (Hollnagel, 1998), l’auteur pr´ ecise que

«l’action sur le mauvais objet»

est une des erreurs les plus fr´ equentes, tels que de presser le mauvais bouton, etc. Dans notre contexte, au cours de la r´ ealisation d’une tˆ ache collaborative, il est possible que l’apprenant effectue une bonne action, mais sur un mauvais objet. Par cons´ equent, la d´ etection des actions erron´ ees du ph´ enotype Mauvais objet est mise en œuvre ind´ ependamment de la d´ etection de ph´ enotype S´ equence.

Le ph´ enotype Mauvais objet est d´ etaill´ e dans des effets sp´ ecifiques suivantes : – Proche : un objet qui se trouve dans la proximit´ e physique de l’objet qui aurait

dˆ u ˆ etre utilis´ e

– Object similaire : un objet qui est semblable en apparence de l’objet qui aurait dˆ u ˆ etre utilis´ e

– Objet sans rapport : un objet qui a ´ et´ e utilis´ e par erreur, mˆ eme s’il n’avait pas de rapport ´ evident ` a l’objet qui aurait dˆ u ˆ etre utilis´ e

Afin de d´ etecter les actions erron´ ees dans le ph´ enotype Mauvais objet, nous uti- lisons le mˆ eme principe pr´ esent´ e dans le cas de ph´ enotype S´ equence en utilisant les informations suivantes extraites de mod` ele MASCARET :

- ressource en cours : la ressource associ´ ee ` a l’action en cours

- ressource(s) correctes (en fonction du rˆ ole) : les ressources doivent ˆ etre uti-

(32)

3.2. Classification des actions erron´ ees selon le sch´ ema de CREAM lis´ ees par l’apprenant dans son rˆ ole

- ressource(s) correctes (en fonction du plan) : liste des ressources associ´ ees

`

a des actions correctes en fonction du plan L’algorithme 2 d´ etaille le m´ ecanisme de d´ etection :

if ressource en cours

∈

ressource(s) correctes (en fonction du rˆ ole) then

2.1

c’est une ressource correcte (le phenotype Mauvais objet n’apparaˆıt

2.2

pas);

else

2.3

if ressource en cours

6∈

ressource(s) correctes (en fonction du plan)

2.4

then

l’effet sp´ ecifique =

«Objet sans rapport»;

2.5

else

2.6

l’effet sp´ ecifique =

«Proche et/ou Object similaire»;

2.7

end

2.8

end

2.9

Algorithme 2 : D´ etection des actions erron´ ees du ph´ enotype

«Mauvais

objet»

3.2.3 D´ etection des actions erron´ ees du ph´ enotype Temps/Dur´ ee Le ph´ enotype Temps/Dur´ ee est divis´ e en plusieurs effets sp´ ecifiques :

– Trop tˆ ot : action qui a ´ et´ e effectu´ e trop tˆ ot, avant qu’un signal ne soit donn´ e ou que les conditions requises pour son ex´ ecution ne soient satisfaites ou ´ etablies (action pr´ ematur´ ee)

– Trop tard : action qui a commenc´ e trop tard (action retard´ ee)

– Omission : action qui n’a pas du tout ´ et´ e effectu´ ee (dans l’intervalle autoris´ e) – Trop long : une action qui a continu´ e au-del` a le moment o` u il devrait s’arrˆ eter – Trop court : une action qui a ´ et´ e stopp´ ee avant qu’elle aurait dˆ u l’ˆ etre

Hollnagel a not´ e que les modes d’erreur concernant le temps et la dur´ ee r´ ef` erent

`

a une seule action, plutˆ ot que de la relation temporelle entre deux ou plusieurs ac- tions. Dans notre contexte, la r´ ealisation des tˆ aches dans le mod` ele MASCARET est s´ equentielle (un mod` ele plus complexe de description de tˆ aches a ´ et´ e propos´ ees dans [El-Kecha¨ı 06]). Par cons´ equent, une action est consid´ er´ ee comme trop tˆ ot quand elle a ´ et´ e r´ ealis´ e avant une ou plusieurs actions dans le cadre du plan, ´ egalement, une ou plusieurs actions sont consid´ er´ es comme ayant ´ et´ e omises lorsqu’elles ne sont pas effectu´ ees.

Enfin, afin de d´ etecter les actions erron´ ees dans le ph´ enotype Temps/Dur´ ee, nous proposons que :

– une action ayant l’effet sp´ ecifique Sauter en avant (du ph´ enotype S´ equence) a

´ egalement l’effet Trop tˆ ot

– une action d´ ecrite par l’effet Omission (du mode d’erreur S´ equence) sera consi-

d´ er´ ee comme une action ayant aussi un effet sp´ ecifique Omission (du mode

d’erreur Temps/Dur´ ee )

(33)

3.3. Exp´ erimentations

3.3 Exp´ erimentations

3.3.1 Protocole : application GASPAR

Afin de valider notre int´ egration, nous nous appuyons sur l’application GAS- PAR [Marion 07] dont l’objectif vise ` a simuler les activit´ es de l’aviation par la r´ ea- lit´ e virtuelle. Nous utilisons le sch´ ema de classification des erreurs propos´ e dans [El-Kecha¨ı 07a] qui a ´ et´ e adapt´ e en particulier pour l’EVF.

Fig.

3.1 – Une sc` ene sous GASPAR

La figure 3.1 montre une sc` ene simulant une proc´ edure sous GASPAR. Dans cette situation, l’apprenant peut jouer un des rˆ oles des deux personnages : IA et Officier.

Une fois l’apprenant a choisi un rˆ ole, les autres rˆ oles sont jou´ es automatiquement par la machine. Les figures 3.2 et 3.3 illustrent respectivement les actions possibles

`

a r´ ealis´ er par l’IA et l’Officier. Pour le personnage IA, ce sont : Attendre, V´ erifier et LeverDrapeau. Le personnage Officier poss` ede les deux actions suivantes : Ouvrir et Fermer. Les ressources associ´ ees sont la Cabine Catapulte (cf. figure 3.4) et le D´ eflecteur (cf. figure 3.5).

Dans MASCARET (et donc GASPAR), la proc´ edure ainsi que la collaboration

entre apprenant-agent sont d´ ecrites sous forme d’un diagramme UML. Dans notre

exemple, la figure 3.6 montre le plan correct que l’apprenant doit respecter stricte-

ment durant la r´ ealisation des tˆ aches.

(34)

3.3. Exp´ erimentations

(a) Attendre (b) V´erifier (c) LeverDrapeau

Fig.

3.2 – Le personnage IA

Fig.

3.3 – Le personnage Officier

(35)

3.3. Exp´ erimentations

(a) Fermer la cabine (b) Ouvrir la cabine

Fig.

3.4 – La cabine catapulte

(a) Fermer le d´eflecteur (b) Ouvrir le d´eflecteur

Fig.

3.5 – Le d´ eflecteur

(36)

3.3. Exp´ erimentations

Fig.

3.6 – Une proc´ edure dans GASPAR

(37)

3.3. Exp´ erimentations

3.3.2 R´ esultats

En ce qui concerne l’int´ egration de l’analyse r´ etrospective de CREAM ` a l’ITS, nous avons d´ evelopp´ e un serveur accessible par un navigateur grˆ ace auquel le forma- teur peut mettre ` a jour en ligne les informations concernant la r´ ealisation des tˆ aches de l’apprenant. Dans les paragraphes suivants, nous pr´ esentons quelques cas typiques illustrant le fonctionnement de l’ITS int´ egr´ e le m´ ecanisme d’analyse r´ etrospective de CREAM.

D´ etection des actions erron´ ees du ph´ enotype S´ equence La figure 3.7 pr´ e- sente la situation p´ edagogique d´ etect´ ee par l’ITS qui permet de connaitre ce que l’apprenant a fait, quelle action il est en train de faire, et quel objectif il poursuit.

Dans cet exemple, les actions r´ ealis´ ees par l’apprenant sont : (1)FermerDeflecteur et (2)OuvrirCabine. Ce sont des bonnes actions par rapport ` a la proc´ edure pr´ ed´ efi- nie (cf. figure 3.6). Cependant, dans la troisi` eme action, l’apprenant a fait l’action

Fig.

3.7 – Situation p´ edagogique 1a

FermerDeflecteur au lieu de l’action correcte OuvrirDeflecteur (cf. figure 3.8). En

(38)

3.3. Exp´ erimentations cons´ equent, malgr´ e le fait que la ressource est bonne (le D´ eflecteur), l’ITS puisse indiquer que l’apprenant a r´ ealis´ e une action erron´ ee du ph´ enotype S´ equence (cf.

figure 3.9).

Fig.

3.8 – Situation p´ edagogique 1b

D´ etection des actions erron´ ees du ph´ enotype Mauvais objet La figure 3.10 illustre une autre situation p´ edagogique : la derni` ere action de l’apprenant est FermerDeflecteur, l’action en cours est OuvrirDeflecteur. N´ eanmoins, d’apr` es le plan, l’action correcte devrait ˆ etre OuvrirCabine (comme indiqu´ ee par l’ITS dans la mˆ eme figure). Dans ce cas-l` a, l’action r´ ealis´ ee est bonne (Ouvrir) mais la ressource n’est pas correcte. En cons´ equent, l’ITS affiche qu’une action erron´ ee du ph´ enotype Mauvais objet a ´ et´ e d´ etect´ ee (cf. figure 3.11).

D´ etection des actions erron´ ees ayant des ph´ enotypes diff´ erents Dans cet

dernier exemple, nous pr´ esentons les cas o` u l’apprenant r´ ealise une action erron´ ee

qui appartient ` a plusieurs ph´ enotypes diff´ erents. La figure 3.12 illustre une situation

p´ edagogique d’un tel cas. L’apprenant a commenc´ e par l’action OuvrirCabine au

(39)

3.3. Exp´ erimentations

Fig.

3.9 – D´ etection du ph´ enotype S´ equence

(40)

3.3. Exp´ erimentations

Fig.

3.10 – Situation p´ edagogique 2

(41)

3.3. Exp´ erimentations

Fig.

3.11 – D´ etection du ph´ enotype Mauvais objet

(42)

3.3. Exp´ erimentations lieu de l’action correcte FermerDeflecteur. C’est non seulement une mauvaise action mais ´ egalement sur le mauvais objet. Les ph´ enotypes (et donc les g´ enotypes) de ces erreurs sont d´ etect´ es par l’ITS (cf. figure 3.13).

Fig.

3.12 – Situation p´ edagogique 3

Moyennant les exemples pr´ esent´ es ci-dessus, nous avons montr´ e que, dans le cas o` u l’apprenant r´ ealise une erreur, le syst` eme est capable de d´ etecter et classifier selon le sch´ ema de Hollnagel pour trouver les ph´ enotypes correspondants. L’ITS applique par la suite l’analyse r´ etrospective afin d’indiquer des causes les plus probables.

Enfin, ces informations sont consid´ er´ ees par le module de raisonnement p´ edagogique grˆ ace auquel l’ITS puisse proposer les assistances possibles (cf. figure 3.14).

Plus pr´ ecisement, les tableaux 3.1, 3.2 et 3.3 illustrent les r´ esultats de l’analyse r´ etrospective pour les ph´ enotypes S´ equence, Mauvais objet et Temps/Dur´ ee.

Afin d’´ evaluer comment le contexte (CPC’s) influence sur le r´ esultat de l’analyse r´ etrospective, nous changeons les coefficients de trois facteurs : individuel, technolo- gie et organisationnel. Dans notre exp´ erimentation, ` a partir d’un ph´ enotype entr´ ee, les analyses produisent g´ en´ eralement en sortie une dizaine des liens causaux. Donc, pour chaque combinaison de poids des trois cat´ egories (P,T,O), nous ne s´ electionnons et affichons que les causes les plus probables en ordonnant les valeurs de masse.

Dans les premiers tests, nous ´ equilibrons les trois facteurs (P,T,O). Par cons´ e-

(43)

3.3. Exp´ erimentations

Fig.

3.13 – Les ph´ enotypes et les g´ enotypes des actions erron´ ees affich´ es dans l’ITS

(a) Mettre en rouge l’apprenant

(b) Mettre en rouge la ressource

(c) Mettre tout en transpa- rent sauf l’apprenant

Fig.

3.14 – Les assistances possibles

(44)

3.3. Exp´ erimentations

Poids (P,T,O) Liens causaux

(0.333 - 0.333 - 0.333) 1, Probl` eme de conception (0.125) -> Sc´ enario inad´ equat (0.125) -> S´ equence

2, Conditions ambiantes d´ efavorables (0.125) -> Inattention (0.125) -> S´ equence

3, Manque de formation (0.041667) -> Probl` eme de m´ emoire (0.125) -> S´ equence

4, Autre priorit´ e (0.041667) -> Probl` eme de m´ emoire (0.125) -> S´ equence

5, Handicap (0.03125) -> Probl` eme de communication (0.125) -> S´ equence

(1 - 0 - 0) 1, Autre priorit´ e (0.2) -> Probl` eme de m´ emoire (0.2) ->

S´ equence

2, Mod` ele mental erron´ e (0.06667) -> Mauvais diagnostic (0.2) -> S´ equence

3, Analogie erron´ ee (0.06667) -> Mauvais diagnostic (0.2) -> S´ equence

4, Biais cognitif (0.06667) -> Mauvais diagnostic (0.2) ->

S´ equence

5, Anticipation (0.05) -> Mauvaise identification (0.2) ->

S´ equence

(0 - 1 - 0) 1, Probl` eme de ressources (0.1) -> Acc` es limit´ e (0.5) ->

S´ equence

2, Distance (0.1) -> Acc` es limit´ e (0.5) -> S´ equence

3, Probl` eme de localisation (0.1) -> Acc` es limit´ e (0.5) ->

S´ equence

4, Obstruction (0.1) -> Acc` es limit´ e (0.5) -> S´ equence 5, Mauvais manipulation d’objets (0.1) -> Acc` es limit´ e (0.5) -> S´ equence

(0 - 0 - 1) 1, Bruit (1) -> Probl` eme de communication (1) -> S´ equence

Tab.

3.1 – Liens causaux du ph´ enotype S´ equence

(45)

3.3. Exp´ erimentations

Poids (P,T,O) Liens causaux

(0.333 - 0.333 - 0.333) 1, Probl` eme d’acc` es (0.125) -> Mauvais objet

2, Probl` eme de conception (0.125) -> Sc´ enario inad´ equat (0.125) -> Mauvais objet

3, Conditions ambiantes d´ efavorables (0.125) -> Inattention (0.125) -> Mauvais objet

4, Probl` eme de pr´ esentation (0.03125) -> Probl` eme de com- munication (0.125) -> Mauvais objet

5, Handicap (0.03125) -> Probl` eme de communication (0.125) -> Mauvais objet

(1 - 0 - 0) 1, Maladie (0.1) -> Performance variable (0.2) -> Mauvais objet

2, Cybermalaise (0.1) -> Performance variable (0.2) -> Mau- vais objet

3, Anticipation (0.05) -> Mauvaise Indentification (0.2) ->

Mauvais objet

4, Surcharge cognitive (0.05) -> Mauvaise Indentification (0.2) -> Mauvais objet

5, Handicap (0.04) -> Observation manqu´ ee (0.2) -> Mau- vais objet

(0 - 1 - 0) 1, Probl` eme d’acc` es (0.5) -> Mauvais objet

(0 - 0 - 1) 1, Bruit (1) -> Probl` eme de communication (1) -> Mauvais objet

Tab.

3.2 – Liens causaux du ph´ enotype Mauvais objet

(46)

3.3. Exp´ erimentations

Poids (P,T,O) Liens causaux

(0.333 - 0.333 - 0.333) 1, Probl` eme de conception (0.166667) -> Sc´ enario inad´ equat (0.166667) -> Temps / Dur´ ee

2, Conditions ambiantes d´ efavorables (0.166667) -> Inatten- tion (0.166667) -> Temps / Dur´ ee

3, Probl` eme de pr´ esentation (0.041667) -> Probl` eme de com- munication (0.166667) -> Temps / Dur´ ee

4, Handicap (0.041667) -> Probl` eme de communication (0.16667) -> Temps / Dur´ ee

5, Conditions ambiantes d´ efavorables (0.041667) -> Inatten- tion (0.041667) -> Temps / Dur´ ee

(1 - 0 - 0) 1, Biais cognitif (0.083333) -> Mauvais diagnostic (0.25) ->

Temps / Dur´ ee

2, Mod` ele mental erron´ e (0.083333) -> Mauvais diagnostic (0.25) -> Temps / Dur´ ee

3, Analogie erron´ ee (0.083333) -> Mauvais diagnostic (0.25) -> Temps / Dur´ ee

4, Handicap (0.05) -> Observation manqu´ ee (0.25) ->

Temps / Dur´ ee

5, Surcharge cognitive (0.05) -> Observation manqu´ ee (0.25) -> Temps / Dur´ ee

(0 - 1 - 0) Aucun g´ enotype n’a ´ et´ e trouv´ e

(0 - 0 - 1) 1, Bruit (1) -> Probl` eme de communication (1) -> Temps / Dur´ ee

Tab.

3.3 – Liens causaux du ph´ enotype Temps/Dur´ ee

(47)

3.3. Exp´ erimentations quent, nous constatons que les g´ enotypes (racines et interm´ ediaires) sont bien dis- tribu´ es dans chaque cat´ egorie. N´ eanmoins, nous avons la mˆ eme remarque comme celle de [El-Kecha¨ı 07a] qu’il existe plusieurs causes racines qui sont des ant´ ec´ edents g´ en´ eraux. Cela concerne la formule de calcul des masses (cf. formule 1.1, page 10) qui pourrait ˆ etre affin´ ee tant que les nœuds sont des ant´ ec´ edents sp´ ecifiques puisqu’ils sont plus pertinents que les ant´ ec´ edents g´ en´ eraux.