Modèle de diagnostic Praxéologie

Nathalie propose dans son travail une simplification d’un modèle de diagnostic nommé Praxéologie (Chaachoua, 2011). Dans sa simplification, le modèle formalise les éléments suivants :

- Un ensemble d’exercices

- Un ensemble de « techniques » associées aux exercices. Par exemple, un exercice de factorisation met en jeu la technique de factorisation. Ces techniques sont donc des éléments de connaissance

o Des sous-techniques décrivant à un niveau plus fin les connaissances que doit mobiliser l’apprenant. Par exemple, pour l’exercice de factorisation (x-1)(x+9)+(x-1), la technique de factorisation implique de mobiliser les sous-techniques factorisation simple (sur « x-1 »), puis développement et enfin réduction.

- Le diagnostic comportemental (présence de règles erronées ou non)

- Le contexte d’application (par exemple, un exercice peut porter sur un polynôme ou un monôme)

- La forme finale du résultat (qui peut avoir deux valeurs : conforme ou non conforme). Par exemple, le résultat d’une factorisation de degré deux ne peut être un polynôme de degré trois

165

Nous pouvons transcrire ces éléments selon notre formalisation FMD comme suit (représentation graphique sur la Figure 44) :

Modèle simplifié de la praxéologie :

- O = { Exercise ; Rules ; Context ; Conform } - K = { Technique, Subtechnique }

- OtoO = { RestoE : Result -> Exercise }

- OtoK = { EtoT : Exercise -> Technique ; RtoSub : Rules -> Subtechnique ; CxtoSub : Context -> Subtechnique ; CftoT : Conform -> Technique }

- KtoK = { TtoSub : Technique -> Subtechnique } - C = { }

- BD = { Rules, Conform }

Figure 44 : Représentation graphique du modèle de diagnostic simplifié de la praxéologie.

L’objectif de ce diagnostic est d’inférer la « praxéologie » de l’apprenant, c’est-à-dire l’ensemble des techniques et sous-techniques qu’il maîtrise. Dans la praxéologie, la maîtrise d’une technique dépend de l’institution (généralement, les programmes scolaires de l’Éducation nationale en France). L’objectif est de déterminer si l’apprenant maîtrise la technique prônée par l’institution, ou bien s’il maîtrise une autre technique, qui peut être correcte en rapport au domaine mais non attendue (par exemple en géométrie, utiliser la figure plutôt que les théorèmes). Enfin, l’apprenant peut ne maîtriser aucune technique (ni attendue par l’institution, ni personnelle). Pour prendre en compte l’institution, le concepteur du diagnostic (ici Nathalie) doit apporter une « praxéologie institutionnelle » qui indique les techniques attendues par l’institution.

Dans notre expérimentation, nous proposons de définir la praxéologie institutionnelle dans un fichier XML qui décrit pour chaque technique les sous-techniques demandées par l’institution. Reprenons l’exemple de la factorisation d’une expression simple comme (x-1)(x+9)+(x-1) : la praxéologie institutionnelle indique qu’il est obligatoire de commencer par une factorisation simple, puis qu’un développement et une réduction sont optionnels. L’équivalent en XML est donné ci-dessous :

166 < !--Nom de la technique -->

<Technique name="Tfact.simple">

< !--Première sous-technique « factorisation simple » obligatoire --> <SubTechnique name="TFact.simple_Formule"

status="required"></SubTechnique>

< !--Sous-technique de réduction facultative --> <SubTechnique name="Tcalc" status="optionnal"> </SubTechnique>

< !--Sous-technique de développement facultative --> <SubTechnique name="Tred" status="optionnal"> </SubTechnique>

</Technique>

Pour ce modèle de diagnostic, nous proposons deux implémentations : règles expertes et réseau bayésien.

L’implémentation à base de règles expertes est basée sur un ensemble de règles de diagnostic des connaissances fournies par Nathalie. Ces règles sont les suivantes :

Si le résultat est conforme :

- 1^er cas : la technique n’est pas celle attendue par l’institution, mais toutes les règles utilisées sont correctes. La technique est donc correcte mais pas institutionnelle - 2e cas : la technique est celle attendue. La technique est institutionnelle et sue - 3^e cas : la technique n’est pas celle attendue et son utilisation est corrélée avec

l’utilisation d’une règle erronée. La technique n’est pas correcte. Si le résultat est non-conforme :

- 4^e cas : la technique n’est pas celle attendue, mais toutes les règles utilisées sont correctes. La technique n’est donc pas correcte

- 5^e cas : la technique est celle attendue par l’institution, l’apprenant a donc utilisé au moins une règle erronée. La technique est institutionnelle et une règle n’est pas maîtrisée.

- 6^e cas : la technique n’est pas celle attendue et son utilisation est corrélée avec l’utilisation d’une règle erronée. La technique n’est pas correcte.

Ces règles expertes sont appliquées à la fin de chaque exercice. Dans ces règles, les cas 2 et 5 permettent d’inférer que l’apprenant maîtrise une technique institutionnelle. Les autres cas révèlent que la technique institutionnelle n’est pas maîtrisée, soit parce que l’apprenant utilise une autre technique personnelle, soit parce qu’il ne sait pas appliquer une quelconque technique pour résoudre le problème.

La seconde implémentation est basée sur un réseau bayésien, dont la structure est identique au modèle de diagnostic Figure 44. En raison du faible nombre de traces, il n’était pas

167

possible d’appliquer l’algorithme EM pour l’apprentissage des paramètres, ces derniers ont donc été fixés de façon manuelle par nous-mêmes. Cette méthode n’est donc pas rigoureuse, mais nous l’avons appliquée à titre d’exemple.

En guise de résultat, nous avons confronté le résultat des techniques de diagnostic Praxéologie + règles expertes et Praxéologie + réseau bayésien avec le diagnostic réalisé par Nathalie sur les traces simulées. Pour chaque exercice, elle a fourni les éléments suivants : la technique utilisée par l’apprenant est correcte ou non, est institutionnelle ou non. Les résultats de nos techniques de diagnostic appliquées aux traces simulées donnent les mêmes résultats que le diagnostic expert dans 100 % des cas.

3. Retour sur les questions de recherche

Par rapport aux questions de recherche de Nathalie Brasset (la didacticienne des mathématiques), cette expérimentation montre qu’il est possible d’évaluer automatiquement les techniques de l’apprenant, leur validité et leur adéquation avec l’institution.

Concernant nos travaux, l’objectif de cette expérimentation était d’étudier l’apport d’un nouveau modèle de diagnostic dans notre plateforme selon notre formalisation, avec la possibilité de comparer plusieurs implémentations pour ce modèle. Cependant, en raison du faible nombre de traces simulées, nous n’avons pu utiliser l’algorithme de construction semi-automatique et le calcul des critères de comparaison.

VI. Conclusion

Nous avons évalué nos propositions de recherche à travers trois expérimentations. La première fournit une preuve de concept sur la possibilité de construire et de comparer au moyen de notre plateforme plusieurs techniques de diagnostic basées sur des modèles de diagnostic différents. Nous avons pour cela utilisé les traces d’apprenants de trois domaines différents (chirurgie orthopédique, géométrie des aires, lecture de l’anglais). Pour chacun de ces domaines, notre algorithme de construction a pu construire les quatre techniques de diagnostic considérées, et tous les critères de comparaison ont pu être calculés. La seconde expérimentation portait sur le développement d’un critère de comparaison plus complexe qui portait sur une question de recherche spécifique au domaine des EIAH : l’impact des techniques de diagnostic sur le choix d’un type d’aide à donner à un apprenant. Les résultats ont montré d’une part la possibilité de développer un tel critère dans notre plateforme, et d’autre part que l’impact des techniques de diagnostic s’est révélé significatif sur l’apprentissage de stratégies d’aide dans le domaine de la lecture de l’anglais. Enfin, la troisième expérimentation portait sur l’apport d’un nouveau modèle de diagnostic dans la plateforme, associé à deux implémentations. Toutefois, le faible volume de traces simulées par une didacticienne n’a pas permis d’exploiter les méthodes d’assistance de la plateforme.

168

Ces expérimentations ont permis de montrer que nos propositions permettent de répondre à nos questions de recherche et à plusieurs verrous de la littérature :

- La possibilité de comparer à partir d’un même jeu de traces différentes techniques de diagnostic basées sur des modèles de diagnostic différents.

- La possibilité d’assister la construction de ces techniques par un algorithme semi-automatique, en respectant toutes les contraintes de chaque modèle de diagnostic et la sémantique apporté par le concepteur du diagnostic.

- La possibilité d’appliquer un grand nombre de critères de comparaison simples ou complexes, qui portent aussi bien sur la statistique (précision de prédiction), le génie logiciel (complexité des techniques), ou le domaine des EIAH (impact sur le choix d’un type d’aide, corrélation avec un diagnostic externe).

Parmi les limites de ces évaluations figurent essentiellement le fait que nous n’avons pas pu proposer à des concepteurs d’utiliser par eux-mêmes notre plateforme, faute d’une interface utilisable. En effet elle requiert encore un peu de programmation manuelle, notamment pour analyser les résultats des critères sur des sous-ensembles de traces, ce qui est essentiel à la phase d’interprétation. Nous reviendrons sur ces limites dans la conclusion et les perspectives.

169