Limites du réseau bayésien

Les travaux effectués au niveau du RB possèdent plusieurs limites que nous présentons dans cette partie.

Premièrement, il est difficile de valider sa précision pour toute situation générée dynamiquement, et pour laquelle aucun marqueur comportemental produit sur la base d’une CTA n’a pu être identifié. En effet, le caractère mal-défini du domaine rend particulièrement complexe une telle analyse ; cette tâche se situe hors du domaine de compétences des experts d’un domaine, et nécessiterait une comparaison avec les résultats d’une analyse de tâches cognitives produite par des experts collaborant avec des spécialistes des CNT pour faire émerger des marqueurs non-techniques

121

susceptibles de fournir une information de haut niveau sur l’influence positive ou négative d’une CNT. En outre, analyser la précision du diagnostic nous paraît peu pertinente dans notre cadre, car l’un des intérêts de l’utilisation d’un RB est justement d’assister l’expert dans son diagnostic, en fournissant une plateforme de visualisation des liens entre CT, marqueurs non-techniques, et CNT, paramétrable en fonction des hypothèses posées sur le rôle des CNT dans un domaine. Sa précision serait donc directement relative aux capacités de l’expert à diagnostiquer les CNT dans un domaine ; son erreur également relative aux misconceptions de l’expert.

Deuxièmement, plusieurs hypothèses réductrices sont faites lors de la modélisation des nœuds de type soft evidence. En effet, on considère qu’une valeur numérique d’évaluation de performance comprise entre 0 et 5 peut être transcrite par normalisation sous la forme d’une probabilité comprise entre 0 et 1 ; cela revient à dire qu’il y a une relation linéaire entre niveau de performance et probabilité de performance vis-à-vis de l’expert, une hypothèse forte que nous n’avons pas pu vérifier. Cela se traduit par la sommation à 1 des probabilités de type soft evidence des nœuds de performance. Il serait intéressant d’analyser plus en détails les liens entre la notion de performance telle qu’obtenue par une approche d’apprentissage supervisée, et la probabilité de performance experte du point de vue bayésien. Cela revient à s’interroger sur la signification de la performance experte en situation critique et donc aux moyens de compenser un éventuel manque de précision de la valeur prédite par le module d’analyse de performance. Le problème se pose également pour la notion de difficulté où une valeur graduelle est à l’heure actuelle modélisée sous la forme de probabilités sommant à 1.

Finalement, une dernière limite est associée à la structure choisie du RB. Certaines assomptions d’indépendance entre variables sont faites qui méritent d’être discutées. Par exemple, on considère l’indépendance conditionnelle entre les nœuds subskills étant donné les nœuds comportementaux. Il s’agit d’une simplification discutable d’un point de vue théorique. En effet, on a vu dans la partie 2 de ce mémoire que ces subskills possédaient des liens entre eux. Par exemple « percevoir l’information » peut être considérée comme une condition sine-qua-none à « interpréter et comprendre l’information ». En faisant cette hypothèse simplificatrice, le RB estime que l’une ou l’autre de ces subskills en particulier, joue un rôle prépondérant dans la gestion d’une dimension de criticité. Par exemple, dans le cadre d’une situation présentant une dimension de criticité de type ambigüe, on considère que la difficulté centrale se situe dans l’interprétation et la compréhension d’une information plutôt que dans la perception de cette information, ou l’anticipation. Notons cependant que puisque les nœuds comportementaux ne sont pas des observations « dures » mais sont eux-mêmes inférés, les nœuds subskills, s’influencent quand même les uns les autres. Prenons pour exemple le cas d’une situation ambigüe pour laquelle on possède des marqueurs non-techniques rattachés au processus de « compréhension », identifié par les experts comme majeur pour désamorcer ce type de criticité. Un apprenant avec une variation de performance technique forte aura tendance à voir son nœud « compréhension » tendre fortement vers « Aptitude Faible », tandis que les autres nœuds seront plus proches de l’équiprobabilité. Si maintenant, un marqueur NT de la compréhension a été observé comme bien appliqué par l’apprenant, la probabilité que son

122

déduit que la forte variation de performance technique observée est plutôt due à un déficit de perception ou d’anticipation.

10.4 Conclusion

Nous avons mis en place un réseau bayésien pour permettre le diagnostic des CNT d’un apprenant lors de chaque phase d’une situation d’apprentissage critique. Ce RB est par ailleurs dynamique, ce qui permet d’une part, de suivre l’évolution des compétences de l’apprenant sur la durée, et d’autre part, d’améliorer l’estimation des compétences par l’accumulation d’observations sur le comportement d’un apprenant.

Ce RB agrège plusieurs connaissances sur les situations d’apprentissage rencontrées. La notion de dimension de criticité, en particulier, permet de mettre en lumière la prédominance de certains processus cognitifs (les subskills) dans l’interprétation de l’activité de l’apprenant du point de vue des CNT. Les marqueurs non-techniques, indicateurs de haut niveau de l’application de CNT, bien qu’optionnels, jouent un rôle prépondérant dans l’interprétation de cette activité.

Plusieurs limites ont été relevées, ayant trait (1) aux difficultés de valider la précision du RB pour les situations « peu définies », pour lesquelles on ne possède pas de marqueurs non-techniques, ce qui nous a poussé à focaliser nos expérimentations sur la « robustesse » du RB face à l’erreur en entrée plutôt que sur une mesure de précision (voir partie 13.3, page 160), (2) aux difficultés à caractériser les liens entre des valeurs issues d’une analyse de performance et la notion de proximité probabiliste entre cette performance et celle de l’expert et (3) à certaines hypothèses d’indépendance entre variables, faites afin d’améliorer l’efficacité du RB.

Malgré ces limites, le RB peut tracer l’évolution des CNT de l’apprenant sur la durée. Ce suivi de l’évolution de l’apprenant au cours de son exploration de différents types de criticité joue bien le rôle escompté de guide didactique pour l’adaptation scénaristique. Nous verrons dans le chapitre suivant comment les informations accumulées graphiquement sur l’apprenant permettent de guider le processus de prise de décision pour la génération de nouveaux scénarios.

123

CONTRIBUTIONS POUR LE

MODULE PEDAGOGIQUE

124

11. Module pédagogique pour le choix de