Analyse qualitative du comportement du modèle de l’apprenant

Dans cette partie, nous procéderons à une analyse qualitative des relations entre les valeurs moyennes des 𝜃 et des nœuds maîtrise cumulée, pour trois apprenants présentant des profils distincts, au fil de leurs confrontations avec des situations critiques d’une difficulté croissante. Ces trois apprenants ont été sélectionnés parmi une base de 200 apprenants synthétiques, car ils illustrent bien, d’une part, le comportement du RB dans le cas où la progression de l’apprenant suit de manière homogène l’augmentation en difficulté des situations critiques générées, et d’autre part, les cas où le RB peut manquer de précision.

La Figure 14.2 présente le cas d’un apprenant « compétent » présentant de bonnes capacité de progression. Ces paramètres se traduisent par le fait que ses valeurs de 𝜃 progressent de manière régulière à mesure qu’il fait face à de nouvelles situations d’apprentissage. De fait, les situations

177

générées par le pseudo-modèle décisionnel restent toujours appropriées, et le RB suit bien l’évolution de ses scores d’aptitude. La courbe des valeurs des nœuds « maîtrise cumulée » reste cependant légèrement moins forte que celle des scores d’aptitude, mais cet effet est normal puisqu’il s’agit de probabilités, et que nous avons posé dans nos hypothèses initiales que l’apprenant « le plus fort » (scores d’aptitudes à 4) réussirait moyennement la situation « la plus difficile » (valeurs de b à 4).

Figure 14.2 : Comparaison entre l’évolution des diagnostics et les valeurs de 𝜃 pour un apprenant compétent

La Figure 14.3 présente un cas volontairement extrême d’un apprenant désarçonné dès les premières situations par la criticité, pour lesquels les scores d’aptitudes stagnent au minimum durant toute la situation. On constate ici l’écartement progressif de la courbe des 𝜃 et des valeurs de maîtrise cumulée du RB.

178

Figure 14.3 : Comparaison entre l’évolution des diagnostics et des valeurs de 𝜃 pour un apprenant très faible

La figure 14.4 montre le cas d’un apprenant qui commence par progresser à un rythme lent durant les 12 premières situation, du fait d’une « préférence » pour les situation très faciles (valeurs de 𝜃^∗ très basses). Son rythme de progression n’est cependant pas suffisant pour suivre l’augmentation en intensité de la criticité des situations. Au bout d’un moment, l’intensité de la criticité devient trop forte pour lui et il ne progresse plus du tout. Le modèle de l’apprenant, cependant, continue à le considérer en progression lente malgré la chute de ses performances. L’effet de surestimation présenté précédemment peut donc également se produire pour des cas moins extrêmes que celui de la Figure 14.3. On constate ici, en particulier que la surestimation des nœuds « maîtrise » se produit surtout lorsque l’intensité de la criticité augmente (e.g. : temporalités 21, 24 et 27), mais que ces nœuds restent stables lors que l’intensité de la criticité stagne.

Figure 14.4 : Comparaison entre l’évolution des diagnostics et des valeurs de 𝜃 pour un apprenant progressant lentement

14.2.4 Discussion

On a d’une part noté la bonne capacité du RB à suivre l’évolution de l’apprenant quand les aptitudes θ de ce dernier progressent de manière suffisamment rapide pour être représentées par des variations significatives au niveau des nœuds « maîtrise » du RB, dont les valeurs graduellement plus fortes se répercutent sur les nœuds « maîtrise cumulée » (Figure 14.2 et premier exemple). D’autre part, le modèle de l’apprenant fait preuve d’imprécision dans plusieurs cas. (1) Pour des apprenants particulièrement faibles, on observe un effet « pallier » qui amène le modèle de l’apprenant à surestimer progressivement l’état des CNT de ces apprenants (Figure 14.3 et deuxième exemple). (2) Lorsque l’apprenant stagne ou progresse lentement, un effet similaire se produit (Figure 14.4 et troisième exemple). Nous discuterons de ces deux derniers cas et de leurs conséquences vis-à-vis de notre architecture.

179

Imprécision du modèle de l’apprenant face à des cas extrêmes

Le cas de l’apprenant « faible » présenté par la Figure 14.3 met en évidence la perte de précision du modèle de l’apprenant face à un cas extrême où un apprenant très mauvais affronte des situations de difficulté croissante et très au-dessus de ses capacités. Outre le caractère inutile des situations proposées à cet apprenant synthétique pour améliorer ses scores d’aptitudes (qui de fait stagnent au minimum), ces dernières créent une erreur de plus en plus importante au niveau du modèle de l’apprenant.

Ce comportement est dû à la façon dont l’intensité de la criticité est prise en compte dans le RB, et se répercute sur les nœuds maîtrise. Dans le cas précis où l’apprenant fait face à des situations particulièrement inadaptées, pour lequel il a des performances toujours très mauvaises, l’augmentation de la difficulté de la situation amène mécaniquement le RB à voir une progression des compétences (e.g. : une performance très mauvaise face à une situation difficile est « meilleure » qu’une performance très mauvaise face à une situation facile). La Figure 14.5 illustre ce cas : on voit que les valeurs des diagnostics successifs stagnent vers une limite basse (aux alentours de 0.15), mais qu’en contrepartie les scores de maîtrise et de maîtrise cumulée augmentent.

Figure 14.5 : Vue des scores des nœuds de diagnostic et de leur influence sur l’évolution des compétences de l’apprenant « faible ».

Il s’agit là d’un problème intrinsèque à l’inclusion de l’intensité de la criticité comme paramètre modérateur des différents diagnostics obtenus « étant donné » l’état de la criticité de la situation. En imaginant un RB qui se contenterait d’accumuler des diagnostics sur l’apprenant pour tracer l’évolution de ses compétences, sans modérer ces derniers par une information concernant l’intensité de la criticité, ce problème particulier disparaîtrait : les diagnostics se succèderaient en étant toujours mauvais et le modèle de l’apprenant tracerait correctement la non-évolution des aptitudes de ce dernier. En contrepartie, une structure n’incluant pas cette notion d’intensité de la criticité, induit une

180

imprécision beaucoup plus importante pour inférer les compétences de l’apprenant. Par exemple, un apprenant stagnant à un niveau intermédiaire mais affrontant exclusivement des situations « faciles » serait considéré en progression constante par le modèle de l’apprenant. L’observation sur l’intensité de la criticité nous est donc apparue comme nécessaire pour pouvoir évaluer l’évolution des CNT de l’apprenant, sous réserve que le module pédagogique soit capable de générer des situations suffisamment pertinentes pour éviter ce genre de cas extrêmes.

Imprécision du modèle face à des apprenants qui stagnent

Le cas de l’apprenant « lent » présenté par la Figure 14.4 met également en évidence une certaine perte de précision du modèle de l’apprenant qui s’explique au niveau de la structure du RB et notamment de la prise en compte des informations sur la criticité de la situation. La Figure 14.6 présente le détail des diagnostics moyens de l’apprenant « lent », obtenus pour chacune de ses CNT, en indiquant la dimension de la criticité de la situation à laquelle il fait face. Rappelons que cet apprenant progresse pour les 12 premières situations, puis stagne (Figure 14.4).

Figure 14.6 : Vue des scores des nœuds de diagnostic et de leur influence sur l’évolution des compétences de l’apprenant « lent ».

On note tout d’abord que pour les premières temporalités où les scores d’aptitude de l’apprenant progressent, les diagnostics (histogrammes orange) progressent également, par à-coups, à mesure que l’intensité de la criticité (histogrammes gris) augmente. Ces progressions sont répercutées sur les nœuds « maîtrise » et sur la maîtrise cumulée qui enregistre donc bien une progression en compétences de l’apprenant. En revanche, nous notons deux progressions non-souhaitées au niveau des dernières temporalités, pour lesquelles les scores d’aptitude de l’apprenant stagnent.

Premièrement, entre les temporalités 20 et 21, on note que les diagnostics enregistrent une forte baisse, due à l’importante augmentation de l’intensité de la criticité. Mais le nœud « maîtrise »

181

(histogramme bleu) enregistre une progression, ce qui se traduit, pour le modèle de l’apprenant, en une progression en compétence (courbe bleue). Or, on a vu précédemment que les scores d’aptitude de l’apprenant étaient stables à ce stade de la simulation. cette progression n’est donc pas due à une progression de l’apprenant, mais à une finesse insuffisante du RB dans ce cas. Nous émettons deux hypothèses pour expliquer ce manque de précision.

(1) Cette imprécision peut être due à la façon dont les probabilités conditionnelles ont été renseignées entre les nœuds « intensité de la criticité » et « maîtrise ».

(2) Cette imprécision peut être due à l’incertitude présente au niveau du nœud « intensité de la criticité ». En effet, dans le cadre de notre jeu de données synthétiques, nous avons considéré qu’il existait une relation d’équivalence entre la « difficulté » d’une situation, telle qu’utilisée par notre modèle de génération de données pour produire les valeurs de performance, et l’intensité de la criticité :

𝑝(𝐼𝑛𝑡𝑒𝑛𝑠𝑖𝑡𝑒𝐶𝑟𝑖𝑡𝑐𝑖𝑡é𝐶𝑜𝑛𝑠𝑐𝑖𝑒𝑛𝑐𝑒𝑆𝑖𝑡𝑢𝑎𝑡𝑖𝑜𝑛= 𝐹𝑜𝑟𝑡𝑒) = 𝑛𝑜𝑟𝑚𝑎𝑙𝑖𝑠𝑎𝑡𝑖𝑜𝑛 (𝑏𝑖(𝑝𝑒𝑟𝑐𝑒𝑝𝑡𝑖𝑜𝑛)) 𝑝(𝐼𝑛𝑡𝑒𝑛𝑠𝑖𝑡é𝐶𝑟𝑖𝑡𝑖𝑐𝑖𝑡é_{𝑃𝑟𝑖𝑠𝑒𝐷𝑒𝐷𝑒𝑐𝑖𝑠𝑖𝑜𝑛}= 𝐹𝑜𝑟𝑡𝑒) = 𝑛𝑜𝑟𝑚𝑎𝑙𝑖𝑠𝑎𝑡𝑖𝑜𝑛 (𝑏_𝑖(𝐴𝑐𝑡𝑖𝑜𝑛))

Or, cette relation d’équivalence est imprécise, puisqu’on a vu que les perceptions et les actions influençaient plus ou moins fortement les diagnostics des deux CNT. En liant les valeurs de b aux nœuds d’intensité de la criticité, nous omettons donc une partie de l’information, précisément, l’influence de b(action) sur la conscience de la situation et

b(perception) sur la prise de décision. On peut cependant estimer qu’une valeur d’intensité

de la criticité fournie par un expert comporterait également un degré d’imprécision irréductible, ce qui y compris dans le cadre de données réelles introduirait un degré d’erreur pour des valeurs de diagnostics proches.

Deuxièmement, entre les temporalités 23 et 24, on note une augmentation des diagnostics, malgré le fait que les scores d’aptitudes de l’apprenant stagnent toujours. Ceci est dû à un changement de dimension de criticité (passage d’ambiguïté à imprévisibilité). On a vu dans la partie 13.3.3 (page 164), dans l’expérimentation sur la capacité de couverture du RB, que cette couverture était moindre pour la conscience de la situation dans le cadre de situations ayant une dimension de criticité effectivement renseignée à « imprévisibilité ». Cette CNT étant moins mobilisée dans ce cadre, le RB peut moins facilement conclure à une influence positive ou négative. Les diagnostics sont donc moins « saillants ». Cela revient à faire tendre les diagnostics vers plus d’équiprobabilité, ce que le RB dynamique traduit ici par une progression.

Rôle du module pédagogique dans la précision du modèle de l’apprenant

Le RB dynamique comporte donc certaines limites, liées d’une part à l’incertitude des observations sur l’intensité de la criticité, et d’autre part, aux différences de mobilisation des CNT en fonction des dimensions de criticité. Une solution trouvée afin de compenser une potentielle perte de précision au niveau du modèle de l’apprenant, est de générer régulièrement des situations avec pour objectif de rapprocher la difficulté de ces situations de l’état réel des aptitudes de l’apprenant. On voit en effet que ces imprécisions arrivent avant tout lorsque la situation d’apprentissage change.

182

L’inclusion d’un objectif de « vérification » au module pédagogique, favorisant la précision du modèle de l’apprenant en complément de l’objectif fondamental de renforcement des compétences de l’apprenant, peut donc permettre d’éviter la création d’écarts trop importants entre le niveau réel de l’apprenant et son estimation par le RB.

En outre, l’inclusion d’une telle phase « d’assistance au module de l’apprenant » au module pédagogique possède un caractère vertueux. En effet, les connaissances du module de l’apprenant peuvent contribuer en retour au processus de génération de situations d’apprentissage appropriées à ce dernier en améliorant la précision des choix du module pédagogique, construits via une estimation du gain d’apprentissage produit par chaque situation. En améliorant la précision du modèle de l’apprenant, le module pédagogique s’assure en retour d’une plus grande pertinence de chaque situation potentiellement sélectionnable.

14.2.5 Synthèse

Nous avons présenté les expérimentations conduites sur les aspects dynamiques du RB, permettant de modéliser au cours du temps l’état des CNT d’un apprenant. Ces expérimentations ont fait apparaître certaines limites au niveau de la temporalité du RB, dues au domaine (imprécision de l’intensité de la criticité et du diagnostic), ou à sa structure (couvertures différentes en fonction des dimensions de criticité). Nous avons présenté des cas pour lesquels ces limites ont des conséquences néfastes sur la précision du modèle de l’apprenant, et proposé une approche permettant de compenser ce potentiel manque de précision par l’inclusion d’une phase de vérification au niveau du processus de sélection d’actions pédagogiques.

Dans la partie suivante, nous présentons les expérimentations conduites afin de quantifier l’efficacité du module pédagogique pour la sélection de situations critiques d’apprentissages pertinentes afin de faire progresser les CNT.

183