Collecte et partage de critères et critères EIAH

Dans nos travaux, nous proposons une collection de critères de comparaison qui peuvent être calculés automatiquement par notre plateforme pour les techniques construites. Une première perspective est donc de permettre le partage de nouveaux critères de comparaison pour la plateforme. Cette perspective pose en premier lieu des questions techniques : il faut un dépôt pour le code et la documentation des critères, avec une interface en ligne pour la navigation dans le dépôt. Cette notion de dépôt pose le problème de pouvoir naviguer parmi ces critères et de choisir ceux qui intéressent le concepteur. Pour ce faire, nous pensons qu’une catégorisation plus fine des critères permettrait de faire des

188

requêtes dans le dépôt. Dans nos travaux, nous proposons trois formes de catégorisation (chapitre 5) : critères simples ou complexes, types de résultats, buts du critère. En l’état, le but est informel (textuel) et ne permet pas facilement de faire des recherches parmi les critères. Une perspective est donc d’affiner la catégorisation par les buts. Une catégorisation plus fine peut permettre également de faire de la recommandation si le concepteur fournit une liste de mots clés ou d’objectifs qui l’intéressent dans son travail. Du point de vue de l’utilisabilité, une perspective à terme est de développer notre plateforme sur le Web, et de permettre le calcul des critères sur des techniques déjà construites, donc sans utiliser notre méthode d’assistance à la construction. Dans nos travaux, nous avons bien séparé les deux méthodes d’assistance (construction et comparaison), mais notre plateforme ne permet pas d’utiliser séparément chaque méthode facilement.

Cette perspective sur la collecte et le partage de critères peut inclure la question de critères de comparaison qui seraient calculés à partir des résultats d’autres critères de comparaison. Nous avons un exemple simple dans nos travaux : les critères AIC et BIC sont calculés à partir de la complexité, en termes de nombre de paramètres, des techniques. Or, la complexité en termes de nombre de paramètres est elle-même un critère de comparaison. Nous pouvons faire l’hypothèse que plus les critères seront nombreux et variés, plus il sera intéressant de proposer des critères de haut niveau permettant de synthétiser les résultats d’un ensemble de critères de comparaison. Nous avons par exemple constaté que, lors du calcul des divers critères que nous avons proposés pour la précision de la prédiction (avec notamment RMSE, BIC, AIC, AUC, précision de prédiction simple), les résultats de ces critères pouvaient être contradictoires ou non, significatifs ou non. Il serait, à notre sens, possible de proposer un critère de synthèse sur la précision de prédiction qui attribuerait un poids plus ou moins important à chaque critère de comparaison soit en fonction de la signifiance statistique de leurs résultats, soit en fonction d’objectifs du concepteur. Une perspective est donc d’étudier si de tels critères de synthèse seraient utiles au concepteur pour l’interprétation des résultats.

Une seconde perspective est de poursuivre le travail sur la conception de critères spécifiques aux EIAH, comme le critère que nous avons proposé mesurant l’impact des techniques de diagnostic sur l’apprentissage d’une stratégie d’aide pour un EIAH, et qui a montré dans nos expérimentations une différence statistiquement significative entre les techniques.

Par exemple, un des buts d’une technique de diagnostic est d’inférer un modèle des connaissances des apprenants qui puissent être utilisés pour adapter les prises de décision de l’EIAH. Parmi ces processus de prises de décisions figurent donc le choix d’un type d’aide, d’un indice, d’une rétroaction épistémique, du prochain exercice à proposer à l’apprenant, d’un ensemble d’exercices (parcours) à proposer à l’apprenant, d’un affichage personnalisé de son profil à l’apprenant, d’une présentation personnalisée d’un exercice… Il existe dans la littérature, pour tous ces aspects, des travaux (Barnes et Stamper, 2008; Chi et al., 2010; Gertner et al., 1998) qui se sont d’une part intéressés à l’apprentissage (semi-)automatique

189

de stratégies de prise de décision dans l’EIAH, d’autre part à l’apprentissage de stratégies utilisant le résultat d’une technique de diagnostic.

Schute et Zapata-Rivera (Shute et Zapata-Rivera, 2007) définissent dans leurs travaux un framework (Figure 47) décrivant l’usage de modèles d’apprenants pour l’adaptation de l’EIAH à l’apprenant. Elle décrit un cycle temporel à quatre états (pouvant être facultatifs) :

- Capture : collecte d’informations sur l’apprenant, y compris des informations sur ses connaissances via le modèle de l’apprenant

- Analyze : inférence et mise à jour du modèle de l’apprenant (le diagnostic des connaissances est fait à cette étape, bien que Shute ne fasse pas de distinction entre diagnostic des connaissances et diagnostic comportemental)

- Select : sélection de ressources ou de contenus en fonction du modèle de l’apprenant et des objectifs de l’EIAH

- Present : présentation des ressources ou contenus sélectionnés dans l’EIAH via des techniques adaptatives

Figure 47 : Cycle à quatre états proposé par Shute pour décrire les processus d’adaptation dans les EIAH à partir du modèle de l’apprenant. La silhouette en bas représente l’apprenant, et celle du haut représente le modèle de l’apprenant qui est censé, selon Shute et Zapata-Rivera, devenir de plus en plus riche et précis en fonction du temps, donc au cours de l’interaction de l’apprenant avec l’EIAH.

Le critère que nous avons proposé sur l’impact des techniques de diagnostic sur l’apprentissage d’une stratégie d’aide se positionne dans le cycle entre le modèle de l’apprenant et la sélection de ressources ou contenus (ici, sélection d’un type d’aide). Nous pouvons donc préciser notre perspective comme la proposition de critères de comparaison permettant l’étude de l’impact d’une technique de diagnostic sur la sélection de contenus ou ressources dans l’EIAH.

2. Transposition de nos questions de recherche dans d’autres

domaines des EIAH

Nous avons détaillé jusqu’ici nos perspectives dans le prolongement de nos contributions. Dans cette section, nous allons nous intéresser à des perspectives de mise en application de

190

nos questions de recherche et du principe de nos contributions dans d’autres domaines des EIAH.