Retour sur les questions de recherches

1. Rappel des questions de recherche et des principaux verrous

Nous avons formulé dans l’introduction la question de recherche suivante : comment assister des concepteurs de diagnostic des connaissances pour la création et la comparaison de différents diagnostics des connaissances de façon indépendante du domaine au moyen de traces d’apprenant ?

Pour répondre à cette question, nous avons identifié dans l’état de l’art plusieurs verrous à résoudre. En premier lieu, concernant la construction de techniques de diagnostic :

- Le manque d’outils auteurs permettant de construire une technique de diagnostic de façon générique, sans imposer la construction d’un EIAH complet

- La difficulté d’interpréter et de réutiliser les techniques construites à partir d’algorithmes d’apprentissage automatique

- Le coût de développement d’une technique de diagnostic, qui est une tâche pluridisciplinaire nécessitant du temps de programmation et une bonne connaissance des modèles de diagnostic

En second lieu, concernant la comparaison de techniques de diagnostic :

- La prédominance des tests de comparaison statistiques et l’inexistence de mesures de comparaison spécifiques au domaine des EIAH

- L’inexistence de plateforme ou bibliothèque permettant de proposer, partager et calculer des mesures de comparaison pour des techniques de diagnostic

- La dépendance aux traces d’apprenants (le format et le volume) pour le calcul de mesures de comparaison et le biais que peuvent apporter les traces sur les résultats des mesures

Enfin, de façon plus générale, nous avons souligné l’inexistence de modèles ou de frameworks permettant de concevoir et développer des méthodes ou outils qui peuvent s’appliquer à des techniques issues de modèles de diagnostic différents. Ce verrou entraîne un cloisonnement des travaux en fonction du modèle de diagnostic pour lequel ils s’appliquent :

172

- Pour la construction, les outils auteurs et algorithmes automatiques imposent un modèle de diagnostic, donc ne permettent de construire que des techniques basées sur un même modèle de diagnostic en faisant éventuellement, mais pas toujours, varier les implémentations.

- Pour la comparaison, les mesures de comparaison utilisées ne sont calculées que pour des techniques basées sur un même modèle de diagnostic.

2. Réponses aux questions de recherche

Nous allons à présent reprendre les verrous listés ci-dessus et positionner nos contributions par rapport à ces verrous. Nous positionnerons nos contributions par rapport à la littérature dans la partie suivante.

Sur la construction :

- Le manque d’outils auteurs permettant de construire une technique de diagnostic de façon générique, sans imposer la construction d’un EIAH complet

Notre méthode et notre plateforme sont faiblement couplées aux autres composants d`un EIAH : il n’est pas imposé de construire un EIAH complet ou plusieurs composants d’EIAH. Nous nous sommes centrés entièrement sur la construction de techniques de diagnostic des connaissances, qui sont capables de prendre en entrée des traces d’apprenants enrichies fournies par le concepteur. En résultat, nous fournissons le code source de la technique, qui peut être intégré dans un EIAH par un informaticien.

- La difficulté d’interpréter et de réutiliser les techniques construites à partir d’algorithmes d’apprentissage automatique

Notre méthode de construction est basée sur un algorithme d’apprentissage semi-automatique. Nous avons proposé deux moyens de guider l’apprentissage. Le premier est la conception d’une ontologie par le concepteur qui apporte de la sémantique sur les traces, des liens entre les variables des traces et qui permet de spécifier des éléments absents dans les traces. Le second est que l’apprentissage vise à instancier un modèle de diagnostic connu et formalisé. Le résultat du diagnostic n’est donc pas libre, mais contraint par un modèle de diagnostic dont les variables et les relations sont spécifiées par un concepteur. L’apprentissage est donc guidé par une ontologie et par le modèle de diagnostic. Dans la littérature, seul SimStudent permet de guider l’apprentissage d’une technique de diagnostic par un apport de sémantique experte. Quelques travaux permettent de guider l’apprentissage par la spécification du modèle de diagnostic à apprendre (SimStudent et le Dynamic Cognitive Tracing), mais de façon ad hoc : le modèle de diagnostic est imposé et ces travaux dépendent de ce modèle de diagnostic imposé.

- Le coût de développement d’une technique de diagnostic, qui est une tâche pluridisciplinaire nécessitant du temps de programmation et une bonne connaissance des modèles de diagnostic

173

Dans notre approche, nous ne remettons pas en cause l’aspect pluridisciplinaire : les connaissances du domaine doivent bien être identifiées par un ou des experts (didacticiens, psychologues, enseignants…), afin qu’elles puissent être soit collectées dans les traces, soit spécifiées dans l’ontologie réalisée par le concepteur pour guider l’algorithme d’apprentissage semi-automatique. En revanche, notre méthode ne requiert pas de programmer partiellement ou en totalité les techniques de diagnostic : la construction est seulement guidée par l’ontologie du concepteur et les modèles de diagnostic. L’instanciation des techniques de diagnostic et l’apprentissage des paramètres sont réalisés par notre plateforme qui donne en résultat l’implémentation (le code source) de chaque technique de diagnostic construite. Nous avons montré dans les expérimentations que notre méthode a permis de construire plusieurs techniques de diagnostic dans deux domaines (chirurgie orthopédique, lecture de l’anglais) avec des précisions supérieures à 70 %, et des précisions proches de techniques construites par des concepteurs experts pour la lecture de l’anglais. Sur la comparaison :

- La prédominance des tests de comparaison statistiques et l’inexistence de mesures de comparaison spécifiques au domaine des EIAH

Nous avons proposé dans nos travaux au moins un critère de comparaison qui est spécifique au domaine des EIAH : la comparaison de l’impact de techniques de diagnostic sur l’apprentissage d’une stratégie d’aide. Nous avons montré dans les expérimentations que ce critère a pu être calculé pour plusieurs techniques de diagnostic et a permis de positionner ces techniques.

- L’inexistence de plateforme ou bibliothèque permettant de proposer, partager et calculer des mesures de comparaison pour des techniques de diagnostic

Notre méthode repose sur le calcul d’un ensemble de critères de comparaison, qui sont stockés dans une base de données dans notre plateforme. Nous avons montré lors des expérimentations que ces critères – issus de la statistique, du data-mining, du génie logiciel ou spécifiques aux EIAH – on pu être calculés pour différentes techniques de diagnostic et différents domaines, et que leurs résultats permettent de positionner les techniques entre elles. Les résultats ne montrent pas toujours de différences significatives entre les techniques, et doivent être interprétés par le concepteur. Par rapport à la littérature, seule la plateforme Datashop permet de calculer trois critères de comparaison différents (AIC, BIC, RMSE), mais pour une seule technique de diagnostic (Knowledge tracing + AFM) dont seuls les paramètres et la forme du résultat changent.

- La dépendance aux traces d’apprenants (le format et le volume) pour le calcul de mesures de comparaison et le biais que peuvent apporter les traces sur les résultats des mesures

Nous n’avons premièrement traité le problème du format des traces que de façon ad hoc, en programmant directement la lecture de quelques formats (CSV, table SQL, Datashop). La lecture d’un nouveau format de trace nécessite un travail de programmation. La seule

174

contrainte forte que nous imposons dans notre méthode d’assistance est que les traces soient enrichies par un diagnostic comportemental. Dans la littérature, cette exigence est déjà présente dans plusieurs modèles de diagnostic, par exemple le Knowledge tracing. Cette contrainte permet de s’affranchir de la dépendance au domaine.

Nos expérimentations suggèrent que la nature des traces a un impact sur les performances des techniques de diagnostic : par exemple, les traces du Geometry Tutor issues de Datashop ont entrainé de meilleures précisions pour les techniques basées sur le Knowledge tracing, les traces de Datashop étant prévues pour fonctionner avec le Knowledge tracing. Toutefois, les traces du Reading Tutor sont également proches du Knowledge tracing mais les différences de précisions entre les techniques n’étaient cette fois pas significatives. De façon plus générale, nos travaux proposent de comparer des techniques de diagnostic instanciées pour les traces et le domaine du concepteur, et l’interprétation des résultats de comparaison ne sont valides que pour ces traces et ce domaine. La qualité et la complétude des traces sont laissées à la charge du concepteur.

Sur la prise en compte de modèles de diagnostic différents

- Pour la construction, les outils auteurs et algorithmes automatiques imposent un modèle de diagnostic, donc ne permettent de construire que des techniques basées sur un même modèle de diagnostic, en faisant éventuellement, mais pas toujours, varier les implémentations

- Pour la comparaison, les mesures de comparaison utilisées ne sont calculées que pour des techniques basées sur un même modèle de diagnostic

La principale contribution dans nos travaux est la proposition d’une méthode d’assistance à la construction et à la comparaison qui puissent être appliquées pour des techniques de diagnostic différentes basées sur des modèles de diagnostic différents. Pour cela, nous avons dû formaliser l’ensemble des techniques de diagnostic pour lesquelles nos contributions s’appliquent (la formalisation FMD proposée chapitre 3). Cette formalisation nous a permis ensuite de proposer une méthode d’assistance à la construction et à la comparaison de différentes techniques de diagnostic, instanciées au domaine du concepteur et basées sur des modèles de diagnostic différents. Nos expérimentations ont montré la possibilité de construire et comparer différentes techniques de diagnostic sur différents domaines. Comme illustré dans l’état de l’art, il s’agit de la première méthode d’assistance qui soit à la fois :

- générique par rapport au domaine d’apprentissage (les techniques sont génériques et peuvent être construites et comparées pour plusieurs domaines)

- générique par rapport aux techniques de diagnostic (plusieurs techniques peuvent être construites, tant que le modèle de diagnostic peut être représenté dans notre formalisation FMD)

Pour conclure, revenons sur la question de recherche identifiée pour l’ensemble de notre travail :

175

- comment assister des concepteurs de diagnostic des connaissances pour la création et la comparaison de différents diagnostics des connaissances de façon indépendante du domaine au moyen de traces d’apprenants ?

Comme nous l’avons détaillé dans cette section, notre méthode d’assistance permet de construire et de comparer des techniques de diagnostic basées sur des modèles de diagnostic différents, de façon aussi bien indépendante du domaine que des modèles de diagnostic.

3. Positionnement par rapport à la littérature

Nous pouvons maintenant positionner nos travaux par rapport à l’état de l’art.

Pour les outils auteurs, nous avions identifié deux propriétés dans l’état de l’art : le couplage du diagnostic des connaissances avec les autres composants d’un EIAH (les outils auteurs fortement couplés imposent de construire tout ou partie d’un EIAH), et la nature de la construction du diagnostic (manuel, semi-automatique ou automatique). La Figure 45 résume les travaux de la littérature selon ces deux aspects. Nous constatons que notre travail est faiblement couplé et semi-automatique, comme SimStudent, et qu’il n’existe actuellement pas d’outil auteur à la fois automatique et faiblement couplé.

Figure 45 : Positionnement des outils auteurs et de nos travaux en fonction de leur couplage sur le diagnostic des connaissances et de leur approche pour la construction du diagnostic, de manuel à automatique.

Par rapport aux algorithmes d’apprentissage automatique, nous avions identifié deux propriétés dans l’état de l’art : l’interprétabilité (la facilité de compréhension du diagnostic construit) et la réutilisabilité (les contraintes imposées). La Figure 46 résume ces deux aspects. Nos travaux prennent en compte l’interprétabilité, tout comme SimStudent, car ce sont des approches semi-automatiques prenant en entrée des informations sémantiques expertes. Il est donc un peu biaisé de comparer notre travail par rapport aux algorithmes d’apprentissage automatique. Concernant la réutilisabilité, nous n’imposons aucune contrainte sur les traces si ce n’est l’enrichissement par un diagnostic comportemental. En revanche, aucune autre variable n’est requise dans les traces, notamment les connaissances qui peuvent être spécifiées dans l’ontologie par le concepteur, et il n’est pas requis comme SimStudent de fournir une base d’exemples de résolution d’exercices du domaine par un expert. En revanche, notre approche est plus coûteuse à utiliser, puisque semi-automatique,

176

et plus complexe que SimStudent, qui peut être utilisé par exemple par un enseignant après avoir été formé.

Figure 46 : Positionnement des différents algorithmes d’apprentissage automatique de diagnostic des connaissances et de notre travail en fonction de l’interprétabilité du diagnostic construit et de la réutilisabilité de l’algorithme.

Pour la comparaison, il n’existe pas de travaux proposant une collection de critères de comparaison génériques et partageables, et aucun travail ne porte sur la comparaison de l’impact de techniques de diagnostic sur les prises de décision de l’EIAH.

Enfin, comme indiqué ci-dessus, la principale différence par rapport à la littérature est la prise en compte de différentes techniques de diagnostic basées sur des modèles de diagnostic différents, ce qui est nouveau tant pour la construction que pour la comparaison de techniques de diagnostic des connaissances.