Nous avons mené deux expérimentations avec 8 sujets pour mettre à l’essai AMBRE-KB. La première expérimentation a été réalisé avec 3 sujets et a porté un domaine déjà existant (EIAH AMBRE existant au moment de l’expérimentation) et deux nouveaux domaines : le calcul d’aire en géométrie et la pâtisserie. L’objectif de cette expérimen-tation était de mettre à l’essai AMBRE-KB afin de tester si AMBRE-KB était capable d’acquérir les connaissances nécessaires à un EIAH AMBRE pour résoudre des pro-blèmes. Les résultats de cette expérimentation n’ont pas permis de valider notre hypo-thèse de départ, mais elle s’est conclue avec des remarques intéressantes qui ont permis d’étendre l’outil AMBRE-KB pour améliorer l’interactivité du système, et intégrer des fonctionnalités permettant à l’auteur d’avoir un feedback sur le processus d’élicitation et la résolution des problèmes.
Avec la nouvelle version de AMBRE-KB, l’outil a été mis à l’essai dans une seconde expérimentation. Cette-ci a été réalisée par 5 sujets et quatre domaines ont été testés : la résolution des équations du second degré (testé par deux sujets), le calcul d’aire en géométrie (testé par deux sujets), le pluriel des noms et la formation des adverbes en "ment", testés par le même sujet. De cette expérimentation, nous retenons les conclusions suivantes :
— Pour un domaine donné, AMBRE-KB permet de générer les modèles de connais-sances qui permettent au résolveur de résoudre les problèmes.
— Les interfaces proposées sont dans l’ensemble faciles à utiliser.
— Les auteurs ont apprécié l’assistance fournie, en particulier le feedback sur le pro-cessus d’élicitation.
— Pour tous les domaines, au moins 40% des problèmes ont pu être résolus par sans utiliser le feedback, et au moins 80% en utilisant le feedback (cf.Tableau 6.11).
Équation Calcul d’aire Pluriel Adverbes
Sujet 1 Sujet 2 Sujet 1 Sujet 2 Sujet Sujet
sans le feedback 75% 41% 57% 61% 66% 87%
avec le feedback 100% 100% 85% 89% 90% 100%
Tableau 6.11 – Domaines testés
Parmi les sujets de cette deuxième expérimentation, deux d’entre eux sont des informaticiens, et trois des non-informaticiens. Les premiers ont rencontré moins de difficulté pour comprendre les principes mis en œuvre dans l’outil. Cependant, tous les sujets ont pu, sans programmer, éliciter les connaissances nécessaires à l’EIAH pour résoudre les problèmes dans le domaine qu’ils avaient choisi. Nous pouvons donc en conclure que AMBRE-KB est apte à acquérir les connaissances nécessaires à un EIAH AMBRE pour résoudre les problèmes portant sur la méthode à enseigner. L’analyse des questionnaires nous permet également d’affirmer que les interfaces de AMBRE-KB sont dans l’ensemble assez intuitives et facile à appréhender. Celle permettant de définir des connaissances de reformulation pourrait cependant être améliorées, de même que celle destinée à la description des problèmes.
Le fait que les auteurs aient pu éliciter toutes les connaissances dont ils avaient besoin pour la méthode qu’ils souhaitaient enseigner permet également de conclure que les méta-modèles sous-jacents à AMBRE-KB sont suffisants, même s’il est possible qu’en utilisant AMBRE-KB pour d’autres domaines, l’on constate qu’il est nécessaire de les enrichir.
Dans cette dernière partie du manuscrit, nous présentons d’abord une synthèse de nos contributions. Nous discutons ensuite de ces contributions ainsi que des limites soulevées par ce travail. Nous terminons enfin en présentant les différentes perspectives de recherche qui pourraient être intéressantes pour la poursuite de ce travail.
Sommaire
6.3 Synthèse de nos travaux . . . 157 6.4 Discussion . . . 159 6.5 Perspectives . . . 161
6.3 Synthèse de nos travaux
Dans cette thèse, nous nous sommes intéressés à la problématique de l’acquisition des connaissances dans le cadre de la conception d’EIAH destinés à enseigner des mé-thodes de résolution de problèmes dans des domaines spécifiques. L’objectif de notre travail a été de réduire le coût de conception de ces EIAH, dû en partie à l’élicitation des connaissances, mais également de permettre à des auteurs de pouvoir éliciter, sans programmer, les connaissances permettant à l’EIAH de résoudre des problèmes. Notre problématique s’est donc décomposée en deux points :
— Comment permettre à un auteur d’éliciter, sans programmer, les connais-sances permettant au système de résoudre des problèmes dans un do-maine donné ?
— Comment accompagner l’auteur dans le processus d’élicitation ?
Pour répondre à ces questions, notre première contribution a consisté à formaliser les différents types de connaissances qui interviennent dans la résolution d’un problème, dans le cadre d’un EIAH destiné à enseigner des méthodes. Pour cela, nous avons pro-posé des méta-modèles de connaissances. Ceux-ci sont décrits par des schémas XML et permettent de définir les connaissances à acquérir. Une fois les différents types de connaissances formalisés, nous avons ensuite proposé un processus interactif d’acquisi-tion de ces connaissances. Ce processus, indépendamment du domaine, est fondé sur les méta-modèles et permet à un auteur de construire les modèles de connaissances spéci-fiques pour le domaine qu’il aura choisi.
Nous avons par la suite mis en œuvre ce processus en implémentant l’outil auteur AMBRE-KB. Cet outil permet non seulement d’acquérir les connaissances nécessaires à la résolution des problèmes dans un domaine, mais également d’assister l’auteur dans ce processus, en lui offrant une grande flexibilité lors de la définition des connaissances, en le guidant et en lui permettant de tester les connaissances durant le processus d’élicitation s’il le souhaite. Il offre également la possibilité à l’auteur d’avoir un feedback sur le processus d’élicitation en lui permettant de tester la résolution des problèmes. Dans le cas où la résolution d’un problème a réussi, le système lui affiche les différentes informations utilisées pour le résoudre. Ces informations sont notamment la classe du problème, les attributs calculés, les règles essayées, celles exécutées, les valeurs des différents attributs discriminants impliqués, la technique de résolution de résolution appliquée, ainsi que la solution du problème. Lorsque la résolution échoue, le système envoie un message
d’erreur afin de permettre à l’auteur de comprendre l’origine de son erreur et de pouvoir par la suite la corriger.
Enfin, nous avons évalué le processus d’acquisition des connaissances et sa mise en ’uvre dans AMBRE-KB en menant deux expérimentations. Ces expérimentations ont consisté dans un premier temps à vérifier que les modèles de connaissances générés par AMBRE-KB permettent à l’EIAH de résoudre des problèmes pour un domaine donné. Les résultats de cette expérimentation ont permis d’améliorer l’outil auteur, de sorte à pouvoir effectuer une deuxième expérimentation. Cette dernière a permis de mettre en évidence les points forts et les points faibles de AMBRE-KB. Ainsi, de cette expérience, nous retenons les conclusions suivantes :
— AMBRE-KB permet d’acquérir les connaissances nécessaires au résolveur pour résoudre les problèmes portant sur la méthode à enseigner.
— Les interfaces proposées sont assez intuitives et facile à utiliser dans l’ensemble, même si celles dédiées à l’élicitation des règles et à la description des problèmes peuvent être améliorées.
— L’assistance fournie durant le processus est utile. Le feedback proposé est particu-lièrement apprécié et contribue à faciliter la compréhension du fonctionnement de l’outil.
Les propositions effectuées dans le cadre de cette thèse et leur mise œuvre opé-rationnelle répondent donc à notre problématique générale. Nous restons convaincus de l’utilité du processus d’acquisition de connaissances proposé dans la conception d’EIAH destinés à enseigner des méthodes de résolution de problèmes. De plus, l’approche pro-posée pour la description des problèmes, et consistant à proposer un vocabulaire, qui est ensuite utilisé pour décrire des problèmes peut être réutilisé dans tout domaine où on a besoin de représenter des problèmes. En effet, nous partons du principe que dans un problème, on retrouve généralement les éléments descriptifs de l’énoncé, ainsi que la question à résoudre. Ce qui pourrait différencier les problèmes dans des domaines diffé-rents, ce sont les différents types de connaissances qu’on peut retrouver au niveau des éléments descriptifs de l’énoncé. Dans AMBRE, par exemple, dans les éléments descrip-tifs de l’énoncé, on retrouve les traits de surface du problème ; dans [84], les problèmes sont décrits en termes de variables, d’unités de mesures, de formules. Il s’agira donc, selon les domaines, de faire évoluer le méta-modèle du vocabulaire que nous avons pro-posé pour prendre en compte les types de connaissances nécessaires pour décrire les
problèmes de ce domaine.Nous soutenons également que le fait que les connaissances puissent être explicitées sans programmer, motivera plus d’auteurs (enseignants, profes-sionnels, pédagogues plus experts) à davantage s’impliquer dans la conception de ce type de logiciels.