Preuves logiques

Notre recherche nous a aussi amené à analyser les principaux systèmes tutoriels destinés aux preuves mathématiques, autres que celles en géométrie. Au début des années 1990, le Carnegie-Mellon Proof Tutor (CPT) (Scheines et Sieg, 1994) a été conçu dans le but d’aider les élèves à produire des preuves en logique formelle. Il propose une interface en mode texte qui intègre une preuve en deux colonnes ainsi que l’arbre correspondant. Il permet de travailler en chaînage avant ou arrière. En ce qui concerne le tutorat, il offre premièrement une rétroaction immédiate pour indiquer les erreurs sur le pas courant. Il permet, de plus, à l’aide d’un moteur de déduction, d’aider l’élève à prouver un énoncé sélectionné. Le Logic-ITA (Lesta et Yacef, 2002), de son côté, traite le même type de preuve que le CPT, mais l’aide offerte se limite à une rétroaction par rapport à la validité locale du pas courant. Par contre, il offre des outils pour la gestion des problèmes et l’analyse de la performance des élèves. Pour sa part, le projet AProS (Sieg, 2007) vise à proposer une aide par rapport au pas suivant en se basant sur le travail réalisé par l’élève. Le défi est de produire un moteur de déduction formelle qui est en mesure d’accepter une preuve partielle, qui peut comporter des erreurs, et de la compléter. Ces trois systèmes, en plus d’être basés sur des déductions formelles, n’offrent pas une aide très élaborée. Par contre, le projet DIALOG (Benzmüller et al., 2003; Buckley et Benzmüller, 2005; Autexier et al., 2012) est prometteur, car il a pour objectif d’offrir de l’aide en langue naturelle pour la construction de preuves en théorie des ensembles. Une thèse décrit le module MENON (Tsovaltzi, 2010), qui permet de produire des dialogues socratiques qui sont issus de l’analyse d’un corpus de conversation. La stratégie utilisée se base sur une reconnaissance de motifs. Malheureusement, plusieurs modules du projet DIALOG sont incomplets. Il est donc impossible d’analyser la performance du système de façon globale. En revanche, le système le plus intéressant dans le domaine des preuves logiques, et que nous avons choisi d’analyser en détails, est Deep Thought (Barnes et Stamper, 2010; Stamper, 2010). Sa stratégie d’aide est basée sur des algorithmes d’exploration de données qui sont appliqués sur un corpus de preuves produites par des élèves. Enfin, du côté de l’argumentation, un domaine connexe, le système LARGO (Pinkwart et al., 2006, 2009; Scheuer et al., 2012) s’intéresse au domaine légal. Son interface qui permet de construire un graphe d’argumentation est son principal atout. Le système tutoriel utilise des règles ainsi que de l’appariement de graphes pour suggérer des corrections. En effet, dans un domaine mal défini, comme l’argumentation, il n’y a pas de réponses idéales, mais seulement des principes généraux à respecter, ce qui est trop permissif dans le cadre de la production de preuves.

Pour l’utilisateur, l’interface de Deep Thought (Barnes et Stamper, 2010; Stamper, 2010) offre la possibilité de construire une preuve logique, sous forme d’un graphe, en utilisant le chaînage avant ou arrière. Le système vérifie chacun des pas et retire automatiquement ceux qui sont invalides du graphe sans donner d’explications. Pour offrir une aide à la prochaine étape, Stamper (2010) a utilisé une approche par exploration de données basée sur le processus de décision de Markov, soit une stratégie innovatrice dans ce domaine. En effet, historiquement, l’exploration de données a été utilisée principalement pour extraire des informations et des statistiques concernant le comportement et les performances des élèves lors d’analyses à postériori (Liao et al., 2012; Romero et Ventura, 2007; Peña-Ayala, 2014). On s’intéresse, par exemple, à extraire des statistiques pour prévoir la persévérance d’un élève selon différentes métriques. Le modèle produit est ensuite utilisé de façon prédictive, au moment prévu, de manière ponctuelle, en cours de trimestre. Un système qui suggère un cheminement basé sur ceux d’élèves ayant des profils similaires, identifiés notamment à l’aide de méthodes statistiques de partitionnement de données, est un autre exemple d’application. Par contre, il semble que Deep Thought soit un pionnier pour l’utilisation, en ligne, de l’exploration de données dans un système tutoriel. Sa stratégie consiste à modéliser une procédure de résolution sous forme d’un graphe dans lequel les noeuds représentent l’état du système et les arcs, les actions de l’élève. Il applique cette modélisation sur un corpus de solutions, combine les noeuds identiques et calcule différentes statistiques. Par exemple, il note la probabilité d’obtenir une preuve complète pour chacune des actions associées à un état. Le système est donc en mesure de proposer, selon le profil de l’élève, une série de quatre messages qui correspondent à l’action qui minimisera la probabilité de se retrouver dans une impasse, même si elle produit une preuve plus longue. Le système iList (Fossati et al., 2015), qui permet d’apprendre à manipuler des listes chainées, s’est inspiré de cette modélisation et propose donc une stratégie d’aide similaire. La principale approche utilisée pour valider leur système consiste à calculer sa couverture par rapport au nombre de preuves utilisées pour construire le modèle. Par exemple, pour être en mesure de fournir de l’aide dans 75% des situations, il a été nécessaire de traiter environ 50 solutions. Ce logiciel est intéressant, car il permet de construire un système d’aide sans avoir recours à un expert. Le modèle employé peut aussi s’appliquer sur des preuves informelles, comme dans le cadre de notre projet, pourvu qu’il soit possible de décrire les différents états et actions possibles. Dans le cadre de Deep Thought, la contrainte de chaînage ainsi que le traitement d’inférences complètes permettent de limiter le nombre d’états possibles. Par contre, en éliminant ces contraintes, comme dans le projet actuel, le nombre d’états possibles se multiplie, ce qui diminue la probabilité d’avoir des états qui se répètent dans une preuve produite par différents élèves. Dans ce cas, la capacité du système à fournir de l’aide diminue de façon importante.