5.3 Expérimentation avec les enseignants
5.3.3 Résultats et discussion
La Figure 5.3 présente le temps (en minutes) moyen de correction des preuves pour chaque méthode. La Figure 5.4 présente la rapidité et la facilité moyennes estimées pour chaque méthode lors de la correction. Elles sont notées par les ensei- gnants de 1 à 5. La Figure 5.5 présente la note moyenne sur 5 de la facilité estimée de la compréhension du raisonnement des étudiants par les enseignants pour les mé- thodes (M1),(M2) et (M3). La Figure 5.6 présente un classement des méthodes par les enseignants sur la méthode la plus facile pour corriger les preuves, la plus facile pour la compréhension du raisonnement des étudiants durant la construction des preuves et la plus facile pour la rédaction d’un retour. Nous répondons ci-dessous aux questions posées en début de section :
- Quelles sont les représentations qui permettent aux enseignants de corriger fa- cilement les preuves déductives ?
Pour répondre à cette question, nous regardons le temps de correction moyen pour chaque méthode. La Figure 5.3 montre que les corrections des preuves représentées par un journal de débat (M1), graphe de preuve (M2), preuve déductive classique (M 3) et les trois représentations combinées (M 4) ont duré respectivement 11.7 mi- nutes, 5.75 minutes, 6.75 minutes et 15.25 minutes. Ces chiffres montrent que la correction par un graphe de preuve a pris moins de temps comparée aux autres.
La Figure 5.4 montre l’estimation des enseignants de la rapidité et facilité de la correction des preuves. Ils estiment la rapidité de correction par (M1) à 2.14, par (M2) à 4.42 et par (M3) à 3.71. Pour la facilité de correction, les méthodes (M 1),(M 2) et (M 3) sont estimées respectivement à 2, 4.14 et 3.57. Ces résultats montrent que la note la plus élevée de l’estimation de la rapidité et la facilité de la correction correspond à la méthode (M2). Cela est cohérent avec le temps de correction représenté par 5.3.
Afin de valider ces résultats, la Figure 5.6 montre que 7 enseignants sur 8 trouvent que M2 est la méthode la plus facile pour la correction des preuves déductives. Ce classement est une surprise pour nous, les enseignants, qui ont l’habitude de corriger les preuves sous la forme classique, trouvent la représentation de la preuve par un
graphe d’arguments et de relations de déduction plus facile à corriger que la preuve déductive classique.
- Quelles sont les représentations qui permettent aux enseignants de rédiger un retour pertinent aux étudiants ?
Pour rédiger un retour pertinents, les enseignants ont besoin de comprendre le raisonnement suivi par les étudiants durant la construction des preuves. La Figure 5.4 montre que les enseignants estiment que la facilité de la compréhension du rai- sonnement pour la méthode (M1) : «journal de débat » à 2 et pour (M2) : :«graphe de preuve» et (M3) : «preuve déductive classique» à 3.71. Ces résultats permettent de déduire que les deux méthodes (M2) et (M3) permettent la compréhension du raisonnement de l’étudiant.
La Figure 5.6 montre que 5 enseignants sur 8 trouvent que (M2) est la méthode la plus facile pour la compréhension du raisonnement des étudiants, 1 trouve que la méthode (M3) est la plus facile et 1 trouve que la méthode (M4) est la plus facile. Pour la facilité de la rédaction, 6 enseignants sur 7 trouve que la méthode (M2) est permet de rédiger facilement un retour contre un enseignant sur 7 qui trouve que la méthode (M3) est la plus facile.
Le classement des méthodes selon la facilité de compréhension et de rédaction d’un retour nous permet de déduire que la représentation par un graphe de preuve permet aux enseignants de :
1. comprendre facilement le raisonnement des étudiants et détecter les erreurs de ces derniers lors de la construction des preuves.
2. rédiger facilement des retours pertinents.
Nous classons les retours des enseignants en trois catégories : 1, 2 et 3. La ca- tégorie 1 correspond aux retours pertinents. La catégorie 2 correspond aux retours qui ne sont pas pertinents. La catégorie 3 correspond aux retours sur des preuves bien écrites. La Table 5.8 représente le classement des retours par catégorie selon la qualité du retour. La méthode (M1) a permis aux enseignants de rédiger 6 retours pertinents et 2 retours non pertinents. L’ensemble des retours des enseignants est donné dans (R). La méthode (M2) a permis de rédiger 4 retours pertinents et 4 retours sur des preuves correctes. Ces retours ne sont pas pris en considération pour comparer les quatre méthodes car le retour est plus intéressant quand les étudiants construisent des preuves incorrectes ou incomplètes. Les méthodes (M3) et (M4) ont permis de rédiger chacune 7 retours pertinents et un retour non pertinents.
Ces résultats sont concordants avec le classement donné par les enseignants. Aucun retour sur une preuve représentée par la méthode (M2) est classé dans la catégorie 2. Par contre, il est important de mentionner que les méthodes (M2) et (M 4) aident les enseignants dans la rédaction d’un retour.
Pour finir, selon les retours des enseignants sur les quatre méthodes d’évalua- tion, les caractéristiques de chaque méthode sont données dans la Table 5.9. Nous
concluons que les quatre méthodes permettent aux enseignants de rédiger un retour pertinent et que la méthode (M2) est la méthode la plus facile pour la compréhension du raisonnement des étudiants et pour la rédaction d’un retour.
Figure5.3 – Temps de correction moyen des preuves par les méthodes (M1),(M2),(M3) et (M4).
Catégorie 1 Catégorie 2 Catégorie 3
M1 6 2 0
M2 4 0 4
M3 7 1 0
M4 7 1 0
Table5.8 – Classement des retours par catégorie.
5.4
Conclusion
Dans ce chapitre nous avons évalué expérimentalement CLEAR pour la construc- tion et l’évaluation des preuves mathématiques déductives. Dans un premier temps, nous avons d’abord validé CLEAR par des expérimentations pilotes puis testé la construction des preuves par des étudiants en mathématiques et des étudiants en informatiques.
Figure 5.4 – Rapidité et Facilité moyennes estimées de la correction des méthodes selon les enseignants.
— Notre système, qui se base sur les systèmes d’argumentation, est approprié à la représentation et la structuration des preuves déductives.
— CLEAR comprend des fonctionnalités qui permettent de construire des preuves déductives à travers un débat.
— L’utilisabilité de CLEAR est évaluée comme étant "OK " selon l’échelle SUS. — CLEAR permet aux étudiants sans prérequis en argumentation, de construire des preuves déductives et ne représente pas de limites pour la construction de preuves.
Dans un second temps, les enseignants évaluent les preuves représentées par trois représentations : journal de débat, graphe de preuve et preuve déductive classique. Cette expérimentation nous a permis de conclure que :
— Les preuves représentées par le graphe de preuve sont jugées plus faciles et rapides à corriger.
— Toutes les représentations permettent de rédiger un retour pertinent mais les preuves représentées par le graphe de preuve sont jugées les plus faciles pour la rédaction de ce retour.
— Le graphe de preuve permet de comprendre facilement le raisonnement des étudiants.
— Le graphe de preuve permet aux étudiants de bien structurer les preuves dé- ductives.
Figure5.5 – Note moyenne de la facilité estimé de la compréhension du raisonnement des étudiants par les enseignants.
Il est important de noter que les enseignants ont détecté un problème de connec- teurs logiques et quantificateurs mathématiques dans les preuves déductives. Cela représente une limite de CLEAR car les étudiants sélectionnent les prémisses et les conclusions à partir d’un ensemble de propositions donné. Nous pensons que nous devons supprimer les connecteurs logiques et quantificateurs mathématiques des propositions et ajouter au système deux nouveaux ensembles :
— ensemble des connecteurs logiques,
— ensemble des quantificateurs mathématiques.
Ces ensembles permettent aux étudiants de sélectionner librement les connecteurs et quantificateurs pour chaque proposition. Dans une extension de ce travail il serait intéressant de laisser les étudiants construire les arguments formels avec leurs propres propositions au lieu de les choisir dans un ensemble donné.
Figure 5.6 – Classement des méthodes sur la facilité de correction, compréhension du raisonnement et rédaction d’un retour.
Points forts Points faibles
(M 1)
— La verbosité peut aider dans la correction
— Compréhension des erreurs de raisonnement
— Voir l’évolution du raison- nement
— Méthode précieuse pour un travail pédagogique sur l’er- reur
— Raisonnement mal struc- turé : très long, redondance et contradictions
— Difficile de tirer une conclu- sion claire sur le groupe d’étudiants
— Correction longue
— La structure n’est pas très rigoureuse
— Difficulté de suivre les idées du raisonnement.
(M 2)
— Pertinente et efficace pour suivre le cheminement de la pensée et les étapes du rai- sonnement suivi par les étu- diants
— Raisonnement bien struc- turé qui minimise les er- reurs commises par les étu- diants
— Facile à corriger
— Rapide pour la compréhen- sion
— Parcours du graphe
— Pas d’accès aux étapes in- termédiaires
— Pas d’ordre entre les argu- ments
— Problème de connecteurs logiques et quantificateurs mathématiques
— Difficile d’expliquer les er- reurs aux étudiants directe- ment sur le graphe
(M 3)
— Le raisonnement est facile à suivre et les arguments de la preuve sont successifs. — Détection des erreurs d’écri-
ture
— Utile pour les preuves dé- ductives
— Ordre logique est très clair
— Longue à corriger — Problème de connecteurs logiques et quantificateurs mathématiques — Redondance de quelques parties (M 4)
— La diversité et le haut ni- veau de détail facilitent la correction
— Compréhension du raison- nement des étudiants et voir la structure de la preuves — Accès aux pistes abandon-
nées qui sont présentes dans le journal mais pas dans la preuve déductive et le graphe
— Difficile de suivre le raison- nement des étudiants — Pas pratique
— La correction est plus longue.
Conclusion générale et Perspectives
Conclusion et Perspectives
Sommaire
6.1 Conclusion . . . 118 6.2 Perspectives . . . 119 6.3 Retour sur la thèse . . . 120
6.1
Conclusion
Cette thèse a présenté une application des systèmes d’argumentation de l’intel- ligence artificielle dans un cadre éducatif afin de répondre à deux problèmes : la difficulté pour les étudiants de construire et structurer des preuves déductives et la difficulté à évaluer ces preuves par les enseignants.
Le processus général de notre proposition se déroule en trois étapes : 1. Construction des preuves
Le système offre aux étudiants un cadre collaboratif et structuré basé sur les systèmes d’argumentation avec défi et support récursifs. Les étudiants se mettent en groupe et écrivent la preuve sous forme d’un graphe de débat. 2. Représentations et analyse du graphe de débat
Le système offre trois formes de représentation :
— Le journal de débat représente l’historique détaillé du débat comprenant : les arguments, conflits, conflits supprimés ainsi que les actions entreprises. — Le graphe de preuve est une analyse du graphe de débat initial. Cette ana- lyse repose sur l’extension préférée de Dung qui produit un ou plusieurs ensembles d’arguments. Ces arguments ainsi que la relation de déduc- tion sont projetés sur le graphe de débat initial pour produire les preuves déductives correspondantes.
— La preuve déductive classique est une traduction automatique du graphe de preuve.
3. Évaluation des preuves mathématiques déductives
Le système propose aux enseignants les trois représentations du débat pour évaluer les preuves déductives construites par les étudiants. Cette évaluation comprend deux composantes : la correction des preuves et la rédaction d’un retour destiné aux étudiants.
Notre système, CLEAR, a été implanté et testé par des étudiants et des ensei- gnants.
L’expérimentation avec les étudiants a montré que :
— CLEAR comprend des fonctionnalités suffisantes pour la construction des preuves mathématiques déductives dans un cadre collaboratif,
— l’utilisabilité de CLEAR est évaluée comme étant OK sur l’échelle de SUS, — la construction des preuves est réalisée sans prérequis sur l’argumentation L’expérimentation avec les enseignants a montré que :
— le graphe de preuve est jugé comme une représentation qui permet une correc- tion rapide,
— toutes les représentations permettent de rédiger un retour pertinent avec un avantage pour la représentation par graphe de preuve,
— les enseignants jugent que le graphe de preuve permet également de mieux comprendre le raisonnement des étudiants.
Apport de la thèse au domaine d’argumentation La thèse présente une application des systèmes d’argumentation de l’intelligence artificielle dans un cadre d’enseignement. Cela apporte une concrétisation des systèmes d’argumentation avec défi et support récursifs. Notre application offre une sémantique de déduction à la relation de support dans le cadre de construction des preuves mathématiques. La relation de défi offre la possibilité de falsifier des éléments établis de la preuve.
Le domaine d’application nous a montré une différence épistémique entre la re- lation de support et de défi. En effet, supporter un argument c’est construire ce qui permet de le déduire comme une seule unité. Le défi par contre peut se contenter d’une seule incompatibilité avec un des sous-éléments de l’argument défié.
Apport de la thèse au domaine de l’enseignement La thèse propose un système de construction et d’évaluation de preuves mathématiques déductives. Elle apporte à la fois aux étudiants un environnement de structuration de preuves pour les aider dans la construction des preuves et aux enseignants des représentations de la preuve qui peuvent les aider dans l’évaluation et la compréhension du raisonnement des étudiants. Cela permettra aux enseignants de comprendre mieux les lacunes des étudiants face aux preuves.