5.2 Expérimentation avec les étudiants
5.2.2 Expérimentation pilote 2
L’objectif de la deuxième expérimentation pilote est de répondre à la question suivante :
— Les fonctionnalités de CLEAR sont-elles suffisantes pour construire des preuves mathématiques déductives ?
5.2.2.1 Description de l’expérimentation
- Population (n = 2) étudiants en 1ère année de Master en mathématiques de l’Université de Montpellier ont participé à cette expérimentation. Les étudiants n’ont pas de connaissance sur la théorie de l’argumentation en intelligence artificielle. - Choix des exercices Les étudiants testent CLEAR pour construire les preuves de trois exercices dans trois domaines : analyse, algèbre linéaire et probabilité. Ces exercices ont été choisis en collaboration avec des professeurs de mathématique de l’Université de Montpellier afin de s’assurer que les étudiants avaient les prérequis pour comprendre et résoudre ces exercices.
— Exercice 1 :
Soient dans R3 les vecteurs v
1 = (1, 0, 1), v2 = (0, 2, 2) et v3 = (3, 7, 1).
La famille {v1, v2, v3} est-elle libre ?
— Exercice 2 :
— A : " il y a deux enfants de sexe différent chez les Potter" ; — B : " la famille Potter a au plus une fille".
Les deux événements A et B sont-ils indépendants ? — Exercice 3 :
∀ǫ > 0∃N ∈ N t.q. (n ≥ N ⇒ 2 − ǫ < 2n+1
n+2 <2 + ǫ).
- Procédure Avant de présenter la procédure suivie dans cette expérimentation, nous présentons les nouvelles fonctionnalités de CLEAR après la suppression de la chatbox et l’ajout de l’argument informel. L’outil met à disposition des étudiants l’ensemble des actions suivant :
— Construire un argument formel — Construire un argument informel
— Ajouter une relation de défi entre arguments — Ajouter une relation de déduction entre arguments — Passer son tour
— Supprimer un argument — Supprimer une relation — Terminer le débat
La procédure suivie dans cette expérimentation est la suivante :
1. Les étudiants forment un binôme B = {ǫ1, ǫ2} avec l’ordre d’interaction sui-
vant : ǫ1, ǫ2.
2. Nous expliquons les définitions suivantes : argument formel, relation de défi et relation de déduction.
3. Nous présentons l’outil et ses fonctionnalités. 4. Les participants commencent le débat.
5.2.2.2 Variables observées
Nous observons l’analyse d’activité des étudiants lors la construction de la preuve par les variables quantitatives suivantes : nombre d’arguments construits, nombre de relations de défi et de déduction et nombre d’actions (supprimer un argument, sup- primer une relation, passer). Nous avons développé un questionnaire spécifique de 10 éléments noté de 1 à 5 (1 : médiocre et 5 : très bien) afin d’évaluer la compréhension des concepts d’argumentation (relations de défi et de déduction et arguments for- mels), l’expressivité du graphe de débat pour la construction des preuves, utilité des actions supprimer, ajouter, modifier et passer, et enfin, l’utilité de la collaboration pour la construction des preuves.
5.2.2.3 Résultats et discussion
La Table 5.2 présente le nombre d’arguments, relations et actions durant la construction de la preuve. La Table 5.3 présente l’évaluation moyenne de chaque élément du questionnaire par les étudiants.
(a) Nombre d’arguments et relations du graphe de débat
Arg. formel Arg. informel Défi Déduc. simple Déduc. multiple
Exercice 1 11 3 0 5 2
Exercice 2 7 0 0 2 3
Exercice 3 7 0 0 5 1
(b) Nombre d’actions utilisées durant la construction de la preuve Supp. argument Supp. relation Passer
Exercice 1 2 3 1 Exercice 2 0 0 0 Exercice 3 0 4 2
Table5.2 – Nombre d’arguments, relations et actions durant la construction de la preuve (expérimentation pilote 2).
Dans le premier exercice, le binôme a exprimé 11 arguments formels, 3 arguments informels, 5 relations de déduction simples et 2 relations de déduction multiple. Dans le deuxième exercice, le binôme a exprimé 7 arguments formels, 2 relations de dé- duction simples et 3 relations de déduction multiple. Dans le troisième exercice, le binôme a exprimé 7 arguments formels, 5 relations de déduction simples et une rela- tion de déduction multiple. Les actions «supprimer un argument», «supprimer une relation»et «passer»ont été utilisées dans l’ensemble des exercices respectivement 2 fois, 7 fois et 3 fois.
Dans cette expérimentation, le binôme a utilisé des relations de défi pour expri- mer les conflits durant la construction de la preuve. Prenons par exemple la relation de défi pour exprimer un désaccord entre l’argument informel « je ne suis pas d’ac- cord avec A1 : h{α(1, 0, 1) + β(0, 2, 2) + γ(3, 7, 1) = (0, 0, 0)}, α = 0i» et l’argument
A1. L’étudiant qui a ajouté l’argument A1 a pris conscience que son argument était
incorrect et décide donc de le supprimer du graphe de débat. La suppression des arguments incorrects représente un obstacle pour l’évaluation des preuves car cela retire de l’information du graphe. Pour que l’enseignant détecte les difficultés et les lacunes rencontrées par les étudiants pendant la construction de la preuve, nous avons besoin d’un maximum d’informations sur le débat qui a conduit à la construc- tion de la preuve. Cela sera difficile à détecter quand les étudiants suppriment leurs arguments.
Un autre exemple illustre une relation de défi qui est représentée par l’argu- ment informel «je ne suis pas d’accord avec la relation déduction entre A3 et A6».
élément note moyenne /5 C1 : Facilité de construction des arguments formels et informels 3.5
C2 : Compréhension de la relation de déduction 4 C3 : Compréhension de la relation de défi 4 C4 : Importance de la relation de déduction simple 5 C5 : Importance de la relation de défi 3.5 C6 : Importance de la relation de déduction multiple 4.5 C7 : Importance de l’action «passer» 2.5 C8 : Importance des argument informels 4 C9 : Visualisation du graphe 4.5 C10 : Importance d’avoir travaillé en binôme 4
Table 5.3 – Évaluation de CLEAR par les étudiants selon notre questionnaire (expéri- mentation pilote 2).
d’action.
La Table 5.3 montre que le binôme trouve la construction des arguments facile (C1) et la visualisation du graphe claire (C9). Les étudiants ont bien compris la définition des relations (C2,C3), l’importance des relations de défi (C5) et de dé- duction (C4,C6), l’importance des arguments informels (C8) et l’importance d’avoir travaillé en binôme (C10). Les étudiants trouvent l’action passer mois importante que les autres actions (C7). Ces notes montrent que les étudiants étaient à l’aise avec CLEAR durant la construction de la preuve.
L’analyse de cette expérimentation nous montre deux nouvelles limites de CLEAR. Elles concernent l’expressivité du défi sur une relation et la perte d’in- formation sur le débat en supprimant les arguments incorrects.
Pour corriger ces limites, nous ajoutons à l’ensemble des relations actuelles la relation de défi sur les relations et nous supprimons l’action supprimer un argument. Nous ajoutons aussi l’action modifier un argument pour permettre aux étudiant de modifier leurs arguments lors des erreurs de sélection des propositions.
Les deux expérimentations pilotes nous ont permis de redéfinir les fonctionnalités de CLEAR pour offrir un cadre complet aux étudiants, pour la construction des preuves déductives, et offrir tous les détails et informations sur le débat aux ensei- gnants pour l’évaluation de ces preuves. La dernière version de CLEAR offre aux étudiants les fonctionnalités suivantes pour la construction des preuves :
— Ajouter un argument formel — Ajouter un argument informel
— Ajouter une relation de déduction (simple,multiple)
— Ajouter une relation de défi (entre arguments, entre un argument et une rela- tion)
— Modifier un argument (formel, informel) — Supprimer une relation (défi, déduction) — Passer son tour
— Terminer le débat
Nous pensons qu’il est important de tester cet outil avec deux types de population : des étudiants en mathématiques et des étudiants d’une autre spécialité. Pour le premier type, les étudiants en mathématiques sont naturellement la population cible de CLEAR car les preuves sont la base de leur spécialité. Pour le deuxième type, nous souhaitons généraliser l’utilisation de cet outil.