Expérimentation 3 : avec les étudiants en Mathématiques

L’objectif de cette expérimentation est de répondre aux questions suivantes : — Les systèmes d’argumentation soit-ils adaptés à la construction des preuves

déductives ?

— Les fonctionnalités de CLEAR sont-elle suffisantes pour construire des preuves mathématiques déductives ?

5.2.3.1 Description de l’expérimentation

- Population (n = 8) étudiants en troisième année de Licence de mathématiques de l’Université de Montpellier ont participé à cette expérimentation. Les étudiants n’ont pas de connaissance sur la théorie de l’argumentation en intelligence artificielle. - Choix des exercices L’expérimentation porte sur les mêmes exercices de la deuxième expérimentation pilote :

— Exercice 1 : Soient dans R3

les vecteurs v1 = (1, 0, 1), v2 = (0, 2, 2) et v3 = (3, 7, 1).

La famille {v1, v2, v3} est-elle libre ?

— Exercice 2 :

La famille Potter comporte 2 enfants. Soient les événements : — A : " il y a deux enfants de sexes différents chez les Potter" ; — B : " la famille Potter a au plus une fille".

Les deux événements A et B sont-ils indépendants ? — Exercice 3 :

∀ǫ > 0∃N ∈ N t.q. (n ≥ N ⇒ 2 − ǫ < 2n+1

- Procédure La procédure suivie durant cette expérimentation est la suivante : 1. Les étudiants forment 4 binômes B1 = {ǫ1, ǫ2}, B2 = {ǫ3, ǫ4}, B3 = {ǫ5, ǫ6}

et B4 = {ǫ7, ǫ8} avec l’ordre d’interaction suivant : ǫ1, ǫ2 pour B1;ǫ3, ǫ4 pour

B2;ǫ5, ǫ6 pour B3 et ǫ7, ǫ8 pour B4.

2. Nous expliquons les définitions suivantes : argument formel, relation de défi et relation de déduction.

3. Nous présentons CLEAR et ses fonctionnalités.

4. Nous illustrons la construction de la preuve de l’exercice de Pythagore avec CLEAR.

5. Les participants commencent le débat. 5.2.3.2 Variables observées

Dans cette expérimentation, nous observons l’analyse d’activité des étudiants du- rant la construction. Pour cela, les variables observées sont : durée de construction de la preuve, nombre d’arguments formels et informels construits, nombre de rela- tions de défi et de déduction et nombre d’actions (modifier un argument, supprimer une relation, passer). Nous évaluons la compréhension des concepts d’argumenta- tion, l’expressivité du graphe de débat pour la construction des preuves, l’utilité des actions et aussi l’utilité de la collaboration pour la construction des preuves.

5.2.3.3 Résultats et discussion

La construction des preuves des exercices 1, 2 et 3, en moyenne, a duré respecti- vement 32.5 minutes, 22.25 minutes et 19.75 minutes.

La Table 5.4.a présente la moyenne et l’écart-type du nombre d’arguments, rela- tions et actions durant la construction de la preuve de l’exercice 1, 2 et 3. La Table 5.4.b présente la moyenne et l’écart-type du nombre d’actions, modifier un argu- ment, supprimer une relation et passer, utilisées dans l’exercice 1, 2 et 3. La Table 5.5 présente l’évaluation moyenne du questionnaire par les étudiants qui explore dif- férents aspects tels que : compréhension des concepts d’argumentation (argument structuré, relation de déduction, relation de défi), facilité de la construction des arguments formels et l’ajout des relations, importance des actions de CLEAR.

Dans le premier exercice les étudiants ont ajouté en moyenne 9.25 arguments formels, un argument informel, 4.25 relations de déduction simple, 4.1 relations de déduction multiple et 1.25 relation de défi. Dans le deuxième exercice, les étudiants ont ajouté en moyenne 6.5 arguments formels, 3.5 relations de déduction simple et 2 relations de déduction multiple. Dans le troisième exercice, les étudiants ont ajouté en moyenne 5 arguments formels, 1.25 arguments informels, 2.1 relations de déduction simple, 1.4 relations de déduction multiple et 0.25 relation de défi. L’action «supprimer une relation» est utilisée dans Exercice 1, Exercice 2 et Exercice 3 respectivement 4.75 fois, 0.5 fois et une fois. L’action «modifier un argument» est

utilisée dans Exercice 1, Exercice 2 et Exercice 3 respectivement 3 fois, 2.25 fois et une fois. L’action «passer» est utilisée uniquement dans Exercice 3 avec une moyenne de 0.25 fois.

- Les systèmes d’argumentation sont-ils adaptés à la construction des preuves déductives ?

La réponse à cette question est importante car elle affecte l’acceptabilité, par les étudiants, des systèmes d’argumentation pour exprimer des preuves déductives. L’analyse de l’activité montre que les étudiants, sans connaissance préalable sur la théorie de l’argumentation, ont pu construire des preuves en utilisant des arguments formels et des relations de déduction. Les concepts d’argumentation, argument for- mel, relation de déduction et relation de défi, ont été correctement utilisés par les étudiants durant le débat.

Les notes obtenues pour les composantes (C1), (C2) et (C5) du questionnaire concernant la compréhension et la représentation des preuves déductives dans le cadre de la théorie de l’argumentation sont respectivement de 4/5, 3.98/5 et 4.75/5. Cela est cohérent avec les résultats de l’analyse de l’activité et illustre une accepta- bilité de ce cadre par les étudiants.

Nous pouvons donc conclure que l’outil proposé permet aux étudiants, sans connaissance préalable de l’argumentation, de construire des preuves déductives. L’outil ne constitue pas un obstacle à l’expression des preuves ; l’exactitude de ces preuves dépend principalement des compétences des étudiants en mathématiques.

- Les fonctionnalités de CLEAR sont-elles suffisantes pour construire des preuves mathématiques déductives ?

A partir de la Table 5.4, nous observons que les étudiants ont utilisé toutes les actions disponibles dans CLEAR avec cependant une faible utilisation de l’action passer, les arguments informels et la relation de défi.

Les étudiants ont principalement utilisé les actions suivantes : ajouter un argu- ment formel, ajouter une relation de déduction, modifier un argument et supprimer une relation. L’action passer, les arguments informels et la relation de défi ont rare- ment été utilisés.

En ce qui concerne les arguments informels, l’analyse de l’activité et le ques- tionnaire (C9) ont montré qu’ils ont été rarement utilisés. C’est une surprise pour nous car nous nous attendions à ce que la construction d’un argument formel en sélectionnant les prémisses et la conclusion à partir de la liste de proposition P soit plus difficile que d’écrire un argument en texte libre.

La relation de déduction a été plus utilisée que la relation de défi. Cela est cohérent avec le fait que la construction des preuves déductives est principalement

basée sur les relations de déduction entre les arguments. Les relations de défi ne sont utilisées que pour exprimer des conflits durant le débat.

Les résultats du questionnaire montrent que l’action passer est l’action la moins importante de CLEAR (C8). Toutes les autres actions ont été considérées comme très importantes : modifier un argument (C6), supprimer une relation (C7) et la collaboration (C10).

La construction d’un argument formel en sélectionnant un ensemble de prémisses et une conclusion à partir d’un ensemble prédéfini de formules ainsi que l’ajout d’une relation au graphe ont été considérés comme «faciles» (C3 et C4).

Ces résultats montrent que CLEAR inclut des fonctionnalités suffisantes pour construire des preuves déductives en utilisant l’argumentation.

(a)Moyenne et écart-type du nombre d’arguments et relations du graphe de débat. Arg. formel Arg. informel Défi Déduc. simple Déduc. multiple Exercice 1 9.25(1.82) 1(2.54) 1.25(2.3) 4.25(1.18) 4.1(1.31) Exercice 2 6.5(3.13) 0(0) 0(0) 3.5(3.21) 2(1.6) Exercice 3 5(4.62) 1.25(2.6) 0.25(0.7) 2.1(1.07) 1.4(2.1)

(b) Moyenne et écart-type du nombre d’actions utilisées durant le débat Modif. un argument Supp. une relation Passer

Exercice 1 3(4.5) 4.75(2.16) 0(0) Exercice 2 2.25(1.6) 0.5(0.36) 0(0) Exercice 3 1(2.44) 1(1.85) 0.25(0.7)

Table5.4 – Moyenne et écart-type du nombre d’arguments, relations et actions durant la construction des preuves par les étudiants en mathématiques.