5.2 Expérimentation avec les étudiants
5.2.4 Expérimentation 4 : avec les étudiants en Informatique
L’objectif de cette expérimentation est de répondre aux questions suivantes : — Les systèmes d’argumentation sont-ils adaptés à la construction des preuves
déductives ?
— Les fonctionnalités de CLEAR sont-elles suffisantes pour construire des preuves mathématiques déductives ?
— Comment les étudiants évaluent-ils l’utilisabilité de CLEAR ? 5.2.4.1 Description de l’expérimentation
- Population (n = 16) étudiants en première année de Licence en informatique à l’IUT de Montpellier ont participé à cette expérimentation. Les étudiants n’ont pas de connaissance préalable sur la théorie de l’argumentation en intelligence artificielle.
- Choix des exercices L’expérimentation porte sur le même ensemble d’exer- cices :
— Exercice 1 :
Soient dans R3 les vecteurs v
1 = (1, 0, 1), v2 = (0, 2, 2) et v3 = (3, 7, 1).
La famille {v1, v2, v3} est-elle libre ?
— Exercice 2 :
La famille Potter a 2 enfants. Soient les événements :
— A : " il y a deux enfants de sexe différent chez les Potter" ; — B : " la famille Potter a au plus une fille".
Les deux événements A et B sont-ils indépendants ? — Exercice 3 :
∀ǫ > 0∃N ∈ N t.q. (n ≥ N ⇒ 2 − ǫ < 2n+1
n+2 <2 + ǫ).
- Procédure La procédure suivie durant cette expérimentation est la suivante : 1. Les étudiants forment 8 binômes B1 = {ǫ1, ǫ2}, B2 = {ǫ3, ǫ4}, B3 = {ǫ5, ǫ6},
B4 = {ǫ7, ǫ8}, B5 = {ǫ9, ǫ10}, B6 = {ǫ11, ǫ12}, B7 = {ǫ13, ǫ14} et B8 = {ǫ15, ǫ16}
avec l’ordre d’interaction suivant : ǫ1, ǫ2 pour B1; ǫ3, ǫ4 pour B2; ǫ5, ǫ6 pour
B3; ǫ7, ǫ8 pour B4; ǫ9, ǫ10 pour B5; ǫ11, ǫ12 pour B6; ǫ13, ǫ14 pour B7 et ǫ15, ǫ16
pour B8.
2. Nous expliquons les définitions suivantes : argument formel, relation de défi et relation de déduction.
3. Nous présentons CLEAR et ses fonctionnalités.
4. Nous illustrons la construction de la preuve de l’exercice de Pythagore avec CLEAR.
5. Les participants commencent le débat. 5.2.4.2 Variables observées
Les variables observées sont divisées en deux groupes : le premier groupe concerne l’analyse de l’activité des étudiants. Le deuxième groupe concerne l’utilisabilité per- çue de CLEAR. Pour l’analyse de l’activité, les variables observées sont : temps de construction d’une preuve, nombre d’arguments formels et informels, nombre de relations de défi et de relations de déduction et le nombre d’actions (ajouter, supprimer, modifier et envoyer).
L’utilisabilité perçue est évaluée à l’aide de l’échelle d’utilisabilité standard (SUS) Brooke et collab. (1996) qui comprend 10 éléments avec 5 options de réponse de «pas du tout d’accord» à «tout à fait d’accord».
Nous évaluons la compréhension des concepts d’argumentation, l’expressivité du graphe de débat pour la construction des preuves, l’utilité des actions et de la collaboration pour la construction des preuves.
élément note moyenne /5 C1 : Compréhension de l’argument formel et de la théorie de l’argumentation 4
C2 : Représentation de la preuve par un graphe : arguments et relations 3.98 C3 : Construction des arguments formels à partir de l’ensemble de propositions P 3.5 C4 : Ajout des relations : défi et déduction 3.62 C5 : Importance d’avoir la relation de déduction multiple 4.75 C6 : Importance d’avoir l’action «modifier un argument» 4.62 C7 : Importance d’avoir l’action «supprimer une relation» 4.75 C8 : Importance d’avoir l’action «passer» 3.35 C9 : Importance d’avoir des arguments informels 4.25 C10 : Importance d’avoir travaillé en binôme 4.12
Table5.5 – Évaluation de CLEAR par les étudiants en mathématiques selon notre ques- tionnaire.
5.2.4.3 Résultats et discussion
Les étudiants étaient engagés dans un débat d’une durée, en moyenne, de 41,25 minutes, 26,12 minutes et 25,42 minutes pour construire respectivement le graphe de débat du premier, deuxième et troisième exercice.
La Table 5.6.a présente la moyenne et l’écart-type du nombre d’arguments et relations durant la construction de la preuve des exercices 1, 2 et 3. La Table 5.6.b présente la moyenne et l’écart-type du nombre d’actions, modifier un argument, sup- primer une relation et passer, utilisées dans l’exercice 1, 2 et 3. Les étudiants ont construit, en moyenne, 10 arguments formels, 9.37 relations de déduction simple, 4.25 relations de déduction multiple et 0.25 relation de défi pour la preuve de l’Exercice 1. Pour l’Exercice 2, ils ont construit 7.37 arguments formels, 0.5 arguments in- formels, 6.75 relations de déduction simple, 2.37 relations de déduction multiple et 0.5 relations de défi. Pour l’Exercice 3, les étudiants ont construit 4.85 arguments formels, 0.14 arguments informels, 3.57 relations de déduction simple, 0.85 relation de déduction multiple. Les actions «modifier une argument» , «supprimer une rela- tion» et «passer»ont été utilisées respectivement 1.87, 3 et 0.12 dans l’Exercice 1 ; 2, 0.5, 0.12 dans l’Exercice 2 ; 1.14, 0.71 et 0.28 dans l’Exercice 3.
La Table 5.7 présente l’évaluation moyenne du questionnaire par les étudiants sur différents aspects tels que : compréhension des concepts d’argumentation (argument structuré, relation de déduction, relation de défi), facilité de la construction des arguments formels et ajout des relations, importance des actions de CLEAR.
Pour la facilité d’utilisabilité perçue, la Figure 5.1 présente le score moyen et le statut de CLEAR en utilisant l’échelle SUS. Les scores individuels sont donnés dans la Figure 5.2.
Figure 5.1 – Statut de CLEAR par étudiant.
Figure 5.2 – Score moyen de CLEAR.
- Les systèmes d’argumentation sont-ils adaptés à la construction des preuves déductives ?
Les notes obtenues pour les composantes (C1), (C2) et (C5) du questionnaire concernant la compréhension et la représentation des preuves déductives dans le cadre de la théorie de l’argumentation sont respectivement 3.46/5, 3.34/5 et 3.63/5. Cela est concordant avec les résultats que nous avons obtenus dans l’expérimentation avec les étudiants en mathématiques. Nous concluons que les systèmes d’argumen- tation sont adaptés à la construction des preuves déductives. Sans connaissance préalable sur l’argumentation, la structuration des arguments et les relations de défi et déduction ne présentent pas un obstacle pour la construction des preuves par les étudiants. Donc CLEAR permet aux étudiants, sans connaissance préalable de l’argumentation, de construire des preuves déductives.
(a) La moyenne et l’écart-type du nombre d’arguments et relations du graphe de débat. Arg. formel Arg. informel Défi Déduc. simple Déduc. multiple Exercice 1 10(2.2) 0(0) 0.25(0.7) 9.37(5.37) 4.25(3.24) Exercice 2 7.37(3.11) 0.5(0.92) 0.5(0.75) 6.75(2.76) 2.37(2.26) Exercice 3 4.85(2.54) 0.14(0.37) 0(0) 3.57(2.5) 0.85(1.06)
(b) La moyenne et l’écart-type du nombre d’actions utilisées durant le débat Modif. un argument Supp. une relation Passer
Exercice 1 1.87(2.35) 3(3.81) 0.12(0.35) Exercice 2 2(2.67) 0.5(1.41) 0.12(0.34) Exercice 3 1.14(0.89) 0.71(1.49) 0.28(0.75)
Table5.6 – Moyenne et écart-type du nombre d’arguments, relations et actions durant la construction des preuves par les étudiants en informatique.
élément note moyenne /5
C1 : Compréhension de l’argument formel et de la théorie de l’argumentation 3.46 C2 : Représentation de la preuve par un graphe : arguments et relations 3.34 C3 : Construction des arguments formels à partir de la liste de propositions P 3.37 C4 : Ajout des relations : défi et déduction 2.94 C5 : Importance d’avoir la relation de déduction multiple 3.63 C6 : Importance d’avoir l’action «modifier un argument» 4.43 C7 : Importance d’avoir l’action «supprimer une relation» 4.75 C8 : Importance d’avoir l’action «passer» 1.78 C9 : Importance d’avoir les arguments informels 2.56 C10 : Importance d’avoir travaillé en binôme 3.78
Table 5.7 – Évaluation de CLEAR par les étudiants en informatique selon notre ques- tionnaire.
- Les fonctionnalités de CLEAR sont-elles suffisantes pour construire des preuves mathématiques déductives ?
La Table 5.6 montre que les étudiants ont utilisé toutes les actions disponibles dans CLEAR avec cependant une très faible utilisation de l’action passer, les arguments informels et la relation de défi. Comme l’expérimentation précédente, les étudiants ont principalement utilisé les actions suivantes : ajouter un argument formel, ajouter une relation de déduction, modifier un argument et supprimer une relation. L’action passer, les arguments informels et la relation de défi ont rarement été utilisés. La relation de déduction a été plus utilisée que la relation de défi grâce à son rôle important dans l’enchaînement des arguments qui construisent la preuve déductive. Il est à noter que les relations récursives n’ont pas été utilisées par les étudiants en
informatique contrairement aux étudiants en mathématiques. Rappelons que l’expé- rimentation pilote 2 a montré la nécessité d’avoir ce type de relation pour exprimer un conflit sur les relations. Les résultats du questionnaire confirment que l’action «passer» n’est pas une action importante de CLEAR (C8). Par ailleurs, toutes les autres actions ont été considérées comme importantes : modifier un argument (C6), supprimer une relation (C7) et collaboration pour écrire une preuve (C10).
La construction d’un argument formel ainsi que l’ajout d’une relation au graphe, défi et déductive, ont été jugées «faciles» (C3 et C4). Cette expérimentation nous confirme que CLEAR contient toutes les fonctionnalités suffisantes pour la construction des preuves déductives.
- Comment les étudiants évaluent-ils l’utilisabilité de CLEAR ?
La Figure 5.1 montre que sur 16 étudiants, 3 étudiants trouvent CLEAR inac- ceptable, 9 étudiants le trouvent négligeable et 4 étudiants le trouvent acceptable. Pour l’évaluation globale, CLEAR a obtenu un score moyen de 58. Cela représente la catégorie «faible marginal» qui va de 50 à 62. Par conséquent, Selon Brooke et collab. (1996), les étudiants évaluent la facilité d’utilisation du système comme étant OK (voir Figure 5.2).
Les deux expérimentations avec les étudiants en mathématiques et en informatique montrent que CLEAR offre un ensemble de fonctionnalités pour aider les étudiants à construire et structurer les preuves déductives sous forme d’un graphe.
Dans la suite nous étudierons expérimentalement l’acceptabilité de CLEAR par les enseignants.