Variables relatives aux produits de l’apprentissage

Dans cette première étude, nous distinguons deux types de produits au terme de l’apprentissage : la production collaborative et la progression individuelle des apprenants.

6.2.1 Évaluation de la production collaborative

En ce qui concerne la tâche de conceptualisation, nous avons relevé le nombre de différences et de similitudes correctes dans la dernière version du wiki enregistrée par chaque groupe. Une similitude et une différence sont considérées comme correctes si le lien proposé entre les deux concepts est signifiant. Nous avons considéré qu’un lien est porteur de sens si celui-ci marque une relation spécifique issue de la nomenclature ROLT (Depover, Quintin, De Lièvre & Porco, 2006) utilisée pour représenter un domaine de connaissances. Cette labellisation distingue des liens dynamiques qui décrivent des processus (causalité, succession, influence et application) et des liens statiques qui décrivent des situations (composition, exemple, caractéristique, définition, fonction et explicitation). Chaque similitude et chaque différence correctes se sont vues attribuer un point. Lors de cette tâche de conceptualisation, la consigne précise aux étudiants de formuler un exemple décrivant les similitudes et les différences formulées. Pour évaluer cet exemple, nous avons tenu compte de deux critères (un point par critère) : l’exemple décrit-il une articulation entre les deux concepts ? L’exemple décrit-il une distinction entre les deux concepts ?

Lors de la tâche d’identification (analyse), nous avons intégré 64 concepts distincts dans les trois cas proposés. Étant donné que certains concepts pouvaient être repris plusieurs fois, nous avons comptabilisé un nombre total d’identifications correctes dans les trois cas. Nous avons également considéré un degré d’identification relatif en tenant compte du rapport entre le nombre de concepts distincts repérés et le nombre total de concepts proposé (N=64).

permettant d’apprécier la qualité de la production des synthèses réalisées au niveau de la conceptualisation et de l’identification. D’un point de vue productif, nous prendrons en considération le nombre de mots total que comporte la synthèse ainsi que le nombre total de connecteurs logiques identifié par les lexiques intégrés dans le logiciel Antidote16. Cette dernière information nous donne ainsi la possibilité d’évaluer le degré d’argumentation de la synthèse.

6.2.2 Évaluation de la progression individuelle

Notre préoccupation principale dans cette recherche est d’évaluer les progrès réalisés sur le plan individuel en nous appuyant sur une procédure de type « prétest / posttest ». À cette fin, deux épreuves semblables comportant un nombre identique de questions de même nature ont été élaborées. Elles permettent d’évaluer la maîtrise des deux compétences principales ciblées dans le cours :

- Conceptualisation : justifier ce qui relie et différencie deux concepts donnés

- Analyse : identifier dans une situation pédagogique donnée les différents concepts qui y sont associés

Concernant la compétence de conceptualisation, la tâche consiste à comparer deux concepts et à rédiger un exemple qui illustre au mieux ces différences et ces similitudes. À l’occasion de chaque épreuve que nous avons administrée (prétest et posttest), les étudiants doivent comparer quatre paires de concepts deux à deux. Pour calculer le score obtenu, nous avons appliqué la même procédure que celle utilisée lors de l’évaluation de la production collaborative que nous avons décrite dans le point précédent. Pour chaque comparaison, les étudiants doivent formuler deux différences et deux similitudes entre les deux concepts. Pour cette tâche, le score maximum est donc de 24 points (comparaison = 16 points + formulation d’un exemple = 8 points).

En ce qui concerne la compétence d’analyse, la tâche proposée dans l’épreuve est destinée à évaluer la capacité de l’étudiant à repérer si le concept se trouve (ou non) dans une situation concrète décrite. Si l’étudiant considère que le concept est présent dans le cas proposé, il doit également identifier dans le texte le passage correspondant à celui-ci. Les étudiants doivent se positionner par rapport à 30 concepts. Pour cette tâche, le score maximum est donc de 30 points.

Sur le plan pratique, nous avons administré le prétest avant le début de l’activité individuelle et le posttest au terme de la séquence collaborative. Il est à noter que les étudiants étaient informés du caractère formatif de ces activités et que cette note ne rentrait donc pas en ligne de compte dans la note finale du cours.

16_{www.druide.com}

Ce dispositif d’évaluation ipsative nous permet de calculer un gain relatif pour chaque étudiant au terme de la formation. « Il correspond au rapport de ce que

l’élève a gagné à ce qu’il aurait pu gagner au maximum. Il est indépendant du niveau de départ et comme, à niveau de départ égal, il est proportionnel à la performance, on peut considérer que le gain relatif est proportionnel à ce qu’il veut mesurer » (D’Hainaut, 1975, p.158-159). Ce rapport entre la progression

possible et la progression observée donne ainsi la possibilité de comparer les progrès des élèves, quel que soit leur niveau de départ. Le tableau 21 présente les deux formules à considérer en fonction de la comparaison préalable entre le prétest et le posttest. Le calcul du gain relatif est possible à la condition que le score au prétest soit inférieur ou égal au score du posttest. Si le score au prétest est supérieur au posttest, alors il convient de calculer une perte relative.

Si* Alors*

( (

( (

TABLEAU 21 : GAIN RELATIF ET PERTE RELATIVE

Lors de ces évaluations, nous avons également demandé aux étudiants d’exprimer pour chaque réponse fournie leur degré de certitude en se référant au tableau 22 suggéré par Leclercq (1998) et basé sur le modèle de la théorie de la décision.

Si*vous*considérez*que*la*réponse*a*une*probabilité*d’être*correcte* entre…* Ecrivez* Pourcentage*de* certitude*médian* 0(–(25(%( 0( 12.50(%( 25(–(50(%( 1( 37.50(%( 50(T70(%( 2( 60.00(%( 70(–(85(%( 3( 77.50(%( 85(–(95(%( 4( 90.00(%( 95(–(100(%( 5( 97.50(%(

TABLEAU 22 : DEGRES DE CERTITUDE (LECLERCQ, 1998)

En nous appuyant sur les travaux de Leclercq & Poumay (2007), cette information supplémentaire donne la possibilité de calculer un score de confiance qui correspond à la somme des degrés de certitude fournis aux réponses correctes (idéalement, cette somme devrait être la plus élevée possible). À partir de ces informations, nous avons alors l’opportunité de calculer un score de prudence qui correspond à la somme des degrés de certitude fournis aux réponses incorrectes (idéalement, cette valeur devrait être la plus faible possible). Pour calculer ces deux scores, nous avons pris comme valeur de référence pour chaque niveau le pourcentage médian de l’intervalle (tableau 22). Ces deux scores étant plafonnés, il est également possible de calculer un gain relatif ou une perte relative pour ces deux valeurs.

Post_{≥ Pr é} Gain_{= 100x}Post− Pr é

Max− Pr é

Post_{< Pr é} Perte_{= 100x}Post− Pr é Pr é