A+C A+B PPDI = Post-test

N A + B N quand A B C D (1,1) (1,0) (0,1) (0,0)

Si l'on utilise à titre d'exemple, les données recueillies à l'item 3, nous obtenons les tableaux suivants pour les groupes 03 et 05:

Post-test Post-test Groupe 03: +j t/3 QJ 4-1 \<L) U Odj 1 0 1 4 0 0 24 2 Groupe 05: $ <D 4-1 '<1) y» eu 1 0 1 5 0 0 26 1

et les résultats de PPC et de PPDI sont alors:

PPC PPDI

Groupe 03: 0,92 Groupe 05: 0,96

0,80 0,81

Ces résultats révèlent que l'indice d'Harris tend vers une maximi­ sation de la sensitivité alors que celui de Cox et Vargas a tendance à ré­ duire la valeur de cette même sensitivité.

Cornent expliquer cette différence? Rappelons de nouveau que l'in­ dice PPDI de Cox et Vargas présente, dans le tableau de contingence à deux dimensions, la configuration suivante:

A+C A+B PPDI = Post-test N N ou A = (1,1) réussite-réussite B = (1,0) réussite-échec C = (0,1) échec-réussite D = (0,0) échec-échec 4-1 1 0 U3

tu

Une brève observation de cette formule nous permet de constater que l'expression A+C, (ncmbre d'élèves qui ont réussi l'item au post-test), inclut "A"; c'est-à-dire le ncmbre d'élèves compétents avant de recevoir

l'enseignement. Il n'y a donc pôs à strictement parler de sensitivité dans A.

D'autre part, l'expression A+B (nombre d'élèves qui ont réussi l'item au prétest), inclut "B" (1,0), c'est-à-dire le ncmbre d'élèves qui ont manqué l'item au post-test après l'avoir réussi au prétest. Cette ima­ ge de confusion que représente ici la cellule B (1,0) nous incite à nous interroger sur l'importance à donner à cette cellule dans le calcul de la sensitivité. Peut-être faut-il conclure avec Racine qu'il devient "douteux" d'effectuer ces calculs, étant dcnné la réduction de sensitivité qui s'y produit.

Mais qu'en est-il de l'indice d'Harris du point de vue de la maxi­ misation de la sensitivité?

Rappelons que l'indice jugé le plus résistant aux influences possi­ bles des modalités d'enseignement doit d'abord, selon notre première hypo­ thèse, pouvoir détecter chez un item un haut degré de sensitivité. C'est le cas pour le PPC d'Hcirris qui se classe en tête de liste pour les résul­ tats maximum obtenus en sensitivité. C'est donc dire que cet indice maxi­ mise la sensitivité d'un item. Mais encore faut-il que cet indice puisse d'abord posséder les caractéristiques qui le rendent comparable aux autres, c'est-à-dire corparable à ceux qui sont, avec lui, engagés dans la course.

Or, nous avons tôt fait de constater que, quoique répondant aux critères de sélection pré-déterminés, l'indice d'Harris exigeait, corne support aux données recueillies, un tableau de contingence à six ou à neuf cellules incluant réussites, échecs et abstensions (abs.).

Post-test w 0) +J CU 1 0 1 A B abs, C D 0 E F OU 1 abs. 0 1 A G B abs. C

X

67

L'idée nous est alors venue de tenter d'apporter un léger correc­ tif à cet indice de manière à le rendre comparable aux autres, tout en respectant le principe sur lequel il repose à savoir:

« Students who are enable to attempt the criterion- referenced item before the course should get them right after the course», (p. 127)

Ce qui fut fait. Nous avons donc pris la liberté de fondre en une seule les cellules E et C et F et D et d'en faire ainsi deux catégories "C" et "D" rejoignant effectivement les catégories conventionnelles propres aux tableaux à quatre cellules utilisés dans le calcul de la sensitivité.

La raison majeure qui nous a incité à apporter cette correction - à la vérité, mineure -, c'est que nous avons crû logique de traiter sur un pied d'égalité les cas d'abstension au prétest et les cas d'échec à ce même prétest.

Analysons brièvement en quoi consiste la retouche que nous avons apportée à l'indice d'Harris. Rappelons d'abord que cet indice exige que les données s'inscrivent dans un tableau à six cellules:

1 0

1 A B

abs. C D

0 E F

En isolant les cas d'abstension ordinairement confondus avec les cas de réponses incorrectes, Harris entend introduire une distinction à l'intérieur de la cellule (0,1) représentant les élèves qui ont enre­ gistré un gain. Son intention est de fournir ainsi à l'enseignant un moyen plus "affiné" d'intervention dans la recherche de l'efficacité de

l'enseignement. Cependant, l'auteur n'a pas suffisamment soigné la si­ gnification mathématique et statistique de son indice. Aussi la critique

s'est-elle prononcée sur l'arbitraire des limites fixées pour l'étendue. Elle dénonçait en même temps la relative valeur de certitude attachée à l'exécution déconsignés visant à contrer l'effet du choix au hasard.

Conscient de ces limites qui pouvaient ccmprcmettre la fiabilité des résultats provenant de cet indice, nous avons pris la décision de lui faire subir la légère modification pré-citée ayant soin de sauvegar­ der ce qu'il a de positif. Une telle adaptation nous a donc permis de ren­ dre cet indice comparable aux autres sans ccmprcmettre d'aucune façon ses capacités de détecter, avec précision, le degré de sensitivité des items.

Une brève analyse de l'interprétation des deux formes (originale et adaptée) devrait permettre de nous convaincre du bien-fondé des modifi­ cations apportées à cet indice:

Forme originale (PPC) Post-test 1 0 1 1 0 abs. 20 2 0 7 2 PPC = 27 20 = 1,35 Forme adaptée (PPC') Post-test 1 0 1 1 0 1 1 0 0 27 4 PPC' = = 0,87

Dans l'indice non-modifié, l'étendue dépasse l'unité, tel que l'a prévu Harris; dans l'indice modifié, l'étendue se maintient à l'inté­ rieur des limites généralement utilisées en corrélation: de -1 à +1.

L'on constate également que l'indice modifié ne tient pas compte du contenu des cellules (1,1) et (1,0) reconnu canne élément "douteux" dans le calcul du degré de sensitivité d'un item. On y fait surtout état de la cellule dite déterminante (Racine, 1982) dans ces calculs, à savoir: la cellule (0,1) qui englobe toute espèce d'insuccès au prétest pourvu qu'il y ait GAIN au post-test. L'indice modifié tient également compte de la cellule (0,0) qui, dans une situation régulière, se doit de compor-

69

ter de faibles résultats. Lorsqu'elle comporte de hauts résultats, elle traduit une anomalie qui se réflète négativement dans la valeur de la sensitivité. Il est donc essentiel que le contenu de cette cellule soit pris en considération.

Ncus avons tenté de cerner, dans cette discussion, en quoi les ré­ sultats issus de l'application de l'indice d'Harris présentent des diffé­ rences par rapport à celui de Cox et Vargas; et ce, en vue de mettre en lumière la capacité respective de ces indices de produire une mesure "af­ finée" de la sensitivité.

Nous avons également discuté des modifications qui ont été appor­ tées à l'indice d'Harris dans le but de le rendre comparable aux autres in­ dices engagés dans la course.

Les deux hypothèses de cette recherche ayant été confirmées, ces précisions devenaient, à notre avis, essentielles.

71

La présente étude nous a permis de mettre en lumière 1' importance du concept de la sensitivité des item à l'enseignement, en évaluation des apprentissages. Elle nous a aussi permis d'analyser les moyens qui peuvent en concrétiser 1'application dans le quotidien de la salle de classe.

La portée théorique et pratique de ce concept nous est apparue avec une telle clarté dans les travaux de Berk et d'Haladyna et Roid, que nous avons choisi de l'approfondir pour en arriver à pouvoir recarmander ce qui nous paraît être un moyen privilégié d'analyse empirique d'item: la mesure du degré de sensitivité d'item à 1'enseignement.

Pour y arriver, nous avons analysé l'effet de deux approches dif- rérentes relatives à la permissivité sur les résultats de la sensitivité. Les écarts ainsi enregistrés nous ont servi à déterminer, parmi un certain nombre d'indices (5), celui qui s'avère le plus résistant aux influences exercées par les deux approches.

C'est ainsi que nous avons pu constater que l'indice d'Harris (PPC) présente plus d'un avantage sur le plan du calcul de la sensitivité que les autres indices à condition toutefois qu'une modification mineure lui soit apportée.

Cette modification que l'on a décrite au chapitre de la discussion des résultats nous paraît être un apport positif à cet indice par ailleurs reconnu supérieur à plusieurs autres lorsqu'il est évident que la proba­ bilité de choisir au hasard n'a pas joué.

Cette efficacité à détecter dans un test donné, les item à faibles valeurs de sensitivité devrait ouvrir la voie à la recherche de causes. Et puisque la recherche des causes d'un manque de sensitivité ne peut que coïncider avec celle d'un manque de canpétence chez l'élève

qui a reçu un enseignement, la sensitivité essentielle à l'tiem pour