Définition de la fidélité des scores

Étant donné que les tests psychologiques sont utilisés et interprétés pour comprendre le fonctionnement d’un individu, leurs résultats se doivent d’être fiables et reproductibles. Un test n’aura aucune utilité, si les résultats d’un individu amènent à différentes hypothèses ou conclusions d’une passation à l’autre. Plusieurs variables peuvent affecter les résultats d’un test au cours du processus d’évaluation, telles des variations situationnelles (p. ex., conditions environnementales), des variations induites par l’expérimentateur (p. ex., attitude, erreurs de cotation), des variations instrumentales (p. ex., format des items, contenu des items) et des variations dues au sujet lui-même (p. ex., fatigue, motivation, anxiété, familiarité avec la tâche). Dans un sens général, la fidélité est un indicateur du degré de reproductibilité d’un score (quel que soit ce qu’il mesure). Nous allons davantage définir ce concept, mais tout d’abord soulevons un raccourci de langage à son propos. Couramment, on parle de la fidélité comme d’une propriété du test en déclarant : « ce test est fidèle » ou « la fidélité du test est… ». Or la fidélité est une propriété des scores d’un test, et non une propriété

inhérente au test lui-même. Il ne s’agit pas ici d’une subtile nuance ; la distinction est importante dans ses implications quant à l’utilisation et à l’interprétation des données de fidélité pour un test. Si la fidélité est une propriété du test, cela signifierait qu’elle peut être établie définitivement pour les tous contextes d’utilisation et pour tous les individus à qui le test est administré. Nous pourrions nous référer à une valeur applicable en toutes circonstances. Or, la fidélité n’est pas une propriété absolue et immuable du test. Nous le verrons longuement dans ce chapitre, la fidélité pour un test donné n’est pas caractérisée par un score unique. Dans la théorie classique des tests (TCT), il existe plusieurs méthodes d’estimations de la fidélité, dont chacune tient compte de différentes sources d’erreur. Nous le verrons également, même si la fidélité est estimée à partir d’un large échantillon dans des conditions standardisées, elle varie néanmoins d’un échantillon à l’autre en fonction des caractéristiques de l’échantillon testé et du contexte d’évaluation. On ne peut pas transférer les données de fidélité étudiées d’un échantillon à l’autre, ni les utiliser dans d’autres contextes que ceux étudiés. Cela rend nécessaire des études comme la nôtre avec des sujets tout-venant ainsi que sur d’autres populations. Ainsi, lorsqu’on parle de « fidélité d’un test », il s’agit toujours d’entendre « fidélité des scores d’un test ».

Revenons à présent à la définition de la fidélité, qui est le concept sur lequel la théorie classique des tests s’est construite. Nous rappelons que, selon l’équation de base de la TCT, le score observé (X) d’un individu à un test est égal à l’addition de son score vrai (V) et de l’erreur de mesure (E). Le score vrai (V) est une entité théorique qui représente le score moyen qu’obtiendrait le sujet s’il passait un même test une infinité de fois. Il est constant pour un individu et pour un test donné, mais différent d’un individu à l’autre et d’un test à l’autre. On ne peut pas directement l’observer. Nous n’avons accès qu’au score observé (X) qui est le score obtenu par un sujet à une passation du test. Pour un sujet, le score observé varie d’une passation à l’autre d’un même test à cause de l’erreur. En effet, l’erreur de mesure (E) est une entité constituée des fluctuations qui surviennent de manière aléatoire d’une passation à l’autre du test.

Comme nous en avons déjà parlé¹², on peut distinguer deux types d’erreur : l’erreur systématique et l’erreur aléatoire. Sur des mesures répétées à un même test, l’erreur systématique affecte les mesures dans le même sens et avec la même intensité. Pour tous les individus d’un échantillon, elle va surévaluer (ou sous-évaluer) leur score observé de manière constante et prévisible. Ce type d’erreur ne peut pas être détecté par les méthodes d’estimation de la fidélité (corrélations), car elle ne révèle pas une

12 Voir section 2.1.1.1, p. 73.

inconsistance dans les mesures répétées. Quant à l’erreur aléatoire, elle affecte les mesures dans un sens et dans un autre et avec une intensité différente. D’une passation à l’autre, l’influence de l’erreur aléatoire sur la mesure est imprévisible ; elle peut être positive (surévaluer) ou négative (sous-évaluer) d’une passation à l’autre. Pour évaluer la fidélité comme entendue dans la théorie classique des tests, on en tient compte que de l’erreur aléatoire.

Compte tenu des effets d’apprentissage notamment, il n’est pas sensé d’effectuer une infinité de passations d’un même test sur un même individu. Les mesures répétées se réalisent sur un groupe d’individus à qui on fait passer le test. La fidélité porte donc sur la variabilité des scores observés des individus d’un échantillon.

Suivant l’équation de base, la variance d’un échantillon (𝑠_𝑥²) se traduit ainsi :

𝑠𝑥2= 𝑠𝑣2+ 𝑠𝑒2 (12)

Où 𝑠_𝑣² est la variance des scores vrais et 𝑠_𝑒² est la variance des erreurs. La variance vraie des scores représente la variabilité du score vrai au sein des individus de l’échantillon à qui on passe le test, tandis que la variance d’erreur représente la variabilité des erreurs de mesure de l’échantillon. Partant de cette nouvelle équation, la question que pose l’évaluation de la fidélité est la suivante : dans quelle mesure les différences individuelles sur les scores observés au test relèvent-elles de « vraies » différences sur la propriété mentale évaluée et dans quelle mesure celles-ci relèvent-elles d’erreurs dues au hasard ? En termes plus techniques, la fidélité permet d’évaluer quelle proportion de la variance totale des scores observés à un test est expliquée par la variance vraie des scores et quelle proportion est expliquée par la variance d’erreur.

𝑟_𝑥𝑥′= 𝑟_𝑣𝑥² =𝑠𝑣2

𝑠_𝑥² (13)

La fidélité est exprimée sous la forme du carré de la corrélation entre le score vrai et le score observé. Elle peut également être traduite par un rapport entre la variance des scores vrais (𝑠_𝑣²) et la variance des scores observés (𝑠_𝑥²). Plus la variance des scores observés diffère de la variance des scores vrais, plus la fidélité décrira un certain degré d’écart entre le score observé et le score vrai des individus. À l’inverse, plus les deux variances ont des valeurs proches, plus la fidélité décrira des scores observés et des scores vrais similaires pour les individus de l’échantillon. Ainsi, « meilleure est la fidélité, meilleur sera la prédiction du score vrai à partir du score observé » (Laveault &

Grégoire, 2014, p. 112). Dans la situation d’un test dont les scores sont parfaitement fidèles, 100 % de la variance totale est attribuable à la variance des scores vrais. Le

score observé est dépourvu d’erreur de mesure, et coïncide exactement avec le score vrai. Évidemment, il s’agit d’une situation idéale et hypothétique. Dans la réalité, l’erreur ne peut jamais être totalement éliminée. On peut décomposer la variance des scores vrais et transformer l’Équation (13) pour faire apparaître la variance d’erreur (𝑠_𝑒²) :

𝑟_𝑥𝑥′=𝑠𝑥2− 𝑠𝑒2

𝑠_𝑥² =𝑠𝑥2

𝑠_𝑥²−𝑠𝑒2

𝑠_𝑥²= 1 −𝑠𝑒2

𝑠_𝑥² (14)

Selon cette nouvelle formulation de la fidélité, plus le résultat de la fraction est élevé (c.-à-d. plus la variance d’erreur est importante par rapport à la variance des scores observés), plus la fidélité sera faible.

Comme le score vrai des individus n’est pas directement accessible, la fidélité s’opérationnalise par un coefficient de fidélité qui traduit la relation entre les scores observés de mêmes sujets sur deux tests considérés comme parallèles, et non entre le score vrai et le score observé des sujets. Un test administré à deux reprises, de même que deux versions d’un test ou deux moitiés d’un test, peuvent être considérés comme des tests parallèles. Pour rappel, deux tests parallèles sont supposés présenter (1) un contenu et une difficulté équivalents, (2) des scores vrais qui corrèlent¹³, (3) un écart type égal (σ₁= σ₂) ainsi que (4) une variance d’erreur égale (σ_𝑒1² = σ_𝑒2² ). En vertu des propriétés des tests parallèles, la corrélation entre les scores observés à deux tests parallèles permet de rendre compte de la proportion de variance totale des scores observés qui est expliquée par la variance du score vrai et par la variance d’erreur.