Les différents critères d’une mesure objective

Les différents critères qui permettent de répondre à une mesure objective concernent autant les items que les sujets. Dans le cadre du modèle de Rasch, six principaux critères ont été définis afin de répondre à ce type de mesure : l’ordre, l’unidimensionnalité, l’indépendance locale, la linéarité de l’échelle, l’exhaustivité du score total et l’objectivité spécifique. Une « bonne » échelle de mesure devra vérifier différentes propriétés, tout en gardant à l’esprit une simplicité d’utilisation de l’instrument de mesure dans le cadre d’une application clinique (Hardouin, 2005).

3.1.1.

L’ordre

Ce critère concerne la nature des données qui ne doivent pas être de nature nominale, il faut qu’un ordre quantitatif puisse être établi entre les données : un score plus élevé doit refléter une quantité ou une capacité plus grande et inversement, un score plus faible doit refléter une quantité ou une capacité plus faible (Penta, 2005). Dans le cadre des TAC, un score plus élevé devra refléter une difficulté, voire un trouble plus grand et inversement.

5 _{IOM : Institute for Objective Measurement créé en 1996 et basé à Chicago. Cet institut est chargé de}

3.1.2.

L’unidimensionnalité

Ce critère concerne la propriété de l’échelle d’évaluation qui ne doit évaluer qu’un unique attribut de la variable mesurée. Ce concept est purement théorique. En pratique, nous cherchons à nous rapprocher de ce critère afin d’obtenir une échelle utile et pertinente pour l’application clinique envisagée. En effet, il est souvent difficile d’isoler un attribut particulier, notamment dans le domaine des sciences humaines. L’important est que la performance au test soit influencée de manière dominante par la variable mesurée, dans notre cas les TAC (Hamon, 2000 ; Hardouin, 2005 ; Penta, 2005).

3.1.3.

L’indépendance locale

Ce critère renvoie à l’indépendance statistique : pour une personne donnée, ou plus généralement pour l’ensemble des personnes ayant le même score, les réponses aux différents items ne doivent pas dépendre les unes des autres. En termes mathématiques, ce critère se définit de la façon suivante : « la probabilité qu’un individu i réponde positivement à la question j s’écrit comme une fonction dépendant uniquement du trait latent et d’un (ou plusieurs) paramètre(s) lié(s) à l’item » (Hamon, 2000). Dans le cadre du modèle de Rasch, la réponse d’une personne à un item dépend de la différence entre la capacité de la personne et la difficulté de l’item et ne dépend pas de la réponse de cette personne à un autre item (Penta, 2005). Les réponses aux différents items sont bien indépendantes les unes des autres.

3.1.4.

La linéarité de l’échelle

Cette caractéristique indique que les scores totaux quel que soit l’item ou la personne considéré soient observés sur une échelle ordinale : la capacité du sujet est liée au score; le degré de difficulté de l’item est lié au score. Dans notre étude sur les TAC, plus les difficultés seront importantes, plus les items seront difficiles et plus le score sera élevé.

Ce paramètre nécessite que l’unité de mesure soit constante tout au long de l’échelle, de sorte que des intervalles identiques représentent la même quantité de la variable mesurée. Pour cela, le modèle de Rasch utilise une transformation mathématique : la transformation logit6.

6 _{Le logit est une unité probabiliste définie par le logarithme népérien du rapport de vraisemblance d’un}

3.1.5.

L’exhaustivité du score total et l’objectivité

spécifique

Le modèle de Rasch est défini comme un modèle IRT particulier car il possède ses propres caractéristiques. Ce modèle est qualifié de prescriptif dans le sens où il décrit la probabilité de réponse à un item comme une fonction logistique née de la différence entre un paramètre de difficulté et un paramètre d’aptitude. De plus, le modèle de Rasch est le seul à vérifier les hypothèses théoriques d’exhaustivité du score total, mise en évidence par Fischer (1995), et d’objectivité spécifique mise en évidence par Rasch (1977). Ces deux critères ont été mis en place et définis au fur et à mesure de la mise en pratique des modèles IRT.

L’exhaustivité du score total justifie l’utilisation du score observé (sur le trait latent) comme un résumé de l’information portée par un groupe d’items. Selon ce critère, le seul score observé contient toute l’information nécessaire pour estimer l’aptitude d’une personne. Les paramètres du questionnaire peuvent alors être estimés indépendamment des paramètres d’aptitude des individus (Hamon, 2000).

On note dans la figure 1.3.1 que toute l’information disponible sur les trois items est contenue dans le score (aucun lien direct entre les items et le trait latent), et que désormais, conditionnellement au score, les réponses aux items ne sont plus indépendantes.

Figure 1.3.1 : Représentation graphique du critère d’exhaustivité du score sur le trait latent dans le cadre du modèle de Rasch

L’objectivité spécifique dépend du critère d’exhaustivité du score total. Il repose sur l’idée qu’il est possible au sein du modèle de Rasch, de comparer objectivement deux personnes indépendamment de l’échelle de mesure (Hardouin, 2005). Autrement dit, la localisation sur les échelles des personnes ne peut pas dépendre de la localisation des items du test et réciproquement. Ce critère traduit l’invariance de la mesure d’une personne par rapport à la difficulté des items. Une des conséquences de cette propriété est que même si des personnes n’ont pas le même score sur le trait latent, les difficultés des items resteront les mêmes en terme d’ordre et d’écart entre les valeurs des paramètres (Hardouin, 2005), ou plus

Trait latent

Item 1 Item 2 Item 3

simplement que la capacité de la personne ne va pas varier en fonction de la difficulté de l’item et que la difficulté de l’item ne va pas varier en fonction de la capacité de la personne. Selon Holland (1990), la présence de ce critère rend possible la comparaison objective de deux mesures indépendamment de l’outil utilisé.

Une bonne échelle d’évaluation devra vérifier ces six critères ou du moins s’en rapprocher, afin de répondre à une mesure objective. Dans le cadre de l’application du modèle de Rasch, l’estimation de ces critères se réalise à l’aide de logiciels informatiques. Actuellement plusieurs logiciels sont disponibles, tous visent à vérifier les critères d’une mesure objective, seules les méthodes divergent.

Parmi ces logiciels, les plus courants, on note le logiciel RUMM©7 (Andrich, 2004) et le logiciel Winsteps©8 (Linacre, 2004a, 2004b).