Objectivité de mesure

5.3.1.1. Hiérarchisation des réponses aux items

Pour vérifier ce critère, la hiérarchisation de chacun des items et tâches qui composent le FaCE a été analysée. L’analyse de la carte des items a permis d’avoir une vision d’ensemble de la hiérarchisation de tous les items et d’en apprécier les écarts d’unité Logit.

À titre d’exemple : effectuer une soustraction est plus facile que d’en effectuer deux consécutivement, qui est à son tour plus facile que d’en effectuer trois consécutivement, etc.

5.3.1.2. Linéarité de l’échelle

Comme il a été dit plus haut, la linéarité d’une échelle de mesure est une qualité importante, car elle permet d’affirmer que la quantité de changement de la qualité mesurée est la même tout au long de l’échelle pour tout changement d’une unité.

Dans le cas de la modélisation Rasch, l’unité est le Logit. C’est en transformant les scores totaux en Logit que cette linéarité est imposée par le modèle Rasch. Le Logit étant le logarithme népérien du rapport entre la probabilité de réussite et la probabilité d’échec (rapport de vraisemblance de réussite).

Exemple pratique : soit 10 items dichotomiques cotés 1 (réussite) ou 0 (échec). Les scores totaux s’étendent de 0 à 10. Pour une personne obtenant un score total de 1, la proportion d’items réussis est de 1/10, la proportion d’items échoués est de 9/10 et le rapport de vraisemblance est de 1/9. Si un score de 6 est obtenu, le rapport de vraisemblance vaut 3/2. La seconde étape de cette procédure consiste à prendre le logarithme népérien du rapport de vraisemblance. Dans cet exemple, ln (3/2)= -0.40. Cette transformation se fait tout le long de l’échelle de mesure et ainsi permet d’avoir une échelle avec des intervalles égaux en termes de Logit.

Le fait que l’unité de mesure de la modélisation Rasch se base sur un modèle probabiliste impose une progression en continu selon la capacité des sujets. La probabilité de réussite qui est prise en compte dans l’unité de mesure est en fonction de la capacité du sujet et de la difficulté de l’item. Chaque sujet est considéré distinct d’un autre par son aptitude à répondre aux items. Ainsi, la progression se fait toujours dans le même sens, car plus la capacité du sujet est importante plus la probabilité de réponse correcte aux items est haute.

5.3.1.3. Unidimensionnalité

La notion d’unidimensionnalité de l’échelle du FaCE a été appréciée dans un premier temps, par l’analyse de la dimensionnalité de chaque item en examinant la Courbe caractéristique d’item (CCI) de chaque item afin d’identifier les items qui pourrait être mis en cause lors de l’analyse de la dimensionnalité de l’échelle de mesure en globalité.

Lorsqu’une dimension autre que celle mesurée composait la réponse à un item, il était facile de constater une tendance opposée à la tendance de réponse globale (correspondant à la courbe sigmoïde caractéristique, figure1.) Un exemple concret sera illustré lors de l’analyse du dessin de l’horloge dans la partie « Résultats ».

Par la suite l’analyse de la dimensionnalité globale de l’échelle de mesure est appréciée par les variances résiduelles standardisées observées et attendues du modèle.

Les variances observées du modèle expliquée et non expliquée par la mesure sont comparées à celles attendues par la modélisation Rasch. La variance du modèle non expliquée par la mesure est investiguée par la mise en contraste des items les plus éloignés du modèle. À chaque contraste, le nombre d’items suspects (éloignés du modèle) est apprécié par les eigenvalue. Lorsqu’un groupement d’items est identifié (eigenvalue > 2.8) l’indice de corrélation désatténuée de Pearson est alors apprécié afin de déterminer si le groupement d’items ne mesure qu’une « sous-dimension » de la dimension principale (indice de corrélation désatténuée de Pearson > 0.5) ou s’il s’agit bel est bien d’une dimension entièrement différente que celle mesurée. Pour plus de détails quant à l’interprétation des résultats, se référer au point 6.4.1.1 dans la partie résultats.

5.3.1.4. Indépendance locale

L’indépendance locale exigée dans la modélisation Rasch consiste en réalité en une indépendance statistique. Comme au niveau de la réponse aux items où la réponse d’un sujet à un item n’influence pas la direction (succès ou échec) de la réponse à un autre item, la probabilité de réponse à un item n’influence pas la probabilité de réponse à un autre item. Ainsi la probabilité globale (P) de réponse à deux items (X et Y) est le produit de la probabilité de réponse de chacun des deux items ((PX)X

(PY)).

La notion d’indépendance locale permet d’affirmer que la probabilité de réponse correcte d’un sujet « A » à un item « X » est indépendante de sa probabilité de réussite à un autre item « Y », ceci est vrai peu importe le nombre d’items composant l’échelle de mesure. De la même façon, les probabilités de réponse correcte d’un ensemble de sujets « N » à un item « X » sont indépendantes. De ce fait, il est possible d’en conclure que la probabilité de réussite d’un sujet « A » à un ensemble d’items est le produit de la probabilité de réussite de chacun des items.

Le score attendu de l’échelle de mesure est, par conséquent, le produit des scores attendus de chacun des items. Cette notion est importante pour comprendre comment la modélisation Rasch calcule et définit le score des items en fonction de la réponse d’un ensemble de sujets.

L’indépendance locale est donc une notion statistique de la modélisation Rasch. L’objectivité spécifique est une autre exigence de la modélisation qui se rapporte à l’indépendance de deux caractères, la capacité des sujets et la difficulté des items.

Comme discuté dans la partie « Notions statistiques de la modélisation Rasch », la modélisation Rasch schématise la réponse aux items en fonction de deux paramètres la capacité des sujets et la difficulté des items. Ces deux paramètres ont une mesure propre sur la CCI. Le premier étant indépendant de l’autre, et leur jonction traduit la mesure unitaire des réponses (ou scores) aux items. L’objectivité spécifique certifie que les items ne sont pas positionnés (localisés sur la courbe) par

l’influence de la capacité des sujets et la position de la capacité de chaque sujet n’est pas en lien avec la position des items.

En pratique, la CCI schématisant la réponse de chaque item ne doit pas être biaisée par une relation quelconque entre la difficulté de l’item et la capacité du sujet. Non seulement la réponse d’un sujet à un item ne permet pas de prédire sa réponse à un autre item, mais en plus, le classement des sujets selon leur capacité ne doit pas être prédit par la difficulté (ou position) des items et vice versa.