L'analyse d'items

Notre outil dʹévaluation est composé dʹun ensemble de questions qui  évaluent la même dimension visuo‐saptiale. Cet ensemble doit être homogène  afin que lʹon puisse sommer lʹensemble des bonnes réponses dans lʹobjectif de  produire un score total qui sera le reflet de la performance du participant. 

Lʹhomogénéité des items sʹapprécie dans la méthode dʹanalyse des items en  observant les deux caractéristiques suivantes de chaque item : lʹindice de  difficulté et lʹindice de discrimination. 

5.3.5.1. Indice de difficulté

La difficulté dʹun item est donnée par la proportion de sujet qui réussit  cet item. Plus cette proportion est importante et plus lʹitem est réussi par un  grand nombre de participants. Lʹindice de difficulté est calculé avec la formule  suivante (Dickes et al., 1994) :  

N Pi = Nc

Où Nc est le nombre de sujets qui réussissent l’item, et N le nombre total  de sujets.  

Dans le cas de notre outil dʹévaluation, chaque bonne réponse est notée 1  et chaque mauvaise réponse 0. Lʹindice de difficulté correspond donc à la  moyenne arithmétique de lʹensemble des réponses des participants sur lʹitem  considéré. Cet indice varie de zéro à un. Un indice de difficulté de zéro  indique quʹaucun participant nʹa trouvé la bonne réponse. Et un indice de  difficulté de un indique que tous les participants ont trouvé la bonne réponse. 

Notons que dans ces deux cas extrêmes, lʹitem nʹest dʹaucune utilité pour  notre mesure puisquʹil ne permet pas de différentier les participants entre eux.  

Lautrey et Huteau (1999) expliquent que lʹon ne retient en général que  les items dont la fréquence de réussite est comprise entre 20% et 80%. Dickes,  quant à  lui, préconise dʹéliminer les  items dont  lʹindice de difficulté est  inférieur à 0.10 ou supérieur à 0.90 (Dickes, 1994). 

Item Diff. Item Diff. Item Diff. Item Diff. Item Diff. Item Diff. Item Diff.

1 0,993 7 0,918 13 0,829 19 0,849 25 0,459 31 0,651 37 0,336 2 0,979 8 0,911 14 0,692 20 0,788 26 0,877 32 0,842 38 0,473 3 0,979 9 0,630 15 0,925 21 0,938 27 0,705 33 0,712 39 0,493 4 0,630 10 0,945 16 0,856 22 0,890 28 0,438 34 0,473 40 0,493 5 0,651 11 0,795 17 0,705 23 0,678 29 0,884 35 0,521 41 0,452 6 0,644 12 0,685 18 0,438 24 0,829 30 0,890 36 0,767 42 0,562

Tableau 9 : Indices de difficulté de chaque item 

Le tableau 9, qui présente les items suivant leur indice de difficulté  décroissante, révèle quʹaucun item nʹa un indice inférieur à 0.10 et que 8 items  ont un indice de difficulté supérieur à 0.90. Lʹanalyse dʹitems suivant cette  caractéristique montre que les items 1, 2, 3, 10, 21, 15, 7 et 8 sont réussis par  plus de 90% des participants. Notons que les items 1 et 2 sont les items  dʹexemple pour lesquels la solution est fournie au participant ce qui explique  le faible taux dʹéchec sur ces 2 items. Par ailleurs, dans la mesure où la réponse  est fournie aux participants, lʹon pouvait sʹattendre à ce que les items 1 et 2  présentent un indice de difficulté de 1, cʹest‐à‐dire que 100% les sujets ont  correctement répondu. Les valeurs des indices de difficulté pour ces deux  items révèlent que tous les sujets nʹont pas correctement entré la réponse qui  leur était donnée. 

Il est important de préciser ici, que lʹindice de difficulté dʹun item est  fortement dépendant de la population qui sert de référence pour la validation  de  lʹoutil. Cʹest  pourquoi  nous  avons  souligné,  au cours du  paragraphe  consacré à la population, lʹimportance de la représentativité de lʹéchantillon. 

En effet, choisir un échantillon supposé très fort sur la dimension visuo‐

spatiale, ou au contraire supposé très faible sur cette dimension, aurait pour  effet, respectivement, dʹaugmenter ou diminuer les valeurs de lʹindice de  difficulté de chaque item. De ce point de vue la population qui sert de  référence pour notre étude de pré validation est composée de jeunes adultes  âgés de 27 ans en moyenne (M=26,92, SD=10,435).  

Lʹindice de difficulté renseigne sur la proportion de participants qui  réussit ou échoue à lʹitem considéré. Notre outil étant destiné à différencier les  participants suivant leur capacité de représentation visuo‐spatiale, il convient  dʹétudier le lien qui existe entre lʹitem et le score total. Pour cela nous allons  observer lʹindice de discrimination. 

5.3.5.2. Indice de discrimination

La  capacité  de  discrimination  dʹun  item  est  importante  dans  notre  démarche, car nous souhaitons différencier  les participants suivant quʹils  obtiennent, ou non, un score élevé sur lʹoutil dʹévaluation. Notre outil doit  donc  être  composé  dʹitems  qui  contribuent  à  départager  les  sujets  qui  obtiennent un score élevé de ceux qui obtiennent un score plus faible. Dans 

cette perspective, il est judicieux de ne retenir que les items réussis par une  plus grande proportion de participants qui ont un score élevé que par des  sujets qui ont un score faible. Lʹindice de discrimination permet dʹévaluer le  lien qui existe entre la réussite à lʹitem et le score total. Il est calculé à lʹaide de 

Un indice de discrimination négatif indique que lʹitem est mieux réussi  par les participants qui obtiennent un score faible. Pour notre outil, ce type  dʹitem est à éliminer en priorité car il va à lʹencontre de la mesure que nous  souhaitons. Le tableau 10 ne donne quʹun seul item de ce type. Or il sʹagit de  lʹitem numéro un, le premier item dʹexemple. La solution étant fournie avec  cet item, 99% des participants ont réussi cet item, ce qui explique la faible  valeur de lʹindice de discrimination. Par ailleurs, dans la mesure où la bonne  réponse est fournie aux participants pour les items 1  et 2, lʹon peut sʹattendre  à ce que tous donnent cette bonne réponse. Dans ce cas, il nʹexiste aucune  variation dans les réponses pour ces deux items et lʹindice ne peut pas être  calculé.  Comme  pour  lʹindice  de  difficulté  ci‐dessus,  les  valeurs  qui  apparaissent dans le tableau pour les items 1 et 2 révèlent que tous les  participants nʹont pas correctement donné la bonne réponse qui leur était  fournie et ont désigné une autre réponse. 

Item Discr. Item Discr. Item Discr. Item Discr. Item Discr. Item Discr. Item Discr.

1 -0,083 7 0,268 13 0,389 19 0,234 25 0,246 31 0,335 37 0,373

Le tableau 10, qui présente les items et leur indice de discrimination  respectif, révèle quʹaucun item nʹa un indice de discrimination inférieur à 0.10  et que 5 items ont un indice de discrimination inférieur à 0.20. Lʹanalyse 

dʹitems suivant cette caractéristique montre que les items 1, 2, 3, 9 et 8 sont  peu discriminants pour le score total. Notons que les items 1 et 2 sont les items  dʹexemple pour lesquels la solution est fournie au participant ce qui explique  la faible discrimination de ces deux items.