Analyser des corrélations entre items

L’étude des corrélations entre items apporte davantage de précisions par rapport aux analyses antérieures. On constate surtout la grande variété des situations d’un exercice à l’autre ; certains pouvant être perçus comme très cohérents, dans la mesure où les items qui les composent tendent à mesurer la même chose (corrélations fortes), alors que d’autres exercices sont composés d’items beaucoup plus indépendants les uns des autres. Cela confirme l’observation précédente selon laquelle certaines compétences seraient mesurées de façon imparfaite.

Mais, l’analyse menée à l’échelle des items, si elle évite certains obstacles, possède elle aussi des inconvénients. Le premier est le grand nombre de corrélations calculées si on se réfère uniquement aux évaluations nationales d’un niveau donné comme le CE2 par exemple (14535 corrélations), ce qui rend plus complexe, d’un point de vue strictement technique, les possibilités d’analyses et qui nécessite d’opérer une sélection parmi les items. Le second inconvénient tient à la faible valeur des coefficients de corrélations quand on raisonne au niveau des items, ceci nous amène à nous interroger sur la robustesse des relations constatées au sein de l’échantillon. Pourtant, au final, il ne fait pas de doute que le niveau le plus pertinent pour instruire notre problématique est bien celui de l’item ; c’est en effet à cet

34

On mentionnera que cette dichotomie (échec/réussite) n’est pas adaptée à une interprétation diagnostique des évaluations nationales et que les barèmes de cotation de certains items comportent à l’origine d’autres paliers qui permettent une analyse des erreurs des élèves.

échelon que l’on peut réellement rendre compte de la dynamique des apprentissages des élèves. L’existence de compétences transversales laisse supposer que les processus d’acquisitions des élèves dépassent les découpages en disciplines, en grands domaines au sein des disciplines, ou même en compétences, telles que celles-ci sont définies dans les évaluations nationales. Comme nous l’avons déjà souligné, des difficultés d’ordre méthodologique apparaissent pour conduire concrètement les analyses à ce niveau. La difficulté la plus centrale et la plus immédiate tient à la sélection des corrélations inter-items en vue de l’étude approfondie des relations statistiques. Le nombre très élevé de corrélations qui sont potentiellement à prendre en compte contraint à des choix que l’on souhaite les plus objectifs possibles.

Le point de départ de notre démarche est la production d’une matrice de corrélations qui intègre tous les items de l’épreuve de CE2 (171 items de français et de mathématiques). Compte tenu du nombre important de corrélations (14535 coefficients de corrélation), nous avons décidé de ne retenir que celles supérieures à +0,20, soit 317³⁵ ; on notera déjà que cette sélection de corrélations intègre la totalité des items de l’évaluation. Sans grande surprise, on remarque qu’une bonne partie des corrélations (57% d’entre elles) se rapporte à des items appartenant à un même exercice et 86% à la même discipline. Par complémentarité, on observe aussi qu’un nombre non négligeable de corrélations concerne des items provenant d’exercices différents, cela confirmant l’observation précédente selon laquelle certaines compétences seraient mesurées de façon imparfaite.

Afin d’organiser l’analyse des relations entre items, une phase préparatoire consiste à étudier individuellement chaque corrélation et à dresser ainsi une cartographie de l’ensemble des situations présentes. Le principe de cette étape préalable est d’identifier des blocs de relations au sein desquelles on retrouve le plus souvent les mêmes items. Cette procédure revêt, de fait, un caractère systématique puisque, pour chaque item, on identifie tous les autres items qui lui sont associés dans les corrélations. Au terme de cette phase, on aboutit à des groupements d’items fortement corrélés entre eux ; certains de ces groupements faisant intervenir un nombre important de corrélations alors qu’à l’opposé, d’autres ne contiennent que deux ou trois corrélations, celles-ci n’ayant pu être rattachées à d’autres regroupements. Au total, 29 blocs d’items ont été identifiés. A titre d’illustration, le tableau 5 présente l’un de ces blocs d’items (il s’agit de huit items reliés les uns aux autres par neuf corrélations bivariées).

35

Même si ce seuil revêt un caractère arbitraire, l’analyse serait peu pertinente si tous les liens entre items étaient examinés en détail. En effet, dans un grand nombre de cas ces liens sont, soit non significatifs, soit très faibles, et il est alors difficile de commenter et de donner un sens à ces constatations.

Tableau 5 : Exemple d’un regroupement d’items sur la base des corrélations³⁶ (évaluation CE2, 1999)

Corrélations Descrip on succincte des items ti

F67 Dictée préparée d’une phrase : bonne orthographe du mot « jouent » F62 ^{Dictée préparée d’une phrase : bonne orthographe du mot « pendant »} F67

F60

Dictée préparée d’une phrase : bonne orthographe du mot « jouent »

Respect de la ponctuation dans une production écrite (majuscule et point présents) F67

F64

Dictée préparée d’une phrase : bonne orthographe du mot « jouent » Dictée préparée d’une phrase : bonne orthographe du mot « garçons » F67

F66

Dictée préparée d’une phrase : bonne orthographe du mot « jouent » Dictée préparée d’une phrase : bonne orthographe du mot « filles » F67

F63

Dictée préparée d’une phrase : bonne orthographe du mot « jouent » Dictée préparée d’une phrase : bonne orthographe du mot « récréation » F67

F12

Dictée préparée d’une phrase : bonne orthographe du mot « jouent » Repérer des types d’écrits à partir d’extraits de livres différents F67

F16

Dictée préparée d’une phrase : bonne orthographe du mot « jouent » Répondre à des questions concernant un texte

F64 F62

Dictée préparée d’une phrase : bonne orthographe du mot « garçons » Dictée préparée d’une phrase : bonne orthographe du mot « pendant » F63 Dictée préparée d’une phrase : bonne

F62

orthographe du mot « récréation » Dictée préparée d’une phrase : bonne orthographe du mot « pendant »

Parmi ces 8 items de français, 5 items appartiennent au même exercice (62, 63, 64, 66, 67) et sont censés mesurer la même compétence «écrire sous la dictée des mots courants, de petites phrases ou de petits textes». Dans cet exercice, il est demandé aux élèves d’écrire la phrase suivante, dictée par l’enseignant : «pendant la récréation, les garçons et les filles jouent aux billes. ». Cette phrase a été auparavant écrite au tableau, les élèves étant invités à mémoriser

capacité d’attention. L’item 60 est supposé rendre compte de la compétence ot, une phrase, un texte… ». Cet item fait partie d’un exercice dans lequel il x élèves de recopier des phrases faisant partie d’un court texte présenté sous la d’une

l’orthographe des mots. La phrase a été ensuite effacée et un exercice différent a été proposé aux élèves ; ce n’est qu’après cet exercice que la phrase a été l’objet d’une dictée. La réussite à la dictée dépend de plusieurs éléments : de compétences orthographiques, de la capacité à se remémorer la graphie des mots préalablement observés et, dans une certaine mesure, d’une

« copier un m est demandé au

forme

36

Ce sont les relations entre items qui f t dans la colonne « corrélations » du table 67 F62 » traduit la corrélation entre les items 67 et 62 de français.

constellation (les phrases sont écrites dans des bulles et reliées par une flèche à un dessin qui représente le thème du texte) et de les réorganiser sous une forme plus conventionnelle (un texte organisé en paragraphes). L’item 60 n’évalue qu’un aspect de la production des élèves : le respect de la ponctuation (majuscules et points).

L’item 12 fait partie d’un exercice dans lequel on demande aux élèves de repérer des types

atistiques à l’intérieur de chaque regroupement d’items de façon à mettre à jour des ariables latentes pouvant être interprétées comme des compétences, des aptitudes ou des apacités mobilisées par les élèves dans les évaluations nationales. Pour cela, des modèles de

esure ont été estimés à l’aide du logiciel LISREL.

a première phase de l’analyse a donc consisté à étudier chacun des blocs de corrélations . Il s’agit de tester statistiquement la ertinence des regroupements des liaisons entre les items d’un même groupe. Pour cela nous

ems en égageant plusieurs compétences pour un même bloc relationnel. On obtient au terme de cette d’écrits à partir d’un extrait de livres différents (poésie, dictionnaire, livre de recettes de cuisine…). La compétence visée est «distinguer des textes différents en utilisant des indices extérieurs au texte ». Enfin, l’item 16 vise la compétence : « comprendre un texte et montrer qu’on l’a compris ». Un texte est proposé aux élèves et ceux-ci doivent répondre à des questions concernant ce texte. Dans l’item 16, les élèves doivent entourer 3 bonnes réponses parmi 6 propositions.

Selon notre logique d’analyse, ce regroupement d’items fortement corrélés serait censé rendre compte d’une ou plusieurs compétences. On rappellera que, dans les évaluations nationales, ces 8 items correspondent à 4 compétences distinctes. L’étape suivante consiste à analyser les liaisons st

v c m

L

entre items (29 blocs de relations sont à analyser) p

avons mobilisé une méthode statistique, qui repose sur l’existence de variables latentes (analyse sous LISREL) et qui permet d’identifier, pour chaque regroupement d’items, une ou plusieurs compétences qui vont rendre compte des relations observées. Il s’agit donc, soit de valider chacun des blocs de relations en identifiant une compétence qui résume l’ensemble des relations considérées, soit de proposer une réorganisation des relations entre it

d

première phase analytique un ensemble de compétences qui structurent les résultats des élèves au CE2.