5. a nalyse des données des évaluations en deux phases
5.2 Analyses et résultats
5.2.2 Les résultats des épreuves de français – cycle 1
Nous ne présenterons pas ici ces premiers affinages, mais nous nous concentrerons sur les analyses qui ont été menées dans un deuxième temps, lorsqu’elles nous semblent porteuses d’hypothèses intéressantes. Mentionnons au passage que, lors de ces pre-mières analyses, nous avons pu constater une répartition des variables relatives au can-ton, au genre ou à la langue maternelle correspondant étonnament bien aux constats d’autres recherches comme PISA par exemple, tendant à considérer notre population à disposition comme assez représentative somme toute du paysage romand.
5.2.2 Les résultats des épreuves de français – cycle 1
L’ÉPREUVE ADAPTATIVE (EA)
Cette épreuve contenait 12 questions touchant à la compréhension d’un texte (Tibili le
petit garçon qui ne voulait pas aller à l’école) et au fonctionnement de la langue, dont
30 Nous éviterons d’employer ce terme, induisant le doute entre nos catégories permettant de repérer des erreurs dans les productions des élèves, catégories existant également pour nos variables principales.
analyseDesDonnéesDesévaluationsenDeuxphases
deux appelaient, en cas d’échec, une question complémentaire. La première question était reposée à ceux qui y avaient échoué, au milieu du test cette fois et ce, dans le but de voir si la tâche était mieux réussie grâce aux questions précédentes et à d’éventuels retours au texte. Par ailleurs, un grand nombre de variables globales, permettant une prise d’informations sur les caractéristiques des élèves, les conditions de la passation (temps de lecture du texte, retour au texte, recours à l’écoute des consignes, etc.) ont été prises en considération.
De cet ensemble impressionnant de données, nous avons réalisé un tri pour ne rete-nir finalement que les informations pouvant nous fourrete-nir des résultats exploitables à court terme, c’est-à-dire celles susceptibles d’entrer en jeu dans le diagnostic que nous recherchions. Si cela s’avérait utile, il serait toujours possible, dans des études ultérieures, de reprendre tout ou partie de cet ensemble d’informations.
Variables retenues
Variables portant sur les caractéristiques de l’élève : le genre, l’âge et la langue parlée
à la maison des élèves.
Variables globales :
• le temps de lecture du texte de Tibili le petit garçon qui ne voulait pas aller à
l’école ;
• le temps moyen par item obligatoire (items soumis à tous les élèves) ; • l’efficacité du retour au texte lorsque la question le permettait ;
• le nombre de fois où l’élève semble avoir passé trop vite d’un item à un autre ; • la réussite globale à l’épreuve (sans tenir compte des questions complémentaires).
Variables-réponses
A une exception, toutes les questions, obligatoires et complémentaires, ont été rete-nues dans un premier temps et leurs résultats calculés. La question F11, demandant de trier des mots de la même famille, a posé un problème de fond qui nous a décidés à l’écarter. Une analyse a posteriori a mis en évidence un choix inapproprié de mots pour chacune des familles à reconstituer, et a donc remis en cause le contenu de la question. Finalement ce constat a conduit à ne pas tenir compte des résultats de cette question, dans la mesure où cette dernière n’apportait, en l’état, aucune information intéressante pour le diagnostic. Relevons ici qu’il ne s’agit pas de mettre de côté des tâches très bien réussies par les élèves ; d’excellents résultats attestent en effet que les élèves ont bien intégré les connaissances qui sous-tendent les tâches correspondantes.
Premiers résultats descriptifs
Dans un second temps, nous voulons présenter les résultats en termes de pourcen-tages à chacune des catégories de réponses (voir les tâches dans l’annexe 8.3).
94
DéveloppementD’unmoDèleD’évaluationaDaptéau peR
Tableau 5.2.2 : Résultats par question en pourcents
% F01 F01a F02 F03 F04* F05 F06a F06b F06c Réussite/ réussite partielle 78 46 79 60 1 : 41 2 : 22 1 : 16 2 : 45 1 : 63 2 : 28 1 : 75 2 : 17 1 : 72 2 : 17 Réussite minime/ non réussite 22 54 21 40 3 : 24 4 : 13 3 : 39 3 : 9 3 : 8 3 : 11
Pour F04 : code 1 = tout juste ; code 2 = deux réponses justes ; code 3 = une réponse juste ; code 4 = aucune réponse juste.
Pour F05 : code 1 = juste ; code 2 = 1ère phrase juste puis au moins une faute ; code 3 = autres erreurs.
Pour F06 : code 1 = tout juste ; code 2 = n’a fait que des oublis ; code 3 = présence de non-mots (autres fautes que oublis).
% F07 F08 F09 F09a F10 F12 Réussite/ réussite partielle 1 :42 2 : 35 1 : 28 1 : 50 2 : 24 1 : 21 2 : 34 1 : 12 2 : 6 3 : 33 1 : 53 2 : 12 3 : 19 Réussite minime/ non réussite 3 : 23 2 : 44 3 : 28 3 : 26 3 : 45 4 : 4 5 : 32 6 : 12 4 : 16
Pour F07, F09 et F09a : code 1 = tout juste ; code 2 = une seule erreur ; code 3 = plus d’une erreur.
Pour F08 : code 1 = réponse juste ; code 2 = réponse fausse identique à celle de la question 1 ; code 3 = réponse fausse différente de celle de la question 1.
Pour F10 : code 1 = tout juste ; code 2 = tout juste mais incomplet ; code 3 = erreurs plausibles ; code 4 = points seulement en fin de ligne ; code 5 = autres erreurs avec 5 points ou moins ; code 6 = autres erreurs avec 6 points ou plus.
Pour F12 : code 1 = tout juste ; code 2 = erreurs à consonnance correcte ; code 3 = une seule erreur à consonnance non correspondante ; code 4 = autres erreurs.
Plusieurs questions, à plus de 70% de réussite31, mettent en évidence une bonne performance des élèves, étant admis, pour certaines d’entre elles, une erreur possible : F01, F02, F06, F07, F09.
En ce qui concerne les questions complémentaires, il est intéressant de constater que 28% des 22% d’élèves qui ont échoué F01 parviennent à se corriger lorsque la ques-tion leur est présentée à nouveau dans F08, soit 7 élèves sur les 25 qui ont échoué à F01 ; 44% de ces 22% redonnent la même réponse fausse qu’à F01 (soit 11 élèves), alors que 28% proposent à F08 une autre réponse qu’à F01, mais toujours fausse (soit 7 élèves)32.
La moitié des élèves (57 sur 115) ont fait au moins une erreur à F09 et ont donc passé la question complémentaire F09a. La moitié d’entre eux réussissent la question complémentaire ou ne font qu’une seule erreur. Reste une moitié qui éprouve encore
31 Le choix de 70% pour parler de réussite à une question est arbitraire ; c’est la limite que nous avons fixée, sachant que, dans une perspective diagnostique, l’important se situe davantage dans la mise en évidence des principales difficultés rencontrées par les élèves que dans les taux de réussite.
32 Il est évident qu’au vu des petits effectifs d’élèves selon les catégories d’erreurs, il s’agit de rester pru-dent sur la signification des pourcentages de résultats.
analyseDesDonnéesDesévaluationsenDeuxphases
des difficultés à la reconnaissance de sons. À signaler tout de même, et pour nuancer ces constats, que le matériel à disposition dans certaines classes n’a pas favorisé une écoute optimale des mots proposés dans F09a. Il faudrait donc d’autres investigations pour corroborer nos résultats.
Analyse des correspondances multiples
En nous penchant sur les graphiques issus de cette analyse, nous avons constaté la difficulté d’interpréter à la fois la signification des axes et la nature de la proximité des questions dans les espaces établis par ces axes.
Figure 5.2.2a : Répartition des catégories de variables principales pour l’EA français
La plupart des différentes modalités de réponses aux questions se répartissent dans les espaces créés par les axes, même si les modalités de réussite totale sont davantage regroupées sur la gauche de l’axe horizontal que celles liées aux mauvaises réponses, sur la droite. Ainsi, cet axe, expliquant environ 15% de la variance, signifierait réus-site-échec, les bons résultats se lisant sur la gauche du point de rencontre des axes, les moins bons sur la droite, quant à eux plus largement répartis dans la hauteur. En
96
DéveloppementD’unmoDèleD’évaluationaDaptéau peR
la place particulière tenue par la modalité non réussite de la question F01 (F01_0), occupant, avec ses questions complémentaires, F01a et F08 (les modalités d’échec), l’espace à droite de l’axe horizontal et dans la partie inférieure de l’axe vertical.
Discussion des résultats et hypothèses
A la suite de ces différents constats, nous formulons un certain nombre de remarques et d’hypothèses.
Quelques tâches s’avèrent difficiles pour les élèves de cet âge : F03, dont on peut dire qu’elle dépasse ce qu’on peut attendre de la fin du cycle 1, F04, F05 et F10, également trop exigeantes pour cette fin de cycle 1 :
• à propos de F03, il est en effet trop tôt pour que des élèves de fin de cycle 1 soient à même de reconnaitre le genre d’un texte, surtout si, en classe, ils n’ont pas eu l’occasion de travailler la reconnaissance de certains genres et les indices permet-tant de les identifier ; relevons tout de même que plus de la moitié des élèves ont répondu correctement à cette question ;
• F04 demande aux élèves d’associer des répliques de dialogue aux personnages correspondants. Pour cela, ils doivent à la fois faire appel à leur mémoire (mais ils peuvent aussi revenir au texte), s’appuyer sur des indices du texte pour retrouver le personnage qui parle, avoir compris le sens global du conte. Au vu des résul-tats, ce seraient donc les bons lecteurs qui parviennent à réussir complètement cette question ;
• F05 présente successivement, à l’intérieur d’un morceau de texte issu du conte, trois phrases comprenant un pronom entouré ; il s’agit pour les élèves d’indiquer, parmi quatre propositions, celle que remplace ce pronom. Si la première phrase, relativement simple (« il » pour Tibili), a été plutôt réussie, les deux suivantes, plus complexes (« l’ » pour le coffre et « lui » pour Tibili) ont donné lieu à un grand nombre d’erreurs. Là encore, nous émettons l’hypothèse que seuls de très bons lecteurs peuvent parvenir à une réussite totale de cette question ;
• F10 est particulièrement difficile dans la mesure où les élèves doivent connaitre la signification de la phrase écrite et des indices qui la fondent, ce qui ne peut être le cas en fin de cycle 1. Face à un texte sans majuscule ni ponctuation, ce qui représente une situation rarissime aussi bien dans la réalité sociale qu’à l’école, les élèves devaient placer les points marquant les différentes phrases d’un court texte. La tâche s’est en effet révélée complexe et très peu l’ont réussie entière-ment. Ceux qui y sont parvenus ont fait preuve d’une connaissance grammaticale de haut niveau pour leur âge.
À propos de l’ACM, en tenant compte de certains regroupements de questions en fonction des axes, nous avançons les points suivants :
• indépendamment de la réussite ou non à la question, la répartition des questions met en évidence deux regroupements de réponses, d’une part un regroupement lié au fonctionnement de la langue (en particulier F06 et F09, mais aussi F10 et F12, généralement plus difficiles), d’autre part un autre lié à la compréhension de texte (il s’agit de F01, F02, F04, F05, F07) ;
analyseDesDonnéesDesévaluationsenDeuxphases
• la non-réussite à la question F01, associée à la non-réussite à F04, pourrait lais-ser apparaitre un type de difficulté particulier en lien avec la compréhension du texte. Nous nous demandons si le fait de ne pas réussir à identifier ce qui résume le mieux une histoire pourrait être révélateur de difficultés majeures en compré-hension de texte. Il s’agirait donc de regarder plus attentivement les résultats des élèves ayant échoué à la question F01.
Clusters d’élèves et types de difficulté
L’analyse des correspondances multiples a conduit à une analyse en clusters permet-tant de répartir les élèves dans des groupes homogènes. Si ces clusters départagent en fait les élèves des meilleurs aux moins bons, il peut être intéressant, au-delà de ce type de constat, et en fonction de nos hypothèses, de tenter de comprendre la nature des difficultés rencontrées par les plus faibles d’entre eux, se souvenant que nous sommes dans une évaluation diagnostique qui, précisément, devrait guider l’enseignant dans son travail pour remédier aux difficultés les plus patentes encore rencontrées par cer-tains de ses élèves.
Trois clusters ont été déterminés. Si le premier rassemble effectivement les élèves ayant un fort taux de réussite à l’ensemble des questions, les deux autres révèlent deux types d’échec à ce test. Il faut encore préciser que la taille des clusters est très différente de l’un à l’autre, puisque le premier comprend 86 élèves, le second 7 et le troisième 15 élèves. Le profil du deuxième cluster est difficile à identifier et nous le laissons pour l’heure de côté. La principale caractéristique du troisième cluster est un échec marqué aux questions F06 (a, b et c) et F09, portant l’une sur la segmentation de phrases en mots, l’autre sur la reconnaissance graphème-phonème. Or, ces questions sont déter-minantes pour l’apprentissage de la lecture et les attentes fondamentales qui les sous-tendent devraient être atteintes en fin de cycle 1 pour permettre les apprentissages dans le cycle suivant. Il y aurait donc là à approfondir les résultats de ce groupe pour mieux appréhender ce qui le caractérise dans le cadre de ce test. Dans ce sens, nous sommes allés vérifier qui étaient ces élèves et en avons retenu 11 qui nous paraissaient en effet relever de ce cluster. Ces élèves n’ont guère de difficulté à répondre aux questions portant plus spécifiquement sur la compréhension de texte (F01, F02 et, dans une proportion équivalente aux meilleurs élèves, F04 et F07). F03 (sur la recon-naissance du genre de texte, dont l’exigence dépasse celle du cycle 1) et F05, relative à l’identification d’anaphores dans un court texte, leur posent des problèmes. Ces constats semblent donc aller dans le sens d’un spectre de difficultés tournant autour du fonctionnement de la langue, ou en tout cas, des attentes fondamentales de ce domaine, centrales pour les premiers apprentissages de la lecture.
Un type de difficulté particulier à F01
Ensuite, dans le droit fil de nos hypothèses et pour donner suite à cette analyse en clusters, nous avons examiné plus en détail les résultats des élèves qui avaient échoué à la question F01, en nous demandant s’ils pouvaient provenir d’un type de difficultés particulier. Notre démarche est ici qualitative, d’observation des données à disposi-tion ; elle n’est pas consolidée par des vérificadisposi-tions statistiques. Parvenus à la fin de notre mandat, il ne nous a en effet pas été possible d’aller au-delà de ces explorations et des questions qu’elles soulèvent. Toutefois, l’accès aux données restera possible si
98
DéveloppementD’unmoDèleD’évaluationaDaptéau peR
de nouvelles investigations devaient être mises sur pied pour consolider nos résultats et parfaire l’évaluation diagnostique en Suisse romande.
Nous avons dénombré 26 élèves qui avaient échoué à la question F01. Parmi eux, 6 ont ensuite réussi la même question placée plus loin dans le test. Il reste 18 élèves qui peuvent être considérés comme ayant véritablement échoué à F01 et qui présentent une suite de réponses aux caractéristiques propres. En voici une brève description : Ce groupe est composé d’une majorité de garçons, dont la moitié a tendance à lire le texte de départ trop vite (N = 9 élèves) (une minute ou moins) et quelques-uns (N = 4) très lentement (plus de 5 minutes). Beaucoup vont relire le texte de Tibili le petit
gar-çon qui ne voulait pas aller à l’école à l’occasion d’une question ou d’une autre, mais
leur relecture est peu productive et conduit le plus souvent à un échec à la question. Une petite moitié environ (N = 7) de ces élèves ne réussissent que 0 à 4 items obliga-toires de l’épreuve adaptative, alors que tous les autres en réussissent de 5 à 7. La majorité de ces élèves échouent aux questions portant sur la compréhension glo-bale du texte, sur la reconnaissance de dialogues en fonction de certains personnages, sur l’identification des anaphores présentes dans un extrait de texte. En lien avec le fonctionnement de la langue, ils éprouvent de la difficulté à identifier des phrases écrites d’un court texte (mais la tâche dépasse les attentes du cycle 1) et à reconnaitre certains phonèmes ainsi qu’à associer certains phonèmes-graphèmes.
Que retenir des résultats de EA ?
• Un peu moins de la moitié des élèves réussit bien l’épreuve adaptative, c’est-à-dire entre dans les catégories 1 et 2 du critère général de réussite (FREU 1 ou 2)33 ; • il nous est apparu qu’un petit nombre d’élèves (N = 7) échouent l’ensemble de
l’épreuve adaptative, aussi bien les questions de compréhension que celles sur le fonctionnement de la langue. Nous regarderons plus loin ce qu’il en est pour eux (mais aussi pour les élèves des autres groupes) de leurs résultats dans l’épreuve papier à propos de la tâche complexe ;
• finalement, il existe grosso modo trois types de difficultés à cette épreuve : une touchant plus particulièrement la compréhension de texte, les questions portant sur le fonctionnement de la langue étant par ailleurs majoritairement réussies ; une autre, au contraire, centrée essentiellement sur les questions de segmenta-tion de phrases en mots et de reconnaissance phonème-graphème, relatives à des attentes fondamentales de fin de cycle 1, alors que la plupart des questions de compréhension sont réussies ; enfin, pour un très petit groupe d’élèves, une difficulté générale entrainant un échec sur l’ensemble des questions de l’épreuve ; • la vitesse de lecture du texte de départ joue un rôle sur les résultats ; les élèves
connaissant des difficultés dans l’épreuve ont tendance à lire le texte soit très vite (trop vite pour qu’il leur soit possible de répondre aux questions qui suivent) soit très lentement (ce qui pourrait signifier encore une difficulté à déchiffrer). De même, le retour au texte, pendant le test, peut mener à la réponse exacte ou non.
33 FREU 1 signifie que l’élève a réussi entre 11 et 13 items obligatoires ; FREU2 qu’il a réussi entre 8 et 10 items obligatoires ; FREU 3 qu’il a réussi entre 5 et 7 items obligatoires ; FREU 4 qu’il a réussi entre 0 et 4 items obligatoires. La répartition en pourcents se présente de la manière suivante : FREU 1 : 7.3% ; FREU 2 : 37.6% ; FREU 3 : 35% ; FREU 4 : 16.2%.
analyseDesDonnéesDesévaluationsenDeuxphases
Ce dernier cas de figure est bien sûr plus fréquent chez les élèves en difficulté. Ces derniers ne semblent ainsi pas tirer profit de ce retour, peut-être ne sachant pas comment exploiter le texte qui revient sur l’écran pour y trouver l’information cherchée.
L’ÉPREUVE PAPIER (EP)
Le groupe de travail de français a effectué lui-même le codage et la correction des épreuves papier. Dans certains cas, la correction a conduit les membres du groupe à modifier ou à préciser le contenu de plusieurs critères. Il faut bien l’admettre : corriger une tâche complexe n’est pas aisé. D’ailleurs l’équipe belge (Rey, Carette, Defrance & Kahn, 2004) avait expérimenté cette difficulté et avait finalement construit une échelle graduée de la réussite de la tâche (interdisciplinaire), sans détailler finement ce que représentait cette réussite. Pour notre part, nous avons choisi une autre option et les tables de spécification présentées au point 4.2.3 dévoilent les critères retenus, répartis dans les composantes de la tâche, qu’elle soit de compréhension ou de production.
Variables retenues
Les variables portant sur les caractéristiques de l’élève sont le genre, l’âge et la langue parlée à la maison des élèves.
Les variables globales concernent la production écrite uniquement et portent sur l’ajout d’un contenu d’une part, la modification du texte au niveau de la forme lan-gagière d’autre part.
• En ce qui concerne l’ajout ou non d’un contenu supplémentaire, non demandé par la consigne de production, il pourrait être le signe soit d’une mauvaise com-préhension de cette consigne, soit de l’aisance du scripteur à écrire une lettre qu’il étoffe d’informations complémentaires.
• Toute modification apportée au niveau de la forme langagière du texte lors de la relecture (à l’aide d’un guide de relecture du texte), au lendemain de la produc-tion de texte, pouvait contribuer à améliorer la producproduc-tion (code 1) ou donner lieu à au moins une erreur dans le texte (code 2).
Variables-réponses
En compréhension : Les questions ont été retenues et les codes ont, dans la plupart des cas, ont été réduits (deux codes, par exemple, fondus en un seul, en particulier pour les questions demandant un soulignement, plusieurs d’entre eux étant regroupés soit sous soulignement attendu soit sous soulignement partiel, soit sous autre
souli-gnement).
En production : Les critères FP1 et FP5, relatifs à la maitrise du format de la lettre à écrire (en-tête et signature) ont été regroupés en un seul, FP1.
FP6, portant sur la syntaxe et donnant lieu au départ à différents sous-critères, a posé problème. En particulier, il s’est avéré très difficile de mettre d’accord les correcteurs sur ce qui fait qu’un texte répond au critère d’un texte écrit et ne contient pas de
100
DéveloppementD’unmoDèleD’évaluationaDaptéau peR
segmentation en mots et/ou d’un ordre inadéquat des mots dans la phrase ont été finalement relevées, au sein d’un seul critère regroupant ces deux sous-parties.