PARTIE 4 : PROBLEMATIQUE ET METHODOLOGIE
1. Description et correction des tests
Nous allons à présent exposer nos choix en matière de correction des tests et décrire chaque partie de ces tests en indiquant les variables qui ont servi dans le cadre des analyses pour le prétest et pour le posttest.
1.1 Typologie pour la correction de la dictée et de la production écrite
Les textes des élèves en dictée et en production écrite ont été analysés en prenant appui sur la théorie du plurisystème graphique de Catach (1980) que nous avons précédemment décrit et sur les travaux de Bétrix Koehler (1991) qui a utilisé la typologie de Catach pour établir sa propre grille d’analyse. Nous avons adapté ces catégories sans reprendre la première qui concerne les erreurs à dominante phonétique. Il aurait en effet fallu mener des entretiens avec les élèves pour s’assurer que ces erreurs étaient bien d’ordre oral (par exemple, confusion entre consonnes sourdes et sonores comme publier/puplier ou confusion entre voyelles comme mercredi/marcredi).
Nous avons donc retenu les catégories suivantes :
• Erreurs à dominante phonogrammique : ces erreurs sont dues à une méconnaissance du code orthographique. Elles sont réparties en deux catégories : les erreurs qui altèrent la valeur phonique (excès/exès) et celles qui ne l’altèrent pas (assez/acez).
• Erreurs à dominante morphogrammique qui peuvent porter sur :
o Les morphogrammes grammaticaux : ce sont les erreurs concernant les marques graphiques porteuses d’une signification morphosyntaxique (les enfants écoutent). Elles indiquent par exemple le genre, le nombre ou la flexion verbale.
o Les morphogrammes lexicaux : ce sont les erreurs concernant les marques graphiques porteuses d’un sens lexical. Les lettres finales sont omises alors qu’elles peuvent se deviner par dérivation de la même famille
151
(heureux/heureus). La méconnaissance des familles lexicales ainsi que des préfixes et suffixes fait aussi partie de cette catégorie (inhabituel/inabituel et enlever/anlever).
• Erreurs à dominante logogrammique : ce sont les homophones lexicaux (mer/mère) ou grammaticaux (a/à). Font également partie de cette catégorie les logogrammes de discours que l’on ne peut pas distinguer à l’oral sans contexte : larme / l’arme.
• Erreurs à dominante idéogrammique : elles regroupent les erreurs relevant d’une mauvaise maitrise des signes graphiques et concernent donc les majuscules, tous les signes de ponctuation, l’apostrophe et le trait d’union. Nous y classons aussi les erreurs relevant du mauvais découpage d’un mot.
• Erreurs à dominante non fonctionnelle : les consonnes doubles font partie de cette catégorie d’erreurs (arriver, aller, apparaitre). Les accents circonflexes lorsqu’ils n’ont pas de fonction distinctive : hôte et hôpital, mais pas tâche qui doit être distingué de tache. Les mots d’origine étrangère comme clown font aussi partie de cette catégorie. De même que les lettres étymologiques : thérapeute, rhinocéros.
• Mots oubliés ou remplacés.
En ce qui concerne la catégorie des erreurs portant sur les morphogrammes grammaticaux, nous avions besoin d’une typologie plus précise, car notre recherche porte en particulier sur la morphographie qui est la zone la plus problématique pour les élèves de 11 et 13 ans comme nous avons pu le voir dans la partie 1. Nous avons donc pris appui sur certaines des catégories créées par Catach, Duprez et Legris (1980). Les codes renvoient à ceux attribués par ces auteurs.
- Erreur de nombre dans le GN - Erreur en genre dans le GN
- Relation mal établie entre sujet et verbe (3003) o Juxtaposés (30030)
o Inversés (30031)
o Non juxtaposés (30032)
- Groupe - désinence (il crit pour il crie) sans altération de la valeur sonore (3013) - Erreur de conjugaison avec altération de la valeur sonore
- Temps (criai pour criais) (3014) - Mode (3012)
o Infinitif-Participe (30120) o Infinitif à la place du participe o Participe à la place de l’infinitif o Infinitif-Indicatif (30121)
o Infinitif à la place de l’indicatif o Indicatif à la place de l’infinitif
152 o Indicatif-Conditionnel (30122) o Autres (30123)
- Erreur sur la terminaison du participe passé (hors accord)
- Erreur sur la terminaison du participe présent (aiman pour aimant) - Terminaisons du participe (accord)
- Participe passé et nom ou pronom sans auxiliaire (3004) o avec être (30040)
o avec avoir sans CV/COD (30041)
o avec avoir avec CV/COD placé après (30042) o avec avoir avec CV/COD placé avant (30043) o verbe pronominal (30044)
1.2 Description et correction de la dictée
La dictée compte 121 mots. Nous avons utilisé un texte appartenant au genre narratif et écrit aux temps du passé. Il a déjà été utilisé dans la recherche d’Allal et al. (2001).
Il était une fois un empereur qui habitait un château avec sa vieille mère et ses sept jolies filles. La plus jeune était aussi la plus belle. Elle avait des joues rondes, des yeux en amande, un petit menton pointu et de longs cheveux bruns. Mais tout comme ses sœurs, elle n’avait pas de pieds. Son corps se terminait par une splendide queue de poisson. Un jour qu’un jeune prince avait fait naufrage en mer, elle le ramena sur la terre ferme et se mit à l’aimer très fort. Mais elle dut quitter le jeune homme et rêvait de savoir où il habitait.
Elle alla chez la sorcière des mers qui devina de suite ce qu’elle souhaitait.
Dans la dictée, nous observons quatre points en particulier :
• Tout d’abord, le taux de mots correctement orthographiés (D_TX et DP_TX) est calculé. Si on constate une augmentation du taux entre le prétest et le posttest, cela signifie que les élèves ont progressé.
• Deuxièmement, le nombre d’erreurs brut concernant les flexions nominales (D_V1415_2 et DP_V1415_2) est observé. Nous avons pour cela additionné deux variables (V14 et V15) qui concernent les erreurs de nombre et les erreurs de genre au sein du groupe nominal. Une baisse signifie que les élèves ont progressé sur ce point-là.
• Ensuite, nous nous intéressons au nombre d’erreurs brut concernant les flexions verbales (D_V161718_2 et DP_V161718_2). Pour cela, nous avons additionné trois variables (V16, V17 et V18) qui concernent les erreurs liées à une relation mal établie entre le sujet et le verbe (verbe-sujet juxtaposés, sujet-verbe inversés,
153
sujet-verbe non juxtaposés). Une baisse signifie que les élèves ont progressé sur ce point-là.
• Enfin, le nombre d’erreurs brut concernant la confusion -é/-er (D_V22bis23242526_2 et DP_V22bis23242526_2) est calculé. Nous avons additionné cinq variables (V22bis, V23, V24, V25 et V26). Elles recensent respectivement les erreurs liées à une confusion entre participe et indicatif, infinitif et participe, participe et infinitif, infinitif et indicatif, indicatif et infinitif pour les verbes du premier groupe. Une baisse signifie que les élèves ont progressé sur ce point-là.
1.3 Description et correction de l’exercice 1
Nous avons choisi d’évaluer, comme pour la dictée, les capacités orthographiques des élèves sur trois points différents en regroupant certains items. L’élève est invité·e à sélectionner la bonne solution parmi deux ou trois propositions au moyen de la consigne suivante : « Choisis et souligne la bonne solution parmi celles qui sont proposées. » Les phrases n’ont pas de lien entre elles et permettent d’observer les capacités des élèves hors contexte. Une hausse du résultat signifie que les élèves ont progressé.
Dans le ciel passe - passent - passes (E_V6 et EP_V6) de nombreux nuage – nuages (E_V7 et EP_V7).
Ils sont rapide - rapides (E_V8 et EP_V8) et d’un noir inquiétant – inquiétants (E_V9 et EP_V9).
Ces fleurs, Jeanne les trouve - trouvent - trouves (E_V10 et EP_V10) très belles.
Je vais vous raconté - racontez - raconter (E_V11 et EP_V11) l’histoire de Jeanne.
Un jour, elle est allé - aller - allée (E_V12 et EP_V12) se promener - promené - promenée (E_V13 et EP_V13) sur la falaise.
Après avoir marcher - marché - marchées (E_V14 et EP_V14) de longues – longue (E_V15 et EP_V15) minutes, elle a prix - pris - prit (E_V16 et EP_V16) le temps de se reposé - reposée – reposer (E_V17 et EP_V17).
Les nuages passais - passaient - passai (E_V18 et EP_V18) rapidement au-dessus d’elle et elle les observais - observaient - observait (E_V19 et EP_V19) très attentivement.
Les flexions verbales sont évaluées au moyen de quatre items : un accord sujet-verbe avec inversion, un accord sujet-sujet-verbe avec présence d’un rupteur entre le sujet et le verbe, un accord sujet-verbe, un autre accord sujet-verbe avec présence d’un rupteur entre le sujet et le verbe. Chaque variable (V6-V10-V18-V19) est codée 1 ou 0 (1 pour juste et 0 pour faux). Le score analysé (E_V6101819_2mod et EP_V6101819_2mod) représente un nombre total de bonnes réponses. Le score maximal est de 4 points.
154
Les flexions nominales sont évaluées au moyen de trois items : un accord du nom au sein du GN (masculin pluriel), un accord de l’adjectif au sein du GN qui a pour fonction épithète (masculin singulier), un accord de l’adjectif au sein du GN qui a pour fonction épithète (féminin pluriel). Le score maximal est de 3 points. Chaque variable (V7-V9-V15) qui compose le score est codée 1 ou 0 (1 pour juste et 0 pour faux). Le score (E_V7915_2mod et EP_V7915_2mod) représente un nombre total de bonnes réponses.
La confusion -é/-er a été évaluée au moyen de cinq items : la terminaison du verbe à l’infinitif qui suit un premier verbe conjugué et un rupteur, la terminaison du participe passé d’un verbe du premier groupe (accord au féminin singulier, auxiliaire être), la terminaison du verbe à l’infinitif qui suit un premier verbe conjugué et à deux reprises la terminaison du participe passé d’un verbe du premier groupe. Le score maximal est de 5 points.
Chaque variable (V11-V12-V13-V14-V17) qui compose le score est codée 1 ou 0 (1 pour juste et 0 pour faux). Le score (E_V1112131417_2mod et EP_V1112131417_2mod) représente un nombre total de bonnes réponses.
1.4 Description et correction de l’exercice 2
Cet exercice reprend le principe des phrases données. Il est demandé dans cette partie du test à l’élève de justifier la graphie de 6 mots correctement orthographiés. La consigne est la suivante : « Justifie l’orthographe des terminaisons soulignées. Tu peux expliquer avec tes propres mots ou utiliser les règles que tu connais. Tous les mots sont correctement écrits : il n’y a pas d’erreur à corriger. » On peut ainsi évaluer la pertinence du raisonnement orthographique de l’élève et son degré de maitrise du métalangage.
Pour chaque item, les réponses des élèves ont été recensées et un nombre de points leur a été attribué pour mesurer leur justesse et leur degré de précision en se basant sur une grille construite à partir de leurs réponses (Annexe 4).
L’histoire qui suit est arrivée à mon grand-père.
Il rentrait chez lui lorsque soudain trois personnages apparurent devant lui. Ils étaient petits, habillés tout en vert et portaient de grandes sacoches bleues.
Ils dirent à mon grand-père qu’ils étaient des lutins et qu’ils avaient besoin d’aide. Ils lui racontèrent qu’ils avaient cherché leurs trois sacoches vertes partout mais qu’ils ne les avaient pas retrouvées. Il décida de les aider.
• Le premier résultat est une synthèse des différentes réponses des élèves (Metalang_PRE et Metalang_POST). Il s’agit du calcul d’un rendement : le nombre de points obtenus par l’élève (de 0 à 16) est divisé par le nombre maximum de points (16) qu’il est possible d’obtenir pour les variables suivantes : V20, V21, V22, V23, V24 et V25.
155
• La justification de l’accord du participe passé employé avec être (Metalang_PRE_E_V20 et Metalang_POST_E_V20) est évaluée au moyen du calcul d’un rendement : le nombre de points obtenus par l’élève (de 0 à 3) est divisé par le nombre maximum de points (3).
• La justification de l’accord d’un nom au pluriel au sein du GN (Metalang_PRE_E_V21 et Metalang_POST_E_V21) est évaluée au moyen du calcul d’un rendement : le nombre de points obtenus par l’élève (de 0 à 2) est divisé par le nombre maximum de points (2).
• La justification de l’accord du verbe avec un sujet au pluriel (Metalang_PRE_E_V2223 et Metalang_POST_E_V2223) est évaluée au moyen du calcul d’un rendement : le nombre de points obtenus par l’élève (de 0 à 4) est divisé par le nombre maximum de points (4).
• La justification de l’accord d’un adjectif au féminin pluriel au sein du GN (Metalang_PRE_E_V24 et Metalang_POST_E_V24) est évaluée au moyen du calcul d’un rendement : le nombre de points obtenus par l’élève (de 0 à 4) est divisé par le nombre maximum de points (4).
• La justification de la terminaison du verbe du premier groupe à l'infinitif (Metalang_PRE_E_V25 et Metalang_POST_E_V25) est évaluée au moyen du calcul d’un rendement : le nombre de points obtenus par l’élève (de 0 à 3) est divisé par le nombre maximum de points (3).
1.5 Description et correction de la production écrite
Pour la production écrite, les élèves ont eu pour consigne d’écrire une centaine de mots à partir d’une image et d’une phrase d’amorce. Ils et elles ont été invité·e·s par l’intermédiaire de cette phrase d’amorce à écrire un texte qui raconte (ou texte narratif), à la troisième personne et aux temps du passé.
Pour le prétest, la consigne est la suivante :
« Imagine un récit à partir de cette image. Lis bien le début qui t’est proposé et continue le récit. Écris environ 100 mots. Attention, ce qui compte ici, c'est de produire un texte bien construit qui ne comporte aucune erreur d'orthographe. »
L’image est une photographie en noir et blanc sur laquelle nous voyons la jungle, mais aucun personnage n’est représenté. La phrase d’amorce est celle-ci :
L’aventurier pénétra alors dans la jungle. Tout était calme et silencieux. Soudain, il fit une découverte...
156 Pour le posttest, la consigne est la suivante :
« Imagine un récit à partir de cette image. Lis bien le début qui t’est proposé et continue le récit. Écris environ 100 mots. Attention, ce qui compte ici, c'est de produire un texte bien construit qui ne comporte aucune erreur d'orthographe. »
L’image est une photographie en noir et blanc sur laquelle on voit un ponton sur un lac avec, au bout, une maison cachée dans les arbres, mais il n’y a aucun personnage. La phrase d’amorce est celle-ci :
Lorsque Tom, dix ans, arriva au bord du lac, il n’en crut pas ses yeux...
Dans la production écrite, nous observons les mêmes points que dans la dictée. Pour les mots correctement orthographiés, il s’agit d’un taux, comme dans le cas de la dictée. Pour les autres points observés, nous ne pouvons pas comparer des nombres bruts d’erreurs comme dans le cas de la dictée, mais nous avons dû rapporter le nombre d’erreurs au nombre de mots écrits, car ce dernier variait d’un test à l’autre.
Nous observons :
• le taux de mots correctement orthographiés (PR_TX et PRP_TX). Si nous constatons une augmentation du taux entre le prétest et le posttest, cela signifie que les élèves ont progressé.
• le taux d’erreurs concernant les flexions nominales (PR_V1415_2 et Prop_PR_V1415_2). Nous avons pour cela additionné deux variables (V14 et V15) qui concernent les erreurs de nombre et les erreurs de genre au sein du groupe nominal. Une baisse signifie que les élèves ont progressé sur ce point-là.
• le taux d’erreurs concernant les flexions verbales (PR_V161718_2 et Prop_PR_V161718_2). Nous avons additionné trois variables (V16, V17 et V18) qui concernent les erreurs liées à une relation mal établie entre le sujet et le verbe (verbe-sujet juxtaposés, sujet-verbe inversés, sujet-verbe non juxtaposés). Une baisse signifie que les élèves ont progressé sur ce point-là.
• le taux d’erreurs dues à une confusion -é/-er (Prop_PR_V22_2_bis23242526_2 et Prop_PRP_V22_2_bis23242526_2). Nous avons additionné cinq variables (V22bis, V23, V24, V25 et V26). Elles recensent respectivement les erreurs liées à une confusion entre participe et indicatif, infinitif et participe, participe et infinitif, infinitif et indicatif, indicatif et infinitif pour les verbes du premier groupe. Une baisse signifie que les élèves ont progressé sur ce point-là.
157
1.6 Description et correction du questionnaire métacognitif
Les élèves ont répondu à neuf questions dont sept ont été exploitées (1, 2 et 5 à 9). Ce questionnaire a déjà été utilisé dans la recherche d’Allal et al. (2001).
Question 1
Dans quelle situation d’écriture as-tu le plus de facilité en orthographe ? Mets une croix dans le cercle correspondant. O une dictée O un exercice O une production écrite Pourquoi ?
Question 2
Dans quelle situation d’écriture as-tu le plus de difficulté en orthographe ? Mets une croix dans le cercle correspondant. O une dictée O un exercice O une production écrite Pourquoi ?
Question 3
En orthographe, qu’est-ce qui est facile pour toi ? Question 4
En orthographe, qu’est-ce qui est difficile pour toi ? Question 5
Quelles sortes d’erreurs fais-tu le plus souvent ? Question 6
Quand tu écris un texte, que fais-tu pour t’assurer que ton texte contient le moins d’erreurs possible ?
Question 7
Que fais-tu si tu as un problème d’orthographe pendant que tu écris un texte ? Question 8
Si tu devais donner des conseils à un copain pour qu’il puisse écrire un texte contenant le moins d’erreurs possible, que lui dirais-tu ?
Question 9
Et si un copain avait de grosses difficultés en orthographe et qu’il souhaitait s’améliorer, que lui conseillerais-tu ?
Avec les deux premières questions, nous tentons de cerner le rapport des élèves à l’orthographe et, plus précisément, leurs représentations de certains exercices récurrents pendant le cours de français. Avec la question 5, nous avons cherché à savoir quels étaient d’après les élèves les objets orthographiques les plus problématiques. Pour ces premières questions, nous avons eu recours à des outils de statistique descriptive. Enfin, grâce aux quatre dernières questions, nous observons si les élèves progressent sur les stratégies d’apprentissage et de correction en situation d’écriture : sont-elles plus précises et plus pertinentes ?
158 Questions 1 et 2
Grâce à la première question, nous avons déterminé quel pourcentage d’élèves trouve que la situation d’écriture la plus facile est la dictée, l’exercice ou la production (V4). Puis, nous avons fait la même chose pour la situation la plus difficile avec la deuxième question (V5).
Les élèves doivent également justifier leur réponse. Les questions étant ouvertes (« Pourquoi ? »), nous avons regroupé, puis codé les réponses des élèves (V26 : justification de la question 1 ; V27 : justification de la question 2). Les réponses ont été codées selon les grilles placées en Annexe 5 et en Annexe 6.
Questions 3 et 4
Ces questions n’ont pas été exploitées parce qu’il s’est avéré qu’elles étaient redondantes avec les deux premières. Leur traitement était donc inutile.
Question 5
Pour cette question, nous avons créé de nouvelles variables regroupant les réponses des élèves en cinq ensembles (Annexe 7) :
• E_V28_1 : Classe grammaticale (adverbe, mot invariable, nom, adjectif, verbe, déterminant, pronom)
• E_V28_2 : Orthographe lexicale (double consonne, mot long, mot court, orthographe, mot inconnu, mot connu, mot simple, mot difficile, accent)
• E_V28_3 : Orthographe grammaticale (pluriel, singulier, féminin, masculin, terminaison, -e, -s, -x, -au/-aux, -t, -x, terminaison, terminaison des verbes, accord, accord des adjectifs, confusion -é/-er)
• E_V28_4 : Autre composante du français (conjugaison, grammaire)
• E_V28_5 : Autres difficultés (situation (dictée, production, exercice), écrire clairement, se relire, corriger ses erreurs, exceptions, erreurs d’inattention)
• E_V28_3détail : Confusion -é/-er
Questions 6 7 8 9
Pour ces quatre questions, nous avons regroupé les réponses en trois ensembles. Nous avons élaboré cette typologie à partir des réponses des élèves, sans catégories préétablies (Annexe 8). Les réponses des élèves permettent de répondre à une plus grande question qui serait : quelles sont tes stratégies d’apprentissage et de correction en situation d’écriture ?
Les réponses des élèves ont été classées au moyen des catégories suivantes :
§ Stratégie efficace
o Stratégie de correction en cours d’écriture
159
- Utilisation d’un outil de référence (E_V31/V32/V33/34_1)
- Procédure pour corriger les erreurs (E_V31/V32/V33/34_2) o Stratégie d’apprentissage (E_V31/V32/V33/34_3)
§ Stratégie peu efficace (E_V31/V32/V33/34_4)
§ Stratégie trop vague ou inadaptée (E_V31/V32/V33/34_5)
Nous avons procédé au calcul du nombre d’élèves qui ont donné chaque réponse, puis au calcul de la proportion pour pouvoir comparer en prétest et en posttest.