Méthodologie et questions de recherche
3. Une analyse multifocale et descriptive
3.1 Les outils d’analyse construits et utilisés
Plusieurs outils originaux ont été construits pour révéler, à partir des données, les informations qui permettent de répondre aux questions de recherche. Ci-dessous sont donc présentées les grilles d’analyse construites pour dégager des textes les capacités des élèves, les traitements statistiques utilisés pour rendre compte des progrès des élèves, les critères retenus pour interpréter l’action des enseignants et, pour finir, les traitements statistiques qui sont utilisés pour mettre en corrélation les différents éléments de l’analyse.
a. L’analyse des textes des élèves
Pour rendre compte des productions des élèves, nous avons construit deux grilles d’analyse.
Tout d’abord, nous avons analysé qualitativement plusieurs textes rédigés autour d’une même controverse. Les différentes dimensions issues du modèle didactique du genre (Dolz, Gagnon
& Vuillet, 2015) ont guidé notre analyse. Cette première grille avait comme vocation de mettre à l’épreuve et d’affiner les critères. Elle se composait des éléments ci-dessous :
Tableau 10 : Première grille d'évaluation des textes
Pour avoir une vue d’ensemble de l’état des capacités et difficultés des élèves en PI et en PF et pouvoir ensuite identifier les progressions significatives générales et spécifiques à chaque dimension, une grille critériée comprenant 50 points a été construite. Sur cette base, un seuil de réussite minimum a été fixé pour l’ensemble des dimensions, puis pour chaque critère respectif. Ceci favorise l’identification des capacités initiales et finales des élèves, le constat des progressions et le dépassement ou non des seuils minimaux. La grille se décline en plusieurs parties : (i) la situation de communication (p. 117), (ii) la macroplanification (p.
117), (iii) la microplanification (p. 118), (iv) la textualisation (p. 119), (v) les dimensions transversales (p. 120).
Tableau 11 : Grille d'évaluation des textes (50 points)
SITUATION DE COMMUNICATION 9 pts
source (LS) 0 : absent ; 1 : présent (ta lettre, ton courrier, ta demande, ta question) Double destinataire 0 : absent ; 1 : présent
Rubrique du journal 0 : absent ; 1 : présent
Reprise de la
controverse
0 : absente ou fausse, on ne peut pas reconstituer correctement la controverse en lisant la RCL
1 : partielle, on peut reconstituer en partie la LS = RCL partiellement autonome par rapport à la LS
2 : complète, on peut reconstituer la LS : autonomie des deux productions. Ces éléments peuvent être explicites ou implicites
Prise de position (PP) Donne clairement son avis
0 : implicite
1 : explicite mais dialogique ou coordonnée à un arg.
2 : explicite et autonome
MACROPLANIFICATION 9 pts
Normes épistolaires (4 pts)
Date et lieu 0 ; 1
Salutations de départ et finales 0 : pas de salutations
1 : présence de salutations (départ ou finales) 2 : présence de salutations (départ et finales)
Signature 0 ; 1
MICROPLANIFICATION 10 pts Argumentation (8 pts)
Nombre d’arguments (3 sont demandés)
0 à 3
Etayage des arguments 0 : aucun ; 1 : étayage proposé ; 2 : plusieurs étayages proposés Contextualisation des arguments 0 : non contextualisés ;
1 : contextualisation proposée 2 : plusieurs contextualisations Articulation des arguments 0 : non
1 : oui
1 : au moins 1 ou plusieurs mais similaires 2 : plusieurs et variées
Marques linguistiques qui
impliquent le destinataire 0 : non ; 1 : oui
Modalisations 0 : non
1 : au moins 1 ou plusieurs mais similaires 2 : plusieurs et variées
Organisateurs diversifiés 0 : non et répétitif 1 : oui
Utilisation/ pertinence 0 : erronée
1 : correcte mais org. issus de l’oral 2 : correcte
Découpage en paragraphes 0 : aucun : texte bloc 1 : 2 paragraphes
2 : 3 paragraphes en rapport avec les parties du texte
DIMENSIONS TRANSVERSALES DU TEXTE (9 pts)
Syntaxe Phrases correctes 0 : incorrectes ou agrammaticales 1 : correctes
Propre à l’écrit 0 : propre à l’oral
1 : propre à l’écrit
Ponctuation 0 : manque majuscules et points
1 : présence des majuscules et points Utilisation des virgules 0 : non ou incorrect
1 : oui et à bon escient
Ortho Erreurs phonogrammiques 0 : oui
1 : non Erreurs morphogrammiques
Accords (GN-GV ; dans le GN) 0 : oui 1 : non Morphogrammiques, conjugaison 0 : oui
1 : non
Homophones 0 : oui
1 : non
Lexique 0 : mots usuels
1 : riche et varié
Pour traiter les différentes données recueillies, nous avons effectué plusieurs traitements statistiques avec les logiciels Excel et SPSS. Pour l’analyse par SPSS, les analyses descriptives et de corrélations, nous avons obtenu le soutien de deux statisticiens pour effectuer :
- calcul de moyenne, médiane, écart type, marge de progression, rang de chaque classe ou groupe d’élèves ;
- test statistique de Mann-Withney (test non paramétrique comparant les rangs de deux échantillons indépendants) ;
- test de Wilcoxon (test non paramétrique comparant les rangs de deux échantillons appariés) ;
- test de Kruskal-Wallis permettant de comparer plusieurs échantillons.
Sur la base de ces traitements, nous présentons les résultats à l’aide de différentes représentations graphiques :
- des tableaux avec les données : médianes, moyennes, écart types, Khi2, etc. ; - des schémas construits sur Excel : représentation des évolutions des scores ;
- des diagrammes en boîte ou boîtes à « moustaches » : représentation des médianes, des quartiles et des maximum et minimum. Ceci nous permet de comparer un résultat de nos deux sous-échantillons (élèves AD et SD).
b. L’analyse des évaluations effectuées par les enseignants et les gestes mobilisés
Tout d’abord, afin d’identifier les évaluations réalisées par les enseignants, nous avons utilisé des données issues de plusieurs sources et nous les avons fait parler :
- Pour repérer l’évaluation des PI :
o analyse des séquences transcrites (mise en situation, consignes et activités précédant la PI, mise en commun des PI) ;
o analyse de contenu des entretiens (pour compléter les aspects identifiés dans les transcriptions) ;
o analyse des questionnaires et des journaux de bord (retour réflexif de la part des enseignants et identification des capacités et des obstacles, idées de régulation et de différenciation).
- Pour l’évaluation des PF :
o analyse des grilles d’évaluation consignées dans les journaux de bord ;
o analyse de contenu des entretiens (sources de référence pour la construction de la grille, élaboration et ajustement de la grille).
Pour saisir toute l’ampleur des gestes des enseignants, plusieurs données sont utilisées. La base principale est constituée des séquences intégralement filmées. Elle est complétée par les informations issues des entretiens et des journaux de bord. Nous présentons ci-dessous les traitements effectués sur les entretiens, les journaux de bord et, pour finir, les séquences filmées et retranscrites.
Pour les entretiens, une analyse compréhensive (Schurmans, 2006) des contenus des entretiens organisés en axes thématiques et en fonction d’une série d’unités de sens a été
retenue. Cette analyse permet de mettre en évidence le discours tenu au sujet des différents axes de l’entretien :
- les choix des objets enseignés ;
- les activités réalisées en classe en rapport avec la vision qu’ont les enseignants des difficultés des élèves ;
- les actions des enseignants en lien avec l’évaluation (critères, origine de la grille, construction de la grille, bilan des apprentissages, suites à donner).
Les différentes informations dégagées sont mises en lien avec le contenu des autres sources d’informations que sont les journaux de bord et les pratiques effectives observables à travers les séquences filmées. Les documents présents dans les journaux de bord, notamment les grilles d’évaluation et les outils construits avec les élèves, donnent des renseignements précieux. Les fiches remplies par les enseignants confortent également les observations des séquences filmées : engagement des élèves, évaluation formative, temps consacré aux différentes dimensions du genre.
Cette analyse de contenu nous a permis de retenir et regrouper les critères suivants (Tableau 12) :
- déroulement ; - outillage ;
- implication des élèves.
Chaque groupe de critères a fait l’objet d’une analyse et a été représenté par des « radars » Excel, véritables toiles d’araignées qui nous permettent de visualiser l’ampleur de l’action des enseignants (Chapitre VII).
Tableau 12 : Critères d'analyse (entretiens, journaux de bord, macrostructures)
c. La mise en évidence des éléments se rapportant à la mésogenèse et topogenèse Les séquences filmées et leur synopsis font l’objet d’une attention particulière. La macrostructure qui se dégage permet d’avoir une vision du déploiement de la séquence.
L’analyse des pratiques d’enseignement et des interactions didactiques s’est réalisée en analysant les obstacles, les empêchements et les régulations interactives qui s’y rapportent.
Les empêchements didactiques sont associés aux moyens d’enseignement et aux actions des enseignants : les processus d’apprentissage sont dans ce cas entravés par un effet de l’agir de l’enseignant ou des dispositifs didactiques déployés. Pour identifier un empêchement didactique, nous avons procédé par l’intermédiaire d’une analyse langagière (consignes) et épistémologique des tâches, des moyens et des informations donnés par l’enseignant (imprécisions ou lacunes théoriques de la part de l’enseignant, contradictions, erreur dans la
Déroulement Séances Nombre
Activités sur les dimensions analysées
Objets/critères de la grille Recensement des critères déclinant les dimensions analysées (situation de communication, arguments, usage des organisateurs)
Formulation des critères Critères simples ou exemplifiés
Aide-mémoire Mémoire didactique activée aléatoirement (1 point) ; activée systématiquement (2 points) ; aide-mémoire écrit (3 points).
Facilitateurs Production finale sans support : nouvelle écriture (1 point); réécriture libre (2 points) ; réécriture points) ; grille construite avec les élèves (3 points).
Explicitation de la grille Grille distribuée (1 point) ; expliquée (2 points) ; mise à l’épreuve (3 points).
Aide-mémoire Pas d’aide-mémoire (0 point) ; aide-mémoire donné (1 point) ; aide-mémoire construit au fur et à mesure (2 points) ; aide-mémoire construit et exploité (3 points).
Modalités de travail Groupe continu (1 point) ; groupes réguliers (2 points) ; plénière privilégiée (3 points).
conception des tâches). Les obstacles didactiques sont pour leur part considérés comme des manifestations observables, dans le verbatim, d’obstacles rencontrés par les élèves et qui peuvent être mis en lien avec des empêchements liés aux moyens d’enseignement ou aux choix de l’enseignant, aux informations erronées qu’il divulgue. L’obstacle didactique est ainsi dérivé de l’action de l’enseignant ou porté par un aspect insatisfaisant des moyens d’enseignement. De son côté, l’obstacle épistémologique renvoie aux processus d’appropriation du savoir par l’élève : nous identifions des obstacles épistémologiques à l’endroit des erreurs qui se manifestent dans les prises de position des élèves et qui montrent une incompréhension, un blocage, une conception erronée. Pour accéder aux traces qualifiables d’obstacles épistémologiques, nous prenons en compte les échanges oraux en classe qui convoquent souvent, eux-mêmes, des réponses et des extraits de textes produits à l’écrit.
En ce qui concerne les gestes didactiques des enseignants, nous avons pris en considération fondamentalement trois catégories de gestes dans l’analyse des interactions : les gestes d’implication et d’engagement des élèves ; les gestes d’élaboration de supports (aide-mémoire et grilles d’évaluation) intégrant les nouveaux savoirs institutionnalisés destinés à l’écriture de textes argumentatifs et les gestes de régulation (interactive) associés aux obstacles des apprenants. En effet, notre intérêt réside particulièrement dans les régulations interactives déployées par les enseignants face aux obstacles et empêchements rencontrés par les élèves.
Il s’est avéré utile de construire un tableau mettant en lien les obstacles et empêchements identifiés dans le verbatim avec les régulations de l’enseignant. Ce tableau s’est construit au fur et à mesure de nos analyses. Nous avons procédé par essai-erreur-modification. Ceci a nécessité une définition claire des obstacles et empêchements ainsi qu’une catégorisation des régulations. Cette construction ne s’est pas faite sans heurts. Nous avons été confrontée, entre autres :
- à des traces verbales qui ne rentraient pas dans nos catégories (par exemple, les problématisations (voir Curtet, Perini & Tissot, 2015) ;
- à des régulations qui se trouvaient être contre-productives car mues par des imprécisions ou lacunes théoriques de l’enseignant (feedback contre-productif, Laveault, 2007) ;
- à des obstacles qui, en cours de régulation, devenaient des empêchements et vice versa ;
- à des nœuds idéologiques au moment du travail sur les arguments qui ne pouvaient être qualifiés uniquement d’obstacles ou d’empêchements (Vuillet & Gabathuler, à paraitre).
À l’issue de ces retouches successives, le tableau se présente ainsi (Tableau 13) :
Tableau 13 : Tableau d'analyse des régulations en lien avec les activités et les obstacles et empêchements rencontrés (Annexe V, extrait)
Enseignant Dimension de l’objet d’apprentissage Cours
Activité EMPÊCHEMENTS OBSTACLES Problématisations REGULATIONS Niveau régulation
Le tableau comprend six colonnes différentes qui mettent en évidence, en lien avec les activités sélectionnées, les obstacles rencontrés, les empêchements, les problématisations et les régulations. Chaque colonne décrit les différents points susmentionnés. Ce contenu narrativisé fait chaque fois référence aux transcriptions à disposition.
Comme annoncé, les transcriptions à disposition portent sur l’ensemble de la séquence. Pour analyser les obstacles, empêchements, régulations interactives, nous avons fait le choix délibéré de concentrer les traitements uniquement sur les dimensions de l’objet qui présentent des différences de progression significatives entre les classes. Pour ce faire, la macrostructure et les synopsis construits ont constitué une base pour choisir les transcriptions des activités portant sur les dimensions sélectionnées. Cela rend visible le fait que les enseignants consacrent un temps très différent à chaque dimension : d’une séance sur une activité jusqu’à
trois ou quatre séances avec une répétition d’activités similaires sur le même objet. Pour avoir une unité d’analyse plus précise, une sélection des activités en lien avec les objets d’enseignement qui présentent des différences de progressions significatives a été faite.
Pour saisir les régulations interactives en lien avec les obstacles rencontrés par les élèves, nous avons adopté l’échelle des régulations présentées dans le Chapitre II (p. 83). Au fur et à mesure du traitement des données, les critères ont été affinés (Tableau 14) :
Tableau 14 : Echelle des régulations
- Correction (donner la réponse correcte/la réponse attendue) - Reformulation l’explication, la démonstration d’une procédure, d’une démarche, d’une définition. questionne « pas à pas », accompagne la réflexion de l’élève.
Niveau
- Etayage interactif : ouverture d’une discussion, d’un débat plus large : confrontation de deux idées différentes, relevé des incohérences, …
Dévolution de la réflexion
Afin de mettre en corrélation les régulations avec les différences significatives de progression, nous avons effectué des analyses descriptives et des analyses de corrélation.
L’hypothèse formulée est que les comportements de régulations influencent les scores des élèves. Dans notre cas, il s’agit donc d’identifier si les régulations retenues (rapportées aux obstacles pour contrôler) sont associées à des progressions différentes. Nous contrôlons si les
influences diffèrent selon le niveau des élèves tel que signalé par les enseignants en début de dispositif.
Suite aux analyses, les régulations ont été regroupées en quatre catégories différentes :
- Les régulations dites « dysfonctionnelles ». Elles regroupent les régulations comprenant des imprécisions liées aux lacunes théoriques de l’enseignant et engendrant, de ce fait, des empêchements, ainsi que l’absence de régulation (non-action) face à un obstacle identifiable dans le verbatim ;
- Les régulations de bas niveau. Elles comprennent les validations et les reformulations de l’enseignant ;
- Les régulations de niveau dit « moyen ». Dans cette catégorie sont regroupées les démonstrations et explications de l’enseignant et les interactions accompagnées où l’enseignant questionne les élèves (réponses de restitution avec pilotage et prise en charge de l’enseignant) ;
- Les régulations de haut niveau. Ici sont rassemblées les interactions qui sollicitent chez l’élève des réponses de développement et des débats réflexifs en lien avec les obstacles rencontrés.