Indicateurs retenus pour l’analyse des résultats aux tests

Dans la partie consacrée à la présentation des tests (cf. 5.2), le barème de chaque exercice est indiqué. Il fonctionne sur un système de points. Afin de permettre une lecture uniforme des tests quel que soit le nombre de points du barème, nous avons converti les résultats de chaque test en pourcentage que nous nommons « pourcentage de réussite ». Ainsi un élève qui aura obtenu quatre points sur cinq, obtiendra un pourcentage de réussite de soixante. Pour valider ensuite la réussite des tests proposés et situer les groupes les uns par rapport aux autres, nous avons construit un outil qui nous permette à la fois d’apprécier les scores obtenus mais aussi de comparer ces scores entre eux. Pour cela nous avons utilisé deux barèmes de notations existants que nous avons fusionnés et aménagés. Nous présenterons d’abord ces barèmes et reviendrons sur leur contexte afin d’expliquer leurs différences. Cela nous permettra ensuite d’exposer la synthèse opérée et d’expliquer son utilisation.

3.1.1. Présentation des barèmes retenus

Le barème du Ministère de l’Éducation nationale (MEN)

Notre première référence est le barème de notation retenu par le MEN dans les évaluations nationales des acquis des élèves en CE1, qui se sont déroulées de 2009 à 2013 (cf. pour exemple Les évaluations CE1 et CM2 en 2011 - Académie de Poitiers (Service statistique académique, 2011)). L’outil proposé pour la saisie des résultats (« Évaluation des acquis des élèves en CE1 et CM2 - Pédagogie - Direction des services départementaux de l’Éducation nationale du 79 - Pédagogie - Académie de Poitiers », s. d.) distingue ainsi quatre niveaux correspondant chacun à une appréciation des acquis des élèves :

• moins de 33% d’items réussis : les élèves n’ont pas les acquis suffisants, • de 33% à 50 % d’items réussis : les élèves ont des encore acquis fragiles, • de 50 à 66% d’items réussis : les élèves ont de bons acquis,

• 66% et plus d’items réussis : les élèves ont des acquis très solides. Le barème de l’OCCE

Nous avons complété ce barème officiel par celui proposé par l’OCCE dans l’appréciation de l’acquisition d’une compétence. Ce deuxième choix trouve une justification non seulement institutionnelle, puisque l’OCCE est agréée au titre des associations complémentaires de

l'école par le ministère de l'Éducation nationale, mais également philosophique puisque qu’apprendre en coopérant fait partie des valeurs qu’il prône (« Office Central de la Coopération à l’École », s. d.). La recontextualisation du tutorat par rapport à la coopération (cf. supra) légitime donc cette référence.

Dans la perspective d’une appropriation du contenu des programmes par les élèves et d’une démarche d’auto-évaluation leur permettant de situer leur avancement dans l’acquisition d’un savoir et/ou d’un savoir-faire, trois niveaux sont distingués (OCCE 66, 1997, p. 16) :

• de 0% à 49% : niveau insuffisant,

• de 50% à 74% : en cours de construction, • 75% et plus : niveau satisfaisant.

La structuration différente de ces deux barèmes de notation semble a priori exclure leur mise en œuvre simultanée. Nous proposons toutefois une utilisation complémentaire en prenant comme appui un seuil commun : 50% d’items réussis. Pour justifier notre démarche, nous restituerons d’abord le contexte d’utilisation de chacun avant d’expliquer l’exploitation que nous comptons en faire.

Contexte respectif

Le MEN, dans le cadre des évaluations nationales précitées, souhaitait apprécier les acquis des élèves en CE1 en fin d’année. Même si ces évaluations se voulaient avant tout une projection dans les aides à apporter pour l’année scolaire future, il faut en souligner leur caractère essentiellement sommatif. De son côté, le barème proposé par l’OCCE dans sa démarche d’appropriation par l’élève de son parcours d’apprentissage, se veut avant tout un outil d’appréciation de l’avancée d’une connaissance ou d’une compétence. Autrement dit, le premier se veut une appréciation statique, le second s’entend comme un outil dynamique. D’ailleurs, leur construction respective reflète ces perspectives différentes. Structuré d’abord par tiers (33%, 66%) avec un fractionnement dans le second tiers correspondant au seuil de 50% d’items réussis, le barème des évaluations nationales est pensé pour permettre à l’enseignant d’apprécier plus finement la qualité des acquis des élèves de chaque côté de la moyenne. En-dessous des 50% d’items réussis sont distingués les élèves n'ayant « pas les acquis suffisants » de ceux ayant des « acquis fragiles ». Au-dessus de 50% d’items réussis, sont différenciés les élèves ayant « de bons acquis » et de ceux ayant des acquis très solides. De son côté, le barème de notation proposé par l’OCCE est pensé comme un outil simplifié au service de l’élève et se construit d’abord sur une appréciation binaire et à part égale de type

non réussie ou réussie. La subdivision « en cours de construction » / « satisfaisant » de la seconde partie s’entend ensuite comme un souci d’honnêteté dans l’appréciation de l’acquisition visée : « Pour prendre cette décision [décider du niveau de compétence], l’on voit bien que la notion de moyenne n’est absolument pas pertinente : on ne peut pas considérer qu’un enfant qui n’a réussi que 50% d’une épreuve est compétent. » (OCCE 66, 1997, p. 16).

3.1.2. Présentation de l’outil Explications

Afin de profiter des informations fournies par les deux systèmes, nous superposons les deux barèmes pour une analyse des résultats plus complète (Tableau 2). Nous obtenons ainsi cinq niveaux :

Tableau 2 –Fusion des barèmes retenus pour la création d’un nouveau barème applicable au protocole OCCE 0% à 49% insuffisant 50% à 74% en construction 75 et plus satisfaisant MEN moins de 33%

pas d’acquis suffisant

33% à 49 % acquis fragiles 50% à 66% bons acquis 66% et plus acquis très solides Barème du protocole moins de 33% « insuffisant » 33% à 49 % « fragile » 50% à 65% « en construction » 66% à 74% « acquis » 75% et plus « expert »

L’aménagement principal, au-delà d’une terminologie délibérément simplifiée et plus générique, concerne le pourcentage requis pour considérer qu’un « acquis très solide » devient « satisfaisant » et correspond à un « acquis (très) solide ». En effet, sans chercher à contredire l’appréciation de l’institution qui estime qu’au-delà de 66% les élèves ont des acquis très solides, nous pensons intéressant de considérer que cette part entre 66% et 74% atteste certes d’une réussite, mais pour laquelle une progression significative reste encore possible, progression qui attesterait que l’élève passe de la maîtrise attendue d’un savoir ou d’un savoir-faire à une aisance experte dans son réinvestissement. Ce fractionnement pourra paraître redondant, mais dans la mesure où nous cherchons à apprécier l’impact d’une forme de travail et/ou d’un support dans les apprentissages cette distinction nous semble utile.

Au-delà de l’appréciation portée aux scores de chaque groupe, l’utilisation de ce barème permet également de poser un cadre de référence pour comparer les résultats des groupes entre eux. Imaginons que le groupe A obtienne un score de 5% et le groupe B 25 %. Sur un autre test, ces mêmes groupes obtiennent respectivement un score de 63% et de 68 %. Pouvons-nous conclure que les vingt points d’écart de la première situation permettent à B de l’emporter et considérer alors dans la deuxième situation que l’écart de cinq points n’est en comparaison pas pertinent ? Même si arithmétiquement, la proposition est acceptable, nous pensons que le simple calcul de la différence entre les scores n’apporte qu’un argument relatif et subjectif. Reprenons à présent la même situation en lui appliquant notre grille. Cette fois, nous pourrons conclure qu’avec des scores 5% et 25 % les groupes A et B sont tous les deux à un niveau de réussite insuffisant, car en deçà de 33%. À l’inverse, dans le deuxième test, les scores A et B les places dans deux niveaux de réussite distincts. Pourtant l’écart rappelons le, n’est que de cinq points.

Critiques

Pour conclure cette présentation, nous souhaitons évoquer les critiques possibles de l’outil que nous proposons, notamment sur le choix de nos références, leur aménagement et l’utilisation stricte que nous en faisons. À cela nous répondons d’abord que notre souci de neutralité nous a, au contraire, amené à rechercher et à choisir des références choisies et reconnues par l’institution scolaire elle-même. Notre sujet proposant le cadre scolaire comme terrain de recherche, ces références trouvent ici, selon nous, leur légitimité. Sur la dichotomie proposée par notre barème, notamment le niveau « acquis » entre 66% et 74%, nous réaffirmons notre volonté de respecter au mieux les intentions des deux barèmes de notation référents et de prendre en compte la possibilité raisonnable pour un élève d’améliorer sa maîtrise d’une connaissance ou d’une compétence alors même qu’elle est acquise. Enfin, nous revendiquons le côté strict voire arbitraire de l’application de notre barème qui considère qu’un score de 66% correspond à des compétences ou des connaissances acquises, alors qu’avec un point de moins elles seraient encore « en construction ». En effet, notre propos est de pouvoir valider des hypothèses sur des critères constants, ce qui n’exclut pas au cours de l’analyse de mettre en évidence une progression significative en prenant justement appui sur ces mêmes critères (passage du minimum au maximum d’un même niveau). Nous le répétons, il s’agit là pour nous de la garantie de ne pas céder à l’impression, au sentiment, à l’envie de voir une hypothèse validée.

En complément de cet outil d’analyse quantitative des résultats, nous avons souhaité mettre en place une analyse qualitative des interactions entre le tuteur et son tutoré pour voir dans quelle mesure le premier pouvait, grâce aux aménagements apportés, faire preuve de congruence cognitive. Nous avons pour cela observé la qualité des échanges verbaux et non verbaux de la dyade tutorale.

3.2. Indicateurs retenus pour l’analyse des échanges au cours de