L’ IMPACT DES PROGRAMMES DE RÉUSSITE ÉDUCATIVE
5.1 Construction des variables d’évolution de la si- si-tuation des enfants
Il est important de garder à l’esprit que la plupart de nos mesures sont des indices issus de l’agrégation de différentes questions (ou « items ») décrivant une même dimension (par exemple l’estime de soi scolaire ou les résultats à une série de tests en maths). Ces indices n’ont pas d’échelle naturelle, car il n’y a pas d’échelle
83
Évaluation des programmes de réussite éducative
naturelle pour des notions comme la qualité de vie perçue ou l’estime de soi ou encore les compétences en maths. Dans les tableaux précédents (par exemple 3.1), nous avions indiqué (dans les colonnes « Moy T » et « Ecart-type T ») les moyennes et les écart-type de ces indices dans la population, de manière à faire apparaître l’échelle (à chaque fois différente) sur laquelle se lisent les différences entre popu-lations.
A partir de maintenant, nous étudions les variations au cours du temps de ces différents indices. Si on laissait nos indices bruts, leurs variations au cours du temps seraient difficiles à interpréter car, d’une part, leur échelle (mesurée par l’écart-type) peut se déformer et, d’autre part, il existe des évolutions systématiques (me-surées par la moyenne) de certains indices simplement liées à l’âge ou au temps : par exemple, il est connu que le sentiment de compétence a tendance à décroître avec l’âge ; ou bien nos tests de maths ont pu être plus difficiles (ou plus faciles) en CE2 qu’en CE1. Or, en elles-mêmes, de telles déformations de la distribution des indices ne nous intéressent pas et perturbent plutôt la lecture des résultats. Aussi, nous avons normalisé les indices de manière à ce qu’ils aient tous la même distri-bution dans la population totale : chaque indice, à chacune des deux dates (2012 et 2014), a donc pour moyenne 0 et pour écart-type 1 dans la population de tous les enfants interrogés.
Cela implique que la valeur prise par un indice pour un élève donné à une date donnée reflète sa position (son rang) dans la distribution de l’ensemble des enfants de notre échantillon. Si l’indice d’estime de soi prend une valeur négative, cela signifie que l’enfant a une estime de soi inférieure à la moyenne ; si cette valeur est très négative (par exemple -1, soit un écart-type vers le bas), cela signifie que l’enfant a un niveau d’estime qui se situe à peu près au 15ème rang sur 100 élèves (et l’élève qui a un indice égal à 1, inversement, est beaucoup mieux situé et se place vers le 85ème rang dans la population).
Dans cette section, nous étudions l’évolution des indices à 20 mois d’intervalle, et nous comparons l’évolution moyenne des enfants bénéficiaires à celle des enfants témoins. Nos indices étant normalisés à chacune des deux dates, 2012 et 2014, ils reflètent la position relative de chaque enfant dans la population, à chaque date.
84
Chap. 5 – L’impact des programmes de réussite éducative
Ainsi, un enfant qui aurait une estime de soi de -1 en 2012 et de 0 en 2014 serait en 2012 parmi les 15 % des enfants qui ont la plus faible estime de soi, et il aurait 20 mois plus tard l’estime de soi moyenne des enfants de sa génération en 2014, soit une progression très importante par rapport aux autres enfants. Dans cet exercice, on n’accorde donc pas d’attention au fait que l’estime a pu baisser ou augmenter en valeur absolue dans la population avec le temps, ce qui s’interprète difficilement : on cherche uniquement à positionner chaque groupe d’enfants, bénéficiaires et té-moin, dans la population plus large de tous leurs camarades à chaque date. Dans notre échelle, un progrès positif est un progrès dans la position à l’intérieur de la population : il ne s’agit bien sûr pas de « classer » les enfants, mais de donner une signification relative claire à des indices qui n’ont pas de sens absolu.
L’exercice consiste toujours à comparer l’évolution du groupe d’enfants bénéfi-ciaires à celle du groupe d’enfants témoins qui leur ressemblent beaucoup. Suppo-sons que, en l’absence de PRE, les enfants (témoins) en difficulté en 2012 ont ten-dance en moyenne à avoir un indice de qualité de vie sociale qui passe de -0,1 à 0 : cela signifie que leur qualité de vie sociale, qui était en-dessous de la moyenne de la population, a désormais atteint cette moyenne. La question posée par l’évaluation d’impact est : d’autres enfants, très semblables mais bénéficiaires d’un parcours, et initialement positionnés à -0,1 comme leurs camarades, ont-il atteint, grâce au PRE, un indice qui les place au-dessus de la moyenne de la population, c’est-à-dire, leur qualité de vie perçue a-t-elle évolué davantage que celle des enfants témoins ? S’ils passent eux aussi de -0,1 à 0, leur destin est le même que celui d’enfants sem-blables et le parcours ne les a pas particulièrement aidés. Dans le cas contraire, s’ils passent par exemple de -0,1 à +0,1, alors on peut dire que des enfants dans des si-tuations initialement comparables progressent davantage lorsqu’ils bénéficient d’un parcours.
Les coefficients qui sont reportés sous le terme « Impact PRE » dans les tableaux présentés ci-dessous mesurent donc la différence moyenne, en 2014, entre deux groupes d’enfants, l’un bénéficiaire et l’autre témoin, très semblables, et partant de situations en moyenne très proches en 20121. Etant donnée la taille de
l’échan-1. Techniquement, nous avons estimé une régression linéaire (moindres carrés ordinaires) de chaque évolution sur une indicatrice de prise en charge par le PRE et l’ensemble des variables
85
Évaluation des programmes de réussite éducative
tillon, les différences entre ces deux groupes que l’on peut distinguer d’un simple aléa d’échantillonnage, ou bruit statistique, sont d’au moins 0,25-0,30 en positif ou en négatif. Un coefficient de 0,25 pour « Impact PRE » en maths signifie par exemple que, si les deux groupes d’enfants étaient initialement (en moyenne) au même niveau, les enfants en parcours ont atteint, en 2014, (en moyenne) un résul-tat plus haut que celui des enfants témoins de 0,25 écart-type du score. Traduit en rangs, cela signifie que si ces enfants étaient au départ au 30ième rang sur 100 en maths, et si les enfants témoins sont restés à ce niveau entre 2012 et 214, les en-fants bénéficiaires auront progressé de 9 points de plus sur cette échelle, c’est-à-dire qu’ils auront rejoint le niveau des enfants qui, dans notre population d’écoles, sont au 39ième rang sur 100 en maths. Inversement, si le coefficient est négatif (par exemple -0,25), les enfants bénéficiaires auront rejoint le niveau des enfants qui sont au 21ième rang à peu près. Il en est de même pour tous les autres indices. Il s’agit d’effets relativement importants, et il faut bien souligner que la taille de notre échantillon nous permet d’établir si les PRE ont, ou non, des impacts au moins aussi grands que ceux-là, mais ne nous permet pas de discerner des effets possibles, mais moins grands.
Il y a une exception à cette règle : certaines variables ont une métrique natu-relle, il n’était donc pas nécessaire de les normaliser pour interpréter le résultat correspondant. Par exemple : les parents ont rencontré l’enseignant au moins une fois, l’enfant a souvent des activités extra-scolaires, etc. Dans ce cas, les variables d’intérêt sont des proportions (la proportion de parents ayant déjà rencontré l’en-seignant parmi les bénéficiaires, parmi les enfants témoins, etc.) et elles ne sont pas normalisées. La variable expliquée est alors la variation de cette proportion entre les deux dates, et les coefficients reportés dans la colonne « Impact PRE » mesurent l’évolution supplémentaire (en points de pourcentage) du groupe bénéficiaire par rapport au groupe témoin. Par exemple, un coefficient « Impact PRE » de +0,05 signifie dans ce cas que la proportion considérée a augmenté de 5 points de pour-centage de plus pour les enfants en parcours PRE par rapport aux enfants du groupe témoin (par exemple, si elle est passé de 15 à 20% chez les enfants témoins, elle
mesurées à l’enquête initiale de 2012. L’échantillon est restreint aux enfants bénéficiaires et aux enfants témoins.
86
Chap. 5 – L’impact des programmes de réussite éducative
sera passé de 15 à 25% chez les enfants bénéficiaires, et cette différence finale de 5 points s’interprète comme un effet du PRE). Notons enfin que l’indice de satis-faction dans la vie (« Satissatis-faction WL » pour Satissatis-faction with life, le titre courant de cet indice) est mesuré uniquement en 2014, et ne correspond donc pas à une évolution dans le temps. Il n’est pas normalisé : le tableau présente sa moyenne et son écart-type dans la population des témoins.