Principe de la méthode d’évaluation

Pour établir les dimensions dans lesquelles l’intervention du PRE infléchit le plus l’évolution des enfants, il faudrait savoir comment auraient évolué ces mêmes en-fants en l’absence de PRE. C’est bien dans la différence entre ces deux trajectoires que se trouve l’information sur les bénéfices du PRE. En effet, les évolutions de la situation des enfants en parcours observées entre deux dates ne peuvent pas s’inter-préter directement comme un effetdu PRE, car ces évolutions pourraient très bien s’être produites en l’absence d’intervention. Par exemple, le rapport de (Trajectoires, 2015) propose des effets des PRE mesurés sur la base de la simple observation des progrès d’enfants en parcours rapportés par les acteurs. Si on allait dans ce sens, on serait conduit à considérer que n’importe quelle évolution observée, positive ou négative, serait toujours imputable au PRE : tout ce qui se passe serait l’effet du PRE.

En fait, la notion d’effet du PRE n’est conceptuellement définie qu’en référence à une situation contrefactuelle : qu’est-ce qui aurait été différent en l’absence de PRE ? L’estimation de cet effet pose évidemment un problème pratique, car nous ne pouvons pas « remonter le temps ». Soit un enfant est bénéficiaire d’un PRE, soit il ne l’est pas. C’est la raison pour laquelle il nous faut déterminer un groupe d’enfants confrontés initialement à des difficultés comparables, mais n’ayant pas eu l’opportunité de bénéficier d’un parcours. Ce groupe « témoin » permet d’observer

59

Évaluation des programmes de réussite éducative

et d’inférer ce qu’aurait vraisemblablement été le devenir des enfants bénéficiaires d’un PRE s’ils n’avaient pas pu en bénéficier : ils donnent une estimation du « contre-factuel ». La méthode d’évaluation mise en œuvre ici, qui est la norme scientifique dans ce domaine, consiste donc à comparer le devenir d’enfants bénéficiant d’un parcours individuel en PRE, au devenir des enfants de ce groupe « témoin ».

La qualité de l’évaluation dépend donc de notre capacité à bien définir ce groupe témoin. En effet, les enfants accueillis en parcours connaissent des difficultés toutes particulières. Cela n’aurait donc aucun sens de comparer leurs parcours à ceux d’enfants pris au hasard dans la même classe d’âge ou même dans les mêmes écoles.

Il faut les comparer à des enfants ayant initialement les mêmes difficultés mais ne pouvant pas bénéficier d’un parcours individualisé en PRE. C’est la raison pour laquelle il était nécessaire d’organiser une première interrogation sur un échantillon large d’enfants, certains dans des zones où ils pourront bénéficier in fine d’un PRE s’ils en ont besoin, d’autres dans des zones où ils ne pourront pas en bénéficier.

Les réponses apportées par les enfants à cette enquête permettent de définir des élèves « témoins », c’est-à-dire pour chaque enfant en parcours PRE, un ou plusieurs enfants présentant des difficultés initialement comparables mais qui ne bénéficiera pas d’un PRE par la suite.

Pour cela, nous avons tout d’abord sélectionné, comme nous l’avons vu plus haut, deux groupes d’écoles :

1. des écoles situées dans des communes bénéficiant de PRE et dont certains élèves sont suivis dans un parcours de réussite éducative : les écoles dites

« tests » ;

2. des écoles situées dans des communes sans PRE, dont les élèves ne peuvent pas bénéficier d’un parcours : les écoles dites « témoins ».

Le groupe d’écoles bénéficiant d’un PRE permet d’identifier un groupe d’enfants entrés en parcours PRE entre l’enquête initiale et l’enquête finale : les élèves du cadre bleu de gauche sur la figure 4.1. Le groupe d’écoles ne bénéficiant pas d’un PRE permet quant à lui de déterminer un groupe d’enfants qui présentaient des caractéristiques similaires lors de l’enquête initiale, et qui auraient donc été sus-ceptibles de bénéficier d’un PRE s’il y en avait eu un dans leur école : les élèves

60

Chap. 4 – Méthode d’évaluation

du cadre bleu de droite sur la figure. Pour définir ce deuxième groupe d’élèves, dit groupe d’élèves « témoins », deux dimensions entrent en jeu : d’une part la simila-rité des écoles dans lesquelles ils évoluent, et d’autre part la similasimila-rité des élèves eux-mêmes. On procède ainsi à un appariement statistique.

FIGURE 4.1–Schéma de l’évaluation

Une fois défini ce groupe d’élèves « témoins », la méthode d’évaluation consiste simplement à comparer, pour chaque dimension pouvant être affec-tée par le parcours PRE, les évolutions des élèves de ce groupe à celles des élèves ayant bénéficié d’un PRE. Cette comparaison permet de déterminer l’ef-fet causal moyen des parcours PRE sur leurs bénéficiaires. Naturellement, pour que cette interprétation causale soit valide, il faut que les écarts d’évolutions entre 2012 et 2014 observés en moyenne entre les deux groupes d’enfants soient bien l’effet (moyen) du parcours PRE. Cela revient à dire qu’il n’existe pas de différences ini-tiales systématiques (que nous n’aurions pas observées) entre ces deux groupes, qui auraient produit des dynamiques systématiquement différentes et que nous pour-rions confondre avec l’effet propre du PRE.

61

Évaluation des programmes de réussite éducative

Cette hypothèse n’est pas une hypothèse testable, car les dimensions non mesu-rées sont par définition non observables. Il est donc crucial, lorsque l’on utilise la méthode de l’appariement statistique pour construire un groupe « contrefactuel », de mesurer un maximum de caractéristiques des individus considérés, et spécifi-quement des caractéristiques directement liées aux effets que l’on veut mesurer.

C’est pourquoi le protocole proposé, à la suite d’une longue consultation des ac-teurs, repose sur la mesure d’un très grand nombre de critères couvrant un large champ à la fois au niveau des écoles et au niveau des élèves. Au niveau des élèves l’ensemble des dimensions cognitives et non-cognitives présentées dans le chapitre 2 sont prises en compte, comme la qualité de vie des enfants, leur vie sociale, leur estime de soi, leur motivation scolaire, leur niveau scolaire, etc . . . , ainsi que leurs caractéristiques démographiques. Au niveau des écoles nous prenons également en compte l’ensemble de ces dimensions agrégées par école, ainsi que les caractéris-tiques sociodémographiques du voisinage de l’école (à l’IRIS) et de sa commune (voir section 4.2). Dans l’abondante littérature qui utilise ces méthodes, des don-nées d’une aussi grande richesse sont très rares. La section suivante présente la méthode d’appariement statistique mise en œuvre pour définir le groupe d’élèves

« témoins » en prenant en compte l’ensemble de ces dimensions.