Le choix des zones test et témoin

Se pose alors la question des aires de populations, ou zones, à partir desquelles on considèrera une population avec dispositif et une population sans dispositif. La séparation pose de nombreuses difficultés déjà soulignées, en particulier sur le plan éthique (Duflo). Elle ne résulte pas d’une conscience claire surplombant les acteurs sociaux et qui déterminerait le bon choix. Elle résulte d’une négociation, qui prend ici un tour particulier du fait que l’aire de compétence des expérimentateurs est le plus souvent limitée à une région/académie. Or l’extension est éventuellement envisagée par les tutelles à l’ensemble du territoire national.

L’existence de nombreux effets territoires amène donc à fixer les zones test et témoin à l’intérieur d’une même région, où à défaut, entre deux régions voisines, sous réserve qu’elles présentent un mode de croissance et de développement proches.

Si, sur le plan national, une opacité relative facilite la fixation des zones, il n’en va pas de même sur le plan régional. Les arbitrages sont plus tendus. Ils peuvent toutefois se résoudre du fait de la spécificité et de l’ancienneté du phénomène traité. Celui-ci n’est pas nouveau et fait l’objet d’un constat semi-résigné alors que les textes et les dispositifs censés y pourvoir existent eux aussi de longue date. Le véritable dilemme éthique résulte plutôt de cette faillite au long cours affectant de 120 000 à 150 000 jeunes par an.

Il est alors socialement acceptable de considérer qu’un dispositif présenté comme « nouveau » est mis en place de manière progressive, et n’affecte transitoirement et pour des raisons budgétaires qu’une partie du territoire.

Il est vrai toutefois, que l’affichage du dispositif dans un agenda politique et non seulement comme une tâche fonctionnelle intensifiée tend à faire « redécouvrir » le problème aux acteurs locaux. Une représentation collective partagée et un langage commun tendant à reformuler les « sorties sans solution » autrement que comme un déficit de rationalité d’une gestion administrée et administrative des flux annuels de grandes masses d’élèves, ou encore comme le déterminisme de la condition sociale sur les efforts pédagogique en leur direction.

Un nouveau compromis est alors à trouver dans le découpage des zones test et témoin. La plus petite unité territoriale prise en considération est la zone d’emploi, ou mieux, le canton, sachant que les différents acteurs et administrations ont parfois inventé leurs propres nomenclatures (bassins d’éducation concerté…). Là encore des redressements à cette échelle étant difficilement envisageables, on recherche alors des cantons « jumeaux » dans une typologie mobilisant une batterie de caractères susceptibles d’agir sur les conditions d’émergence du phénomène.

140

Deux typologies couvrant l’ensemble du territoire national sont alors proposées, l’une à caractère général sur les conditions d’emploi et de formation, l’autre sur la propension ou risque de sortie sans qualification qui se rapproche du phénomène tout en restant dans le domaine des conditions d’émergence. La première a déjà donné lieu à des travaux et a été actualisée au recensement 2005-2009⁵. La seconde est en cours de réalisation. Elle inclut des variables de risque de santé. Chaque zone élémentaire de test est alors rapprochée de la zone d’emploi ou du canton les moins distants dans ces deux typologies.

Conclusion

L’espoir de réaliser une évaluation expérimentale s’est considérablement amenuisé : la population mère fait l’objet de tris préalables multiples. Le tirage aléatoire en son sein pour définir la population des éligibles au dispositif expérimenté ne peut avoir lieu, pas plus qu’un second tirage aléatoire définissant la sous-population des entrants, desquels seront encore à distinguer les entrants effectifs.

Il ne s’agira pas non plus d’une évaluation « quasi-expérimentale naturelle », car les variables ne sont pas exogènes entre elles du fait des nombreuses interactions à l’œuvre. De plus, la pharmacopée du traitement des sorties sans qualification est dépendante des formes prises récemment par les sorties, et la définition du jeune « décrocheur-décroché-décrochant » dépend en retour de l’institution à laquelle il s’adresse et qui a ses objectifs propres : la réussite au diplôme pour les personnels d’éducation, une qualification pour l’école, un projet d’orientation pour les Centres d’information et d’orientation, une insertion sociale pour les Missions locales, une insertion professionnelle pour les Pôles Emploi…

Enfin, il ne s’agira pas plus d’une évaluation « contrefactuelle » : l’échelle des zones test et des zones témoins différentes est variable. Les zones tests sont choisies par les expérimentateurs en fonction de contraintes et d’objectifs propres, dans lesquelles intervient pour beaucoup l’histoire locale : existence d’acteurs potentiels susceptibles de porter l’expérimentation, connaissance intuitive ou d’expérience d’un problème public dans le champ considéré et dans la zone considérée, état des relations entre acteurs et institutions impliquées dans le dispositif ou susceptibles de l’être : ignorance réciproque, neutralité bienveillante, coopération active, concurrence, hostilité… De plus, sur le plan de l’éthique revendiquée, le seuil de tolérance à une discrimination temporaire entre zones est lui aussi variable.

Ces trois réserves majeures que sont le choix non aléatoire des populations concernées, le caractère endogène des variables comparées et la négociation des zones d’expérimentation, amènent à rechercher les voies moyennes d’une évaluation comparative que certains appellent « embarquée » (Baslé 2009).

Elles seraient amenées à se rapprocher de l’originalité de chaque dispositif expérimenté qui serait donc aussi évaluée au regard de son efficience propre, au regard de l’expérience qu’en font les acteurs impliqués. En particulier, l’un de ces apports serait sans doute que sous une impulsion forte des pouvoirs publics, des acteurs à l’échelle des territoires prennent conscience de la nécessité de définir un bien commun et de coopérer durablement pour en traiter.

5 Typologie actualisée de zones d’emploi (6 types de zones, 348 zones, établis sur 20 critères dont proportion entreprises moins de 10 salariés, plus de 50 salariés, part emploi privé parmi emploi salarié, part intérim et emplois non qualifiés parmi l’emploi total, part des différents secteurs en 9 postes, nombre d’ouvriers et d’employés par rapport au nombre de cadres, proportion d’individus ayant un niveau de formation inférieur au CAP/BEP, et avec un CAP/BEP parmi la population totale de 15 ans et plus, proportion de moins de 25 ans dans la population active, taux de chômage, proportion de chômeurs de longue durée parmi l’ensemble des chômeurs, cf. Grelet Y., BREF Céreq n° 228, mars 2006.

Bibliographie

Avvisati F., Gurgand M., Guyon N., Maurin E. (2010), Quels effets attendre d’une politique d’implication des parents d’élèves dans les collèges ? Les enseignements d’une expérimentation contrôlée. Rapport pour le Haut Commissaire à la Jeunesse, Paris, École d’Économie de Paris.

Baslé M. (2008), in Livre blanc, Innover dans les pratiques d’évaluation des politiques publiques, MGDIS-Rennes 1, Rennes.

Behagel L., Crépon B., Gurgand M. (2009), Évaluation d'impact de l'accompagnement des demandeurs d'emploi par les opérateurs privés de placement et le programme Cap vers l'entreprise. Rapport final, Paris, École d’Économie de Paris.

Bourguignon F. (2009), Rapport final sur l'évaluation des expérimentations RSA - Comité d'évaluation des expérimentations, Haut commissariat aux solidarités actives contre la pauvreté, Paris, La Documentation française.

Haut Commissariat à la Jeunesse (2009), Guide méthodologique pour l’évaluation des expérimentations sociales, Haut Commissariat à la Jeunesse.

Session 5