Une expérimentation difficilement contrôlable

La réalisation d’une expérimentation contrôlée suppose que soient remplies certaines conditions préalables afin d’évacuer les problèmes de biais de sélection et d’hétérogénéité des populations. En particulier, seuls de gros effectifs autorisent des tirages aléatoires « sur une liste préconstituée d’individus potentiellement éligibles au programme » (HCJ 2009, p. 9). Deux nouvelles difficultés apparaissent alors quand à la pré-constitution de cette liste, mais aussi quant à la définition de la « variable d’intérêt », le résultat que l’on souhaite tester. Le cas des programmes de réduction des sorties prématurées de formation initiale montre que ces trois difficultés conduisent à douter de la possibilité de réaliser une expérimentation contrôlée, et qu’à défaut, une expérimentation naturelle ou quasi-expérimentation est elle aussi délicate à mettre en œuvre. Le premier point aborde la question de l’effet recherché, alors que les suivants déclinent les embûches rencontrées dans la délimitation des populations successives.

1.1. Période d’expérimentation et durée de l’effet

En premier lieu, les politiques d’emploi citées visent l’accès puis le maintien en emploi, dont on espère qu’il sera durable, alors que la lutte contre le décrochage de formation initiale vise le maintien puis la sortie dans des conditions jugées acceptables du système de formation initiale. Le succès du dispositif dépend alors en partie de la période pendant laquelle l’expérimentation est menée et donc analysée, mais aussi de la durée de ses effets : si l’on peut faire l’hypothèse que la prise d’emploi est en soi un succès pour un chômeur de longue durée, quelle que soit la nature du contrat de travail, la reprise d’une

* Centre associé au Céreq pour la région Basse-Normandie/ESO, MRSH Université, Esplanade de la Paix, 14032 Caen cedex, gerard.boudesseul@caen.iufm.fr.

1 Ce rapport d'évaluation actualise le bilan d'étape paru en septembre 2008. Publié quelques jours avant la généralisation du Revenu de solidarité active à partir du 1^er juin 2009, le rapport s'appuie sur les expérimentations menées dans 33 départements et concernant un peu plus de 15 000 bénéficiaires de ce nouveau revenu (http://www.ladocumentationfrancaise.fr/rapports-publics/084000607/index.shtml).

2 Dans l’axe 1 « Réduire les sorties prématurées du système de formation initiale », parmi les projets retenus, quatre régions et neuf rectorats se sont engagés, le plus souvent en collaboration, portant ainsi à la moitié des régions/académies les expérimentations projetées, outre 86 projets de taille géographique plus modeste, dont 21 universités. Sont ici abordés les enseignements de trois programmes évalués par le CAR Céreq de Caen qui associent à chaque fois une région et un rectorat, outre d’autres acteurs impliqués tels que les missions locales, les

132

formation a nécessairement un terme. La persistance d’un jeune dans une filière longue ne lui garantit pas nécessairement le meilleur avenir. De plus, le « retour » en formation n’aura sans doute pas le même résultat pour sa carrière ultérieure si le jeune a seulement accédé à un niveau de formation (« attended level »), s’il l’a suivi de manière satisfaisante (« completed ») ou s’il a obtenu le diplôme correspondant (« certificated »). Les anglicismes permettent de mieux comprendre cette difficulté : un décrocheur qualifié de « early school leaver » est littéralement un jeune qui abandonne l’école un peu plus tôt qu’attendu. L’intitulé de l’axe 1 du premier appel à projets du Haut Commissariat à la Jeunesse reprend cet implicite de manière atténuée : « Réduire les sorties prématurées du système de formation initiale ».

Il s’ensuit que les stocks ont une grande importance quantitative dans le champ de l’emploi et une plus grande visibilité que les flux, alors que dans le champ de la formation, les flux sont à considérer avec une particulière attention. De manière quelque peu lapidaire, si 130 000 sorties prématurées par an sont jugées préoccupantes pour l’Éducation nationale, le cumul de ces flux sur dix ans dans les eaux d’un emploi précaire ou inégalement stabilisé est essentiellement un problème pour les acteurs en charge de la formation continue et de l’emploi. À cette restriction s’en ajoute une autre, liée à l’aire de compétence des expérimentateurs qui conditionne les modalités de choix des populations impliquées dans le dispositif mais aussi dans son évaluation.

1.2. Des choix non aléatoires des populations testées et évaluées

Trois populations sont concernées, sinon par le dispositif lui-même, par son évaluation, que l’on appellera la population mère de référence, parmi laquelle la population éligible à l’expérimentation, et enfin la population élue qui entre effectivement dans le dispositif.

De manière générale, la population mère peut aller jusqu’à l’ensemble des habitants d’un territoire faisant société, non sans quelques incertitudes aux frontières, mais qui peut être délimitée par des critères applicables à tous, tels que l’âge, le sexe, une position d’emploi ou de non-emploi, un niveau de revenu.

Dans certains cas, ce peut-être toute personne potentiellement affectée par un phénomène dont le traitement est à étudier : risque de santé, de scolarité, d’emploi, de niveau de vie. Dans le cas présent, une classe d’âge est ciblée, les 16-20 ans, au regard d’un risque concernant le niveau de formation atteint et la possibilité au regard de ce niveau d’obtenir un emploi.

La condition préalable pour qu’un tirage aléatoire puisse déterminer une population éligible au dispositif et ensuite une population élue au dispositif est son grand nombre. Or, l’aire de compétence des acteurs visés par cette expérimentation conduit dans le cas fréquent à opérer d’emblée un découpage régional ou académique. Le cumul de ces trois rétrécissements : la classe d’âge, le risque de scolarité et l’aire régionale rendent des tirages aléatoires particulièrement délicats et fragilisent toute opération qui serait fondée sur ces tirages.

Enfin, la nature de l’acteur régional/académique conduit à hiérarchiser les publics cibles opérant ainsi des césures supplémentaires. Un acteur assurant la fonction d’une administration centrale déléguée (rectorat, inspection académique) pourra être tenté de procéder par réassurance de missions antérieures, ou de relégitimation de services en principe en charge du problème posé ou d’une partie de son public. Un acteur mandaté par les électeurs (conseil régional, conseil général, municipalité) sera plus dépendant des échéances électorales, des agendas politiques qu’il ne maîtrise que partiellement, des priorités locales affichées. Tous deux sont liés à des temporalités de cycles fastes ou non de l’économie, de la démographie scolaire et des opportunités budgétaires externes, européennes en particulier, qui ont leurs propres échéances, mais aussi répondant à des préoccupations d’aménagement du territoire.

1.3. La population éligible

Dans le cas présent, la population mère aurait pu être définie par les jeunes d’une classe d’âge, les 16-18 ans, réduite à l’aire régionale. Parmi ceux-ci, la population éligible au dispositif aurait été les 16-18 ans en recherche ou en besoin d’une qualification minimale de niveau V. Or, un dispositif antérieur d’ampleur plus limitée préexiste comme dans la plupart des régions de France, même s’il prend des formes fort variables. Celui-ci a opéré une présélection en ne retenant que les 16-18 ans demeurés en contact récent avec l’école, ayant exprimé une demande d’inscription dans une formation, non satisfaite par l’institution de formation (ou plus précisément par son outil de gestion des affectations). La perception prévalente de la population éligible au nouveau dispositif s’en trouve fortement réduite puisqu’en sont exclus, au moins dans un premier temps :

• les 16-18 ans ayant perdu contact avec le système de formation initiale, et plus particulièrement l’éducation nationale : jeunes inactifs, jeunes au chômage, en stage ou en emploi inégalement stabilisé ;

• les 16-18 ans restés en contact récent avec le système de formation mais n’exprimant pas de demande de formation, même s’ils en auraient objectivement besoin (niveaux V bis et VI) ;

• les 16-18 ans ayant exprimé une demande en fin d’année scolaire, non satisfaite, et non maintenue ou renouvelée en septembre suivant.

Le premier groupe relève de ce qui, faute de mieux pourrait être appelé un effet d’évaporation au travers d’un système d’insertion aux mailles trop lâches, alors que le second groupe correspond plus à l’autocensure issue d’un effet d’éviction qui peut être technique, pédagogique ou social, alors que le troisième relèverait plutôt d’un effet de file d’attente.

A contrario, un dispositif centré sur l’aide à l’inscription dans une formation au moment de la rentrée qui est plus favorable à une mobilisation collective en matière scolaire, peut produire un effet de rétroaction et donc de remobilisation au sein de ces trois groupes. Il en résultera un gonflement au moins transitoire du phénomène que l’on s’est fixé pour objectif de réduire, nous y reviendrons.

Il en résulte que le dispositif expérimental projeté se greffe sur un état historique, transitoire et négocié de la population éligible, fruit d’interactions réelles et de représentations collectives locales de ce qu’est un

« jeune sans solution à la rentrée scolaire ».

1.4. La population élue

Il est à préciser que, à la différence d’autres dispositifs du même ordre, le public n’était pas a priori réduit à une catégorie définie administrativement, comme par exemple la somme des signalements de sorties de la part des chefs d’établissements scolaires. En effet, une logique de besoin est perceptible au travers du projet élaboré, d’une campagne de communication, et de tentatives récurrentes pour déborder des catégories administratives définies par d’autres qu’eux-mêmes.

Néanmoins, si un certain volontarisme a conduit l’expérimentateur à revenir sur certains biais de sélection, en particulier en tentant de communiquer avec les groupes exclus, il a introduit par là-même autant de biais supplémentaires de sélection :

• par une communication publique incitant ceux qui sont déjà sur le marché de l’emploi et/ou ceux qui ne s’estiment pas de niveau suffisant à formuler une demande,

• par un affinement de l’outil d’affectation qui conduit à faire d’autres propositions à ceux dont les demandes n’ont pas été satisfaites.

Dans le même temps l’échelle du dispositif change :

• la classe d’âge est élargie aux 18-20 ans,

• la durée du dispositif qui s’arrêtait en décembre est allongée à l’année entière.

134

Des incidences en matière de sélection de la population éligible sont nouvelles :

• les 18-20 ans ont une probabilité plus élevée d’avoir perdu contact avec le système de formation initiale,

• l’autocensure initiale a pu se trouver renforcée par des choix alternatifs auxquels il faudrait alors renoncer (installation dans la précarité, dépendance à l’égard des parents…),

• la nature des demandes fondées sur une première expérience du marché de l’emploi risque d’être décalée par rapport à une offre de formation au standard scolaire,

• la notion de sortie sans qualification se dédouble suivant la période de sortie du système de formation.