USAGES ET UTILITE DES EVALUATIONS

III.1.

Usage et utilité des évaluations par les porteurs

Si, pour les évaluateurs, les expérimentations ont représenté une expérience riche d’enseignements méthodologiques et une opportunité d’étendre leurs recherches dans le champ de la jeunesse, les porteurs de projet ont eu, quant à eux, une approche pragmatique en lien avec leur métier de terrain.

Pour les porteurs de projets et leurs partenaires, les expérimentations financées par le FEJ ont incontestablement représenté une opportunité d’élargir leur champ d’action, de développer des partenariats locaux, de renforcer les actions existantes, de tester des actions nouvelles ou parfois simplement de faire bénéficier à un public plus large les actions déjà existantes. L’intérêt scientifique des expérimentations sociales est parfois éloigné des préoccupations des professionnels qui sont confrontés quasi quotidiennement à des publics en difficulté et parfois en détresse. Pour nombre d’entre eux toutefois, l’évaluation, si elle a pu apparaître initialement comme une contrainte, devait finalement apporter les preuves objectives de l’utilité et l’efficacité de leur action pour pouvoir obtenir des financements. Aussi l’ont-ils acceptée et ont-ils formulé de fortes attentes envers ses résultats.

Il est toutefois probable que la plupart d’entre eux se sont lancés dans ces projets, forts de la conviction que les actions expérimentées étaient pertinentes et qu’ils trouveraient un moyen de les maintenir, quels que soient les résultats des évaluations. Le FEJ apportait des financements à hauteur de 50% maximum du budget des projets, financements qui s’interrompaient à la fin des deux à trois ans d’expérimentation. Ce cadre a généré un sentiment d’incompréhension de la part de beaucoup de porteurs de projet. En effet, s’ils désiraient prolonger leurs actions, ce qui était le souhait de la plupart d’entre eux, ils devaient donc se mobiliser dans la recherche de financements avant la fin de la contribution du FEJ, et par conséquent bien avant l’établissement des résultats finaux de l’évaluateur « officiel ». Ainsi, un centre communal d’action sociale, par exemple, a obtenu avant la fin de l’expérimentation un financement direct pour mettre en place le dispositif de microcrédit qu’il a « expérimenté » avec le soutien financier du FEJ (CCAS Besançon). De même, une plate-forme pour l’orientation vers et l’accompagnement pendant l’apprentissage a été pérennisée bien avant la fin de l’évaluation grâce à un mécénat et des financements de la politique de la ville (Fondation d’Auteuil). Dans d’autres cas, quelques actions ont été maintenues. Un dispositif d’insertion de jeunes sortant de prison a été prolongé pour deux ans avec le soutien du Préfet à l’Égalité des chances et de collectivités territoriales. Enfin, un projet est en voie de pérennisation et pour divers autres projets, des recherches de financement sont actuellement en cours.

Paradoxalement, les porteurs de projet n’ont pas pour autant rejeté le principe de l’évaluation. Anticipant le fait que les résultats ne seraient disponibles que bien après la fin des financements, plusieurs porteurs ont en fait mis en place leurs propres évaluations en interne - devançant donc parfois celles du CRÉDOC. Tous n’ont pas eu besoin de le faire pour trouver des financements auprès de partenaires locaux qui avaient pu constater localement des effets positifs. Mais les

évaluations menées en parallèle par les évaluateurs extérieurs ont sans doute jeté le discrédit sur certains résultats qui arrivaient « trop tard » et ont pu nuire à nos relations avec les porteurs. On peut craindre qu’ils ne soient pas prêts à recommencer une expérimentation : savoir que les financements sont temporaires n’incitera pas forcément des porteurs à mobiliser leurs forces et monter des projets qui ont une durée de vie déterminée.

Ces constats posent évidemment la question de l’utilité, pour les porteurs, des évaluations financées par le FEJ. On peut se réjouir que cela favorise le développement d’une culture de l’évaluation en interne, sensibilise les acteurs publics et privés aux méthodes quantitatives et qualitatives des chercheurs, et leur donnent des clés d’aide à la décision. Restent toutefois en suspens la question de l’utilité de ce vaste chantier de petites expérimentations et la question du décalage entre la temporalité de l’action de terrain et celle de l’action politique. Jusqu’à présent, ces expérimentations lancées par le FEJ n’ont pas débouché sur des politiques nationales en faveur de la jeunesse, le contexte budgétaire s’étant révélé peu favorable.

III.2.

Enseignements de politiques publiques

L’un des intérêts des expérimentations n’est pas d’aboutir à la pérennisation ou la généralisation de l’ensemble de ces dispositifs mais de faire émerger des idées, des bonnes pratiques. En réalité, l’usage qui est fait des expérimentations implique une « capacité d’extrapolation »47.

La thématique du logement, abordée sous des formes très diverses dans les projets, s’est révélée très complexe car le logement est un élément central du processus d’autonomisation des jeunes qui dépend étroitement du parcours personnel et professionnel. De plus, la question du logement est naturellement fortement liée au contexte local. Enfin, elle ne se prête probablement pas à un suivi à long terme.

Les plateformes de lutte contre le décrochage ont été généralisées avant la fin des expérimentations, renforçant les liens partenariaux tissés en cours d’expérimentation.

Si les porteurs de projets ont pu se montrer impatients ou déçus vis-à-vis des résultats de l’évaluation, il est incontestable que les expérimentations ont conduit à de nombreux échanges et à de riches partages d’idées, en particulier lors des journées thématiques organisées tous les 6 mois sur chaque thème par la MAFEJ. D’après l’expérience du CRÉDOC, la MAFEJ n’a pas piloté de façon rapprochée l’ensemble des projets, leur nombre très élevé empêchant sans doute une forte implication de sa part. Les porteurs ont pu s’emparer des résultats de projets proches des leurs par le biais des réseaux des CCAS ou ceux des conseils généraux, ou à travers le rôle du Conseil National des Missions Locales.

Le travail de capitalisation des résultats de cet ensemble très riche d’expérimentations reste à réaliser. Pour l’instant aucun enseignement global n’a été tiré officiellement de tous ces projets.

CONCLUSION

Les expérimentations financées par le Fonds d’expérimentation pour la Jeunesse (FEJ) ont couvert une grande diversité d’actions. Certains dispositifs ont par exemple proposé un accompagnement renforcé des bénéficiaires par rapport à celui existant dans le droit commun, tandis que d’autres ont expérimenté des actions nouvelles (par exemple des ateliers et des formations spécifiques à destination des jeunes sous main de justice, dans le cadre d’un aménagement de peine) ou élargi aux jeunes leur public cible. Au sein de chaque projet, les objectifs fixés par l’évaluation étaient multiples : mesure de l’impact sur les bénéficiaires en termes d’accès au logement, d’accès à l’emploi, de parcours dans l’apprentissage, de récidive, de processus d’autonomie, d’estime de soi, analyse des conditions de mise en œuvre, mesure de l’impact sur les acteurs des dispositifs et les partenariats.

Les évaluations menées par le CRÉDOC depuis 2009 ont permis de mettre en évidence certains effets sur les bénéficiaires et de tirer des enseignements sur les conditions de mise en œuvre des projets. Les évaluations conduites ont principalement permis de porter un jugement évaluatif sur les aspects qualitatifs des projets, c'est-à-dire les conditions de mise en œuvre des actions et les dynamiques partenariales qui les sous-tendent. Les mesures d’impact des projets sur les bénéficiaires ont cependant été limitées en raison des difficultés rencontrées pour mettre en place des échantillons témoins aléatoires et suivre les bénéficiaires et témoins dans le temps. Le principal obstacle au déploiement des méthodes quantitatives est en définitive lié aux effectifs réduits de jeunes concernés par les expérimentations évaluées.

L’expérience du CRÉDOC rejoint celle d’autres chercheurs, notamment le CEREQ, qui a également évalué un nombre important d’expérimentations dans le cadre du FEJ. Les constats dressés remettent en question le dogme de la randomisation. L’expérimentation basée sur l’assignation aléatoire des potentiels bénéficiaires à un groupe test ou à un groupe témoin est aujourd’hui toujours érigée en règle d’or48 _{et est la méthode préconisée dans les appels à projets de la}

Commission Européenne. Difficile à mettre en œuvre en pratique, elle l’est tout particulièrement dans le cadre de projets de faible envergure qui concernent une population de taille réduite. En termes de méthodes, notre bilan nous incite à ne pas préconiser une utilisation exclusive des approches randomisées. L’approche qualitative a en effet permis d’apporter des informations précises et précieuses pour l’évaluation, notamment sur les questions de mise en œuvre des dispositifs et de fonctionnement des partenariats. Nous recommandons ainsi à l’avenir de développer davantage d’outils qualitatifs : observations sur site, entretiens approfondis de type « récits de vie »… De façon plus générale, il importe de ne pas perdre de vue les autres méthodes d’évaluation et ne pas oublier que l’expérimentation reste une forme d’évaluation parmi d’autres.

48 _{Le terme de « gold standard » a été mentionné en 1993 par les économistes Rossi et Freeman au sujet de la}

D’autres facteurs ont par ailleurs conditionné la nature et la portée des résultats produits : le ciblage plus ou moins précis des populations éligibles, le caractère plus ou moins innovant des actions expérimentées ou encore la durée de l’évaluation souvent amputée par une montée en charge trop longue. A ce titre, la réalisation d’études de faisabilité et la mise en place de phases pilotes préalables à l’expérimentation, font partie des principales préconisations que nous formulons.

Aujourd’hui, parmi les évaluateurs comme au sein de la MAFEJ, le mot d’ordre est la « capitalisation ». Sans cela quel sens donner à autant de petits projets ? Quel apport pour les politiques en faveur de la jeunesse ? Indubitablement, les centaines de projets expérimentés et évalués dans le cadre du Fonds d’expérimentation pour la Jeunesse constituent un vivier d’idées dans lequel il sera possible de puiser àl’avenir. Les porteurs de projets et leur partenaires n’ont généralement pas attendu les résultats de l’évaluation, ni même la fin des expérimentations pour prolonger leurs actions. Les échanges entre porteurs sont nombreux, que ce soit sous l’égide de la MAFEJ et ses ateliers thématiques ou à travers les réseaux tels que le CNML ou l’UNCASS. Sans doute, le Fonds d’expérimentation pour la Jeunesse aura-t-il joué un rôle de catalyseur des politiques locales de le jeunesse. L’important aujourd’hui est de prolonger le partage de bonnes pratiques afin de continuer à dynamiser les concepteurs et acteurs des politiques sociales. La MAFEJ vient de commencer le travail de synthèse des centaines de projets financés, dont la plupart se terminent tout juste actuellement. Pour les évaluateurs que nous sommes, le travail se poursuit donc sur le terrain de la réflexion méthodologique et des échanges entre chercheurs, qui pourront s’envisager au travers de réseaux d’experts au niveau national, mais aussi au niveau européen.

BIBLIOGRAPHIE

Isa ALDEGHI, Pauline JAUNEAU et Lara MULLER, « Quatre expérimentations pour favoriser l’insertion des jeunes sous main de justice », Consommation et mode de vie n°256, CRÉDOC, octobre 2012.

Guillaume ALLEGRE, L’expérimentation du RSA et ses ambiguïtés, Informations sociales n°174, CNAF, novembre-décembre 2012, pp.52-60.

Denis ANNE et Yannick L’HORTY, « Aides sociales locales, revenu de Solidarité active (RSA) et gains du retour à l’emploi », Economie et Statistique n°429-430, INSEE, 2009, pp. 129-157.

Jean-Claude BARBIER, « Évaluation "expérimentales" : quelques leçons de l’histoire », Politiques sociales et familiales n°110, CNAF, décembre 2012, pp.19-31.

Jean-Claude BARBIER et Nicolas MATY-JASIK, « Évaluation des politiques publiques et quantification en France : des relations ambiguës et contradictoires entre disciplines », Revue Française de Sciences Economiques n°5, 2010, pp. 123-140.

Luc BEHAGHEL, Bruno CREPON et Marc GURGAND, Evaluation d’impact de l’accompagnement des demandeurs d’emploi par les opérateurs privés de placement et le programme Cap vers l’entreprise - Rapport final, CREST-Ecole d’Economie de Paris, Septembre 2009, 59 pages.

Manon BREZAULT, Christine OLM, Matthieu ANGOTTI et Marie-Odile SIMON, Politiques locales de la jeunesse et expérimentations sociales – Vers une cohérence des politiques de la jeunesse ? CRÉDOC, Cahier de recherche n°266, décembre 2009.

Elisa CHELLE, « Expérimentation sociale : la tentation américaine », Informations sociales n°174, CNAF, novembre-décembre 2012, pp.24-30.

Julien DAMON, « La fièvre de l'évaluation », Sciences Humaines n°208, octobre 2009.

Sophie DIVAY, « L’évaluation qualitative : objectiver sans compter », Bref du CEREQ n°286, CEREQ, mai 2011.

Sophie DIVAY, « "Sociologue-évaluateur" : un oxymore ? » Informations sociales n°174, CNAF, novembre-décembre 2012, pp.114-120.

Pauline DOMINGO, « Évaluation des effets de l'accompagnement sur les trajectoires des bénéficiaires : quels enseignements ? », Informations sociales n° 169, CNAF, 2012, pp. 100-107.

Fonds d’expérimentation pour la Jeunesse, Guide méthodologique pour l’évaluation des expérimentations sociales à l’intention des porteurs de projets, avril 2009, 22 pages.

Fonds d’expérimentation pour la Jeunesse, Rapport du Conseil scientifique du Fonds d’expérimentation pour la jeunesse pour l’année 2011, 19 pages.

Pauline GIVORD, « Méthodes économétriques pour l’évaluation de politiques publiques », Document de Travail N° G2010/08, Insee.

Marc GURGAND et Mathieu VALDENAIRE, « Expérimentations : conception et pilotage - Le Fonds d’expérimentation pour la jeunesse et les politiques éducatives : premier retour d’expérience », Éducation & formations n° 81, mars 2012, pp. 27-37.

Annie FOUQUET, « L’usage des statistiques : de l’aide à la décision à l’évaluation des politiques publiques », Revue Française des Affaires sociales n°1-2, 2010, pp.309-322.

Léopold GILLES, « Les évaluations conduites dans le cadre du Fonds d’expérimentation pour la Jeunesse : premier retour d’expérience », Informations sociales n°174, CNAF, novembre-décembre 2012, pp.66-73.

Bernard GOMEL et Évelyne SERVERIN, Évaluer l’expérimentation sociale, Centre d’Études de l’Emploi, Document de travail n°143, 21 pages.

J-Pal Europe, Social experimentation – A methodological guide for policy makers, rédigé à la demande de la Direction Générale de l’Emploi, des Affaires sociales et de l’Inclusion de la Commission européenne, septembre 2011, 30 pages.

http://ec.europa.eu/social/BlobServlet?docId=7102&langId=en

Marjorie JOUEN, « L’expérimentation sociale prend sa place dans l’Union européenne », Informations sociales n°174, CNAF, novembre-décembre 2012, pp.32-40.

Agnès LABROUSSE, « Nouvelle économie du développement et essais cliniques randomisés : une mise en perspective d’un outil de preuve et de gouvernement », Revue de la régulation n°7, 1er semestre 2010, pp.2-30.

Philippe LEMISTRE, « L’évaluation en sciences sociales est-elle un mythe? Le cas des politiques éducatives », in Evaluation et données longitudinales : quelles relations ? Actes des XVIIèmes journées d'étude sur les données longitudinales dans l'analyse du marché du travail, Marseille, 27- 28 mai 2010, Relief n° 30 , 2010 , pp.111-121.

François LEGENDRE, « Le recours croissant aux expérimentations sociales en économie », Informations sociales n°174, CNAF, novembre-décembre 2012, pp.14-22.

Peter H. ROSSI et Howard E. FREEMAN, « Evaluation : a Systematic Approach », Newbury Park, Sage, 1993.

Patrick VIVERET, L'évaluation des politiques et des actions publiques : Propositions en vue de l’évaluation du Revenu Minimum d’Insertion – Rapport au Premier Ministre, Observatoire de la décision publique, juin 1989, 57 pages.