PARTIE 3 : REFLEXIONS SUR LES CONDITIONS DE REUSSITE DES EXPERIMENTATIONS
I. LES CONDITIONS DE REUSSITE D’UNE EXPERIMENTATION
Dans sa conclusion, le guide méthodologique de la MAFEJ philosophe : « S’il pense évaluer une expérimentation, en réalité il [l’évaluateur] expérimente une évaluation. » C’est effectivement le constat du CRÉDOC. Nombre de projets ont rencontré des obstacles dans leur déroulement et subi des ajustements en cours d’expérimentations. Malgré ces difficultés très diverses, au final, tous ont pu être évalués. Tirant de notre expérience un certain nombre de clés pour une évaluation réussie, nous revenons ici sur les principales questions qui se sont posées au moment d’analyser les résultats.
I.1.
Une montée en charge anticipée pour évaluer les effets
dès que les actions sont en place
Certains projets ont connu une montée en charge plus longue que prévue. Une conséquence a été dans certains cas le décalage de la date des premières enquêtes quantitatives pour qu’elles puissent porter sur un échantillon suffisamment grand statistiquement (au moins 100 personnes).
Au moment de la première interrogation, la cohorte de jeunes interrogés était alors composée de jeunes récemment entrés dans le dispositif mais aussi de jeunes présents depuis plusieurs mois.
Inversement, un projet d’accompagnement vers le logement a démarré et porté ses fruits très rapidement : le temps que la première vague d’enquête auprès des jeunes se mette en place (réception et vérification des coordonnées des jeunes, courriers d’information aux jeunes selon les recommandations de la CNIL…), environ un mois et demi après leurs premiers contacts avec le service médiation logement, un grand nombre de jeunes avait bénéficié d’une solution de logement grâce au dispositif. Il en est ressorti une faible évolution de la situation de logement des jeunes entre la première et la deuxième vague d’interrogation, puisque les effets du programme s’étaient fait sentir plus tôt. Les effets du dispositif ont ainsi été sous-estimés dans les enquêtes statistiques Ce sont les éléments tirés des méthodes qualitatives qui ont permis de comprendre la situation.
Ainsi, il s’agit de démarrer l’évaluation au moment approprié, ni trop tôt ni trop tard, en fonction de la temporalité du projet.
I.2.
Un public bien ciblé et clairement identifié
L’estimation d’effets propres d’un dispositif sur un public ciblé nécessite que la population bénéficiaire soit définie en lien avec l’objectif de l’expérimentation et bien identifiée.
Les ajustements méthodologiques intervenus en début ou en cours d’expérimentation ont parfois conduit à l’élargissement du public bénéficiaire (en vue d’atteindre des effectifs correspondant à ceux fixés avec la MAFEJ et pour répondre aux exigences de la statistique). Par exemple, dans un projet en faveur des jeunes sous main de justice, le public bénéficiaire initialement composé de jeunes incarcérés et candidats à un aménagement de peine a été élargi à des jeunes en milieu ouvert, c’est-à-dire bénéficiant déjà d’un aménagement de peine (ou condamnés à une peine alternative à l’incarcération). Dans le cas d’un projet visant des décrocheurs universitaires inconnus de la mission locale, la difficulté à mobiliser des listes provenant de l’université d’étudiants en cours d’abandon de leur cursus a amené à intégrer des jeunes déjà suivis par la mission locale impliquée. Un des projets portant sur l’accès au logement a intégré pour partie des jeunes pour lesquels la question de l’accès à un logement autonome n’était pas la priorité.
Ces élargissements ont pour conséquence de brouiller les résultats de l’expérimentation. Autrement dit, quand le public bénéficiaire a été élargi et ne correspond plus au public ciblé dans les objectifs initiaux, on n’observe plus qu’un impact dilué sur une population bénéficiaire plus large. Il n’est alors pas possible de conclure sur l’effet du programme sur le public ciblé initialement.
I.3.
Des actions qui diffèrent clairement du droit commun
Plusieurs projets évalués par le CRÉDOC consistaient en fait en un renforcement du droit commun. Du côté des partenariats, cela a impliqué des nouvelles modalités de fonctionnement. Dans le cadre de projets associant missions locales et services pénitentiaires de probation et d’insertion (SPIP), cela s’est par exemple traduit par la mise à disposition, au sein du SPIP, d’une permanence pour un Conseiller Justice de Mission locale qui était ainsi plus souvent présent à la maison d’arrêt, renforçant dans le même temps les échanges et la collaboration entre la Mission locale et le SPIP.
Pour les bénéficiaires en revanche, ces innovations de fonctionnement ne se sont pas forcément matérialisées par une prise en charge plus intensive que pour les jeunes témoins, ou encore que pour les usagers d’un territoire témoin tout aussi dynamique. Aussi, l’évaluateur a-t-il eu des difficultés à mesurer des effets propres sur les bénéficiaires. Le « traitement » (pour reprendre le vocable des économètres) du groupe bénéficiaire doit être différent de celui du groupe témoin sans quoi les différences potentielles de trajectoires entre les deux groupes ne sont pas forcément visibles, et en outre, ne peuvent en aucun cas lui être imputables.
De plus, si les jeunes bénéficiaires sont déjà connus des missions locales, il est difficile d’identifier la plus-value des dispositifs par rapport aux actions antérieures. Autrement dit, dans ces cas, il est difficile de distinguer dans l’évolution de leur situation ce qui est dû à l’accompagnement spécifique de ce qui serait lié au suivi antérieur. Pour déceler les effets propres d’un programme, il est donc préférable que les jeunes qui entrent dans l’expérimentation, en tant que bénéficiaires ou témoins, n’aient pas auparavant été suivis par les structures expérimentatrices - ou alors les jeunes déjà connus de la structure doivent être aléatoirement répartis dans les groupes bénéficiaires ou témoins.
Enfin, l’évaluateur doit avoir à l’esprit ce que recouvre le droit commun. Dans certains territoires, il englobe déjà un grand nombre de mesures en place. Il est alors plus difficile d’identifier les effets des dispositifs expérimentés qui se distinguent peu du droit commun. Par exemple, dans certaines zones d’actions de missions locales où il existait déjà des bourses au logement faisant concorder la demande et l’offre, des partenariats et un accompagnement personnalisé des jeunes, la plus-value du renforcement de ce droit commun est moindre que dans des territoires dépourvus de ces modes d’actions. A moins d’augmenter la taille des échantillons de jeunes faisant partie des expérimentations, les effets marginaux sont alors plus difficiles à déceler (voir encadré 3).
Il reste que, quand l’expérimentation consiste en un renforcement du droit commun identifiable et mesurable, et quand une population témoin a bien pu être définie et suivie, il est alors possible d’observer des effets sur les bénéficiaires comme dans le cas du projet d’orientation de l’université à l’entreprise. Les bénéficiaires ont effectivement eu plus de contacts et un suivi plus rapproché avec l’association porteuse du projet. Bien que les abandons d’études n’aient pu être évités, la situation en emploi est relativement meilleure pour les bénéficiaires que pour les témoins.
I.4.
Des actions qui répondent à un besoin identifié et précis
Une autre condition de la réussite d’une évaluation tient dans le fait que les dispositifs expérimentés répondent à un besoin précisément identifié. S’il est pertinent d’aider les jeunes à accéder à un logement autonome, il est apparu que leur proposer un accompagnement dans la durée pour trouver un logement ne répond pas à leurs attentes réelles, car les besoins en logement correspondent à des demandes urgentes. Par exemple, dans le cas de l’accompagnement vers le logement, après un premier contact et des éventuelles visites de logement, le suivi par les professionnels dédiés au public bénéficiaire consistait en des rappels téléphoniques dans les mois suivants, mais restés sans écho du côté des jeunes qui n’en avaient en fait pas besoin. Il est apparu qu’ils se sont rapidement tournés vers leurs proches, le réseau relationnel s’étant montré plus direct et plus efficace. En outre, il semblerait que l’accompagnement proposé dans l’accès au logement autonome peut être contradictoire avec la recherche d’autonomie des jeunes.
De plus, malgré les réflexions menées en amont, certains des projets que le CRÉDOC a évalués n’étaient pas assez précisément définis au moment où l’expérimentation s’est mise en place. Les effets recherchés étaient diffus et les objectifs mal définis malgré une formalisation déjà poussée dans la phase d’élaboration du projet pour candidater au FEJ.
Implicitement, c’est la question de l’adhésion des bénéficiaires au dispositif qui se pose et doit être anticipée. Conformément à la trame de rapport élaborée par la MAFEJ, l’évaluateur était invité à porter « dans la mesure du possible un jugement sur le niveau d’adhésion du public au dispositif et sur de possibles décalages entre le public visé initialement et celui qui a effectivement adhéré au dispositif », et à préciser notamment « si selon lui le dispositif a été suffisamment attractif pour les bénéficiaires ou pas ». L’évaluateur devait, a posteriori donner des précisions sur « les conditions d’éligibilité des bénéficiaires et les modes de prescription » : « ces derniers étaient-ils adaptés ? Les prescripteurs ont-ils adhéré à la philosophie et aux modalités du dispositif ? » S’il est légitime de s’interroger a posteriori sur la façon dont le dispositif a été investi par le public ciblé37, la question de la pertinence de l’action au regard des critères d’éligibilité doit, d’après notre expérience, être abordée en profondeur dès la conception de l’expérimentation.
I.5.
Des financements qui coïncident avec la période
d’évaluation
Les protocoles d’évaluation déployés par les évaluateurs comportaient des phases d’entretiens avec les partenaires ainsi que l’interrogation des bénéficiaires (et des témoins), nécessairement programmées en fin d’expérimentation pour en saisir les effets à moyen terme. Il n’était ainsi pas possible que les résultats soient disponibles au moment où les financements s’arrêtent. A fortiori,
les résultats ne pouvaient être disponibles avant la fin de l’expérimentation. En outre, trois mois étaient ensuite dévolus à la rédaction du rapport d’évaluation38. De plus, les résultats des
évaluations étaient en fait destinés à la MAFEJ et devaient d’abord être validés par la mission, qui réservait un mois à cette dernière étape. Sans remarques de la MAFEJ dans ce délai, c’est au bout d’un mois que les rapports des évaluateurs ont été rendus publics et transmis aux porteurs.
Le calendrier des évaluations formaté par la MAFEJ ne coïncidait donc pas complètement avec celui des expérimentations. En outre, les évaluations s’étalaient sur une durée un peu plus longue que celle des financements provenant de la MAFEJ. En pratique, ce décalage a posé de réels problèmes de coordination de l’évaluation et a pu affecter les conditions mêmes de l’évaluation.
Concrètement, pour ces professionnels, fortement investis sur le terrain, la fin de la période d’expérimentation a signifié la fin des financements alloués aux projets, sans pour autant coïncider avec la date de diffusion des résultats. Pour l’évaluateur cela a des conséquences directes : pour certains programmes, une fois l’expérimentation terminée, le CRÉDOC n’a plus eu d’interlocuteurs du côté des porteurs de projet (fin des CDD prévus pour l’accompagnement et financés par le FEJ).
I.6.
Un positionnement clair de l’évaluateur : une distance
suffisante pour porter un jugement évaluatif
La position de l’évaluateur est délicate au sein d’une expérimentation. Une difficulté rencontrée à chaque étape de l’évaluation et, en particulier, au moment de porter un jugement évaluatif, est celle de maintenir une distance et une neutralité dans l’élaboration des conclusions.
Le CEREQ qui a évalué de nombreuses expérimentations pour la jeunesse note bien l’impossible position de neutralité du sociologue dans le cadre de l’expérimentation39 : le métier de sociologue
consiste à « opérer une rupture par rapport au sens commun et mettre en évidence les présupposés tacites de ses sujets d’étude ». Or le guide méthodologique demandait à l’évaluateur de rester dans la logique des projets et de ne pas questionner la problématique de l’expérimentateur. Sa tâche consistant à vérifier l’impact des projets. Il est impossible d’interroger les prénotions, de faire le travail de construction de l’objet spécifique à la démarche du sociologue et d’adopter une posture critique.
Comment disposer alors de la distance nécessaire à la réflexion méthodologique ?
En participant à des comités de pilotage en observateur, le CRÉDOC a pu suivre le déroulement des expérimentations sans intervenir sur leur contenu. Il a aussi pu s’assurer de la bonne mise en œuvre des outils de suivi tels que les tableaux de bord.
38 Les porteurs ont également rédigé des rapports à destination de la MAFEJ. 39 Divay, 2012.