Partie 1 - L'expérience sociale Tremplin / Présentation et méthodologie
2. MÉTHODOLOGIE
2.3. Analyse de l’impact
Définition de la notion d’impact
La notion d’impact renvoie au concept de changement qui peut être positif ou négatif. Dans cette perspective, l’appréciation de l’impact relevant d’une action s’inscrivant dans le cadre de la mise en œuvre d’un projet s’efforce de mesurer les changements observables. Pour ce faire, le jugement évaluatif permettant d’apprécier l’impact repose sur l’identification d’indicateurs d’impact (effets).
C’est le renseignement de ces indicateurs qui a pour finalité de mesurer les changements produits à la suite de la mise en œuvre du dispositif innovant du projet à savoir le pole 1er emploi et la mobilité internationale. Au sein de l’expérience sociale, deux expérimentations sont mises en place :
- des actions destinés à favoriser l’insertion professionnelle des futurs jeunes diplômés ;
- des actions spécifiques pour permettre la mobilité européennes des futurs jeunes diplômés par le biais d’un stage ou pour un premier emploi à l’étranger. Cela concerne 60 jeunes sur toute la période du projet.
L’impact du projet Tremplin est l’amélioration éventuelle de l’insertion professionnelle des jeunes diplômés. Cependant, les actions menées dans le cadre du projet permettent une mesure d’un certain nombre de résultats observables qui contribuent de façon directe ou indirecte à l’impact du projet. Tandis que les résultats et les effets renvoient aux changements produits directement par l’action (conformément aux objectifs du projet), l’impact constitue ainsi une situation finale caractérisée par des changements qui sont la résultante de l’association des résultats et des effets.
Définition
L'impact d'un projet peut être défini comme l’ensemble des changements significatifs (observables), durables, positifs et négatifs, prévus et imprévus.
Ces changements ont un lien de causalité avec l’action sur les populations cibles.
L’impact se mesure dans une temporalité donnée qui dépend de la maturité de l’action auquel le projet se rapporte.
Dans le cadre du projet Tremplin, l’impact est l’amélioration éventuelle de l’insertion professionnelle des jeunes diplômés.
Perçue comme telle, la notion d’impact renvoie à la perception des changements issus directement et indirectement de l’action mise en œuvre dans la mesure où de nombreux facteurs indépendants du projet peuvent se combiner avec les résultats observables qui résultent des actions mises en œuvre.
Pour ces raisons, la temporalité dans laquelle s’insère l’action et la période d’observation constitue un élément fondamental dans la mesure de l’impact du projet Tremplin.
Critères de jugement et indicateurs
Les indicateurs d’impact, de résultats et des effets sont des signes vérifiables et mesurables qui, par comparaison à une situation de référence, permettent de porter une appréciation que l’on nomme
« jugement évaluatif ». Dans le cadre du projet, l’appréciation de l’impact renvoie à l’appréciation des
effets à court terme (c’est-à-dire sur des périodes de 6 mois, 12 mois et 18 mois) sur deux populations distinctes :
La mesure des résultats et effets sur le corps enseignant et le personnel encadrant ;
La mesure des résultats et effets sur les jeunes diplômés en termes d’insertion professionnelle et de mobilité.
Afin de restituer un jugement évaluatif, les indicateurs d’impact doivent être qualitatifs et quantitatifs. Ils ont pour finalité de mesurer les effets. Pour chaque effet identifié correspond un ou plusieurs indicateurs à renseigner conformément à la grille ci-dessous :
Typologie des effets et correspondance des indicateurs
Effets / Thématique Effets / Indicateurs Mesure de Comparaison Témoins / expérimentés Taux d´insertion professionnelle
Chômage/emploi
Taux de personnes en situation d´emploi
Taux d´insertion professionnelle Offre d’emploi
Taux d´offres d´emploi proposées
Taux d´insertion professionnelle Le statut
Taux de personnes cumulant plusieurs CDD
Taux d´insertion professionnelle La vitesse d’insertion
Taux de personnes en situation d´emploi à la date T
Taux de fréquentation du PPE L’intensité du recours à la candidature spontanée
Taux de CV envoyés
Efficacité de la candidature spontanée Taux de CV retournés
Efficacité de la recherche Les entretiens
Taux d’entretiens
Intensité de la recherche Les entreprises contactées
Taux d’entreprises contactées
La qualité du statut d’emploi Taux de contrats CDI Stabilité de l’emploi Taux de contrats CDD La reconduction des contrats reconduis
Qualité de l’emploi
Stabilité de l’emploi Durée des contrats CDD
Durée moyenne des contrats CDD en mois
Niveau de salaire Salaire moyen Salaire médian Qualité du statut
L’emploi à temps partiel
Taux de contrats à temps partiel subis
Mobilité
Le stage à l’international
Mobilité internationale Taux d´insertion professionnelle Chômage/emploi
Ratio du nombre de stagiaires à l’international ayant un emploi
Mobilité internationale et La vitesse d’insertion
Mobilité internationale La qualité du statut d’emploi
Mobilité
L’insertion professionnelle
Rayon des entreprises contactées Rayons : local (10kms),
Lille/Grenoble, région, national, international
Rayon des entreprises ayant répondu Rayons : local (10kms),
Lille/Grenoble, région, national, international
Analyse de l’impact
L’analyse de l’impact présuppose l’existence d’effets (directs et indirects) potentiellement observables. Compte tenus des actions mises en œuvre, les effets peuvent être regroupés sous deux catégories principales dont la seconde renvoient à trois sous-catégories d’effets tel qu’évoqué dans l’encart ci-dessous :
Partant de l’hypothèse que le pôle 1er emploi a impacté les établissements bénéficiaires (établissements pilotes ou expérimentés8), l’impact résulte de deux catégories d’effets :
- du taux d’implication des personnels d’établissements dans la mise en œuvre et le fonctionnement des pôles 1er emploi ;
- du taux d’insertion des jeunes diplômés sur le marché de l’emploi.
L’insertion professionnelle des jeunes diplômés peut être déclinée en trois sous-catégories d’effets : - la perception du jeune du marché du travail ;
- la qualité des emplois occupés ; - la mobilité9 des jeunes.
L’analyse de l’impact est de facto limitée par le niveau de maturité du projet. En effet, les deux catégories de résultats s’apprécient en ex-post. Or, la période de l’évaluation de l’expérimentation sociale ne permettra pas de mesurer les impacts à moyen et long terme dans la mesure où l’analyse intervient sur la période de mise en œuvre du projet. L’appréciation de l’impact sera donc limitée à l’analyse des résultats positifs ou négatifs observables sur la période de l’évaluation, c’est-à-dire à court terme.
Pour ce faire, nous proposons de découpler l’étude d’impact des deux expérimentations mises en place comme suit :
L’appréciation de l’impact des mobilités internationales (MI) constituera l’objet de la première cohorte10. L’appréciation des effets du Pôle Premier Emploi en termes d’impacts ne sera pas réalisable sur la première cohorte dont les jeunes seront diplômés en 2013. En effet, le pôle n’aura soit, pas été mis en œuvre, ou l’aura été trop récemment dans les établissements pilotes pour permettre au CS de porter un jugement évaluatif. Par ailleurs, l’étude de la mobilité sur la 2ècohorte sera trop limitative car la temporalité nécessaire pour l’appréciation de l’impact coïncidera avec la fin de l’évaluation la qualité des emplois occupés ;
L’analyse de l’impact du pôle premier emploi (PPE) en termes d’insertion professionnelle relative à la perception du jeune par rapport au marché de l’emploi et à la
8 Dans le texte, la notion d’établissements « pilotes » se confond avec « expérimentés ».
9 Le terme mobilité renvoie à la mobilité régionale et internationale.
10S’agissant de petits effectifs (les jeunes ayant bénéficié de mobilité uniquement), le CS ne retient pas la proposition des DAET sur un couplage avec l’enquête ADESI et/ou IVA menée par le SAIO pour cette cohorte sauf marginalement pour la formulation de nos questions. Pas d’utilisation des établissements témoins pour cette première cohorte.
qualité des emplois occupés est réalisée sur la base du suivi de la seconde cohorte.
L’analyse rend également compte des changements opérés sur les personnels d’établissements impliqués dans la mise en œuvre du projet. Ceci résulte de la nécessaire mise en œuvre des PPE dans les établissements pilotes afin de pouvoir en apprécier les effets11 et résultats.
Afin de maximiser l’observation de l’impact, le comité scientifique propose de répartir l’analyse des effets à partir du suivi des deux cohortes distinctes.