• Aucun résultat trouvé

Document d'études 2012-174 - Le Panel 2008 des bénéficiaires d’un contrat aidé et d’une population témoin (PDF, 1.05 Mo)

N/A
N/A
Protected

Academic year: 2021

Partager "Document d'études 2012-174 - Le Panel 2008 des bénéficiaires d’un contrat aidé et d’une population témoin (PDF, 1.05 Mo)"

Copied!
38
0
0

Texte intégral

(1)

Document d’études

direction de l’animation de la recherche, des études et des statistiques

Numéro 174

Novembre 2012

Le Panel 2008

des bénéfi ciaires

d’un contrat aidé

et d’une population témoin :

un outil d’évaluation

de l’impact des contrats aidés

sur la trajectoire

professionnelle

des demandeurs d’emploi

Isabelle Benoteau,

Sylvie Le Minez,

Laurent Lequien

et Véronique Rémy

Les documents d’études sont des documents de travail ; à ce titre, ils n’engagent que leurs auteurs et ne représentent pas la position de la DARES

(2)

Le Panel 2008 des bénéficiaires d’un contrat aidé et

d’une population témoin

un outil d’évaluation de l’impact des contrats aidés sur la trajectoire

professionnelle des demandeurs d’emploi

Résumé

Le « Panel 2008 » est une enquête de la Dares visant à décrire les trajectoires des bénéficiaires de contrat aidé et à évaluer l’effet du passage en contrat aidé (CIE, CAE, CAV, et CI-RMA) sur ces trajectoires. Il s’agit d’une enquête en deux vagues menée fin 2008 et fin 2009, auprès d’un échantillon de demandeurs d’emploi qui se sont inscrits à l’ANPE au printemps 2005, dont certains ont été recrutés en contrat aidé entre le deuxième trimestre 2005 et le deuxième trimestre 2007 (bénéficiaires) et d’autres non (témoins). Le Panel 2008 a été conçu dès l’origine dans une optique évaluative, via no-tamment la mobilisation de techniques d’appariement (matching). L’enquête comprend, entre autres, de nombreuses variables permettant de capter au mieux l’hétérogénéité in-observée des répondants. Ce document d’études détaille la conception et la réalisation de l’enquête, depuis l’échantillonnage jusqu’au traitement de la non-réponse. Les diffé-rentes dimensions à prendre en compte lors des futures évaluations sont explicitées. En effet, compte tenu de la large fenêtre d’entrée et des informations disponibles pour ca-ractériser le déroulement du contrat aidé, le Panel 2008 permet d’intégrer dans l’analyse plusieurs dimensions de l’hétérogénéité du programme (durée du contrat, délai avant l’entrée en contrat, accompagnement associé, etc.) pour différencier l’effet de la mesure selon les conditions de sa mise en œuvre. Enfin, sans proposer à ce stade de résultats d’évaluation, sont présentés quelques résultats descriptifs sur les trajectoires comparées des bénéficiaires et des témoins.

Mots-clés : politiques actives du marché du travail, matching, évaluation, pondérations. Codes JEL : C42, H53, J23, J38.

La conception, la réalisation et l’exploitation du Panel 2008 sont le fruit d’un travail collectif au sein du département des politiques de l’emploi de la Dares qui a débuté en 2007. Outre les auteurs de ce document d’études, y ont contribué : Marlène Bahu, Olivier Biau, Catherine Daniel, Céline Gratadour, Pierre Lamarche et Béatrice Le Rhun.

(3)

Table des matières

Introduction 3

1 Les contrats aidés issus de la loi de cohésion sociale de 2005 4

1.1 Critères d’éligibilité . . . 4

1.2 Caractéristiques des contrats aidés . . . 5

2 Le Panel 2008 : une enquête conçue pour l’évaluation 6 2.1 Principes de l’évaluation . . . 6

2.2 Échantillonnage . . . 8

2.3 Richesse du questionnaire . . . 10

2.3.1 Une caractérisation fine des bénéficiaires et des témoins potentiels . . 11

2.3.2 Un calendrier d’activité détaillé pour mieux appréhender les trajec-toires professionnelles . . . 12

2.4 Recueil des données et correction de la non-réponse . . . 14

3 Description du programme évalué 17 3.1 Un public recruté très différent selon les contrats . . . 17

3.2 Déterminants de l’entrée en contrat aidé . . . 18

3.3 Caractéristiques du programme étudié . . . 20

3.3.1 Délai avant l’entrée en contrat aidé . . . 21

3.3.2 Durée du contrat aidé . . . 22

3.3.3 Contenu du contrat aidé . . . 24

4 Analyse des trajectoires 25 4.1 Situation des bénéficiaires à la sortie de leur contrat aidé . . . 25

4.2 Une première comparaison des trajectoires des bénéficiaires et des témoins . . 28

Conclusion 29

(4)

Introduction

Les politiques actives du marché du travail, mises en œuvre par l’ensemble des pays occidentaux, ont pour principal objectif d’aider les demandeurs d’emploi à se réinsérer sur le marché du travail. Elles comprennent les politiques d’aide à la recherche d’emploi, les politiques de formation, les politiques de subvention et les politiques de créations d’emplois publics temporaires. L’importance des sommes qui y sont consacrées (16 Mde en 2010 en France) font que les politiques actives constituent un enjeu de taille pour la politique éco-nomique. Elles sont d’ailleurs fortement mobilisées en période de forte dégradation de la conjoncture afin de limiter la hausse du chômage. Ces politiques sont souvent difficiles à évaluer en raison du caractère multidimensionnel des objectifs qui leur sont assignés (aide à l’insertion, rôle contra-cyclique, soutien à l’activité, amélioration du capital humain) et de la multiplicité des états possibles sur le marché du travail (emploi, chômage, activité réduite, formation, etc.).

L’évaluation des politiques de l’emploi a toujours été une préoccupation des pouvoirs publics dont l’intensité a cru parallèlement aux fonds qui y ont été affectés et au nombre de personnes concernées par ces mesures. Dans les années 1970, le développement des politiques de l’emploi ciblées sur des publics particuliers s’est de prime abord accompagné du suivi du nombre et des caractéristiques des bénéficiaires ainsi que des coûts budgétaires associés. L’évaluation des principaux dispositifs ciblés a ensuite été systématisée au cours des années 1980 et une attention constante a été portée au taux d’emploi à la sortie des mesures (Gé-lot et Simonin, 1996). Des enquêtes régulières destinées à qualifier l’insertion professionnelle plusieurs mois après la sortie des dispositifs existent toujours aujourd’hui (Biau, Fendrich et Le Rhun, 2008 ; Fendrich et Rémy, 2009). Parallèlement, des enquêtes ont été menées auprès des employeurs afin d’identifier les effets des dispositifs ciblés sur leurs décisions d’embauche et les créations d’emploi induites (Belleville, 2001 ; Fendrich, Gratadour et Rémy, 2010). Si ces deux types d’enquêtes permettent respectivement d’identifier le taux de retour à l’em-ploi des bénéficiaires après un passage en mesure et les conséquences de ces mesures à court terme sur l’emploi, elles ne suffisent pas à conclure sur l’efficacité des dispositifs étudiés. En effet, pour évaluer la plus-value du passage par un dispositif au niveau microéconomique, il est nécessaire de comparer la situation des bénéficiaires à celle qu’ils auraient connue en l’absence de la mesure.

Dans cette perspective, la Dares met en œuvre depuis le début des années 1990 des dispositifs d’observation plus spécifiques qui s’appuient sur la comparaison des trajectoires professionnelles de bénéficiaires de contrats aidés et de « témoins », individus éligibles aux caractéristiques proches de celles des bénéficiaires et n’ayant pas bénéficié de la mesure. Plusieurs « panels de bénéficiaires » ont ainsi été réalisés (Even, 2002 ; Charpail, Klein et Zylberman, 2005 ; Even et Klein, 2008). Le dernier panel en date, dit « Panel 2008 », porte sur un échantillon de demandeurs d’emploi qui se sont inscrits à l’ANPE au deuxième trimestre 2005 en France métropolitaine, se distinguant par le fait d’être passé ou non en contrat aidé, interrogés fin 2008 et fin 2009 sur leur trajectoire professionnelle depuis leur inscription à l’ANPE. Ce panel a été réalisé afin de mesurer l’efficacité des contrats aidés créés par la loi de programmation pour la cohésion sociale de 2005. Par rapport aux contrats aidés

(5)

anté-rieurs, cette loi a créé des contrats réservés aux allocataires de minima sociaux, renforcé les actions de formation et d’accompagnement et permis une modulation locale des dispositifs non ciblés sur les allocataires de minima sociaux. Le Panel 2008 a été conçu pour évaluer ces nouveaux contrats avec le souci de garantir au mieux la comparabilité des témoins et des bénéficiaires, depuis l’échantillonnage jusqu’aux traitements post-collecte, en passant par la construction du questionnaire et le mode de recueil des données. En particulier, l’enquête comprend de nombreuses variables permettant de capter au mieux les différences de profil entre les bénéficiaires et leurs témoins, y compris celles généralement inobservées dans les fichiers administratifs (freins à l’emploi, état de santé, etc.) et susceptibles de biaiser les comparaisons.

Ce document d’études vise à présenter le Panel 2008 : la première section résume la réglementation sur les contrats aidés issus de la loi de 2005 ; la deuxième section présente le panel, de l’échantillonnage au traitement de la non-réponse ; la troisième section détaille les caractéristiques des différents contrats aidés : public ciblé, sélection et délai avant l’entrée, durée et contenu. La quatrième section présente les trajectoires des bénéficiaires et de leurs témoins et la dernière section conclut.

1

Les contrats aidés issus de la loi de cohésion sociale de 2005

1.1 Critères d’éligibilité

Les contrats aidés sont des emplois subventionnés par l’État visant à favoriser l’insertion professionnelle de publics cibles plus ou moins éloignés du marché du travail : chômeurs de longue durée, allocataires de minima sociaux, jeunes non qualifiés, etc. La loi de program-mation pour la cohésion sociale du 18 janvier 2005 a procédé à une refonte des contrats aidés en direction des personnes rencontrant des difficultés particulières d’accès à l’emploi. Dans le secteur non marchand, le contrat d’avenir (CAV) et le contrat d’accompagnement dans l’emploi (CAE) ont remplacé le contrat emploi solidarité (CES) et le contrat emploi consolidé (CEC) tandis que, dans le secteur marchand, le contrat initiative emploi (CIE) et le contrat insertion – revenu minimum d’activité (CI-RMA) ont été fortement remodelés1. Les critères d’éligibilité sont plus ou moins larges selon les contrats :

– les CAE et les CIE sont destinés aux « personnes sans emploi rencontrant des difficul-tés sociales et professionnelles particulières d’accès à l’emploi » (Loi n°2005-32 du 18 janvier 2005),

– les CAV et les CI-RMA sont réservés aux bénéficiaires de minima sociaux et constituent une réelle innovation. Les minima sociaux concernés sont : l’allocation de solidarité spécifique (ASS), l’allocation aux adultes handicapés (AAH) (depuis 2006), l’allocation de parent isolé (API) et le revenu minimum d’insertion (RMI). Ces deux derniers ont été remplacés par le RSA socle au 1er juin 2009.

Les critères pour entrer dans les contrats issus de la loi de cohésion sociale, à l’exclusion de ceux réservés aux bénéficiaires de minima sociaux, sont volontairement moins précis que ceux de leurs prédécesseurs. En effet, pour entrer en CES ou en CEC, les demandeurs d’emploi devaient présenter des caractéristiques spécifiques : avoir une ancienneté de chômage de plus de douze mois, être âgé de plus de cinquante ans, ou encore être jeune et peu diplômé. Or le ciblage des publics décidé au niveau national était susceptible de ne pas correspondre aux 1. À partir de janvier 2010, l’ensemble des contrats issus de cette loi ont été remplacés en France métro-politaine par le contrat unique d’insertion.

(6)

réalités locales. De plus, du fait du ciblage sur des catégories précises, certaines personnes non éligibles au regard de ces critères pouvaient se voir refuser l’attribution d’un contrat aidé, quand bien même un tel contrat aurait pu leur être bénéfique compte tenu de leurs difficultés d’accès à l’emploi (Gomel, 1999 ; Robineau, 2002). À partir de 2005, pour le CAE et le nouveau CIE, l’État fixe l’enveloppe budgétaire annuelle et le taux maximal de prise en charge (respectivement 95% et 47%), tandis que le taux effectif de prise en charge et le ciblage des publics sont définis au niveau régional par arrêté préfectoral, après discussion entre les services déconcentrés de l’État et l’ANPE (désormais Pôle emploi). L’aide associée au contrat peut ainsi être modulée au niveau local pour favoriser l’embauche de tel ou tel type de public en fonction du contexte. Il existe par conséquent une certaine hétérogénéité des publics ciblés selon les régions.

1.2 Caractéristiques des contrats aidés

Contrairement aux embauches en CIE et en CAE pour lesquelles l’employeur reçoit une subvention proportionnelle au salaire versé sur la base d’un taux fixé localement, le mon-tant de l’aide associée aux contrats réservés aux bénéficiaires de minima sociaux est fixé au niveau national et correspond au montant du RMI versé à une personne seule. Le principe du CI-RMA et du CAV est celui d’une « activation des dépenses passives » : l’allocation qu’aurait normalement perçue le salarié en l’absence d’emploi est versée à l’employeur sous forme de subvention2. Ces aides sont cumulables avec les exonérations générales de cotisa-tions employeurs pour les contrats du secteur marchand, et complétées par une exonération étendue pour ceux du secteur non marchand. En outre, les publics recrutés dans le secteur non marchand étant généralement plus éloignés de l’emploi que ceux embauchés dans le sec-teur marchand, l’aide versée à l’employeur est plus conséquente pour les premiers que pour les seconds.

Les CIE et les CI-RMA peuvent être conclus à durée déterminée ou indéterminée. En revanche, les CAE et les CAV sont systématiquement à durée déterminée (contrairement aux CEC qui pouvaient être à durée indéterminée). En cas de rupture anticipée du contrat et en l’absence de faute grave du salarié ou d’accord de sa part, l’employeur est tenu de reverser les aides perçues depuis le début du CIE ou du CI-RMA. Quel que soit le contrat, celui-ci peut être rompu avant terme à l’initiative du salarié sous réserve qu’il ait été embauché en CDI, en CDD de plus de six mois ou qu’il soit engagé dans une formation qualifiante. Les contrats signés à durée déterminée peuvent être reconduits dans la limite de la durée totale fixée par la loi. Ces reconductions sont beaucoup plus fréquentes en CAE et CAV qu’en CIE et CI-RMA, ces derniers étant plus souvent conclus à durée indéterminée. La durée hebdomadaire du travail est fixée à 26 heures en CAV, tandis que les autres contrats peuvent être à temps plein ou à temps partiel.

Enfin, la loi de programmation pour la cohésion sociale de 2005 prévoit davantage d’obli-gations pour les employeurs en termes d’accompagnement et de formation pendant le contrat aidé que ce n’était le cas avec les contrats précédents. De telles actions sont ainsi obligatoires dans le cas du CAV et fortement recommandées pour les autres contrats. Dans le cas du CIE et du CAE, l’aide à l’employeur est d’ailleurs susceptible d’être modulée en fonction des actions de formation et d’accompagnement prévues en faveur du bénéficiaire.

(7)

2

Le Panel 2008 : une enquête conçue pour l’évaluation

Le Panel 2008 vise à évaluer l’impact sur le devenir des bénéficiaires du passage dans l’un des quatre contrats aidés créés ou remodelés en 2005. Cette dimension évaluative a été intégrée dès la conception de l’enquête, depuis l’échantillonnage de « témoins » – indivi-dus éligibles ressemblant aux bénéficiaires – jusqu’à la conception d’un questionnaire qui permette de contrôler au mieux l’hétérogénéité des différentes populations.

2.1 Principes de l’évaluation

Le problème sous-jacent à toute évaluation de politique publique réside dans l’impossi-bilité d’observer simultanément la situation («outcome »3) d’un bénéficiaire de la mesure et celle qu’il aurait connue en l’absence de cette dernière. L’estimateur le plus direct pour éva-luer l’effet de la mesure consiste à comparer les situations respectives des bénéficiaires et des individus non bénéficiaires de la mesure. Or, les premiers présentent vraisemblablement des caractéristiques particulières susceptibles de jouer simultanément sur leur entrée en mesure et sur leur situation. Cet estimateur « naïf » est donc a priori biaisé.

Dans le cadre de l’évaluation des politiques publiques, l’expérimentation aléatoire4 consti-tue « le paradigme des méthodes économétriques d’évaluation » (Givord, 2010) car elle four-nit un estimateur sans biais de l’effet d’une politique sur la population bénéficiaire. Il s’agit cependant d’une méthode difficile à mettre en place sur le terrain et encore relativement rare, bien qu’en fort développement. Dès lors, les chercheurs sont contraints de se tourner vers des techniques d’estimation ex post (relatives à des politiques déjà instaurées), parmi lesquelles figurent le matching (appariement). Les données administratives permettent rarement de disposer de l’information nécessaire à une évaluation robuste des politiques publiques et re-quièrent que leur soient adossées des enquêtes conçues spécifiquement dans ce but. Toute technique d’évaluation reposant sur des hypothèses fortes, l’anticipation en amont des enjeux économétriques renforce la validité des estimateurs mobilisés. À cet égard, le Panel 2008 a bien intégré ces enjeux puisqu’il a d’emblée été conçu pour permettre des analyses causales du passage en contrat aidé, notamment par des techniques de matching.

Dans sa version la plus simple, le matching consiste à apparier chaque bénéficiaire à un individu, dit « témoin », ayant des caractéristiques observables proches mais n’ayant pas bénéficié de la mesure ou « traitement » (T ) : l’effet moyen de la politique sur les bénéfi-ciaires (Average Treatment effect on the Treated (ATT)) est alors estimé par la moyenne des écarts entre l’outcome Y1 des bénéficiaires et l’outcome Y0 des témoins utilisé pour appro-cher l’outcome contrefactuel qui aurait été celui des bénéficiaires s’ils n’avaient pas reçu le traitement :

AT T = E(Y |T = 1, X) − E(Y |T = 0, X) = E(Y1|T = 1, X) − E(Y0|T = 0, X)

= E(Y1|T = 1, X) − E(Y0|T = 1, X)

L’hypothèse sous-jacente au matching est l’indépendance – conditionnellement à un ensemble de variables observables X – entre l’affectation au traitement et l’outcome en l’absence de 3. Cet outcome peut être la probabilité d’être en emploi, aidé ou non à une date donnée, la vitesse de retour à l’emploi, la qualité de l’emploi retrouvé, la durabilité de cet emploi, la récurrence du chômage, le revenu obtenu, etc.

4. Cette méthode consiste à sélectionner de manière aléatoire les participants à une politique publique donnée parmi les individus éligibles. La répartition entre bénéficiaires et non-bénéficiaires (les « témoins ») étant aléatoire, ces derniers ne diffèrent que par leur participation à la mesure : leurs situations à l’issue peuvent être directement comparées. Néanmoins, cette méthode n’est pas toujours facile à mettre en oeuvre et suppose une définition précise du protocole d’affectation à la mesure et un suivi rigoureux de ce dernier.

(8)

traitement : Y0 ⊥ T |X (hypothèse d’indépendance conditionnelle). Autrement dit, condi-tionnellement aux variables X, l’outcome des témoins constitue un bon contrefactuel de l’outcome des bénéficiaires en l’absence de traitement. Cette hypothèse, qui permet de re-créer les conditions d’une expérience aléatoire, est naturellement très forte et suppose qu’il n’existe pas, en dehors des X observés, de caractéristiques qui influent à la fois sur l’outcome et sur l’entrée en traitement. La crédibilité de cette hypothèse est d’autant plus grande que le nombre de variables de conditionnement est important, mais il devient alors plus difficile de trouver des témoins ayant exactement les mêmes caractéristiques que les bénéficiaires. L’approche la plus courante consiste à apparier les individus non plus sur leurs caractéris-tiques mais sur la base d’un score résumant l’ensemble de ces caractériscaractéris-tiques sur une seule dimension (encadré 1).

Encadré 1

Principales techniques de matching sur score de propension

Lorsqu’on dispose de très nombreuses variables X sur lesquelles apparier, il est en général re-commandé d’apparier témoins et bénéficiaires non pas sur la base de ces variables, mais sur un index résumant l’effet qu’elles ont sur l’entrée en traitement : le score de propension (Rosenbaum et Rubin, 1983). Généralement, ce score est estimé par un logit ou probit modélisant l’entrée en traitement qui, dans le cas d’une enquête, doit être pondéré. Un témoin sera considéré comme « proche » d’un bénéficiaire si leurs scores de propension sont proches l’un de l’autre. Un corollaire important du résultat de Rosenbaum et Rubin (1983) est qu’un score de propension correcte-ment spécifié doit équilibrer les distributions des variables X entre les groupes de contrôle et de traitement : X⊥T |p(X).

Plusieurs méthodes utilisent le score de propension pour construire un contrefactuel pour chaque bénéficiaire (cf. Brodaty et al., 2007 ; Caliendo et Kopeinig, 2008). La méthode la plus simple, dite du « plus proche voisin », consiste à choisir le témoin dont le score est le plus proche de celui

du bénéficiaire. L’effet moyen estimé sur l’ensemble E1 des traités est alors la moyenne des écarts

entre l’outcome de chaque traité et celui de son « voisin » (contrefactuel) : N1

1

P

E1(Yi1− ˆYi0).

Selon les données disponibles, il peut être judicieux d’associer plusieurs voisins à chaque bé-néficiaire. Cette méthode est préconisée en particulier lorsque le groupe de contrôle est de taille importante puisque l’information disponible est alors exploitée de manière optimale. Diverses va-riantes existent :

• retenir a priori les n plus proches voisins : la situation contrefactuelle du bénéficiaire est alors estimée par la moyenne des outcomes de ces n plus proches voisins.

• définir a priori le rayon du voisinage (distance maximale entre les scores du bénéficiaire et des témoins) et faire la moyenne sur tous les voisins ainsi sélectionnés (radius matching).

• utiliser pour chaque bénéficiaire l’ensemble E0 des témoins, et prendre la moyenne pondérée de

leurs outcomes. Le poids donné à chaque témoin dépend négativement de la distance entre son score pk et celui du bénéficiaire pi :

ˆ Yi0= P E0K( kpi−pkk h ).Yk P E0K( kpi−pkk h )

La forme fonctionnelle de cette dépendance négative (le « noyau » K et sa fenêtre h) est choisie par le chercheur et peut éventuellement donner un poids nul aux témoins les plus éloignés du bénéficiaire.

Pour l’ensemble de ces estimateurs, il n’existe généralement pas de formule donnant la variance de l’ATT, qui doit alors être estimée par bootstrap. Abadie et Imbens (2008) montrent cependant que le bootstrap n’est pas approprié pour estimer l’écart-type dans le cas d’appariements sur le plus proche voisin.

(9)

La méthode repose en outre sur la présence, dans les données, de témoins ayant des ca-ractéristiques identiques à celles des bénéficiaires, autrement dit sur l’existence d’un support commun : 0 < P (T = 1|X) < 1. Elle signifie que les variables X ne suffisent pas totalement à expliquer l’entrée en traitement : conditionner par les X doit permettre de retrouver les conditions d’une expérience contrôlée, ce qui implique de garder une composante aléatoire dans l’affectation au traitement pour garantir la présence de personnes avec des caracté-ristiques comparables dans les deux états (Heckman, Ichimura et Todd, 1998). En résumé, les variables X sur lesquelles on réalise l’appariement doivent contenir tous les déterminants joints de Y0et T , et ne doivent pas être l’unique source de variation de T (Brodaty, Crépon et Fougère, 2007). Caliendo et Kopeinig (2008) proposent une discussion sur la mise en œuvre concrète de la sélection des X.

La validité des estimateurs est, par conséquent, tributaire de la qualité des données dis-ponibles, et donc en grande partie du protocole d’enquête retenu. Celui-ci se doit d’anticiper au mieux les problèmes d’identification susceptibles de se poser ex post lors de l’évaluation. Dans le cadre du Panel 2008 - et suivant les recommandations du rapport d’expertise du Crest suite au précédent panel (Crépon et Kamionka, 2006) - , le mode de sélection des témoins tout comme le questionnaire ont été pensés pour garantir au mieux la comparabilité des bénéficiaires et des témoins.

2.2 Échantillonnage

Les bénéficiaires et les témoins ont été échantillonnés dans la même source, à savoir le fichier historique de l’ANPE (FH) : ils ont tous comme point commun le fait de s’être inscrits à l’ANPE en catégorie A, B ou C au deuxième trimestre 2005 après une sortie des listes d’au moins trente jours depuis leur dernier épisode de chômage. Ils se distinguent en revanche en fonction de leur parcours professionnel durant les deux années qui suivent : les bénéficiaires ont été recrutés dans l’un des quatre contrats issus de la loi de cohésion sociale entre le deuxième trimestre 2005 et le deuxième trimestre 2007, au contraire des témoins non entrés en contrat aidé durant cette période (figure 1).

Figure 1 – Le protocole d’enquête

Contrat aidé 0,5. 1. 1,5. 2. 2,5. 3. 3,5. 4. 4,5. années Les témoins T4-2009 Vague 1 Vague 2 T4-2008 Les bé néficiaire s Contrat aidé T2-2005 ANPE T2-2007 pas d'entrée en contrat aidé

Pour distinguer, parmi les demandeurs d’emploi qui se sont inscrits à l’ANPE au deuxième trimestre 2005, ceux qui ont été recrutés en contrat aidé au cours des deux ans qui ont suivi, le FH a été apparié aux fichiers administratifs relatifs aux conventions individuelles d’embauches en contrat aidé en provenance de l’ASP (Agence de services et de paiement,

(10)

ex-Cnasea)5. Ces fichiers administratifs, qu’exploite régulièrement la Dares (Lamarche et

Pujol, 2006, 2007 ; Le Rhun et Fendrich, 2008) contiennent de nombreuses informations sur le contrat aidé, notamment les dates d’embauche et de fin du contrat. Parmi les 870 000 demandeurs d’emploi qui se sont inscrits à l’ANPE au deuxième trimestre 2005 selon la définition retenue ci-dessus, environ 50 000, soit un peu plus de 6%, ont été recrutés pour la première fois en CAE, CAV, CIE ou CI-RMA pour une durée d’au moins un mois6 entre avril 2005 et juin 2007. Compte tenu du coût des enquêtes et pour limiter la taille de l’échan-tillon, l’approche retenue pour échantillonner les bénéficiaires de contrat aidé a consisté à les sur-représenter de manière exogène dans l’échantillon (choice based sampling). Pour chaque contrat, les bénéficiaires ont été tirés selon un plan de sondage équilibré parmi l’ensemble des individus identifiés comme étant entrés dans ce type de contrat sur la période de référence (encadré 2).

Les critères d’éligibilité aux CAE et CIE sont moins précis que les critères d’éligibilité aux CI-RMA et CAV (tableau 8). Aussi, le choix a-t-il été fait d’avoir des témoins spécialisés en fonction du public ciblé par le contrat, sachant que cette spécialisation n’empêche pas pour autant qu’un témoin puisse témoigner pour plusieurs dispositifs si ses caractéristiques individuelles le lui permettent. Deux groupes de témoins ont donc été retenus : un premier groupe des témoins éligibles aux CAE et CIE (nommés TM1) ; un second groupe des témoins éligibles aux CI-RMA et CAV (nommés TM2).

Encadré 2

Le plan de sondage équilibré

Pour tenir compte de l’hétérogénéité des publics visés, l’échantillon a été stratifié par type de contrat. En raison de leur faible prévalence, les bénéficiaires de CI-RMA ont tous été sélectionnés tandis que les bénéficiaires de CAE, CAV et CIE ont été échantillonnés selon un plan de sondage équilibré. Cette méthode assure le choix aléatoire d’un échantillon apte à restituer les structures de la base de sondage pour les variables sur lesquelles il a été équilibré : le sexe, l’âge, le niveau de diplôme, la date d’entrée en contrat aidé (avant T2-2006 ou après T2-2006). Pour les bénéficiaires de CAV, le type d’allocation au titre duquel l’individu est entré en contrat aidé a également été retenu : allocataire du RMI au T2-2005, allocataire du RMI après T2-2005, allocataire de l’ASS au T2-2005, allocataire de l’ASS après le T2-2005.

L’échantillon a été tiré avec la macro SAS CUBE, algorithme d’échantillonnage développé par l’Insee qui permet de tirer de manière aléatoire un échantillon équilibré sur un ensemble de totaux connus à partir d’informations auxiliaires disponibles dans la base de sondage. La méthode consiste à choisir un échantillon tel que les estimateurs d’Horvitz-Thompson des totaux des variables servant à l’équilibrage coïncident avec les vrais totaux de la base de sondage. La macro s’applique à partir de bases de sondage munies d’informations auxiliaires, qualitatives ou quantitatives, connues au niveau individuel. Cette méthode permet d’améliorer la précision des estimateurs associés aux variables d’intérêt de l’enquête, dès lors que ces variables sont corrélées avec celles utilisées pour l’équilibrage. En effet, la variance de l’estimateur d’Horvitz-Thompson de la variable d’intérêt ne dépend que de la part de sa variabilité non expliquée par les variables utilisées pour l’équilibrage. Ce type de plan de sondage est décrit dans l’ouvrage de Deville et Tillé (2000).

5. Cette base de sondage présente deux limites principales : l’absence de prise en compte des éligibles non inscrits sur les listes de l’ANPE (environ 13 % des entrants en contrat aidé en 2005) ; le non-repérage d’une partie des bénéficiaires de CI-RMA (ceux pour lesquels les conseils généraux n’ont pas délégué le versement de l’aide à l’ASP). Cette dernière restriction de champ n’a a priori pas d’effet sensible puisque les caractéristiques des bénéficiaires non suivis par l’ASP sont identiques à celles des autres bénéficiaires de CI-RMA, tout comme l’accompagnement dont ils bénéficient.

6. Les demandeurs d’emploi restés moins d’un mois en contrat aidé sont très peu nombreux et leurs caractéristiques sont proches de celles des entrants restés au moins un mois. Le fait de les exclure ne diminue donc pas la portée des résultats de l’enquête.

(11)

Ceci étant posé, à quelle condition un demandeur d’emploi peut-il « témoigner » pour un bénéficiaire ? Une condition nécessaire est qu’il ait une probabilité d’entrer en contrat aidé la plus proche possible de celle du bénéficiaire pour lequel il est censé témoigner. Les témoins sont, par construction, des demandeurs d’emploi qui se sont inscrits à l’ANPE au deuxième trimestre 2005 et n’ont pas été recrutés en contrat aidé entre cette date et le deuxième trimestre 2007. Cela ne signifie pas pour autant qu’ils n’auraient pas pu être recrutés sur un contrat aidé au cours de la période au vu de leurs caractéristiques : il a donc été fait l’hypothèse qu’à caractéristiques observables équivalentes, les témoins potentiels devaient avoir la même probabilité à chaque instant d’entrer en contrat aidé que les bénéficiaires. Ces probabilités instantanées d’entrer en contrat aidé - ou scores de propension - ont été estimées à l’aide d’un modèle de Cox, permettant de tenir compte de la durée écoulée avant l’entrée en contrat aidé7.

Pour chaque bénéficiaire de l’échantillon, ont été recherchés le ou les témoins ayant les scores de propension les plus proches. Concernant les témoins des bénéficiaires de CAE et de CIE, comme beaucoup de témoins potentiels étaient disponibles, il a suffi de sélectionner au hasard parmi ceux qui avaient exactement les mêmes caractéristiques (on a alors des « jumeaux parfaits » qui ont le même score). En revanche, les témoins de chacun des bénéfi-ciaires de CAV et de CI-RMA ont été sélectionnés sur la base d’« un plus proche voisin du score ». En effet, les caractéristiques sur lesquelles apparier étant plus nombreuses, il était plus difficile de trouver pour chaque bénéficiaire un témoin ayant exactement les mêmes ca-ractéristiques, et ce d’autant plus que l’éligibilité à ces contrats est difficile à repérer à partir des seules données du FH. Cet appariement entre témoins et bénéficiaires réalisé ex ante n’est pas nécessairement celui qui sera utilisé ex post lors de l’évaluation. En effet, grâce à l’en-quête, de nombreuses informations complémentaires sur les témoins et les bénéficiaires sont disponibles permettant ainsi de réaliser un appariement de meilleure qualité après recueil des données.

Les bénéficiaires comme les témoins ont été interrogés à deux reprises : une première fois de novembre 2008 à février 2009, soit environ trois ans et demi après leur inscription à l’ANPE ; une seconde fois un an plus tard, de novembre 2009 à mars 2010 (figure 1). Le choix de cette fenêtre d’observation résulte d’un compromis : d’une part, interroger sur un passé trop lointain peut engendrer des biais de mémoire ; d’autre part, un recul suffisant est indispensable pour que puissent être observés non seulement les entrées en contrat aidé, mais également les sorties et le devenir après le contrat compte tenu de la durée moyenne des différents types de contrats aidés (de 8 à 18 mois pour les embauches de 2005 et de 10 à 12 mois pour celles de 2006).

2.3 Richesse du questionnaire

Le questionnaire a été conçu pour recueillir le maximum d’informations utiles à l’évalua-tion causale par matching, qu’il s’agisse des nombreuses variables sur lesquelles apparier ex

post témoins et bénéficiaires ou encore d’outcomes variés sur lesquels mener l’évaluation.

7. Le modèle s’écrit : hi(t) = h(t, zi) = h0(t)exp(ziβ) avec hi(t) le hasard instantané de l’individu i (la probabilité « instantanée » d’entrer en contrat à la date t sachant qu’il n’est pas entré avant la date t), h0(t) le

hasard de base, zile vecteur des caractéristiques observables (sexe, âge, niveau de diplôme, nombre d’enfants, situation maritale et, pour les TM2, éligibilité aux minima sociaux) de l’individu i. À l’issue de l’estimation, chaque témoin et chaque bénéficiaire possèdent un score : exp(ziβ), qui résume l’effet de leurs caractéristiques individuelles sur leur probabilité instantanée d’entrée en contrat.

(12)

2.3.1 Une caractérisation fine des bénéficiaires et des témoins potentiels

Afin de ne pas risquer d’attribuer au passage en contrat aidé des effets sur l’insertion professionnelle qui ne lui seraient pas liés, les individus ont été interrogés sur certaines de leurs caractéristiques susceptibles d’expliquer simultanément leur choix d’accepter ou non d’être recrutés en contrat aidé et leur insertion sur le marché du travail. En effet, certains facteurs jouant sur la décision d’accepter ou non un contrat aidé sont également susceptibles d’expliquer pourquoi certains individus s’insèrent mieux sur le marché du travail (possibilité de s’investir sur son poste de travail, motivation, état de santé, etc.). Le questionnaire de la deuxième vague a ainsi visé à recueillir auprès des bénéficiaires et des témoins les mêmes informations sur leurs conditions de vie : situation familiale, état de santé et niveau de vie (dimensions subjectives et objectives) (figure 2). Toutes ces informations ont été renseignées

Figure 2 – Les thèmes du questionnaire

Trajectoire professionnelle Caractéristiques "individuelles" : début 2005 et fin 2009

Relations au contrat aidé et au SPE

Calendrier rétrospectif d’activité Conditions de vie Relations avec le SPE depuis la date d'inscription à l'ANPE

au cours du 2ème trimestre 2005 jusqu'à la date d'interrogation en vague 2, entre novembre 2009 et février 2010

questions subjectives sur le niveau de vie, statut d'occupation du logement, paiement ou non de l'impôt sur le revenu, perception d'un minimum social, de la CMUC, moyen de transport personnel, connexion internet

début 2005 et fin 2009 : organismes du SPE avec lesquels il y a eu des contacts, appréciation sur l'aide à la recherche d'emploi, les offres d’emplois et services reçus, etc. Description des emplois clés du

parcours professionnel Etat de santé Quizz sur les contrats aidés

type de contrat, temps de travail, rémunération, type d'employeur, métier exercé

question subjective, existence d'un handicap

questions sur les noms des contrats aidés, l'éligbilité, les destinataires des aides….

Sentiment sur les études, la vie professionnelle

Quelle expérience des contrats aidés ?

utilité des études, sentiment d'avoir arrêté trop tôt les études, importance relative de la vie professionnelle et de la vie personnelle

raisons de l'acceptation ou du refus d'un contrat aidé, souhait de bénéficier d'un contrat aidé, utilité du passage en contrat aidé, etc.

Situation familiale Opinion sur les contrats aidés vie en couple, activité du conjoint,

nombre d'enfants et de personnes dépendantes à charge

contrat comme un autre ou non, utile pour retrouver un emploi ou non, etc.

formation initiale, expérience professionnelle, mobilité géographique, caractère entreprenant, facultés d'adaptation, appartenance à des réseaux, pas d'atout

Critères d'acceptation d'un emploi et concessions possibles le salaire, le temps de travail, la proximité géographique, l'adéquation à la formation initiale et/ou à l'expérience, l'intérêt du travail, le type d'entreprise et

les perspectives d'emploi, aucun critère… 1er emploi avant l'inscription à

l'ANPE, après le contrat aidé pour les bénéficiaires ou après

l'inscription pour les témoins; emploi occupé en vague 1, en vague 2 ; dernier emploi occupé avant la vague 1 si différent de l'emploi en vague 1 et de l'emploi

Les freins à l’emploi

problèmes de transport, de garde d'enfant, de santé, discriminations ressenties …

(13)

pour l’année 2009, mais également de manière rétrospective pour l’année 2005, soit avant l’entrée en contrat aidé. Les informations ainsi recueillies sont donc susceptibles d’être mo-bilisées pour effectuer l’appariement entre bénéficiaires et témoins. En effet, les variables mobilisées pour conditionner l’appariement, si elles sont susceptibles d’être affectées par la politique, doivent être relatives à la période précédant à la mise en place de celle-ci pour éviter tout problème d’endogénéité (Givord, 2010).

Les enquêtés ont également été interrogés sur leur situation lors de l’inscription à l’ANPE au deuxième trimestre 2005 (motif d’inscription, objectifs professionnels, etc.), sur les diffi-cultés rencontrées alors pour trouver un emploi – ou freins à l’emploi – (problèmes de garde d’enfants, difficultés de transport mais aussi éventuelles discriminations ressenties, etc.) ainsi que sur leur parcours professionnel antérieur. Toutes ces questions, qui permettent de capter au mieux « l’hétérogénéité inobservée » des individus, sont importantes pour améliorer la qualité de l’appariement entre bénéficiaires et témoins en vue d’une évaluation par matching. D’autres informations non spécifiques à l’année 2005 permettent de mieux caractériser les enquêtés comme, par exemple, ce que les enquêtés considèrent être leurs atouts en termes d’emploi (disponibilité, expérience, formation initiale, voire propension à accepter tout em-ploi qui leur serait proposé) ou encore sur les concessions qu’ils sont prêts à faire pour occuper un emploi (accepter un emploi à temps partiel, loin de leur domicile, ne correspondant pas à leurs aspirations salariales, etc.). Les enquêtés ont aussi été interrogés sur leurs rapports avec le service public de l’emploi (SPE) : régularité des contacts, besoins des individus, pro-positions d’emploi et de formation de la part du SPE (figure 2). Lors de la deuxième vague d’enquête, des questions ont également été posées, aux bénéficiaires comme aux témoins, sur les offres d’emploi en contrat aidé qu’ils ont pu recevoir au-delà de la fenêtre d’entrée en contrat aidé : en ont-ils effectivement reçu ? Les ont-ils acceptées ou refusées ? Pour quelles raisons ? Enfin, ils ont été interrogés fin 2009 de manière ludique, sous la forme d’un quizz, sur leur connaissance des contrats aidés (noms des contrats, personnes éligibles, aides as-sociées, type d’employeur éligible) ainsi que sur leur regard sur ces contrats (moyen pour reprendre contact avec le marché du travail, moyen d’accéder à l’emploi, etc.). Ces questions n’étaient pas mobilisables pour expliquer l’entrée en contrat dans la mesure où elles ont pu être influencées par le parcours qu’a connu le demandeur d’emploi de 2005 à 2009. Elles apportent néanmoins des éléments d’information essentiels et souvent peu connus sur les bénéficiaires de contrats aidés.

2.3.2 Un calendrier d’activité détaillé pour mieux appréhender les trajectoires professionnelles

Un des objectifs principaux du questionnaire de l’enquête a été de renseigner un calen-drier rétrospectif d’activité couvrant la période allant de la date d’inscription à l’ANPE au printemps 2005 jusqu’à la date de la deuxième interrogation, soit entre novembre 2009 et mars 2010. Ce calendrier d’activité se décline selon quinze modalités et distingue les dif-férentes situations d’emploi (aidé ou non, salarié ou non, etc.), de chômage (indemnisé ou non), d’inactivité ainsi que de formation, de stage ou d’études (tableau 1).

Afin de mesurer la qualité de l’insertion professionnelle, des informations sur les carac-téristiques des emplois occupés (rémunération, temps de travail, métier exercé, type d’em-ployeur, etc.) à des moments-clés du parcours professionnel ont été recueillies : le dernier emploi avant l’inscription à l’ANPE au printemps 2005 ; le premier emploi après le contrat aidé pour les bénéficiaires, ou après l’inscription à l’ANPE pour les témoins ; le dernier emploi occupé lors de la première vague d’interrogation (fin 2008 - début 2009) ; et enfin le dernier

(14)

Tableau 1 – Les situations mensuelles détaillées dans l’enquête

Emploi

non

aidé

1 Emploi en CDI ou CNE (y compris fonctionnaire et chèque emploi service universel

(CESU))

2 Emploi en CDD (y compris chèque emploi service universel (CESU))

3 Emploi de type intérim, vacations

4 Création d’entreprise, indépendant, libéral

Emploi aidé 5 CAE 6 CIE 7 CAV 8 CI-RMA

9 Contrat d’apprentissage, de professionnalisation (y compris contrats de

qualifica-tion, d’adaptaqualifica-tion, d’orientation)

10 Autre contrat aidé : contrat emploi solidarité (CES), contrat emploi consolidé

(CEC), emploi jeune, contrat jeune en entreprise (CJE) et ancien CIE

Non-emploi

11 Formation, stage, études, reprise d’études

12 Chômage indemnisé (ARE, ASSEDIC)

13 Chômage non indemnisé

14 Inactivité (absence de recherche d’emploi, au foyer, maladie, invalidité, retraite,

préretraite, dispense de recherche d’emploi)

15 En cours de création d’entreprise

emploi occupé entre les deux vagues d’interrogation s’il est différent du précédent (figure 3). Enfin, certaines caractéristiques du contrat aidé ont été demandées aux bénéficiaires (ac-compagnement pendant le contrat, formations suivies, etc.), pour compléter les informations disponibles dans les fichiers administratifs des conventions d’embauche en contrat aidé.

Figure 3 – Les principaux emplois décrits dans l’enquête

période d'entrée en contrat aidé dernier emploi avant l'inscription à l'ANPE 1er emploi après l'inscription à l'ANPE Inscription à l'ANPE au T2-2005 1er emploi après le contrat aidé dernier emploi avant T4-2008 description du contrat aidé bénéficiaire témoin emploi entre les 2 vagues T2-2007 Interrogation au T4-2008 Interrogation au T4-2009

Chaque figure entourée correspond à un bloc du questionnaire.

– Le contrat aidé peut intervenir à n’importe quel moment sur la période d’entrée en contrat aidé. Si la personne est entrée plusieurs fois en contrat aidé sur la période, c’est le 1er contrat aidé de plus d’un

mois qui est décrit.

– Le dernier emploi avant l’interrogation fin 2008-début 2009 n’est décrit que s’il ne correspond pas au 1eremploi après l’inscription à l’ANPE pour les témoins et après le contrat aidé pour les bénéficiaires.

– L’emploi entre les deux vagues n’est décrit que s’il est différent du dernier emploi avant fin 2008-début 2009 ; dans le cas contraire, c’est l’évolution des caractéristiques de cet emploi qui est étudiée.

Au total, la richesse du calendrier permet l’étude de nombreuses variables de résultats (outcomes) comme la probabilité d’occuper un emploi non aidé à l’issue du passage en contrat aidé, la qualité de l’emploi retrouvé (CDD ou CDI, emploi aidé ou non, etc.), le risque de chômage à l’issue du contrat ainsi qu’après des emplois ultérieurs, le temps écoulé avant d’obtenir un emploi non aidé ou encore la récurrence des passages en contrat aidé. En outre,

(15)

les enquêtés ont été également interrogés sur l’évolution de leurs conditions de vie depuis l’entrée en contrat aidé, ce qui permet d’élargir l’analyse causale du passage en contrat aidé à d’autres dimensions que celle de la seule trajectoire professionnelle. Cet élargissement est d’autant plus pertinent que les objectifs assignés aux contrats aidés sont souvent multiples : l’étude de leurs effets sur les revenus, le lien entretenu avec le marché du travail ou encore la formation peut utilement compléter celle de leurs effets sur le taux de retour à l’emploi (Charpail et al., 2005).

2.4 Recueil des données et correction de la non-réponse

Recueillir des données similaires pour les témoins et bénéficiaires est essentiel à la qualité de l’évaluation. Aussi, les bénéficiaires et les témoins ont-ils fait l’objet d’un questionnaire téléphonique commun8. Lors de la collecte, il était également fondamental de garantir la com-parabilité entre bénéficiaires et témoins, et notamment un taux de réponse homogène entre les deux populations. Cette exigence s’est traduite par une non-spécialisation des enquêteurs par population (bénéficiaires versus témoins), des efforts de recherche des coordonnées et un nombre d’appels téléphoniques identique entre bénéficiaires et témoins9 (encadré 3). Malgré tout, le taux de réponse s’est avéré légèrement plus élevé pour les bénéficiaires que pour les témoins : il atteint respectivement 58% et 55% pour les bénéficiaires de CAE et de CIE, contre 51% pour leurs témoins ; il s’élève respectivement à 56% et 52% pour les bénéficiaires de CAV et de CI-RMA, contre 49% pour leurs témoins.

Tableau 2 – Échantillonnage des populations de bénéficiaires et de témoins

Effectif dans Répondants Taux de réponse Répondants 1ère Taux de réponse la base de sondage 1ère vague 1ère vague et 2ème vagues 2ème vague

CAE 25 000 1 313 58% 1 088 83% CIE 15 119 1 515 55% 1 257 83% TM1 819 429 2 285 51% 1 872 82% CAV 8 417 1 435 56% 1 165 81% CI-RMA 1 221 630 52% 518 82% TM2 132 187 1 185 49% 965 81% Ensemble 869 186 8 363 53% 6865 82%

Sources : ASP, fichier des conventions individuelles d’embauches en contrat aidé, Pôle emploi, fichier histo-rique des demandeurs d’emploi, Dares, Panel 2008.

Il est probable que les coordonnées des bénéficiaires de contrats aidés, renseignées dans la base des conventions de l’ASP ou dans le fichier historique de l’ANPE, étaient plus récentes que celles de leurs témoins. En effet, si le FH contient théoriquement les coordonnées de la totalité de l’échantillon en date du deuxième trimestre 2005, les bénéficiaires de contrat aidé ont pu actualiser leurs coordonnées téléphoniques au moment de leur embauche en contrat aidé. De plus, certains ont pu avoir des contacts plus fréquents avec l’ANPE en cours de contrat ou se réinscrire à l’ANPE à l’issue de leur contrat aidé. Comme ce facteur 8. Pour les générations de panels antérieures au Panel 2000, les modes de recueil mélangeaient données d’enquêtes pour les bénéficiaires et données administratives ou provenant d’enquêtes en population générale - comme les enquêtes Emploi - pour les témoins. Crépon et Kamionka (2006) ont néanmoins souligné la nécessité d’un mode de recueil des données identique pour les témoins et les bénéficiaires afin d’éliminer toute corrélation entre le traitement et les erreurs de mesure ou comportements de non-réponse.

9. Lors du précédent panel (Panel 2000), les personnes avaient d’abord été interrogées par téléphone, puis les non-répondants l’avaient été en face à face et enfin les non-répondants restants avaient reçu un question-naire par voie postale. Or, ces modes multiples de recueil de l’information, s’ils avaient le mérite d’augmenter le taux de réponse et de permettre de caractériser les non-répondants à l’enquête téléphonique, présentaient l’inconvénient de mélanger des informations obtenues de manière différente et donc non directement compa-rables.

(16)

Encadré 3

Éléments mis en œuvre pour maximiser le taux de réponse à l’enquête

Afin de vérifier l’homogénéité du taux de réponse et tenter de le maximiser, un suivi des remontées du terrain au jour le jour a été mis en place, permettant de suivre les deux populations de témoins et les quatre populations de bénéficiaires. Les coordonnées des bénéficiaires comme des témoins ont été fournies par lots au prestataire en charge de l’enquête ; ces lots n’ont été débloqués que séquentiellement, afin que le prestataire focalise ses efforts de contact téléphonique sur un nombre restreint de personnes simultanément.

Le prestataire a recherché et vérifié les coordonnées téléphoniques de toutes les personnes ap-partenant à l’échantillon (appariement avec le fichier des déménagés de la Poste, recherche des homonymes, recherche avec les fichiers de France Télécom, etc.). Ce travail a permis de compléter les numéros de téléphone manquants et de corriger ceux qui s’étaient avérés erronés dans le fichier initial.

Conformément aux engagements de la Dares vis-à-vis du Comité du Label du Cnis, le prestataire a envoyé à l’ensemble des personnes enquêtées un courrier les informant des objectifs de l’enquête et annonçant à l’avance l’appel d’un enquêteur. Des enveloppes T ont été jointes à cet envoi pour que les personnes sans numéro après recherche des coordonnées téléphoniques par le prestataire puissent lui envoyer un numéro de téléphone auquel les contacter (12% des personnes concernées ont répondu). Lors de la seconde vague, un coupon réponse a été systématiquement envoyé aux enquêtés pour actualiser leurs coordonnées téléphoniques et donner les horaires auxquels les joindre (le taux de retour des coupons a été de l’ordre de 20%) ; les personnes injoignables au bout de vingt appels ont été rappelées aux plages horaires auxquelles elles n’avaient pas été appelées ; celles qui avaient communiqué leur adresse mail lors de la première vague d’enquête ont été contactées par ce biais ; le prestataire a également utilisé un numéro de téléphone dit démasqué censé diminuer la non réponse.

Enfin, pour faciliter la passation du questionnaire et éviter les abandons en cours d’entretien, plusieurs informations concernant les contrats aidés des bénéficiaires (le nom de l’employeur no-tamment et la date précise d’embauche) ont été extraites des bases administratives et introduites dans le questionnaire.

explicatif d’un plus faible taux de réponse des témoins n’est pas lié aux variables d’intérêt de l’enquête, il n’induit pas de biais susceptible d’affecter la comparaison entre les bénéficiaires et les témoins. Les taux de réponse de la deuxième vague très homogènes entre les différentes populations (de l’ordre de 82%) tendent à confirmer l’hypothèse émise sur la plus grande fraîcheur des coordonnées des bénéficiaires en première vague.

Globalement, témoins et bénéficiaires confondus, la non-réponse en première vague d’en-quête s’explique à hauteur de 77% par l’impossibilité de joindre les personnes de l’échantillon (faux numéros, répondeurs, personnes injoignables durant la période de l’enquête, etc.). Seuls 11% de la non-réponse sont liés à des refus ; environ 5% sont également liés à des difficultés de compréhension du questionnaire pour des personnes ne parlant pas très bien le français. Au total, 8 363 entretiens ont été réalisés en première vague et 6 865 en deuxième vague.

Les données de la première vague peuvent, sur certains champs de l’enquête, être exploi-tées seules, sans nécessité de recourir aux données de la deuxième vague, aussi deux jeux de pondération ont-ils été construits (un pour la première vague exclusivement et un pour les répondants aux deux vagues). Le détail de la méthode de redressement est donné en encadré 4. Avec ces jeux de pondérations, les résultats sur les répondants sont généralisables à l’ensemble des demandeurs d’emploi qui se sont inscrits à l’ANPE au printemps 2005.

(17)

Encadré 4

Le calcul des pondérations

Afin d’assurer la représentativité des estimations conduites sur le Panel 2008, les poids de sondage des individus ayant répondu à l’enquête ont été modifiés pour corriger de la non-réponse en première vague, ainsi que de l’attrition entre les deux vagues. Le principe général consiste à

attribuer à chaque répondant r une probabilité de réponse pr qui, multipliée par la probabilité

d’inclusion, permet de disposer d’estimateurs sans biais sur la population des répondants : ˆ Y =X R 1 πr yr pr

où R désigne l’ensemble des répondants, yr la valeur de la variable y pour l’individu répondant r

et πr sa probabilité d’inclusion (correspondant à l’inverse du taux de sondage).

Les vraies probabilité de réponse étant inconnues, la démarche consiste à calculer les poids par un modèle de non-réponse et par calage (Caron, 2005). Pour ce faire, un arbre de décision modélisant le comportement de réponse a été construit séparément pour chaque population de bénéficiaires et de témoins (utilisation de l’algorithme CHAID (CHi-squared Automatic Interaction Detector)). Le croisement des variables explicatives du comportement de réponse permet d’effectuer des regroupements d’individus, dits « groupes de réponse homogènes » (GRH) car les individus qui les composent sont supposés avoir un comportement de réponse similaire. Les probabilités de réponse au sein de chaque GRH h sont calculées comme le rapport pondéré (par les probabilités

d’inclusion πk) du nombre de répondants rh dans la sous-population h sur le nombre d’individus

nh enquêtés dans cette même sous-population :

ˆ ph= P rh1/πk P nh1/πk

Cette méthode générale a été mise en œuvre en deux étapes : i) pour corriger de la non-réponse à la première vague, en mobilisant les variables présentes dans la base de sondage (caractéristiques individuelles, trajectoires sur le marché du travail, caractéristiques du contrat aidé de référence) ; ii) pour corriger de l’attrition entre la première et la seconde vague, en mobilisant de surcroît les variables recueillies lors de la première vague. Il n’y a en effet aucune raison pour que les variables expliquant la non-réponse soient identiques à celles expliquant l’attrition. La prise en compte des variables d’enquête en deuxième étape permet également d’enrichir le modèle et de mieux modéliser le comportement d’attrition. Un calage sur marges a également été mis en œuvre à chaque étape

afin de redonner à l’échantillon une structure comparable à celle de la base de sondagea.

Notons que certains individus ont été repérés comme hors champ parmi les enquêtésb: ils ont été

traités comme répondants – avec dilatation de leur poids – puis supprimés de l’échantillon en fin de première étape avec leurs poids redressés et calés (ce qui permet de déterminer a posteriori la taille de la population de référence dans le champ). Le calage de l’échantillon de la deuxième vague – qui compte uniquement les répondants à la deuxième vague appartenant au champ de l’enquête – s’effectue alors sur les marges de l’échantillon des répondants à la première vague (hors champ exclus), pondéré par les poids calés de première étape. Cette méthode permet d’estimer le nombre d’individus dans le champ de l’enquête, et assure par conséquent une bonne représentativité de l’échantillon (Brion et al., 2005 ; Brilhault et Caron, 2005).

a. Cf. tableau 10 en annexe pour une définition détaillée des variables mobilisées pour la constitution

des GRH ainsi que pour le calage. Ces variables proviennent essentiellement du FH, mais aussi des fichiers de l’ASP pour les bénéficiaires.

b. On distingue parmi les hors champs les bénéficiaires ayant déclaré ne pas avoir eu de contrat aidé,

les témoins ayant déclaré être passé par un contrat aidé sur la période de référence et les individus repérés comme hors cible par les enquêteurs (personnes retraitées, décédées, etc.).

(18)

3

Description du programme évalué

La qualité de l’évaluation d’un programme, ici les contrats aidés, dépend grandement de la nature des données (mode d’échantillonnage, collecte et redressement des données, etc.) à disposition de l’évaluateur mais également des choix retenus pour l’analyse ex post et notamment la manière d’appréhender l’objet de l’évaluation. La section qui suit détaille ainsi la spécificité des publics ciblés par les différents contrats, le processus de sélection à l’entrée en contrat ainsi que les caractéristiques du programme susceptibles d’influer sur son efficacité.

3.1 Un public recruté très différent selon les contrats

Les publics ciblés par les différents contrats sont relativement hétérogènes, l’utilisation de ces derniers répondant en effet à des logiques différentes. Dans le secteur non marchand, les employeurs sont moins soumis à une logique de rentabilité, les contrats aidés visant principa-lement à répondre à des besoins collectifs non satisfaits. Ainsi, la demande de contrats aidés s’ajuste à l’offre, principalement dictée par des considérations budgétaires. En revanche, dans le secteur marchand, les employeurs interviennent sur des marchés a priori plus concurren-tiels et leur usage des contrats aidés est contraint par leur activité économique. Aussi les bénéficiaires d’un contrat aidé du secteur non marchand présentent-ils souvent des caracté-ristiques plus défavorables au regard de l’insertion sur le marché du travail que les salariés entrés dans un contrat aidé du secteur marchand. Par exemple, les bénéficiaires de CAE et de CAV ont un niveau de formation plus souvent inférieur au CAP-BEP que ceux de CIE ou de CI-RMA. Avant leur inscription à l’ANPE au deuxième trimestre 2005, ils ont été moins souvent en emploi ou principalement en emploi que les autres bénéficiaires (tableau 3).

Tableau 3 – Quelques caractéristiques des bénéficiaires et des témoins

CAE CAV CIE CI-RMA TM1 TM2

Age (%)

moins de 26 ans 40,6 13,8 20,5 8,1 31,5 16,0

plus de 50 ans 10,0 7,5 16,0 7,2 9,8 13,1

Sexe (hommes) (%) 33,4 41,7 54,4 55,9 50,1 54,9

En couple (%) 47,1 35,4 59,3 49,6 54,5 36,3

Nombre moyen d’enfants à charge 0,77 0,98 0,89 1,01 0,79 0,87

Formation (%)

< CAP-BEP 21,2 26,3 15,4 16,2 18,1 23,6

CAP-BEP 36,2 33,5 35,1 36,8 31,3 33,1

niveau Bac 21,9 21,1 21,7 21,6 20,4 20,9

supérieur au Bac 18,9 17,3 26,5 23,9 27,9 21,1

Parcours professionnel avant inscription (%)

toujours ou principalement en emploi 39,2 28,2 57,9 48,5 59,4 47,1 alternance emploi, chômage, inactivité 29,4 39,2 25,5 29,7 18,9 26,8 toujours ou principalement au chômage 12,5 18,5 9,1 16,9 8,7 15,7

toujours ou principalement inactif 18,9 14,1 7,5 4,9 13,0 10,4

Santé (%)

très bonne santé 37,1 31,7 33,2 36,4 38,1 27,0

assez bonne santé 38,9 37,4 39,4 36,4 37,9 33,4

assez mauvaise santé 14,6 17,2 17,4 17,5 16,0 24,5

très mauvaise santé 8,6 12,8 8,9 9,2 7,8 11,4

Source : Dares, Panel 2008.

Au sein de chaque secteur, les salariés recrutés sur un contrat réservé aux allocataires de minima sociaux sont également plus éloignés du marché du travail que ceux embauchés en CIE ou en CAE. Leur parcours professionnel est plus souvent marqué par la

(19)

prédomi-nance des épisodes de chômage ou par une alterprédomi-nance de périodes d’emploi, de chômage et d’inactivité. Dans le secteur non marchand, les bénéficiaires de CAV sont plus souvent en mauvaise santé que ceux de CAE. Les pouvoirs publics ayant décidé de cibler le CAE sur les jeunes et le CIE d’abord sur les jeunes puis sur les seniors, la part des jeunes est plus élevée dans les entrées dans ces deux types de contrats (41% et 21% en CAE et en CIE), les seniors représentant 16% des recrutements en CIE contre 10% au plus dans les autres types de contrat. Ainsi, pour tenir compte de l’hétérogénéité des publics visés, il sera important de mener une évaluation par type de contrat.

Ces différences de caractéristiques entre les salariés en CI-RMA et en CAV et ceux en CAE et en CIE justifient le fait d’avoir choisi des témoins spécialisés par type de public. Ainsi, les témoins des bénéficiaires de contrats aidés non réservés aux allocataires de minima sociaux sont plus jeunes que les autres témoins. De la même manière, les témoins des salariés passés par un CI-RMA ou un CAV ont un parcours plus heurté sur le marché du travail et plus marqué par le chômage que les témoins des bénéficiaires de CAE ou de CIE. Ils sont également moins qualifiés et leur état de santé est moins bon.

La comparaison des statistiques entre témoins et bénéficiaires révèle un certain nombre de différences. Ainsi, les témoins 1 déclarent plus souvent avoir été toujours ou principalement en emploi au cours de leur parcours professionnel antérieur que les salariés recrutés en CAE et en CIE. Les témoins 2 sont également en moins bonne santé que les entrants en contrat réservé aux allocataires de minima sociaux. Ces différences de profil nécessitent de prendre en compte des caractéristiques plus riches que celles qui ont servi à identifier les témoins lors de l’échantillonnage pour réaliser ex post un appariement de qualité entre bénéficiaires et témoins et ainsi évaluer au mieux l’effet du passage en contrat aidé.

Parmi les personnes éligibles aux contrats aidés, les personnes qui entrent en contrat aidé peuvent présenter des caractéristiques particulières qui jouent également sur leur devenir sur le marché du travail. Il peut s’agir par exemple des personnes les plus diplômées ou les plus motivées pour retrouver un emploi. Dans ce cas, si l’on évalue l’effet de la mesure sur le taux de retour à l’emploi, on risque d’attribuer à tort à la mesure un effet qui relève en fait des caractéristiques observables, dans le cas du diplôme, ou inobservables, dans le cas de la motivation, des bénéficiaires. Il est donc nécessaire de tenir compte du possible « biais de sélection » positif ou négatif à l’entrée en contrat aidé.

3.2 Déterminants de l’entrée en contrat aidé

L’entrée en contrat aidé dépend de trois facteurs : l’auto-sélection du demandeur d’emploi – choisissant d’entrer ou non dans le dispositif compte tenu des avantages ou des inconvé-nients qu’il anticipe de sa participation –, sa sélection par le prescripteur de contrat aidé et sa sélection par l’employeur, qui peut décider ou non de le recruter en contrat aidé. Les données disponibles dans l’enquête permettent de tenir compte d’un grand nombre d’élé-ments susceptibles d’intervenir dans le processus de sélection des bénéficiaires et relevant de l’un de ces trois facteurs : l’objectif avant l’inscription à l’ANPE au deuxième trimestre 2005, les freins à l’emploi, le type d’emploi recherché ou encore l’état de santé permettent de tenir compte de l’auto-sélection du demandeur d’emploi et de capter en partie son hé-térogénéité habituellement inobservée dans les données ; les données sur les caractéristiques individuelles (âge, niveau de diplôme, trajectoire professionnelle antérieure à l’inscription, etc.) permettent également de tenir compte de l’éligibilité des demandeurs d’emploi à la mesure ainsi que de la sélection opérée par le conseiller de l’ANPE, les places en programme étant limitées. D’autres facteurs de contexte, ne relevant pas a priori de l’individu, comme

(20)

l’offre de contrats aidés de la part du Service public de l’emploi ou la conjoncture du marché local de l’emploi, sont également susceptibles de jouer sur l’embauche en contrat aidé. Il est difficile d’appréhender ces facteurs au travers d’une enquête adressée aux individus mais ils sont disponibles par ailleurs et peuvent être intégrés à l’analyse.

Les résultats détaillés de l’estimation de la probabilité d’entrer en contrat aidé par type de contrat sont présentés dans le tableau 9 en annexe. Cette probabilité est estimée par une modélisation probit qui, du fait de la sur-représentation des bénéficiaires dans l’échantillon, doit intégrer les poids des témoins et des bénéficiaires. Seuls les principaux résultats sont commentés.

La trajectoire antérieure à 2005 peut être caractérisée de deux manières : d’une part, grâce à une question de l’enquête sur le parcours professionnel et d’autre part, grâce aux variables administratives du fichier historique de l’ANPE (durée cumulée au chômage entre 1997 et 2005, nombre d’épisodes de chômage, etc.). Dans le secteur non marchand, les chances d’accès à un contrat aidé augmentent avec le fait d’avoir eu un parcours heurté sur le marché du travail (alternance de périodes courtes d’emploi et de chômage) ou d’être resté principalement au chômage ou inactif par rapport au fait d’avoir été principalement en emploi. Le nombre d’épisodes de chômage depuis 1997 augmente également la probabilité d’entrer en CAE et en CAV. Ainsi, les conseillers de l’ANPE orienteraient plutôt les demandeurs d’emploi les plus en difficulté vers un contrat du secteur non marchand.

A contrario, dans le secteur marchand, les primo-entrants sur le marché du travail ont

moins de chances d’obtenir un contrat aidé que les personnes ayant été licenciées. De même, de plus longues périodes de chômage indemnisé favorisent l’entrée en contrat aidé marchand. Les employeurs ou les conseillers en charge de la prescription de ces contrats sélectionneraient ainsi des demandeurs d’emploi ayant plus d’expérience et des parcours marqués par l’emploi. La mobilité semble également constituer un critère de sélection puisque l’absence de permis de conduire ou de connexion internet diminue la probabilité d’entrer en CIE et en CI-RMA. Quel que soit le contrat, les personnes ayant déclaré avoir pour principal objectif de tra-vailler à tout prix lors de leur inscription à l’ANPE ont davantage de chances de bénéficier d’un contrat aidé que celles poursuivant d’autres objectifs. C’est également le cas des de-mandeurs d’emploi recherchant un emploi en CDI à temps plein lors de leur inscription. Les témoins et les bénéficiaires ont été également interrogés sur la principale difficulté rencontrée lors de leur recherche d’emploi au deuxième trimestre 2005. De manière générale, mention-ner l’existence d’un frein à l’emploi joue positivement sur l’entrée dans les quatre types de contrat aidé (tableau 9). Les problèmes ressentis de discrimination augmentent les chances d’accéder à un contrat aidé quel qu’il soit. Les problèmes de transport influent positivement sur l’entrée dans les contrats réservés aux bénéficiaires de minima sociaux, tandis que le fait de trouver que les caractéristiques des contrats de travail (temps de travail, salaire, type de contrat, etc.) proposés ne sont pas satisfaisantes joue négativement. La mention de la pénurie d’offres d’emploi dans le domaine de compétences et de problèmes de santé comme principaux freins à l’emploi ne joue positivement que sur la probabilité d’entrer en CAE, tandis que la mention d’un diplôme ou d’une formation insuffisante augmente l’accès à ce contrat et au CIE.

L’environnement familial influe généralement sur les chances d’accéder à un contrat aidé, notamment pour les allocataires de minima sociaux. Cette influence peut s’expliquer par la modulation en France des minima sociaux selon la composition familiale et les ressources du ménage. La présence d’un ou deux enfants est ainsi positivement corrélée avec les chances d’obtention d’un CAV ou CI-RMA. À l’inverse, la présence de personnes dépendantes à charge – non prises en compte dans le calcul des minima sociaux – diminue la probabilité

Figure

Figure 1 – Le protocole d’enquête
Figure 2 – Les thèmes du questionnaire
Figure 3 – Les principaux emplois décrits dans l’enquête
Tableau 2 – Échantillonnage des populations de bénéficiaires et de témoins
+7

Références

Documents relatifs

In the light of the historical development of Canada, it can be surmised from the students' reports and class discussions that the stereotypes have functioned

Here Aronoff describes some good techniques for evolving music terms and notation with young children and some excellent ways of evaluating musical learn-

&#34;The Historical Development and an Evaluation of Provincial Leadership in the Field of High School Instruction for the Province of Alberta.&#34; University of Colorado,

Ma femme et moi, nous avons été passer dix jours chez mon frère, et hier, à notre retour, nous avons trouvé les lettres des enfants, la vôtre et celle du maître de pension. Ne

artificial dataset to demonstrate its viability in Sect. 6, a first application on the Surface Temperature field obtained from a reanalysis is then presented and we show how the 2-D

During the Asian summer monsoon season (June–September), the seasonal mean AOD ranges from ∼0.45 to 0.6 near the west- ern Arabian Sea close to Arabia, a zone of largest aerosol

Total landsliding in area and volume derived from whole landslides (a) or from scar estimates only (b), total landslide number (c) and landslide distribution area (d) against

Back-scattered electron (BSE) images of selected monazites from the Puylaurent migmatite: (a) sample BE3, Grain 12; (b) monazite with patchy zoning and inclusions from sample