Formellement, le résultat observé (Y) pour chaque individu peut être écrit comme : Y= T Y1 + (1-T)Y0
avec Y1, Y0 les résultats potentiels avec ou sans participation et T une variable muette qui
prend la valeur 1 lors de la participation et 0 autrement (connu comme le « Roy Model »).
L’effet du traitement par rapport à la situation de la non participation, Y1- Y0, ne peut jamais
être calculé, car ces deux résultats ne peuvent jamais être observés simultanément pour le même individu. L’estimation de l’effet causal moyen est donc un problème d’absence de
données. L’effet du traitement par rapport à la situation hypothétique de la non participation,
s’écrit
ß= E (Y1- Y0 ¦ T=1) = E (Y1¦ T=1) - E (Y0¦ T=1)
où ß représente l’incidence moyenne de la mesure par exemple sur les gains des bénéficiaires (« effet of treatment on the treated »). L'estimation de l’effet moyen du traitement doit donc reposer sur une démarche expérimentale ou sur une démarche économétrique qui vise à estimer les données non disponibles.
Si les participants potentiels148 à une MMT sont sélectionnés aléatoirement, au moins
théoriquement, les participants et le groupe de contrôle seront très similaires et E (Y0¦T=1)=E (Y0¦T=0)
147 Dans ce type de modèle, on essaye par exemple, de faire une analyse comparative afin de relier les
différents niveaux d’exposition au programme aux différences dans les effets observés, tout en contrôlant les autres influences. Naturellement, toute relation identifiée peut être incertaine et irréelle (Commission européene, 1997).
148 Ces personnes veulent participer au programme et elles ont été acceptées par les administrateurs
locaux. La sélection aléatoire doit se faire après l’acceptation des personnes au programme (Heckman et al., 1997a).
Il n’y a pas de biais de sélection. Dans les études d’évaluation non expérimentales, il faut par contre estimer le résultat en absence de traitement pour les participants, car cette information n’est pas disponible :
E (Y0¦T=1)
On n’observe que (yic,ti=0), avec y et t la réalisation de Y et T, i l’indice pour un individu et c
pour le groupe de contrôle, qu’on utilise comme estimation de E(Y0¦T=1). Il existe un biais de
sélection, si les participants se différencient des non-participants même en absence de
traitement [B=E (Y0¦T=1) - E (Y0¦T=0)].
Heckman et al. (1997a, p. 13, et 1998a) décompose le biais de sélection en trois composantes. Tout d’abord, une partie du biais de sélection est dû aux différentes distributions des caractéristiques observées entre les deux groupes. La deuxième composante du biais de sélection est dû au fait que le groupe des participants et le groupe témoin ne partage pas le même support (« nonoverlapping support », pour plus de détail, cf. chapitre 5.4). La troisième composante du biais de sélection est due aux différences de résultat entre les participants et le groupe témoin, même en éliminant les différences en variables observées et en se limitant au support commun. Toute recherche non expérimentale est donc sujette à un degré inconnu de biais de sélection dû à la corrélation entre le traitement et les résultats, et aux autres facteurs
non mesurés influençant les résultats149. Le but des techniques économétriques est d’éliminer
ou au moins de réduire le biais de sélection.
5.2. L’expérience d’ordre social
a) Historique
Si le chercheur introduit un changement dans un environnement contrôlé et qu’il observe les effets de ce changement sur les individus analysés, on parle d’expérience. L’expérimentation sociale contrôlée est caractérisée par l’attribution aléatoire du traitement à l’unité observée dans un environnement avec des interactions sociales et économiques. On peut tester des politiques innovatrices ou analyser l’effet de politiques courantes face à la situation sans traitement. Deux types d’expériences sont possibles : l’expérience qui vise à estimer une fonction de réaction d’une population analysée (par exemple, expériences sur l’élasticité de la
149 Si on analyse le revenu comme indicateur de succès de la MMT, le biais de sélection apparaît
lorsque le gain moyen du groupe de traitement diffère, aussi en absence de la MMT, du gain moyen du groupe témoin (Heckman, Hotz, 1989).
demande des soins médicaux), l’expérience visant à mesurer l’effet d’un traitement, comme dans le cas de l’évaluation des effets d’un instrument de la PAMT (Burtless, 1995).
Le domaine de la recherche pharmaceutique offre un exemple d'expérience idéale. Dans un échantillon de personnes, on désigne de manière aléatoire celles qui recevront le médicament (traitement) et celles qui, jouant le rôle de groupe de contrôle, se verront administrer une préparation neutre appelée placebo. Grâce à une comparaison simple de l’impact sur le patient, ce modèle permet d'établir de manière claire l'existence d'un effet de causalité et d'évaluer l'ampleur moyenne de cet effet. En transposant ce modèle à l'exécution de mesures de qualification, il faudrait répartir de manière aléatoire les participants potentiels en un
groupe "expérimental" et un groupe de contrôle150. En d'autres termes, on refuserait aux
membres du groupe de contrôle l'accès à la mesure.
Sur la base des premières connaissances dans la réalisation d’expériences d’ordre social dans le cadre de projets pilotes de garantie de revenu effectuées dans les années septante (« negative income tax », 1968/1978), une série d’expériences portant sur des sujets très différents ont été réalisées aux Etats-Unis au cours des vingt dernières années. Un grand nombre de celles-ci portaient sur des sujets du marché du travail, tels que l’aide à la recherche d’emploi, le renforcement des critères de recherche d’emploi (par exemple, « Job search experiments », Johnson et Klepinger, 1993, Meyer, 1995), l’aide à l’embauche (avec des coupons pour les employeurs à Dayton, 1980/81), la formation en cours d’emploi ou la création d’emplois dans le secteur public et dans les organisations à but non lucratif (« work- welfare experiments » pour les personnes recevant les « Aid for Families with Dependent Children », AFDC 1982/1988). En outre, depuis 1983 plusieurs expériences ont été menées dans l’Illinois, le New Jersey, l’état de Washington et la Pennsylvanie, visant à instituer une prime pour les personnes qui retrouvaient un emploi dans les premières semaines de chômage (Woodbury et Spiegelman, 1987, Decker et O’Leary, 1995, Meyer, 1995, Anderson et Meyer, 1994)151.
150 Il faut remarquer que cette transposition est très dangereuse. Si dans l’évaluation de l’effet d’un
médicament, on est face à une relation entre un objet et une personne, la PAMT se base sur la relation entre deux personnes. Cette interaction, par exemple entre le conseiller en personnel et le DD, est basée sur la confiance. L’attribution aléatoire influence nécessairement l’interaction entre les deux personnes.
A la moitié des années quatre-vingt les avis sur les méthodes d’évaluation non-expérimentales étaient assez négatifs. Ainsi, le Ministère du Travail américain a décidé de recourir aux méthodes expérimentales classiques pour l’évaluation du « Job Training Partnership Act» (JTPA), comme l’a recommandé le Comité consultatif chargé d’examiner les évaluations du « Comprehensive Employment and Training Act» (CETA). Selon Ridell (1991) cette vogue des méthodes expérimentales classiques serait imputable dans une large mesure à une meilleure compréhension des limites des approches non-expérimentales plutôt qu’à un changement d’opinion quant aux avantages et aux inconvénients des expériences d’ordre social. En Europe, les expériences d’ordre social ont été assez rares. Elles visaient à évaluer
l’efficacité d’un programme d’intensification des services de placement en Suède en 1975152
(Björklund, 1989), l’introduction de mesures de perfectionnement en Norvège (1991) et le programme anglais de conseil en placement et en perfectionnement (« Restart Programme », 1989).
Les premières expériences menées entre 1968 et 1975 étaient à grande échelle et d’assez longue durée. Par la suite, l’ampleur s’est réduite, en raison notamment du coût et des problèmes d’ordre éthique qu’elles ont soulevés. En effet, la sélection aléatoire est sujette à de nombreuses critiques, notamment en Europe et au Canada où elle n’est une méthode guère utilisée. Paradoxalement, les expériences de la dernière décennie ont eu, malgré leur dimension, un grand impact au niveau politique. L’expérimentation est devenue une partie reconnue de l’évaluation des politiques publiques aux Etats-Unis.
Du point de vue méthodologique, l’expérimentation sociale avec sélection aléatoire rend la participation à une mesure statistiquement indépendante des résultats et des caractéristiques
de la personne: Pr (Tit =1 ¦ Z, Y0, Y1) = 0. On définit T*i, comme la candidature et
l’acceptation de l’individu i au programme avec sélection aléatoire. L’individu i sera dans le groupe de traitement s’il a été choisi aléatoirement (R=1) parmi les personnes qui voulaient y participer (T*i=1). La probabilité d’être choisi (T*i=1) est notée par p et p=1, lorsqu’il n’y a
pas d’attribution aléatoire des participants. Implicitement, on fait l’hypothèse que Pr (T=1¦ c) = Pr ((T*=1¦ c, p)
152 Les demandeurs d’emploi devaient être enregistrés auprès du SPE depuis au moins trois mois. Les
membres du groupe expérimental respectivement du groupe de contrôle ont en moyenne bénéficié de 7.5 resp. 1.5 heures des services de l’office de placement. L’évaluation a démontré une amélioration quantitative et qualitative du placement des participants, sans pouvoir pourtant exclure tout à fait l’effet de mise en queue et l’effet d’Hawthorne (cf. infra).
où c sont les variables explicatives : c=(x,z) pour notre échantillon. Il faut noter que les deux vecteurs x et z peuvent avoir des variables en commun. Cette hypothèse est mise en cause lorsque les caractéristiques des personnes soumises à la sélection aléatoire diffèrent de celles des personnes qui auraient participé au programme, s’il n’y avait pas eu une attribution aléatoire. Autrement dit, l’hypothèse est violée lorsque la sélection aléatoire influence le processus de participation.
Formellement, on écrit :
F(y*1, y*0, c¦ T*=1) = F(y1, y0, c¦ T=1)
Une violation de cette hypothèse mène à un « randomization bias » dans l’estimation des paramètres (cf. infra). Si les deux hypothèses sont vraies, alors
F(y1, c¦ T*=1, R=1) = F(y1, c¦ T*=1) = F(y1, c¦ T=1),
F(y0, c¦ T*=1, R=0) = F(y0, c¦ T*=1) = F(y0, c¦ T=1) et
E(Y1¦R=1) - E(Y0¦R=0) = E(∆ ¦ T=1).
On notera que la dernière équation peut être vraie, même si les deux hypothèses de base sont erronées.