Une approche intuitive de l’évaluation des programmes repose sur la comparaison de la situation des participants avant et après le traitement. Intuitivement, si les variables inobservables individuelles, telles que la motivation et l’habilité restent constantes dans le
temps, la comparaison intertemporelle permet en quelque sort de les neutraliser177. Si on
considère l’évolution des gains des participants et du groupe témoin, le traitement est également à juger positivement si la différence entre les gains des participants et le groupe témoin après traitement est inférieure à celle avant traitement. Autrement dit, on calcule la différence des différences. Il faut remarquer que la détermination du moment pré-traitement et après-traitement est délicate, car les gains des participants tendent à se réduire avant traitement (cf. infra).
Formellement, seule la définition du biais de sélection sur les variables inobservables nous permet de mieux comprendre le « difference-in-differences estimator ». Heckman, Hotz (1989) définissent le biais de sélection dû aux variables inobservables comme
E (U it ¦ Ti , X i) ≠ 0 et E (U it ¦ Ti , X i, Vi) ≠ E (U it ¦ X i, Vi)
La partie inobservable de l’équation de résultat peut être subdivisée en deux composantes : une composante est constante dans le temps et l’autre composante est transitoire. Plus précisément, si l’indicateur de résultat est le salaire, une spécification assez générale des facteurs non mesurés dans l’équation des salaires est :
économétrique, ce problème est connu comme le problème de l’« incidental truncation » dans un modèle de sélection (Greene, 1997). Le coefficient ß quantifie l’effet moyen de la MMT.
U it = e i + e it
où ei est un effet spécifique individuel constant dans le temps (effet fixe), qui capture
probablement les facteurs inobservables, tels que l’habilité, la motivation et les autres
investissements dans le capital humain (Ashenfelter, 1978) et eit est un erreur aléatoire
spécifique à l’individu i et à la période t (composante transitoire). L ‘hypothèse à la base de la méthode « difference-in-differences » est que la participation dépend de l’effet fixe, mais
elle ne dépend pas de la composante transitoire. Si l’indicateur de résultat est le salaire,
l’hypothèse implicite est que la sélection des participants se fait sur la base du niveau des
revenus des personnes éligibles178. Ainsi, puisque l’effet fixe est constant dans le temps, si on
dispose de données avant et après le traitement, la différence de résultats après et avant le traitement peut être calculé sans connaître l’effet constant.
Formellement, dans le modèle dit des différences premières (ou des effets constants, Bassi, 1983 et 1984), il est donc possible d’estimer l’équation :
Y it - Y ip =(et-ep)+ µ (Xit - Xip)+ ßt Ti + (eit-eip) pour t > k > p
où p est la période avant le programme179. L’estimateur est la différence entre la différence
des salaires avant et après traitement pour les participants et celle pour les non-participants ; d’où le nom de l’estimateur « difference-in-differences estimator ». Cette méthode permet d’éviter les erreurs de spécifications concernant les variables explicatives inobservables constantes dans le temps, tels que l’habilité innée et l’intelligence. La connaissance de ces variables ne devient plus nécessaire pour estimer l’effet d’une MMT. Barnow (1987)
177 Avec cette approche l’hypothèse d’exclusion ne doit pas être satisfaite.
178 Bassi (1983) note que cette hypothèse peut être violée, en raison de l’existence d’incitation pour les
conseillers en personnel à choisir les personnes qui seraient susceptibles d’avoir des revenus élevés après programme, c’est-à-dire des personnes éligibles avec des faibles revenus seulement temporairement. Deuxièmement, les personnes vivant dans des régions avec un chômage cyclique très élevé auraient plus de probabilité de participer à un programme, car les ressources financières se concentreraient tout particulièrement dans les régions avec des graves difficultés sur le marché du travail. Enfin, on peut s’attendre à une auto-sélection des personnes basée sur des variables inobservables non constantes dans le temps, tels que la demande de certaines qualifications et la responsabilité à l’intérieur du ménage. Autrement dit, les conseillers choisiraient les individus pour lesquels la demande de leurs qualifications sur le marché du travail est en diminution. Ainsi formellement, il y aurait une corrélation entre eip et Ti (Bassi,1984).
179 Dans le choix de la période avant le programme, il faut tenir compte d’un possible déclin
temporaire ou permanent des revenus juste avant la participation au programme (Ashenfelter, 1978, Barnow, 1987). Si le déclin est permanent, l’utilisation de l’année précédente à la participation au programme, sous-estime l’effet du programme. Au contraire, si le déclin est temporaire, il y a une surestimation. Par ailleurs, Ashenfelter et Card (1985) soulignent l’importance du choix de l’année de base pour estimer l’impact du programme (l’année précédente la participation au programme ou l’année de la participation au programme), notamment en raison de la possible prise en considération des gains pendant le programme.
remarque que la conséquence logique de ce raisonnement est que très peu de variables
explicatives seront prises en compte dans le modèle180181. Du point de vue pratique, comme
pour les expériences d’ordre sociale, il faut noter que l’intérêt des utilisateurs ne se concentre pas exclusivement sur l’effet moyen du traitement (cf. supra) ; d’où l’avantage d’une prise en considération explicite dans le modèle de la décision de participer à une MMT.
L’hypothèse de base du modèle des différences premières implique une différence constante de salaire entre les participants et les non participants avant le traitement, c’est-à-dire plusieurs années avant le programme. Il faut aussi une différence constante entre les participants et les non-participants après le traitement, car la différence après-traitement équivaut à la somme de la différence avant le traitement et l’effet du traitement (Smith, 2000). Mais l’expérience américaine montre que les salaires des participants baisse juste avant le traitement (« Ashenfelder dip »), l’hypothèse de base ne semble donc pas être respectée. Ainsi, Ashenfelder et Card (1985) et Heckman et Smith (1996) concluent que l’utilisation d’un tel modèle conduit souvent à une mauvaise estimation des effets d’une MMT. Par ailleurs, ces modèles sont souvent rejetés sur la base des tests de spécifications usuels, qui constituent un important instrument de contrôle des spécifications adoptées dans le modèle d’évaluation, même s’ils ne peuvent non plus détecter tout type de biais de sélection. On notera que l’estimateur des « differences-in-differences » peut être utilisé en combinaison avec la méthode d’appariement statistique avec des données longitudinales ou des données
issues d’enquêtes répétées (pour plus de détails, Heckman et Robb, 1985)182.
180 Par exemple, dans l’étude de Bassi (1983) seules les variables âge, âge carrée et participation au
programme restent dans le modèle.
181 Une généralisation de ce modèle prévoit une spécification des termes d’erreur e
it et eip, tels que
chaque individu a son propre niveau initial de revenu et son propre taux de croissance.
182 Les différences sont conditionnelles à X. En effet, l’appariement statistique permet de résoudre le
problème du biais de sélection sur les variables observables, mais il ne permet pas de résoudre le problème des variables inobservables. Heckman et al. (1998a) testent l’hypothèse à la base de tous ces estimateurs des « differences-in–differences ». Conditionnellement à X, le biais de sélection reste constant dans le temps :
B(X)=Bt(X)- Bp(X)= Bt(P(X))- Bp(P(X))=0 pour certaines t et p.
Ils concluent que les hypothèses à la base de la méthode des « conditional difference-in-differences » sont satisfaites pour le JTPA, sauf pour les valeurs très faibles de P. Dans un environnement stable, même la méthode des effets constants peut être utilisée. Les différences sont conditionnelles à X. En effet, l’appariement statistique permet de résoudre le problème du biais de sélection sur les variables observables, mais il ne permet pas de résoudre le problème des variables inobservables (par exemple, Bergemann et al., 2001).
5.4. L’approche quasi-expérimentale
Avec l’approche quasi-expérimentale, on cherche à résoudre le problème de sélection au niveau des données. On construit ex-post un groupe témoin de non-participants dont les caractéristiques observées sont analogues à celles des participants. On espère qu’en appariant les caractéristiques observées, on obtiendra deux groupes analogues par leurs caractéristiques non mesurées, minimisant ainsi le biais de sélection.
Formellement, les techniques d’appariement se basent sur l’hypothèse que l’attribution d’une mesure est aléatoire conditionnellement aux covariables, donc que l’attribution est indépendante du résultat potentiel sans participation conditionnellement aux covariables (« random assignment conditional on covariate », Rubin, 1977) :
(Y1 , Y0) ⊥ T¦X (H-1)
où ⊥ signifie que « conditional on X, (Y1,Y0) and T are independent »183. Plus précisément,
Y0 ⊥ T¦X = x ∀x∈χ
où est la part de l’espace des covariables pour laquelle l’effet du traitement est défini. Cette hypothèse est appelée aussi « The Conditional Independence Assumption (CIA)
χ
184185.
Alors, conditionnellement à X, les résultats des non-participants ont la même distribution que celle des participants, s’ils n’avaient pas participés au programme :
F(y0| X,T=1)= F(y0| X,T=0)
En conséquence, si la moyenne existe :
E(Y0| X,T=1)= E(Y0| X,T=0)
183 Cette hypothèse a déjà été formulée par l’approche non-expérimentale pour la définition du biais de
sélection sur les variables mesurables.
184 Heckman et al. (1997a) remarquent que l’hypothèse, plus souple que conditionnellement à certaines
X, Y0 est indépendant de T :
Y0 ⊥ T¦X (H-3)
est suffisante pour identifier l’effet moyen du traitement. Mais Lechner (2001, p. 5) souligne que « in an application it is usually difficult to argue why conditional mean independence should hold and CIA might nevertheless be violated ».
185 Autrement dit, « The assumption is that the assignement is independent of the potential non-
treatement outcome conditional on the value of a covariate or attribute (Conditional Independence Assumption). If this assumption is true, then E(Y0¦T=1, X=x)= E(Y0¦T=0, X=x), and the quantity E
[E(Y0¦T=0, X=x) ¦T=1] can be estimated in large samples using respective sample analogolues. It is
important to note that this does not exclude that the treatement outcome is correlated with the selection mechanism. In practice this may be quite important because having a higher treatement outcome as somebody who has the same nontreatement outcome may be an (partially) efficient and often used selection rule » (Lechner, 1998, p. 34).
la moyenne contrefactuelle non disponible peut être construite sur la base des résultats des non-participants186. Si on ajoute que
0 < Pr(T=1| X)< 1 (H-2)
pour tout X, alors :
E(Y0| T=1)= E[E(Y0| T=0. X=x) | T=1]
peut être estimée pour un large échantillon utilisant un échantillon similaire. L’hypothèse (H- 2) est souvent appelée « common support condition » (Lechner, 2001). Ces deux hypothèses sont connues comme « the strong ignorable treatement assignement » (Rosenbaum et Rubin, 1983) ou comme l’hypothèse de la sélection sur les variables observables (Heckman et Robb, 1985). L’hypothèse à la base des techniques d’appariement est donc que l’allocation des participants au cours ne dépend que des variables observables avant le cours. On notera qu’en pratique l’effet moyen du traitement n’est pas calculé pour l’ensemble des participants, car l’appariement ne se fait que sur une partie de la distribution de la propension à participer des participants (problème du support commun).
Les techniques d’appariement, visant à construire un groupe témoin, sont essentiellement de deux types: l’appariement par case (« cell matching») et l’appariement statistique (« statistical matching »).