Au cours des années quatre-vingt quelques auteurs ont défendu la thèse selon laquelle seule
l'expérimentation sociale permettait d'effectuer des évaluations fiables (Ashenfelter et
Card, 1985, Burtless et Orr, 1986). Ils s'appuyaient, d’une part, sur la grande diversité au niveau des résultats de l'évaluation du programme américain « Comprehensive Employment
and Training Act (CETA)»219 réalisé sur la base de méthodes non expérimentales et, d’autre
part, sur la comparaison de résultats de l’évaluation du « National Supported Work Demonstration (NSW) » avec les résultats obtenus à partir de données expérimentales (LaLonde, 1986). Ils concluaient que les estimations des effets d’un programme (sur les participants) basées sur les données non expérimentales étaient soumises à une incertitude substantielle découlant de la spécification du modèle.
Les divergences dans l'évaluation des effets étaient surtout dues à des différences de
modélisation du processus de sélection220. Mais il n’existait pas non plus un accord entre les
chercheurs sur la spécification de la fonction des gains221 ou sur les techniques d’appariement
à utiliser222 (Barnow, 1987). Franker et Maynard (1987) ont en particulier montré les
problèmes liés à la construction d’un groupe témoin. Ils ont démontré que les résultats étaient
sensibles au choix du groupe témoin, surtout pour les jeunes223. On notera que ces évaluations
s’appuient sur des modèles de régression linéaires, sur des modèles à effet constant ou de « difference-in-differences » et sur des modèles avec une variable de sélection latente. Le
219 Barnow (1987) a analysé, en particulier, les facteurs qui ont conduit les chercheurs qui ont évalué le
programme CETA a des résultats différents. Tout d’abord, il a identifié les différences au niveau des hypothèses : la définition des services offerts, les limites d’âges, le traitement des participants pour une très courte durée, les problèmes liées aux données et la période d’entrée. Deuxièmement, il a analysé les diversités au niveau méthodologique.
220 En particulier, Dickinson et al. (1987) ont effectué des analyses de sensibilité des résultats
d’évaluation du programme CETA et ils ont pu démontré que les différences au niveau des effets été essentiellement dues aux choix des chercheurs concernant l’exclusion de certaines personnes du groupe témoin (les personnes avec peu d’expérience professionnelle), l’alignement des données concernant les participants et le groupe témoin et les modèles économétriques utilisées, notamment le choix de l’année quand la décision de participer au programme a été prise.
221 L’estimation de l’équation des salaires n’est jamais exacte, notamment en raison des difficultés à
mesurer le capital humain (surtout les compétences innées), la motivation et l’aptitude de l’employée au travail.
222 Même si Dickinson et al. (1984 ) trouvent que leurs résultats basés sur une technique de mesure de
distance ne sont pas sensibles à une changement de technique d’appariement par case (technique notamment utilisée par Westat, 1984).
223 Ceci n’est pas surprenant, car les gains précédants le programme ne donnent pas beaucoup
Département du travail américain (1985) a donc décidé d’évaluer le « Job Training Partnership Act (JTPA) » par l’expérience sociale dans 20 sites différents.
Dans les années quatre-vingt-dix, les conclusions tirées par LaLonde (1986) concernant notamment l’utilisation d’estimateurs différents sur la base d’une comparaison entre résultats obtenus grâce aux expériences d’ordre social du NSW et ceux obtenus avec différentes méthodes non-expérimentales, ont été remises en question, surtout du point de vue méthodologique par Heckman, Smith (1996). Tout d’abord, Heckman et Hotz (1989) ont démontré que les hypothèses à la base des modèles non-expérimentaux peuvent être testées
avec les données disponibles224. Heckman et Smith (1995 et 1996) soulignent également les
lacunes d’information dans les données de LaLonde (1986) concernant l’éligibilité des individus au programme, l’aspect géographique et la taille de l’échantillon. Il s’ajoute à ce fait
l’inadéquation des données face aux modèles utilisés225. Heckman et Smith (1995) aboutissent
donc à la conclusion que, puisque le biais de sélection résulte des variables inconnues qui
influencent à la fois la participation et le résultat de la mesure, le problème du biais de sélection ne se laisse résoudre que par une amélioration des données226.
En 1996, l’OCDE concluait : « Il n'y a pas de réponse tranchée quant à la méthode d'évaluation qui devrait être utilisée », (Fay, 1996, p.11). A la fin des années quatre-vingt-dix, Heckman, Ichimura et Todd (1997) ont pu démontrer que, sous certains conditions et se basant sur les données récoltées pour l’évaluation du JTPA, l’approche quasi-expérimentale
avec différentes techniques d’appariement statistique reproduit les mêmes résultats que l’expérience sociale. Le groupe témoin doit cependant être localisé dans le même marché
local du travail que les participants et les données doivent être récoltées par le même questionnaire. Dehejia et Wahba (1998) confirment ces résultats, en utilisant les mêmes données que LaLonde (1986). En particulier, ils montrent l’importance du problème de se
224 Burtless (1995) remarque que ces tests de spécification, s’ils excluent certaines spécifications,
n’aident pas le chercheur à choisir le meilleur modèle de sélection. Heckman et Smith (1995) répondent que ces réflexions sont purement statistiques et ignorent le fait que les connaissances sociales accumulées jusqu’à présent permettent de guider les choix méthodologiques.
225 Par exemple, la présence d’informations sur les revenus, au plus tôt, une année avant le programme,
exclut selon Heckman et Smith (1995), l’utilisation d’estimateur basé sur la structure longitudinale des revenus.
226 Pour Björklund (1989), une estimation non-expérimentale présuppose au moins des données
longitudinales trimestrielles ou mensuelles qui incluent des informations sur la situation de l’individu avant le programme (ne se limitant pas au seul revenu) pour pouvoir effectuer des tests de spécification.
limiter au support commun, même si l’effet moyen du traitement pour le support commun peut être différent de l’effet moyen pour l’ensemble des participants. L’inconvénient majeur des méthodes non-expérimentales est donc de ne pouvoir estimer l’effet du traitement pour tous les participants.
Sur la base d’estimations du biais de sélection avec des données expérimentales et des méthodes non-expérimentales, Heckman et al. (1998a) concluent que l’expérience sociale avec l’allocation aléatoire est à privilégier, car elle permet de supprimer le biais de sélection, alors que l’approche non-expérimentale ne fait que réduire le biais de sélection, mais elle ne l’élimine pas. Elle permet d’ailleurs de résoudre le problème du support commun et elle permet d’estimer l’effet moyen pour toute valeur de P. Par ailleurs, « If a nonexperimental
evaluation method has to be used, semiparametric selection bias models estimated on data
with full support for nonparticipants or conditional difference-in-differences estimators fit outside the period immediately surrounding the period of initial participation in the program appear to be promising methods that deserve much further exploitation and testing » (Heckman et al. , 1998a, p.41). Smith (2000) arrive à la même conclusion. L’expérience sociale n’est cependant pas envisageable dans tous les pays et le choix de la mettre en oeuvre est pris par l’administration qui gère le programme. Ainsi, aujourd’hui, on constate une tendance vers l’approche quasi-expérimentale.