L'approche expérimentale

Le principe de l’approche expérimentale : la sélection aléatoire des bénéficiaires de la politique.

Depuis les travaux de Fisher (1926), la solution expérimentale classique est de tirer au sort les bénéficiaires parmi les candidats. On constitue ainsi un groupe de candidats ne bénéficiant pas de la politique. Le niveau moyen de pratiques dans ce groupe est égal au niveau contrefactuel : il mesure bien le niveau de pratiques des bénéficiaires en l’absence du traitement. La procédure d'attribution aléatoire de la politique parmi les candidats garantit que l’on observera la situation contrefactuelle : le niveau de pratiques qu'auraient adopté les bénéficiaires en l'absence de mesure est celui que l'on observe chez les candidats qui n’ont pas été tirés au sort. En effet, la procédure d'assignation aléatoire garantit que les deux groupes ont en moyenne les mêmes caractéristiques observées et inobservées (il n'y a donc pas de biais de sélection possible). L'impact moyen de la MAE sur les bénéficiaires peut donc être estimé sans biais en comparant simplement les pratiques des bénéficiaires à ceux des non bénéficiaires.

*)

(I

−I

Naturellement, l'approche expérimentale n'est pas possible ex-post. Il faut la mettre en place lors du démarrage de la politique et s'assurer que les bénéficiaires ont bien été choisis au hasard. Cette approche a été mise en place depuis de nombreuses années aux Etats-Unis (Moffitt, 2003) et dans d’autres pays européens (Maurin, 2004) pour évaluer les politiques de l’éducation, de l’emploi et de la santé.

L’approche expérimentale en pratique

L’approche expérimentale n’est bien sûr pas sans poser certains problèmes éthiques, ou d’acceptation par les bénéficiaires potentiels ou par les autorités administratives chargées de gérer la politique (Burtless, 1995, Heckman et Smith, 1995). L’expérimentation implique en effet de refuser le bénéfice du programme à des individus qui souhaiteraient en bénéficier. C’est pour prendre en compte ce problème que plusieurs aménagements de la procédure de sélection aléatoire des bénéficiaires de la politique ont été proposés (Duflo, et al., 2007).

CemOA

: archive

ouverte

d'Irstea

Par exemple, il est possible de ne rendre aléatoire que la proposition de participer à un programme. Le candidat contacté est alors libre de refuser de participer. Cette approche a notamment été adoptée dans le cadre de trois évaluations des politiques de l’emploi actuellement en cours en France.18 A notre connaissance, le principal programme évalué actuellement de manière expérimentale en France est le programme d’aide au retour à l’emploi des chômeurs de longue durée. L’Agence Nationale Pour l’Emploi (ANPE) a mis en place en janvier 2007 un programme de conseil spécifique pour ces populations (Cap Vers l’Entreprise (CVE)). L’Union Nationale interprofessionnelle pour l'Emploi Dans l'Industrie et le Commerce (UNEDIC) a de son côté contractualisé avec des opérateurs privés de placement (OPP) pour mettre en place son propre programme. Les deux programmes cumulés offrent 80 000 places. Les bénéficiaires potentiels sont 450 000 environ. Parmi ces 450 000 bénéficiaires potentiels, 80 000 choisis aléatoirement sont contactés pour bénéficier du programme CVE et 80 000 choisis aléatoirement sont contactés pour entrer dans un programme géré par un OPP. La moitié environ des personnes contactées accepte de bénéficier du programme. En comparant les taux d’emploi des individus auxquels un programme CVE a été proposé à celui des individus auxquels un stage avec un OPP a été proposé, on peut mesurer sans biais l’effet propre de la privatisation du système d’aide retour à l’emploi sur le taux d’emploi. En effet, les individus pouvant bénéficier de l’un ou de l’autre programme ont des caractéristiques observées et inobservées identiques, grâce à la distribution aléatoire des propositions. De même, la comparaison du taux d’emploi dans chacun de ces groupes avec le taux d’emploi dans la population n’ayant bénéficié d’aucune proposition spécifique permet de mesurer sans biais l’effet propre de chacun des programmes (CVE et OPP) par rapport au programme normal de suivi des chômeurs.

Les méthodes expérimentales sont aussi plus aisées à justifier dans le cas de l’évaluation d’un programme dont la mise en place se fait progressivement. La montée en puissance du programme implique que seule une partie des bénéficiaires potentiels pourra accéder au programme la première année de sa mise en place, et que son extension sera progressive. Dans ce cas, plutôt que de réguler l’accès au programme selon la formule « premier arrivé, premier servi », qui induit un biais de sélection, et n’est pas particulièrement équitable, il apparaît judicieux de sélectionner aléatoirement parmi les candidats ceux qui auront accès à la politique la première année, puis la seconde, puis la troisième. Ainsi, à l’orée de la troisième année, les résultats de ceux qui ont bénéficié de la politique la première année pourront être comparés sans biais à ceux qui n’en bénéficieront que la troisième année.

19

Le Revenu de Solidarité Active (RSA), offrant la possibilité de cumuler des revenus de l’assistance (Revenu Minimum d’Insertion (RMI)) et des revenus du travail, dans l’objectif d’augmenter les incitations à la reprise d’un emploi, est actuellement évalué selon ce principe. Le budget alloué ne permettant pas de faire bénéficier l’ensemble des personnes éligibles, le dispositif du RSA monte progressivement en puissance sur le territoire. Des départements se sont portés volontaires pour le mettre en application dès 2007. A l’intérieur de chaque département, les cantons où le RSA est disponible ont été sélectionnés parmi l’ensemble des cantons. Ces cantons n’ont pas été sélectionnés au hasard. L’évaluation n’est donc pas strictement expérimentale. Néanmoins, les restrictions budgétaires ont obligé les responsables du programme à exclure de l’accès au RSA certains cantons similaires aux cantons bénéficiaires. C’est dans ces zones que seront recherchés les non bénéficiaires auxquels seront comparés les bénéficiaires. Les méthodes utilisées relèvent plutôt du

18 _{Ces expérimentations sont décrites sur le site de Bruno Crépon, directeur du département de la recherche du}

Centre de Recherche et Economie et Statistique (CREST) http://www.crest.fr/pageperso/crepon/crepon.htm.

19 _{Le site du Haut Commissaire aux solidarités actives détaille la procédure d’évaluation du RSA :}

http://www.ministre.gouv.fr/information/les_dossiers_actualites_19/haut_commissaire_solidarites_actives_920/ex perimentations_924/revenu_solidarite_active_925/mise_oeuvre_57766.html CemOA : archive ouverte d'Irstea / Cemagref

matching, présenté dans la section suivante. Le RSA montre par ailleurs que la loi autorise en France des entorses au principe d’égalité de traitement des individus dans l’objectif de réaliser l’expérimentation d’une politique.

Utiliser l’approche expérimentale pour évaluer les MAE

Dans le cas des MAE, l’approche expérimentale ne peut être appliquée au PDRN, puisqu’il faut intervenir en amont de la politique. Les méthodes expérimentales sont plus aisées à justifier dans le cas de l’évaluation d’un programme pilote, ou de la comparaison d’une innovation à une politique « classique ». Dans le cas d’une MAE de réduction des apports d’azote, l’expérimentation pourrait permettre de comparer l’impact d’une MAE classique (réduction de 20% des apports par rapport à une référence), proposée sur l’ensemble des zones à enjeux françaises, à une MAE plus ambitieuse (réduction et paiements plus élevés). Cette MAE ambitieuse pourrait être proposée dans un premier temps sur une partie seulement des zones à enjeux. Ces zones devraient être sélectionnées au hasard parmi l’ensemble des zones à enjeux. Une enquête de type PK mesurant les doses d’azote apportées par les agriculteurs, devrait être réalisée deux à trois ans après la mise en place de la mesure. La comparaison des doses d’azote épandues par hectare sur les zones à enjeux pouvant bénéficier de la mesure aux doses épandues par hectare dans les zones à enjeux non sélectionnées permet de mesurer l’effet propre supplémentaire apporté par la mesure plus ambitieuse. Le même type d’approche pourrait être mis en place pour évaluer des variantes de la PHAE.

Enfin, les méthodes expérimentales offrent également l’avantage appréciable de permettre de mesurer l’effet propre des MAE directement sur l’état de l’environnement, et non pas uniquement sur les pratiques (comme cela a été souligné dans la Tâche 2 du rapport). La comparaison de la qualité de l’eau (taux de nitrates) ou du niveau de biodiversité entre des zones à enjeux ayant bénéficié d’une mesure ambitieuse et des zones bénéficiant d’une mesure classique permet de mesurer sans biais l’effet propre de la MAE ambitieuse, dès lors que les zones qui en bénéficient ont été sélectionnées au hasard. La difficulté de faire le lien entre politique, pratiques et état de l’environnement est levée grâce aux méthodes expérimentales : en moyenne, l’état de l’environnement en l’absence de la politique est identique dans les zones sélectionnées et dans les zones non sélectionnées. Toute différence entre ces zones observée après la mise en place de la politique plus ambitieuse ne peut être qu’attribuée à cette mesure. CemOA : archive ouverte d'Irstea / Cemagref

2.3.2 Les méthodes économétriques reposant sur l’hypothèse de sélection