Evaluations par assignation aléatoire

Les évaluations d’impact s’inscrivent dans une tendance internationale qui connait une

généralisation de l’approche axée sur les résultats dans la mise en place des politiques publiques.

Elles permettent de fournir des preuves aux décideurs politiques sur la performance des

interventions publiques et le degré d’atteinte des résultats escomptés. L’évaluation d’impact est

ainsi un outil nécessaire pour améliorer la qualité, l’efficience et l’efficacité des politiques

publiques.

L’évaluation d’impact se focalise principalement sur l’effet causal d’un programme sur un

ensemble de résultats. Dans ce sens, les chercheurs tentent généralement d’isoler et de mesurer les

changements observés sur les résultats qui sont causés directement par le programme. La question

primordiale d’une évaluation d’impact est donc : Quel est le changement dans un résultat (Y) qui

est attribué exclusivement au programme (P) ? La réponse à cette question n’est pas toujours une

tâche facile. En effet, d’autres facteurs exogènes au programme peuvent agir sur l’évolution du

résultat (Y). Par exemple, l’évolution du revenu des bénéficiaires d’un programme de formation

professionnelle ne peut être attribuée exclusivement au programme. Le revenu d’un bénéficiaire

pourrait éventuellement augmenter même en absence de ce programme grâce à d’autres facteurs

comme l’évolution de son expérience ou suite à un changement du contexte du marché du travail.

Afin de déterminer d’une manière rigoureuse l’effet d’un programme, il est important d’avoir une

information sur le contrefactuel qui est une estimation du résultat (Y) pour un bénéficiaire en

absence du traitement. Cette estimation constitue généralement la difficulté la plus important dans

les exercices d’évaluation d’impact des politiques publiques.

D’une manière générale, les évaluations d’impact peuvent être regroupées en deux catégories : les

évaluations prospectives et les évaluations rétrospectives. Ces dernières sont élaborées après la

mise en œuvre de l’intervention. Ce type d’évaluation pose souvent des problèmes pour réaliser

une estimation valide du contrefactuel. D’autre part, les évaluations prospectives font

généralement partie intégrante de la mise en œuvre du programme. Plusieurs techniques existent

pour élaborer un contrefactuel valide et réussir ainsi une évaluation d’impact rigoureuse.

Au cours de ces dernières années, l’expérimentation par assignation aléatoire a suscité l’intérêt de

plusieurs chercheurs qui travaillent sur les évaluations d’impact des politiques publiques et plus

particulièrement des politiques éducatives. Le premier argument avancé pour justifier le recours à

cette technique est le problème du biais de sélection souvent rencontré lors des évaluations non

expérimentales. En générale, les participants à un programme sont systématiquement différents

des non participants. En revanche, l’assignation aléatoire du programme aux individus parmi une

population éligible permet de constituer deux groupes : un groupe de bénéficiaires, appelé aussi

« groupe de traitement » et un groupe de non bénéficiaires ou encore « groupe de contrôle ». Grace

à la sélection aléatoire, tous les individus éligibles ont la même chance d’appartenir au groupe de

traitement ou de contrôle. Cette approche permet donc d’avoir deux groupes comparables et de

faciliter ainsi l’obtention d’un contrefactuel solide.

Un deuxième avantage des évaluations d’impact randomisées est le fait que cette approche, basée

sur l’expérimentation, facilite l’étude de l’efficacité de chaque composante d’une politique mise

en œuvre. Il est courant que plusieurs programmes, qui visent le même objectif, soient déployés

au même moment. Ce type de configuration génère une chaîne de causalité multiple et complexe

qui pose des difficultés aux économistes dans l’estimation de l’efficacité de chaque composante.

Ainsi, les décideurs politiques ne peuvent pas savoir quelle composante de leur politique est la

plus efficace. Cependant, quelques expérimentations réalisées à travers le monde ont montré que

l’implication des chercheurs dans la conception et la mise en œuvre de certains programmes a

donné naissance à des instruments innovants dont l’efficacité était inattendue (ALJ-PAL, 2005).

Avec l’évolution remarquable des expérimentations par assignation aléatoire à travers le monde,

une vague de critiques et d’oppositions à cette approche voit le jour. Les premières critiques se

rapportent au coût relativement élevé en termes de temps et de budget pour la mise en œuvre d’une

expérimentation. Toutefois, il est important de noter que la collecte des données non

expérimentales est parfois une tâche couteuse notamment lorsqu’il s’agit de données

longitudinales. De plus, les évaluations randomisées font souvent appel à des méthodes de

collectes de données originales et ne concernent que des échantillons de petites tailles (Banerjee

et Duflo, 2009) ce qui permet de réduire les coûts.

Certaines critiques s’adressent au principe de l’expérimentation randomisée. L’assignation

aléatoire peut constituer une contrainte pour l’adhésion des organismes et des gouvernements dans

la mise en place du programme (Heckman, 1992). Dans certaines situations on évoque même des

problèmes éthiques liés à la sélection aléatoires des candidats. Cependant, les autorités publiques

sont souvent confrontées à des contraintes budgétaires lors de la mise en œuvre des programmes

et, par conséquent, ne peuvent pas couvrir toute la population cible. Dans le cas où la demande

dépasse l’offre, une sélection des bénéficiaires s’impose. La sélection aléatoire des bénéficiaires

peut être considérée comme une règle légitime et transparente.

D’autre part, les expérimentations par assignation aléatoire peuvent être soumises à un biais de

randomisation ou plus particulièrement à l’effet Hawthorne. Ce biais consiste à ce que les

participants et/ou les non participants au programme changent leur comportement parce qu’ils

savent qu’ils font partie d’une intervention soumise à une évaluation (Heckman et Vytlacil, 2008b).

Ce changement de comportement, provoqué par l’évaluation d’impact, peut limiter la validité

externe des résultats. Par exemple, si les individus du groupe témoin savent qu’ils vont bénéficier

du programme incessamment, par anticipation, ils auront tendance à changer leur comportement.

Pour limiter ce biais, qui n’est pas spécifique aux évaluations randomisées, les gestionnaires et les

évaluateurs des programmes ont tendance à ne pas informer les membres des deux groupes qu’il

s’agit d’une expérimentation soumise à une évaluation.

Finalement, les évaluations randomisées peuvent être soumises aussi au biais d’attrition. D’une

manière générale, il s’agit d’un manque de données lié à la non-réponse de certaines unités

statistiques de l’échantillon de l’étude. Dans le contexte des expérimentations avec assignation

aléatoire l’attrition résulte du fait que certains participants ne respectent pas leur assignation à l’un

des deux groupes (groupe de traitement ou groupe de contrôle) ou décident de quitter l’expérience

avant la fin de celle-ci.