Les méthodes économétriques et statistiques d'évaluation des politiques publiques et d'identification

d'évaluation des politiques publiques et d'identification

des relations de causalité

(Fabrice Etilé) Pour mesurer les effets d’une politique publique (taxation nutritionnelle, campagne d’information, interdiction de la publicité) il faudrait idéalement pouvoir observer la situation des individus-cibles avant et après la mise en œuvre de la politique, et la comparer à ce qui se serait passé pour ces mêmes individus en l’absence de politique. De même, pour analyser l’effet d’un déterminant (prix, information, usage de l’étiquetage nutritionnel etc.) sur un comportement, il faut pouvoir comparer les changements de comportement d’un individu soumis à une variation de ce déterminant aux changements de comportement du même individu s’il n’avait pas été soumis à cette variation. Dans les deux cas, on s’intéresse à l’identification de l’effet causal d’un traitement (politique publique ou déterminant) sur un comportement.

En pratique, un même individu ne peut être à la fois "traité" et "non traité". Il faut donc pouvoir comparer l’individu traité à un individu dont les caractéristiques observables et inobservables sont similaires mais qui n’est pas traité : un "contrefactuel".

• Le standard d’or : l’expérimentation de terrain

Le meilleur contrefactuel est obtenu en tirant les individus traités et non-traités au hasard dans la population : traités et non-traités ont alors, en moyenne, les mêmes caractéristiques. Cette méthode est largement utilisée en médecine pour tester l’efficacité d’un médicament (essais randomisés). Elle est appliquée par Teisl et al. (2001) pour comparer les évolutions des achats dans des grandes surfaces avec étiquetage nutritionnel sur les rayons aux achats effectués dans des magasins pour lesquels ce n’est pas le cas (voir Pierre Chandon et Fabrice Etilé, 3.2.1 Comportements alimentaires et politiques nutritionnelles, pour tous les exemples et les références citées dans cette section). La randomisation est également utilisée depuis peu pour des expérimentations sociales en France (cf.

les tests préalables à la généralisation du RSA). L’expérience de Fleurbaix-Laventie (cf. section 3.3.1.

L'éducation sensorielle) s’apparente à cette démarche, bien que le mécanisme de sélection de la population traitée ne soit pas tout à fait aléatoire. Cette méthode ne peut pas être utilisée pour évaluer des politiques publiques s’adressant à l’ensemble de la population (ex : campagnes d’information), ou des dispositifs d’interventions ciblées (ex : éducation thérapeutique) dès lors que la constitution des groupes "contrôle" et "traitement" n’a pas été pensée conjointement avec l’intervention. Cependant, il serait sans doute souhaitable de l’utiliser plus fréquemment pour une évaluation des dispositifs de prévention ciblés, préalable à leur généralisation (cf. l’exemple récent de l’appel d’offre du Fonds d’Expérimentation pour la Jeunesse).

• L’approche économétrique

Les méthodes expérimentales ne peuvent pas être utilisées lorsque le chercheur dispose d’une base de données lui indiquant pour un ensemble d’unités d’observation (individus ou ménages) les évolutions de leurs comportements (consommation, santé), et celles des déterminants de leurs comportements (prix, information, publicité) ou de variables d’exposition aux politiques publiques (taxes, campagne d’information, éducation thérapeutique). En effet, dans ce cas, trois problèmes au moins se posent :

(i) Les consommateurs choisissent en partie les déterminants environnementaux de leurs comportements. Par-exemple, ils peuvent s’intéresser plus ou moins à l’information nutritionnelle diffusée dans les médias, choisir de ne pas être exposés à la publicité, ou acheter des produits de moindre qualité donc moins chers. On parle de biais d’endogénéité de la variable de traitement, équivalent à un biais de sélection dans les études épidémiologiques.

(ii) Un certain nombre de politiques publiques visent par définition toute la population. Il n’y a alors pas de groupe "contrôle" naturel. Les politiques ciblées sélectionnent le plus souvent les populations qu’elles traitent. On peut ainsi penser que les programmes d’éducation thérapeutique à destination des obèses recrutent des personnes ayant un peu plus de volonté que la moyenne des obèses. Le succès d’un tel programme ne nous dira alors rien que son succès probable s’il était étendu. Il y a assignation non aléatoire des individus au traitement, ce qui est encore un biais de sélection.

(iii) Des politiques publiques ayant reçu une évaluation positive lorsqu’elles ont été mises en œuvre dans un certain contexte (économique, politique, institutionnel, sociologique) peuvent ne plus avoir d’effet positif lorsque le contexte change. L’effet causal du traitement estimé sur des données réelles dans le passé et pour une certaine population ne peut pas être utilisé sans précautions pour simuler l’effet attendu d’une nouvelle réforme concernant une autre population. Une méthode d’évaluation d’une politique publique a une validité externe d’autant plus élevée qu’elle permet cette extrapolation à des environnements et populations différentes.

• Les méthodes économétriques de correction des biais de sélection

Economètres et statisticiens ont développé plusieurs méthodes permettant d’éliminer les biais de sélection, sous des hypothèses raisonnables. Ces méthodes visent à recréer les conditions statistiques d’une assignation aléatoire à un groupe contrôle et un groupe traitement. On cherche à ce que les variations de comportements mesurées entre ces deux groupes soient imputables sans ambigüité au traitement : on parle alors de validité interne élevée.

ESCo "Comportements alimentaires" 186

(i) La méthode d’appariement (matching) est la plus simple à mettre en œuvre. Elle consiste à sélectionner un ensemble suffisamment important de variables exogènes (non affectées par le traitement) pour que l’on puisse supposer que les individus similaires selon ces variables, auront également des réactions similaires à un traitement. On peut alors apparier à chaque individu traité un individu non-traité similaire, et les comparer pour estimer l’effet de traitement. C’est la méthode utilisée par Drichoutis et al. (2009) pour montrer que, bien que les utilisateurs de l’étiquetage nutritionnel soient plus minces que les non-utilisateurs, ceci ne reflète pas un effet causal de l’étiquetage sur le poids.

(ii) Les méthodes de différence-en-différence se réfèrent au paradigme de l’expérience naturelle. Un exemple-type d’expérience naturelle est le cyclone Katrina qui a entraîné des déplacements de certaines populations. Certains aspects des politiques d’éducation aux Etats-Unis ont alors pu être étudiés en comparant l’évolution avant/après la catastrophe des résultats scolaires des enfants déplacés et des enfants non-déplacés. Les études de l’impact de la suppression de la publicité sur les télévisions francophones au Québec s’inspirent de cela, en considérant cette mesure comme "un événement naturel" touchant les francophones mais non les anglophones (Goldberg, 1990).

(iii) Les méthodes de variables instrumentales et apparentées (discontinuité de régression) s’intéressent explicitement aux déterminants du traitement. Elles cherchent une variable qui affecte le traitement, mais qui n’affecte pas directement les comportements des individus. Par exemple, les économistes analysent les réactions des consommateurs aux variations de prix à l’aide de systèmes de demande, dans lesquels les parts budgétaires allouées à différents groupes d’aliments dépendent des prix et du budget alimentaire total. Or ce dernier est endogène : les consommateurs ayant un goût inobservable prononcé pour l’alimentation, auront peut-être tendance à avoir un budget alimentaire plus élevé. On suppose alors que, préalablement au choix de la répartition du budget alimentaire entre groupe d’aliments, les individus ont réparti leur revenu entre épargne, alimentation, logement etc. Le revenu est donc un bon prédicteur du budget alimentaire total mais, pour un budget alimentaire donné, le revenu n’a aucun impact sur les choix finaux. On dit que c’est un bon instrument. L’article d’Allais et al. (2010) sur la taxation nutritionnelle est un exemple d’application de cette technique. Chou et al. (2008) proposent une autre illustration concernant un autre thème. Ils utilisent les variations géographiques du prix de la publicité comme déterminant du volume de publicité auquel est exposé un enfant, afin d’en analyser l’impact sur le poids corporel.

La validité interne de ces méthodes repose sur diverses hypothèses statistiques qu’il est le plus souvent possible de tester. En général, nous avons fait le choix de ne garder que les études économétriques et économiques dans lesquelles des tests convaincants sont présentés.

• Les méthodes économétriques de simulation des politiques publiques

Les méthodes précédentes ont, en général, une validité externe que l’on pourra juger contestable. En effet, elles ne permettent pas d’identifier la "vraie" relation entre la variable de traitement, mais uniquement des paramètres particuliers caractérisant cette relation. Ainsi, la technique des variables instrumentales ne peut mesurer que l’effet du traitement pour les individus dont l’assignation au traitement (ou son intensité) est modifiée à la marge par l’instrument. Par-exemple, Chou et al. (2008) infèrent de leurs résultats des conclusions quant à l’effet d’une suppression totale de la publicité, alors que ces résultats sont basés sur les variations spatiales minimes de l’exposition à la publicité, générées par les variations du prix de la publicité. De même, l’expérimentation sociale d’un dispositif, si elle n’est effectuée que dans une région, peut aboutir à des résultats qui ne seraient pas valides dans une autre région.

On distingue alors les évaluations économétriques ex post et ex ante des politiques publiques. Les évaluations ex post mesurent le succès ou l’échec de la politique après son implémentation, à partir de données d’observations des comportements individuelles. Leur validité interne est un critère essentiel de robustesse. Les évaluations ex ante font de même, mais elles utilisent généralement des hypothèses plus fortes sur la manière dont les individus choisissent le traitement (ou sont assignés) et sur la manière dont ils y répondent. Leur validité interne est souvent moins forte, car elles sont obligées de faire des choix quant à la rationalité des individus et ne cherchent pas nécessairement à identifier un contrefactuel (même si, en pratique, cela facilite les choses). Ainsi, on pose souvent des hypothèses quant à la manière dont les individus anticipent les coûts et les bénéfices du traitement avant de choisir d’y être assignés, ou sur le type d’interactions qui existe entre les agents

économiques. En revanche, l’approche structurelle s’intéresse souvent à l’analyse d’équilibres de marchés. C’est ainsi qu’une bonne modélisation structurelle pourrait formuler des hypothèses sur la manière dont l’offre peut s’ajuster suite à une politique de taxation ou d’étiquetage, et les exploiter pour mieux évaluer l’effet de politiques de taxation ou de modification de l’étiquetage etc.. Leur validité externe est donc potentiellement plus élevée que les méthodes classiques, pour peu que les hypothèses comportementales sur lesquelles elles sont basées aient été validées.

Dans tous les cas, une évaluation sérieuse de l’impact de politiques publiques doit reposer sur une analyse économétrique/statistique préalable de données d’observations réelles (expérimentales ou non), utilisant si possible des échantillons de grande taille et des variations significatives des variables d’intérêt (prix, taxes, informations etc.). C’est pourquoi la plupart des simulations proposées par des auteurs en santé publique sont à considérer avec une extrême précaution.

On trouvera des introductions formelles à l’évaluation économétrique des effets de traitement dans : Bruno Crépon & Nicolas Jacquemet, 2010, Econométrie linéaire appliquée, Paris : De Boeck Universités, collection

"Ouvertures".

Richard Blundell & Monica Costa Dias, 2009, “Alternative Approaches to Evaluation in Empirical Microeconomics”, Journal of Human Resources, 44(3), 565-640

3.2. Les interventions générales sur le marché