Séminaire Économie du Développement Durable Ch. 1. Notions en développement durable
P. Polomé, Université Lyon 2
IEP – 2018-2019
Notions & rappels
Sommaire
Notions & rappels
Économie classique : efficience Efficience & environnement Efficience & soutenabilité
Méthodologie d’évaluation ex-post
Facteurs concomittants et sélection
Principales techniques de construction de contre-factuels Intervention locale et politique globale
Expliquer l’échec ou la réussite d’une politique
Conclusions
Notions & rappels
Éléments de développement durable
I
Économie environnementale
I appliquer aux questions environnementales les concepts dérivés de l’analyse économique standard
I
Économie écologique
I “redéfinir les concepts fondamentaux de l’économie pour les rendre applicables aux défis écologiques de notre temps”
I
C’est un point de vue réducteur
I Tout le monde réfléchit dans toutes les directions I
État stationnaire vs État stable
I est l’antinomie
Notions & rappels
État stationnaire
I
Notion d’équilibre sur les seuls marchés
I La croissance de la population pousse les salaires à la baisse I Les ressources naturelles deviennent de + en + rares I La division du travail (spécialisation) atteint ses limites I La croissance de la richesse et de la population deviennent
nulles
I À la limite, investir devient non rentable pour tous I
Économie classique et néo-classique
I 1776, “The Wealth of Nations”, Adam Smith I La main invisible
Notions & rappels
État stable
I
Notion de soutenabilité physique
I Économie = sous-système de l’environnement naturel, écosystème fini non-croissant
I Soutenabilité en écologie = propriété d’un système biologique de rester productif indéfiniment
I En économie = ne pas dépasser la capacité de portage I
Économie écologique
I 1972, “The Limits to Growth” Club of Rome, Herman Daly I Mais sur le fond : Malthusien
I Et donc assez discrédité sur le plan empirique
Notions & rappels
Les différences
I
L’état stationnaire
I dans des conditions restrictives, est atteint par les marchés I sans intervention de l’État
I la présence d’externalités, notamment environnementales, rend cet objectif inatteignable
I le théorème du 2º rang veut que si on ne peut pas l’atteindre, il faut s’en éloigner pour atteindre la situation la plus efficiente I
L’état stable requiert
I une connaissance fine des systèmes naturels I et des interventions importantes de l’État I Cfr
I W. Nordhaus Nobel 2018 I IPCC/GIECC
I Mais est plus compatible avec l’accroissement des problèmes écologiques mondiaux
Notions & rappels
“Réponses” à l’état stable
I
“Découplage” (dématérialisation de l’économie) & progrès technologique
I permettraient aux seuls marchés de surmonter : Rareté des ressources, Pollution chronique & Surpopulation
I Cfr P. Romer Nobel 2018 : la connaissance est une ressource infinie
I
Empiriquement, peu d’évidence que l’un ou l’autre concept
soit avéré
Les Nobels 2018
William D. Nordhaus Paul M. Romer
“Integrating innovation and climate with economic growth”
1º “integrated assessment model” (90’s) La connaissance rend possible Modèle quanti de l’économie mondiale la croissance sur le long terme où le climat intervient Le progrès technologique est Simulation de politiques endogène au système économique
p.e. taxe carbone “Théorie de la Croissance Endogène”
Pas de réponse définitive, mais contribuent à comprendre comment atteindre une croissance soutenable et soutenue à long terme
Notions & rappels
Économie classique : efficience
Sommaire
Notions & rappels
Économie classique : efficience Efficience & environnement Efficience & soutenabilité
Méthodologie d’évaluation ex-post
Facteurs concomittants et sélection
Principales techniques de construction de contre-factuels Intervention locale et politique globale
Expliquer l’échec ou la réussite d’une politique
Conclusions
Notions & rappels
Économie classique : efficience
L’efficience
I
Une clef pour comprendre la différence stable-stationnaire
I Ainsi que le principal outil d’évaluation des politiques pour leséconomistes
I
On va définir l’efficience
I Puis présenter quelques résultats
I En 2º partie, on abordera l’évaluation des politiques publiques
Notions & rappels
Économie classique : efficience
Principe de l’efficience : une expérience économique
Le marché libre de Holt
I
On simule un marché sous conditions expérimentales
IDes sujets reçoivent des cartes noires : les vendeurs
I Le chiffre sur la carte est son coût, il ne peut vendre en-dessous I
Les autres sujets des rouges : les acheteurs
I Le chiffre sur la carte est la disposition à payer : elle n’achetera pas au-dessus
I
On laisse les acheteurs et les vendeurs se retrouver
I Durant une période courteI Ils ne peuvent se révéler les cartes (fondamental) I Ils se disent des prix (ou ce qu’ils veulent) I S’ils concluent une vente, il y a échange
I Le vendeur reçoit le prix - son coût I L’acheteur, sa DAP - le prix
Notions & rappels
Économie classique : efficience
Qu’observe-t-on ? les prix
Que se passe-t-il ?
Notions & rappels
Économie classique : efficience
Le marché – point de vue collectif
I
Chaque échange réalise une valeur
I DAP - prix + prix - coût = DAP - coût I qui n’existerait pas sans cet échange ICollectivement, l’ensemble de ces valeurs est
I Le gâteau social I Quelle taille fait-il ?
I Comment peut-on le maximiser ? I Imaginer qu’on ait 16 joueurs
I 8 Vendeurs 2 3 4 4 5 6 7 7 I 8 Acheteurs 10 9 8 8 7 6 5 5 I Quel gateau social max dans ce cas ?
Gains possibles de l’échange
I
Classer les coûts croissants & bénéfices décroissants
AcheteursVendeurs Gains
10 2 8
9 3 6
8 4 4
8 4 4
7 5 2
6 6 0
5 7 –
5 7 –
P
24
I
Si on “décale de 1” les vendeurs
I + d’échanges, moins deP ISi on force des échanges ?
I
Si on impose un plafond sur les prix en-dessous du niveau
compétitif ?
Notions & rappels
Économie classique : efficience
Gain
I
Quels sont les
gains possiblesde l’échange ?
I Aurait-il été possible d’accroître les gains totaux au cours d’une période en forçant des ventes additionnelles ? I Examiner les gains par paires (valeur, coût)
I voir qu’on ne peut faire mieux qu’en associant les coûts faibles aux valeurs élevées
I donc enexcluantdu marché les coûts élevés et les valeurs faibles
I Le prix est unmécanisme efficace d’exclusion
I
Sortir d’un système de prix ne change pas les valeurs et les coûts
I Donc pas le gain total possible (gâteau ci-dessous)
Notions & rappels
Économie classique : efficience
Gâteau social
I
Notion de valeur économique
I Dans l’expérience, ne dépend pas du prix I Mais est réduite des coûts (“énergie dissipée”) I Valeur nette = Valeur – Coût
I Dépend du fait qu’une demande soit satisfaite/réalisée I Pas besoin d’un bien matériel
I Ni non plus qu’il y ait propriété
I
Gateau social
I = ensemble de valeurs réalisées - moins les coûts
I Comment faire pour qu’il soit le + gros possible ?Efficience I Comment le partager ?Allocation
I
Du point de vue public
I Quelle organisation économique pour réaliser cette valeur ?
Notions & rappels
Économie classique : efficience
Proposition d’organisation économique : le marché libre
I
L’expérience présentée est une modélisation du marché
I Une représentation simplifiée qui ne retient que les élémentscaractéristiques
I Ce qui peut se discuter
I
Un marché est-il indispensable ? Utile ?
I Le marché permet l’exclusion par le prix I De manière simple : sans intervention de l’État I En limitant peu la libertéNotions & rappels
Économie classique : efficience
Efficience
I Efficience
= % du gain total potentiel réalisable au cours d’une période d’échange
I Avec plusieurs marchés ? I Définition + générale + loin
I
L’inefficience causée par la dispersion se réduit avec l’information
I passage du temps : les commerçants apprennent ce qu’est un prix raisonnable
I Facteurs qui perturbent : pas de paiement réel, “autres jeux”
I + de hauts coûts / basses valeurs =⇒ - de convergence
Notions & rappels
Économie classique : efficience
“Courbes” d’offre et de demande
Notions & rappels
Économie classique : efficience
Notion de coût économique d’une politique
Notions & rappels
Économie classique : efficience
Efficience, plus généralement
Vilfredo Federico Damaso
Pareto(1848 – 1923)
Italian engineer, sociologist, economist political scientist and philosopher
Efficience : Personne ne peut être mieux sans que quelqu’un ne devienne pire
I
Efficience =
⇒pas de gaspillage
I C’est le concept sur lequelI sont jugées les politiques (économiques ou autre) I se retrouvent les 2 approches, stable & stationnaire
Notions & rappels Efficience & environnement
Sommaire
Notions & rappels
Économie classique : efficience Efficience & environnement Efficience & soutenabilité
Méthodologie d’évaluation ex-post
Facteurs concomittants et sélection
Principales techniques de construction de contre-factuels Intervention locale et politique globale
Expliquer l’échec ou la réussite d’une politique
Conclusions
Notions & rappels Efficience & environnement
Efficience & environnement
I
L’efficience est la raison pour laquelle nous ne voulons pas zéro pollution
I Car alors peu ou pas de production I Donc certaines choses restent inexploitées
I Une part de la société peut accepter un peu de pollution I En échange d’autre chose
I
L’efficience est importante pour comprendre la
6= état stablevs stationnaire
I Stationnaire : l’efficience sur les seuls marchés est CNS à l’optimum social (= Pareto)
I Stable : l’efficience sur les seuls marchés n’est pas un optimum social
I à cause e.a. des externalités environnementales
Notions & rappels Efficience & environnement
Externalités : rappel 1 – “Pollution”
I
Une externalité
I existe dès que le bien-être d’un personne (ou les possibilités de production d’une firme) estdirectementaffecté par les actions d’un autre agent dans l’économie
I “Directement” = en-dehors des interactions du marché (prix) I L’externalité estsubie
Externalité “Pollution”
Négative
Air : Effet de serre, Gaz nocifs...
Nuisances : Visuelles, sonores...
Eau : Rejets diffus ou ponctuels chim. bactério. thermale
Positive Améliorations visuelles
Fonction écosystème : Abeilles
Notions & rappels Efficience & environnement
Externalités : rappel 2 – Ressources communes
I
Ressources communes
I à l’intérieur d’une industrie, les actions de l’un impactent directement les possibilités de production d’un ou des autres
Externalité Ressource commune Négative
Bancs de poissons Forêt, Prairie
Aquifère, Nappe de pétrole Positive Immunités biologiques : Vaccins
Réseaux : téléphone, facebook...
Notions & rappels Efficience & environnement
Externalités : rappel 3 – Biens publics
I
Un bien/service public :
I Non rivalI consommation par une personne ne diminue pas la
disponibilité du bien pour les autres consommateurs potentiels I Non exclusif
I impossible (ou difficile/coûteux) d’interdire la consommation du bien à un consommateur non-payeur
I le marché ne peut pas vendre
I Décentralisation = contributions volontaires
I
Provision d’un bien public : Quantité(s) & qualité(s)
INe pas confondre avec service public
I “activité d’intérêt général, assurée sous le contrôle de la puissance publique”
I
Exemples ?
Les marchés n’aboutissent pas à l’optimum social ?
Acteurs : C & un tiers – Externalité négative type pollution
Notions & rappels Efficience & soutenabilité
Sommaire
Notions & rappels
Économie classique : efficience Efficience & environnement Efficience & soutenabilité
Méthodologie d’évaluation ex-postFacteurs concomittants et sélection
Principales techniques de construction de contre-factuels Intervention locale et politique globale
Expliquer l’échec ou la réussite d’une politique
Conclusions
Notions & rappels Efficience & soutenabilité
Les piliers & la substituabilité
I
3 notions de capital
I L’économie est sous-sytème de la société humaine
I Elle-même partie de la biosphère
I
La mesure dans laquelle l’un des 3 peut être remplacé par un autre est objet de débats
I Durabilité/substituabilité faible : ils sont substituts I Forte : ils ne le sont pas (diapo suivante) I Évidemment aucun des 3 ne peut être nul
I Question aussi d’abondance : taux marginaux de substitution
Notions & rappels Efficience & soutenabilité
Durabilité forte Daly (1990)
I
Seuls les flux matériels de l’économie qui remplissent les trois conditions suivantes sont durables
I consommation des ressources renouvelables≤ régénération de ces mêmes ressources
I consommation des ressources non renouvelables≤
rythme auquel des substituts renouvelables et durables peuvent être développés
I émission de pollution≤capacité de l’environnement à absorber et assimiler cette pollution
I
Alors, le stock de capital naturel ne baisse pas
I capital naturel et capital artificiel sont complémentaires et non substituables
Notions & rappels Efficience & soutenabilité
3 objectifs du dvpt soutenable
I
dvpt économique
Idvpt social
I
protection de l’environnement
I
Le dvpt durable vise alors à équilibrer les efforts locaux et globaux
I pour satisfaire les besoins humains I sans dégrader l’environnement naturel
I La question difficile estd’opérationaliserces idées
I
Les discours se divisent entre militants et pragmatiques (p.e.
WB)
I Sur le fond, le pragmatisme est simple :réduire les impacts sans (trop) menacer notre style de vie
I en cela, il rejoint en partie l’efficience : peut-on réorganiser l’économie pour obtenir plus de la même chose ?
I On pourrait espérer mieux : limiter les activités à un niveau≤ capacité de portage
I Mais c’est difficile p.e. 1.5º vs 2º
Notions & rappels Efficience & soutenabilité
La question pragmatique
I
Comment sait-on qu’on a obtenu plus de la même chose ?
I Il y a des questions de mesure qui touchent à toutes lesdisciplines
I
Dans un contexte de politique publique, c’est la question de
l’évaluationI Des résultats bien établis en économie publique montrent qu’il n’y a pas de règle générale
I Il faut regarder au cas par cas, on va voir un peu + loin I Dans le fond, l’économie classique rejoint ici le développement
soutenable
I
Dans une prochaine session, le point de vue de Hardin, qui est
plus radical
Notions & rappels Efficience & soutenabilité
Plusieurs approches d’évaluation des PP
I
Modélisation
I Sur la base de “faits stylisés”, la politique est représentée dans un modèle math. (analytique ou informatique)
I
Empirique ex-ante “avant”
I Essentiellement une méthodo d’enquête
I Les préférences individuelles sur la politique sont converties en bénéfices
I Que l’on compare aux coûts de celle-ci afin d’aider à la décision de mise en oeuvre
I
Empirique ex-post “après la politique”
I Lorsqu’on a pu observer les effets pendant un temps suffisant I On pose la question de ce qui se serait passé s’il n’y avait pas
eu de politique ?
I Souvent, il faut une reconstruction statistique
I Cette approche me semble intéressante dans ce séminaire
Notions & rappels Efficience & soutenabilité
Concepts connexes
I
Croissance du PIB
I Le PIB se préoccupe de la seule sphère économique
I Le PIB compte la vente de bois, mais pas la perte de la forêt I Un gain dans un des 3 piliers est-elle une perte dans un autre ? I
Résilience
I Capacité d’un système à retrouver un état d’équilibre après une perturbation
I
Empreinte écologique
I Surfaces alimentaires productives de terres et d’eau nécessaires I pour produire les ressources qu’un individu, une population ou
une activité consomme
I et pour absorber les déchets générés
I compte tenu des techniques et de la gestion des ressources en vigueur
Méthodologie d’évaluation ex-post
Sommaire
Notions & rappels
Économie classique : efficience Efficience & environnement Efficience & soutenabilité
Méthodologie d’évaluation ex-post
Facteurs concomittants et sélection
Principales techniques de construction de contre-factuels Intervention locale et politique globale
Expliquer l’échec ou la réussite d’une politique
Conclusions
Méthodologie d’évaluation ex-post
Évaluer les impacts d’une politique publique
I 6= contrôle, l’audit ou le conseil
I également légitimes mais ne visant pas les mêmes objectifs
I 6= évaluation portant sur d’autres critères que l’efficience
I comme la pertinence, la cohérence, la mise en oeuvre ou l’utilité
I
vise à établir la situation qu’aurait connue la société en l’absence de la politique évaluée (=
l’intervention)I situation fictive, ditecontre-factuelle
I en la comparant à la situation effectivement observée, on déduit une relation de causalité entre l’intervention publique et un indicateur jugé pertinent
Exemple : Programme d’éducation à l’usage de l’eau en extérieur (Floride)
I
On a mesuré la consommation avant et après le programme dans 2 communautés
I La réduction a été de 29% et 38% dans les 2 cas I
Que pensent beaucoup de gestionnaires de ce cas ?
I La stratégie d’évaluation a été claire I Un indicateur satisfaisant a été mesuré I C’est le “contrôle avant-après”
I L’expansion du programme est justifiée
I
Cependant, la pluie est tombée pendant le programme
I Réduction de consommation de 31% dans une communautévoisine
I qui n’avait pas été exposée au programme d’évaluation (“traitée”)
I
On comprend tout de suite ce qui manque à l’évaluation antérieure
I Il n’y a pas de groupe témoin / de contrôle I On n’a pas construit de contre-factuel
Méthodologie d’évaluation ex-post Facteurs concomittants et sélection
Sommaire
Notions & rappels
Économie classique : efficience Efficience & environnement Efficience & soutenabilité
Méthodologie d’évaluation ex-post
Facteurs concomittants et sélection
Principales techniques de construction de contre-factuels Intervention locale et politique globale
Expliquer l’échec ou la réussite d’une politique
Conclusions
Corrélation n’est pas causalité : facteurs concomittants
I
On ne peut pas dire d’une politique qu’elle “marche” parce que la situation actuelle est plaisante
I Une multitude facteurs peuvent être concomittants
http ://www.tylervigen.com/spurious-correlations
Méthodologie d’évaluation ex-post Facteurs concomittants et sélection
Corrélation n’est pas causalité : Sélection
I
Les unités traitées (= dans le programme) sont
sélectionnéespour recevoir l’intervention
I sur la base de caractéristiques quiaffectent aussi le résultat de l’intervention
I p.e. les parcs naturels sont souvent placées dans des zones de grande qualité environnementale
I mais aussi peu conflictuelles avec d’autres usages du sol I Terres en pente, peu fertiles, hautes, sèches et/ou isolées
I
On ne peut alors estimer l’impact de la figure de protection sur p.e. la déforestation
I en comparant le taux de déforestation avant et après la mise en place de la protection
I ni en comparant avec les zones alentour du parc
I car celles-ci auraient de toute façon connu une déforestation plus élevée, avec ou sans parc
I donc on sur-estimerait l’effet de la protection
Méthodologie d’évaluation ex-post Facteurs concomittants et sélection
Corrélation n’est pas causalité : Sélection
I
Dans ce cas, le contre-factuel est inobservable
I mais le fait de le reconnaitre est une amélioration del’évaluation
I
Peut-on alors dire qu’un système de zones protégées réduit la déforestation ?
I En utilisant des données spatiales et des méthodes d’appareillement (+ loin)
I des chercheurs ont pu montrer que moins de 10% de la forêt protégée du Costa Rica aurait été déforestée en l’absence de figure de protection
I Les estimations conventionnelles avant-après sur-estimaient la déforestation évitée de 65%
Méthodologie d’évaluation ex-post Facteurs concomittants et sélection
Autre exemple de sélection
I
Quels effets de l’amélioration de l’air intérieur sur la santé de l’enfant et de la mère ?
I Les ménages qui investissent dans cette amélioration tendent à être + riches, mieux informés et + préoccupés par leur santé
I Si on observe la santé et qu’on corrèle avec l’investissement, on ne prend pas en compte ces facteurs individuels
I Mélange de sélection & de concomittants
I
Le projet RESPIRE (Diaz et al., 2007) a fourni aléatoirement des cuisinières moins polluantes à des ménages avec enfants
I Les femmes et les enfants dans le groupe traité ont montré une exposition subtantiellement moindre au monoxide de carbone, comparer au groupe de contrôle, en moyenne
Méthodologie d’évaluation ex-post Facteurs concomittants et sélection
Autre exemple de sélection
I
Est-ce que le U.S. Endangered Species Act affecte le taux de récupération d’une espèce ?
I La plupart des études n’ont pas de contre-factuel.
I Une analyse suggère que l’Act
I améliore la récupération des espèces avec un financement I mais empire la situation d’espèces listées mais non financées I par rapport à un contre-factuel sans Act
Méthodologie d’évaluation ex-post Facteurs concomittants et sélection
Corrélation n’est pas causalité : auto-sélection
I
Dans les programmes volontaires, les personnes ou les firmes peuvent parfois s’auto-sélectionner
I Des programmes incitatifs
I p.e. paiements pour services environnementaux, éco-label, adoption d’une gestion environnementale...
I récompensent souvent des personnes ou firmes qui auraient mené à bien l’action de toute façon
I voire les découragent à cause de la monétisation de l’action (effet d’éviction)
Méthodologie d’évaluation ex-post Facteurs concomittants et sélection
En résumé
I
L’évaluation des gestionnaires se résume souvent à un monitoring attentif
I C’est la méthodologie “avant-après”
I Elle n’est pas suffisante car elle néglige le contre-factuel I
Comparer les résultats du groupe traité au groupe de contrôle
I peut réduire les biais dus aux facteurs concomittants (confondants, contemporains)
I
Mais le biais de sélection implique que
I le résultat sur une unité non-traitée moyennereprésente rarementle contrefactuel de l’unité traitée moyenne I Les caractéristiques qui amènent les gestionnaires de
programme à cibler certains individus, firmes, espèces ou zones sont souvent corrélés avec les résultats
Méthodologie d’évaluation ex-post Facteurs concomittants et sélection
Notes
I
Souvent les programes environnementaux manquent de théorie causale et d’indicateurs du niveau initial
I
Il existe assez peu d’études d’impact environnemental au sens de ce cours
I
Essence de la pensée contre-factuelle
I Éliminer les interprétations plausibles rivalesdes résultats observés
I C’est une voie de recherche pour ce cours
Méthodologie d’évaluation ex-post
Principales techniques de construction de contre-factuels
Sommaire
Notions & rappels
Économie classique : efficience Efficience & environnement Efficience & soutenabilité
Méthodologie d’évaluation ex-post
Facteurs concomittants et sélection
Principales techniques de construction de contre-factuels Intervention locale et politique globale
Expliquer l’échec ou la réussite d’une politique
Conclusions
Méthodologie d’évaluation ex-post
Principales techniques de construction de contre-factuels
Introduction
I
Principales méthodes de mesure de l’impact d’une politique publique sur les bénéficiaires directs de cette politique
INe reposent pas sur une théorie des mécanismes par lesquels
l’action publique affecte les citoyens ou l’environnement
I dites non structurelles ou “athéoriques”I on évoquera + loin des méthodes structurelles et des méthodes qualitatives
I
Assez techniques, mais guidées par des questions simples :
I la politique a-t-elle atteint son objectif ?I A-t-elle engendré des effets non anticipés par le législateur ? I Il faut donc établir les objectifs poursuivis,
I puis identifier une relation de causalité entre la politique et ces objectifs
Méthodologie d’évaluation ex-post
Principales techniques de construction de contre-factuels
Construire un contrefactuel crédible
I
Choisir des indicateurs pertinents
I Quelles informations l’évaluation doit-elle produire pour être utile à l’action publique ?
I Donc, il faut collecter des données I de préférence variées
I Ces données se trouvent souvent dans des bases différentes I Elles peuvent être quantitatives ou non
I
Repérer les facteurs concomittants
I
Comprendre les mécanismes qui engendrent de la sélection
I Auto-sélection ou sélection externeMéthodologie d’évaluation ex-post
Principales techniques de construction de contre-factuels
Choix de la méthode
I
Plusieurs méthodes plus ou moins complexes
I Certaines ne seront pas accessiblesI Mais sont présentées pour illustrer les idées contre-factuelles I
Il est nécessaire de savoir
I s’il existe des différences entre les groupes des individus/unités traités et non traités
I si ces différences sont susceptibles d’avoir une influence sur la variable de résultat
I
Parfois, ces différences résultent de facteurs observables par l’évaluateur
I figurant dans les données disponibles I âge, niveau de diplôme
I Mais souvent, ces facteurs sont inobservables
I motivation ou degré d’information dont disposent les individus
Méthodologie d’évaluation ex-post
Principales techniques de construction de contre-factuels
1. Méthode d’expérimentation aléatoire
I
Répartition par tirage au sort des individus dans les groupes de contrôle et de traitement
I Comme pour les expériences médicales
I garantit que les individus des deux groupes sont comparables au regard de leurs caractéristiques individuelles observables mais aussi inobservables
I
Hyp. les 2 groupes ne sont affectés que par le traitement
IL’effet causal du traitement (la politique publique) sera
mesuré par
I l’écart entre la moyenne de la variable d’intérêt (par exemple, le salaire)
I au sein du groupe de traitement I et la moyenne de la même variable
I au sein du groupe de contrôle
Méthodologie d’évaluation ex-post
Principales techniques de construction de contre-factuels
1. Méthode d’expérimentation aléatoire
I
Avantages
I validité interne
I contrôle des caractéristiques observables et inobservables I intuitif
I
Limites
I Validité externe : généraliser la politique peut induire des effets d’équilibre général
I Le comportement des 2 groupes peut se modifier à cause de l’expérience
I
Contraintes
I CoûtI Temporalité parfois trop longue comparée à l’exigence des décideurs politiques
I Éthique liée à l’introduction d’une discrimination entre individus traités et non traités
Méthodologie d’évaluation ex-post
Principales techniques de construction de contre-factuels
2. Méthode des “différences de différences”
I
Une variable détermine l’exposition au traitement de façon exogène
I p.e. une mesure affecte seulement une partie de la population I pour des raisons sans lien avec la variable de résultat I p.e. évènement historique ou météorologique I “Expérience naturelle”
Méthodologie d’évaluation ex-post
Principales techniques de construction de contre-factuels
2. Méthode des “différences de différences”
I
Alors 4 “sous-populations”
I Traités et non-traités, avant et après
I
Comparer traités et non traités après la mesure
I ne permet pas d’identifier l’effet causalI car ces deux pop. n’ont pas été choisies de façon aléatoire I mais sur la base de critères administratifs ou politiques I La différence peut provenir de différences de caractéristiques
individuelles
I
Pareillement, comparer avant-après pour les traités
I peut provenir de changement dans les conditionsI et pas seulement de l’effet du traitement
I
Par contre, sous hyp que les 2 groupes auraient évolué pareillement sans le traitement,
I la différence avant-après des traités
I moins la différence avant-après des non-traités I élimine l’effet de ces 2 sources de différences
I pour ne garder que l’effet du traitement
Méthodologie d’évaluation ex-post
Principales techniques de construction de contre-factuels
2. Méthode des “différences de différences”
I
Avantages
I validité interne des résultats
I contrôle des caractéristiques observables et inobservables I estimation aisée au moyen de logiciels statistiques existants I
Limites
I validité externe limitée : difficulté à généraliser les résultats à des publics plus larges
I risque de modification de comportement I
Contraintes opérationnelles
I Les expériences naturelles sont rares
Méthodologie d’évaluation ex-post
Principales techniques de construction de contre-factuels
3. Méthodes de régression par discontinuité
I
Statistiquement assez complexe
I La régression est une technique statistique
I qui calcule essentiellement une corrélation multiple I mais le principe reste centré autour du calcul de moyenne I
S’applique dans les cas où
I la participation à la politique dépend d’un seuil exogène I Alors, les individus/unités proches du seuil sont
statistiquement comparables
I Ils ne diffèrent que du fait de leur participation ou non au traitement
I La méthode consiste alors à comparer les résultats des participants et des non-participants localisés au voisinage du seuil de participation
Méthodologie d’évaluation ex-post
Principales techniques de construction de contre-factuels
3. Méthodes de régression par discontinuité
I
Avantages
I validité interne des résultats
I contrôle des caractéristiques observables et inobservables
I
Limites
I résultats valables seulement pour les individus situés à proximité du seuil
I possible manipulation du seuil par les bénéficiaires I
Contrainte
I existence d’un seuil déterminant la participation au traitement I
Exemple
I impact sur la réussite universitaire d’une bourse octroyée sur critère de ressources familiales
I p.e. bourse pour les revenus < 15 000 euros par an
I Comparer les résultats aux examens des étudiants se trouvant juste en dessous du seuil d’éligibilité et ceux se situant juste au-dessus du seuil
Méthodologie d’évaluation ex-post
Principales techniques de construction de contre-factuels
4. Méthodes de variables instrumentales
I
Exploite une variable
I qui est statistiquement corrélée à la variable de traitement I mais non corrélée à celle de résultat
I Ce qu’il faut démontrer (difficulté de la méthode) I Cette variable se nomme un instrument
I
L’instrument permet au fond de contrôler pour la sélection
I La technique statistique permet alors de voir l’effet dutraitement sans cette sélection
Méthodologie d’évaluation ex-post
Principales techniques de construction de contre-factuels
4. Méthodes de variables instrumentales
I
Avantages
I validité interne des résultats
I contrôle des caractéristiques observables et inobservables
I
Limites
I Peu intuitif, difficile à communiquer
I Complexité stat., même si des logiciels standards permettent l’estimation
I
Contraintes
I Existence d’au moins un instrument
Méthodologie d’évaluation ex-post
Principales techniques de construction de contre-factuels
5. Méthodes d’appariement
I
On laisse tomber le contrôle des caractéristiques inobservables
IPrincipe
I constituer des “paires” entre des individus traités et non traités I présentant des caractéristiques observables similaireset
susceptibles d’influencer la participation au traitementetla variable de résultat
I p.e. âge ou diplôme dans le cas d’une évaluation de l’impact de la formation sur les salaires
I Par une technique statistique, on calcule un score de
“propension à être traité”
I Probabilité d’être dans le traitement
I Conditionnelle aux caractéristiques observables
I On apparie des individus traités et non-traités aux propensions proches
I Le groupe des non-traités ainsi constitué est le groupe de contrôle (contre-factuel)
Méthodologie d’évaluation ex-post
Principales techniques de construction de contre-factuels
5. Méthodes d’appariement
I
Avantages
I moins exigeant en données que les précédentes méthodes I
Limites
I Validité interne limitée car dépend de l’absence de caractéristiques individuelles inobservables
I Complexité stat., même si des logiciels standards permettent l’estimation
I
Contraintes
I Assez faibles si les données sont présentes
Méthodologie d’évaluation ex-post
Principales techniques de construction de contre-factuels
Conclusions partielles
I
Ceci conclut la sous-section sur les méthodes athéoriques
I La première est le design expérimentalI Les autres sont qualifiées de quasi-expérimentales
I
Elles sont présentées en terme de qualité décroissante des résultats
I Mais aussi d’exigences sur les données
I Elles ont aussi pour défaut qu’elles ne se prètent pas bien à la généralisation
I Elles ne renseignent pas les mécanismes par lesquels la politique produit ses résultats
Méthodologie d’évaluation ex-post Intervention locale et politique globale
Sommaire
Notions & rappels
Économie classique : efficience Efficience & environnement Efficience & soutenabilité
Méthodologie d’évaluation ex-post
Facteurs concomittants et sélection
Principales techniques de construction de contre-factuels Intervention locale et politique globale
Expliquer l’échec ou la réussite d’une politique
Conclusions
Méthodologie d’évaluation ex-post Intervention locale et politique globale
La question de la généralisation
I
Une limite des méthodes présentées
I difficulté à généraliser leurs résultats à une population plus vaste, dans le cas où la politique serait étendue.
I une telle extension peut mener à changer les effets estimés de la politique
I parce que la population à laquelle la politique est étendue peut avoir une sensibilité différente au dispositif évalué I parce que le changement d’échelle de ce dispositif peut
engendrer des effets indirects I Dits effets d’équilibre général
I
Il faut donc prévoir correctement les effets d’une politique
donnée dans un contexte différent
Méthodologie d’évaluation ex-post Intervention locale et politique globale
Effets sur les non-bénéficiaires
I
L’extension d’une politique à une population plus large peut produire des effets différents de ceux évalués sur la seule population des bénéficiaires
I en raison de l’hétérogénéité des effets selon les publics I par des effets indirects
I qui ne se manifestent pas à petite échelle
Méthodologie d’évaluation ex-post Intervention locale et politique globale
Les effets de “déplacement” en sont un exemple
I
dispositifs d’accompagnement renforcé pour les demandeurs d’emploi
I Lorsque les offres d’emploi sont en nombre limité, ce type de dispositif peut améliorer le taux d’emploi de ses bénéficiaires
I Mais pas des autres chômeurs qui se voient évincés I En conséquence, l’impact de cette mesure évalué sur
l’ensemble de la population est différent de celui évalué sur les seuls bénéficiaires
I
L’exclusion des véhicule polluants dans les zapa comme Paris
I Améliore peut-être la qualité de l’air intra-périphI Mais engendrent-elle une hausse de la pollution en périphérie ? I
L’environnement hors parc naturel se détériore-t-il plus que si
le parc naturel n’avait pas été déclaré ?
Méthodologie d’évaluation ex-post Intervention locale et politique globale
Des effets différents selon la population couverte
I
Lorsque la politique engendre une modification de l’offre ou de la demande sur un marché donné
I Effet sur le niveau de la scolarisation et sur les inégalités de salaires d’une subvention forfaitaire de 500 dollars
I pour tous les élèves au niveau du collège
I sans tenir compte des effets sur le marché du travail, la subvention accroît le niveau de la scolarisation de 5,3 % en moyenne
I Mais cette hausse de la scolarisation conduit à une hausse du nombre de diplômés sur le marché du travail
I Celle-ci produit une baisse des salaires des diplômés
relativement aux non-diplômés, en raison de la moindre rareté des diplômés
I À l’équilibre, l’effet estimé se réduit à 0,46 %
I Ici, les non-bénéficiaires sont impactés, mais les bénéficiaires eux-mêmes subissent un effet d’équilibre général
I Un exemple similaire à la diapo suivante
Méthodologie d’évaluation ex-post Intervention locale et politique globale
Exemple : interventions visant l’adoption de technologies efficientes en énergie
I
Dirigées à des firmes & citoyens
I Pour diminuer la consommation d’énergie I et donc les gaz à effets de serre
I
Bien que les technologies efficientes réduisent la consommation par unité
I de puissance, chauffage, refroidissement, lumière I Elles réduisent aussi les prix effectifs de ces services I Et donc en accroissent la demande
I On change les réglages du thermostat, on laisse les lumières allumées
I Parfois jusqu’au point d’accroître la consommation d’énergie I
Sur le plan international,
I On peut se demander à quel point les politiques environnementales de l’UE n’exportent pas la pollution européenne
Méthodologie d’évaluation ex-post
Expliquer l’échec ou la réussite d’une politique
Sommaire
Notions & rappels
Économie classique : efficience Efficience & environnement Efficience & soutenabilité
Méthodologie d’évaluation ex-post
Facteurs concomittants et sélection
Principales techniques de construction de contre-factuels Intervention locale et politique globale
Expliquer l’échec ou la réussite d’une politique
Conclusions
Méthodologie d’évaluation ex-post
Expliquer l’échec ou la réussite d’une politique
Approche structurelle
I
Objectif : décomposer les effets et les quantifier
ILe principe : modéliser les mécanismes économiques
I représentation de la réalité économique
I fondée sur une idée a priori des mécanismes économiques à l’oeuvre
I Dont les paramètres sont estimés à partir de données
I
Avantage : si le modèle est le bon
I On peut anticiper les résultats de plusieurs politiques I Amélioration de la compréhension du système I
Limite
I sensibilité aux hypothèses du modèle théorique I complexes à appréhender pour un décideur public
Méthodologie d’évaluation ex-post
Expliquer l’échec ou la réussite d’une politique
Approche qualitative
I
Objectif
I connaître les perceptions et les pratiques des acteurs de terrain I
Principe
I interroger et observer les acteurs I
Avantage
I permet des investigations approfondies sur le contexte local et l’environnement institutionnel
I mesurer la satisfaction des bénéficiaires et apprécier, de manière subjective, les retombées du dispositif
I révéler les attentes et les besoins des acteurs, souvent à l’origine de leurs stratégies, positions et comportements
Méthodologie d’évaluation ex-post
Expliquer l’échec ou la réussite d’une politique
Principaux outils de l’approche qualitative
I
Entretiens des acteurs
I directifs, semi-directifs ou ouverts ; individuels ou collectifs (dont groupes focus) ; répétés ou non
I favorisent la formulation de nouvelles questions I
Observation directe de l’enquêteur
I en situation, auprès des acteurs I
Études de cas ou monographies
I Étude approfondie de cas particuliers
I divers territoires d’application d’une intervention publique I Pour en donner une vision la plus complète possible
I déroulement de l’intervention publique dans le temps I interrogation du système d’acteurs
Méthodologie d’évaluation ex-post
Expliquer l’échec ou la réussite d’une politique
Approche qualitative
I
Force
I Comprendre les facteurs d’échec et de succès de la politique évaluée
I
Faiblesse
I Petits échantillons
I Fiabilité des réponses (subjectivité) I Difficulté à isoler les effets
I ne peut pas indiquer de manière fiable ce qui se serait passé sans le programme
I Sauf si elle est également menée sur un groupe non traité
Méthodologie d’évaluation ex-post Conclusions
Sommaire
Notions & rappels
Économie classique : efficience Efficience & environnement Efficience & soutenabilité
Méthodologie d’évaluation ex-post
Facteurs concomittants et sélection
Principales techniques de construction de contre-factuels Intervention locale et politique globale
Expliquer l’échec ou la réussite d’une politique
Conclusions
Méthodologie d’évaluation ex-post Conclusions
Barrières à l’évaluation de programmes environnementaux
I
Réponses non-linéaires, p.e. seuils
IVariabilité élevée des résultats
I
Échantillonnage irrégulier / peu fréquent
I pas de données avant le programme I erreurs de mesureI
Temps long entre intervention et réponse
IInterventions multiples/croisées
I
Effets complexes de débordement
I Un effet positif sur un petit territoire peut-être néfaste sur un plus grand
I
Grandes échelles spatiales des processus écologiques
IUnités traitées uniques, sans comparateurs
I habitats rares, espèces endémiques I
Faibles budgets
Méthodologie d’évaluation ex-post Conclusions
Opportunités d’appliquer une pensée contre-factuelle
I
L’expérience randomisée n’est pas souvent faisable
I Raisons politiques, éthiques, financières, pratiques, légales ILes designs quasi-expérimentaux sont également rares
I Il faut des coincidences peu fréquentes
I
Une étude de cas ne peut sans doute pas se permettre une analyse si poussée
I Mais il est important de conserver un schéma de pensée contre-factuel
I Même si on n’a accès qu’à des données qualitatives ou peu abondantes
I Il faut toujours garder à l’esprit un scénario “et si ?”
I Au fond, la pensée contre-factuelle consiste à éliminer graduellement des explications crédibles alternatives à l’intervention
I Ceci peut être réalisé en partie dans une étude de cas I Donc dans le travail demandé, il faut exposer au mieux toutes
les causes possibles
Méthodologie d’évaluation ex-post Conclusions
Quelques sources (cliquez les liens en bleu)
I
Cas et données
I modernisation.gouv.fr: evaluer-les-politiques-publiques I TheOECD database on Policy Instruments for the
Environment I
Guides
I France stratégie
I Ferraro, P. J. (2009). Counterfactual thinking and impact evaluation in environmental policy. In M. Birnbaum & P.
Mickwitz (Eds.), Environmental program and policy evaluation. New Directions for Evaluation, 122, 75–84.