Séminaire Économie du Développement Durable

(1)

Prof. Philippe Polomé, Université Lyon 2

IEP – 2017-2018

(2)

Une brève présentation

Toutes les diapos sont dispo via cette page

(3)

Master Risques & Environnement

http://risques-environnement.universite-lyon.fr

(4)

Séminaire Économie du Développement Durable Les objectifs

Sommaire

Les objectifs

Évaluation des politiques publiques environnementales

Facteurs concomittants et sélection

Principales techniques de construction de contre-factuels Intervention locale et politique globale

Expliquer l’échec ou la réussite d’une politique

Conclusions

(5)

Le but de ces séminaires

I

Rédiger un mémoire & le soutenir

I Coef 8

I En principe 60 p (je trouve ça trop long)

I Fin août

I Rendre un état d’avancement fin juin

I Soutenance début septembre (<5)

I

Ou un état d’avancement seul

I Coef 4

I Vingtaine de p.

I problématique, outils, 1^er résultats

I Fin juin

I Pas de soutenance

(6)

Déroulement

I

Ce cours

I Présentation des attentes

I Échanges

I

Prochain cours 24/10

I Amener chacun 3 pages de recherche

I Avec un début de biblio

I Une première problématique

I On en discute en cours

I Sur un thème de votre choix

I Vous décidez

I ou vous choisissez dans une liste + loin I

Les autres cours : on incrémente graduellement

I Jusqu’à arriver à±20 p le 15 mai

I

Dernier cours les 15 mai & 5 juin

I Exposés de chacun, avec diapo

(7)

Résumé évaluation

I

Participation en séminaire = 1 note

I

Exposé = 1 note

I

Mémoire (avec soutenance) = 2 notes

I

OU état d’avancement = 1 note

(8)

Écrire pour être lu

I

Comment doit être le mémoire ?

I Tendance à s’étendre, mais personne n’a le temps de lire

I Pour moi, le + court est le mieux

I Pas forcément le cas des autres mémoires

I Beaucoup de scientifiques mettent 6 mois pour produire 20 pages

I Mais ça c’est pour un article, un monographe doit être plus complet

I

Monographe ou article (papier)

I Visez à être publiés : dans une revue ou comme un petit livre ?

I

Par où commencer ?

I Par la lecture

I Par vous-même

I il faut que ça vous plaise, que vous y connaissiez déjà qqch

(9)

Style

I

Bref

I Pas de littérature

I Pas de citations

I Résumé

I

Les titres apportent de l’information

I Décrivent strictement le contenu

I Pas +, pas -

I La table des matières donne une bonne idée de ce qui se fait

(10)

Vous ne faites pas un discours

I

Vous ne cherchez pas à convaincre

I Vous ne pouvez pas avoir de parti pris

I Il faut exposer des faits et les analyser de manière reproductible

I donc : les documenter

I De sorte à ce que qqn d’autre puisserépliquervotre travail I

“Force de la science”

I les mêmes causes amènent aux mêmes effets

I

Par contre, ni tabou ni interdit

(11)

Structure conseillée du rapport

I

Introduction

I Pourquoi la question est intéressante

I Outils & méthodes monopolisés

I Tous ce qui est détaillé par la suite doit être annoncé dans l’intro

I

Sections ou chapitres

I Sources & données

I Méthodes d’analyse

I Résultats

I

Conclusions

I Résumé des résultats importants

I Recommandations

I Futures recherches, nouveaux questionnements

(12)

Charge de la preuve

I

“semi-scientifique”

I La charge de la preuve n’est pas aussi lourde

I

Mais hiérarchie des sources documentaires

1. Peer-reviewed papers (classification des revues)

I jargon, très technique 2. Rapports d’institution reconnues

I Banque Mondiale, Conseils ministériels 3. Wikipedia, livres (moindre révision par pairs) 4. Autre littérature grise

I rapport plus partisan, journaux sans comité de lecture 5. Presse – à des degrés très variables

I Distinguer les faits rapportés des analyses

(13)

Les sources premières en SHS

I

Interactions directes

I Les enquêtes

I Les interviews

I Les seules accessibles je crois

I Les expériences

I

L’archive

I nationale, départementale, de journaux...

I En principe, traces de faits ou de décisions

I Archives de journaux moins fiables

(14)

Quelles différences entre ces sources primaires ?

Enquêtes Entretien Expérience Taille échantillon Grande (>100) Faible Grande Indépendance des obs. en principe oui pas forcément pas forcément

Contenu Réponses pré-codées en profondeurSemi-libre Contraint

Approche quantitatif qualitatif quantitatif

(15)

La problématique / Poser la question

I

Trouvez une q de r intéressante est 50% du boulot

I On ne parle pas d’une q qui vous intéresse

I Je suppose que la thématique entière vous intéresse

I On parle d’une q pertinente dans le contexte actuel

I Elle est intéressante parce qu’elle n’a pas de réponse

I Et qu’elle est bien définie

I

Lorsque vous la trouvez, il faut expliquer pq elle est intéressante

I Revue de la littérature

I “standing on the shoulders of giant”

Bernard de Chartres

(16)

Création de connaissance

I

On ne peut pas aborder, au cours de ce séminaire, une recherche originale

I au sens “nouvelle connaissance”

I Ne serait-ce que pour une raison de moyen

I

On n’est donc pas sur un mode article scientifique

I En principe

I

Mais plutôt sur un mode monographique

I Donc faire le tour de l’état de l’art des connaissances sur une question relativement précise

I Que veut dire “relativement précise” ?

I En faisant ce tour,

I quelques synthèses nouvelles

I peut-être de nouvelles q/idées

I peut-être une déduction nouvelle

(17)

Quelles thématiques ?

I

Libres

I Mais vous choisissez après discussion avec moi

I En économie de l’environnement, dont développement durable

I

Évaluation des politiques publiques environmentales

I Déforestation amazonienne

I Natura 2000

I Politique de compensation en nature (amélioration locale, détérioration globale ?)

I Qualité de l’air

I Limitation du trafic, composition des carburant, normes des véhicules, aménagements urbains...

I Phosphates dans les rivières

I Effets de la PAC sur les eaux

I Souterraines ou de surface

I Pesticides, engrais

I Polluants émergeants (dans l’eau, les aliments...)

I Médicaments, micro-plastiques, nano-matériaux...

I ...

(18)

Déroulement : retour

I

Pour la prochaine fois (24/10)

I Vous ne devez pas arriver avec un choix bien tranché

I Mais avoir déterminé un domaine qui vous intéresse

I Dans lequel vous estimez que vous pourrez aborder une question plus pointue

I

Pour pouvoir choisir une question

I Il faut avoir exploré la littérature

I et les éventuelles sources de données

I

La stratégie est donc progressive

(19)

Séminaire Économie du Développement Durable Évaluation des politiques publiques environnementales

Sommaire

Les objectifs

Évaluation des politiques publiques environnementales Facteurs concomittants et sélection

Principales techniques de construction de contre-factuels Intervention locale et politique globale

Expliquer l’échec ou la réussite d’une politique

Conclusions

(20)

Évaluer les impacts d’une politique publique

I ”=

contrôle, l’audit ou le conseil

I également légitimes mais ne visant pas les mêmes objectifs

I ”=

évaluation portant sur d’autres critères

I comme la pertinence, la cohérence, la mise en oeuvre ou l’utilité

I

vise à établir la situation qu’aurait connue la société en l’absence de la politique évaluée (=

l’intervention)

I situation fictive, ditecontre-factuelle

I en la comparant à la situation effectivement observée, on déduit une relation de causalité entre l’intervention publique et un indicateur jugé pertinent

(21)

Exemple : Programme d’éducation à l’usage de l’eau en extérieur (Floride)

I

On a mesuré la consommation avant et après le programme dans 2 communautés

I La réduction a été de 29% et 38% dans les 2 cas

I

Que pensent beaucoup de gestionnaires de ce cas ?

I La stratégie d’évaluation a été claire

I Un indicateur satisfaisant a été mesuré

I C’est le “contrôle avant-après”

I L’expansion du programme est justifiée

I

Cependant, la pluie est tombée pendant le programme

I Réduction de consommation de 31% dans une communauté voisine

I qui n’avait pas été exposée au programme d’évaluation (“traitée”)

I

On comprend tout de suite ce qui manque à l’évaluation antérieure

I Il n’y a pas de groupe témoin / de contrôle

I On n’a pas construit de contre-factuel

(22)

Facteurs concomittants et sélection

Sommaire

Les objectifs

Évaluation des politiques publiques environnementales Facteurs concomittants et sélection

Principales techniques de construction de contre-factuels Intervention locale et politique globale

Expliquer l’échec ou la réussite d’une politique

Conclusions

(23)

Corrélation n’est pas causalité

I

On ne peut pas dire d’une politique qu’elle “marche” parce que la situation actuelle est plaisante

I Une multitude facteurs peuvent être concomittants

http ://www.tylervigen.com/spurious-correlations

(24)

Corrélation n’est pas causalité : Sélection

I

Les unités traitées (= dans le programme) sont

sélectionnées

pour recevoir l’intervention

I sur la base de caractéristiques quiaffectent aussi le résultat de l’intervention

I p.e. les parcs naturels sont souvent placées dans des zones de grande qualité environnementale

I mais aussi peu conflictuelles avec d’autres usages du sol

I Terres en pente, peu fertiles, hautes, sèches et/ou isolées I

On ne peut alors estimer l’impact de la figure de protection

sur p.e. la déforestation

I en comparant le taux de déforestation avant et après la mise en place de la protection

I ni en comparant avec les zones alentour du parc

I car celles-ci auraient de toute façon connu une déforestaiotn plus élevée, avec ou sans parc

I donc on sur-estimerait l’effet de la protection I

Dans ce cas, le contre-factuel est inobservable

I mais le fait de le reconnaitre est une amélioration de l’évaluation

(25)

Autre exemple de sélection

I

Quels effets de l’amélioration de l’air intérieur sur la santé de l’enfant et de la mère ?

I Les ménages qui investissent dans cette amélioration tendent à être + riches, mieux informés et + préoccupés par leur santé

I Le projet RESPIRE (Diaz et al., 2007) a fourni aléatoirement des cuisinière moins polluantes à des ménages avec enfants

I Les femmes et les enfants dans le groupe traité ont montré une exposition subtantiellement moindre au monxide de carbone, comparer au groupe de contrôle, en moyenne

(26)

Autre exemple de sélection

I

Est-ce qu’un système de zones protégées réduit la déforestation ?

I Les zones protégées sont installées sur des zones corrélées avec la déforestation

I En utilisant des données spatiales et des méthodes

d’appareillement, des chercheurs ont pu montrer que moins de 10% de la forêt protégée du Costa Rica aurait été déforestée en l’absence de figure de protection

I Les estimations conventionnelles avant-après sur-estimaient la déforestation évitée de 65%

(27)

Autre exemple de sélection

I

Est-ce le U.S. Endangered Species Act affecte le taux de récupération d’une espèce ?

I La plupart des études n’ont pas de contre-factuel.

I Une analyse suggère que l’Act

I améliore la récupération des espèces avec un financement

I mais empire la situation d’espèces listées mais non financées

I par rapport à un contre-factuel sans Act

(28)

Corrélation n’est pas causalité : auto-sélection

I

Dans les programmes volontaires, les personnes ou les firmes peuvent parfois s’auto-sélectionner

I Des programmes incitatifs

I p.e. paiements pour services environnementaux, éco-label, adoption d’une gestion environnementale...

I récompensent souvent des personnes ou firmes qui auraient mené à bien l’action de toute façon

I voire les découragent à cause de la monétisation de l’action (effet d’éviction)

(29)

En résumé

I

L’évaluation des gestionnaires se résume souvent à un monitoring attentif

I C’est la méthodologie “avant-après”

I Elle n’est pas suffisante car elle néglige le contre-factuel

I

Comparer les résultats du groupe traité au groupe de contrôle

I peut réduire les biais dus aux facteurs concomittants (confondants, contemporains)

I

Mais le biais de sélection implique que

I le résultat sur une unité non-traitée moyennereprésente rarementle contrefactuel de l’unité traitée moyenne

I Les caractéristiques qui amènent les gestionnaires de

programme à cibler certains individus, firmes, espèces ou zones sont souvent corrélés avec les résultats

I

Notes

I Souvent les programes environnementaux manquent de théorie causale et d’indicateurs du niveau initial

I Il existe assez peu d’études d’impact environnemental au sens de ce cours

I Essence de la pensée contre-factuelle

I Éliminer les interprétations plausibles rivalesdes résultats observés

(30)

Principales techniques de construction de contre-factuels

Sommaire

Les objectifs

Évaluation des politiques publiques environnementales Facteurs concomittants et sélection

Principales techniques de construction de contre-factuels Intervention locale et politique globale

Expliquer l’échec ou la réussite d’une politique

Conclusions

(31)

Introduction

I

Principales méthodes de mesure de l’impact d’une politique publique sur les bénéficiaires directs de cette politique

I Ces méthodes ne reposent pas sur une théorie des mécanismes par lesquels l’action publique affecte les citoyens ou

l’environnement

I dites non structurelles ou “athéoriques”

I on évoquera plus loin des méthodes structurelles et des méthodes qualitatives

I Elles sont assez techniques, mais guidées par des questions simples :

I la politique a-t-elle atteint son objectif ?

I A-t-elle engendré des effets non anticipés par le législateur ?

I Il faut donc établir les objectifs poursuivis, puis identifier une relation de causalité entre la politique et ces objectifs

(32)

Construire un contrefactuel crédible

I

Choisir des indicateurs pertinents

I Quelles informations l’évaluation doit-elle produire pour être utile à l’action publique ?

I Donc, il faut collecter des données

I de préférence variées

I Ces données se trouvent souvent dans des bases différentes

I Elles peuvent être quantitatives ou non I

Repérer les facteurs concomittants

I

Comprendre les mécanismes qui engendrent de la sélection

I Auto-sélection ou sélection externe

(33)

Choix de la méthode

I

Plusieurs méthodes plus ou moins complexes peuvent être mobilisées

I Certaines ne seront pas accessibles

I Mais sont présentées pour illustrer les idées contre-factuelles

I

Il est nécessaire de savoir

I s’il existe des différences entre les groupes des individus/unités traités et non traités

I si ces différences sont susceptibles d’avoir une influence sur la variable de résultat

I

Parfois, ces différences résultent de facteurs observables par l’évaluateur

I figurant dans les données disponibles

I âge, niveau de diplôme

I Mais souvent, ces facteurs sont inobservables

I motivation ou degré d’information dont disposent les individus

(34)

1. Méthode d’expérimentation aléatoire

I

Répartition par tirage au sort des individus dans les groupes de contrôle et de traitement

I Comme pour les expériences pharmaceutiques

I garantit que les individus des deux groupes sont comparables au regard de leurs caractéristiques individuelles observables mais aussi inobservables

I

l’effet causal du traitement (la politique publique) sera mesuré par

I l’écart entre la moyenne de la variable d’intérêt (par exemple, le salaire)

I au sein du groupe de traitement

I et la moyenne de la même variable

I au sein du groupe de contrôle

(35)

1. Méthode d’expérimentation aléatoire

I

Avantages

I validité interne

I contrôle des caractéristiques observables et inobservables

I intuitif

I

Limites

I Validité externe : généraliser la politique peut induire des effets d’équilibre général

I Le comportement des 2 groupes peut se modifier à cause de l’expérience

I

Contraintes

I Coût

I Temporalité parfois trop longue comparée à l’exigence des décideurs politiques

I Éthique liée à l’introduction d’une discrimination entre individus traités et non traités

(36)

2. Méthode des “différences de différences”

I

Une variable détermine l’exposition au traitement de façon exogène

I p.e. une mesure affecte seulement une partie de la population

I pour des raisons sans lien avec la variable de résultat

I p.e. évènement historique ou météorologique

I On parle d’expérience naturelle

(37)

2. Méthode des “différences de différences”

I

Alors 4 “sous-populations”

I Traités et non-traités, avant et après

I Comparer les traités et les non traités après l’introduction de la mesure ne permet pas d’identifier l’effet causal

I car ces deux pop. n’ont pas été choisies de façon aléatoire

I mais sur la base de critères administratifs ou politiques

I La différence peut provenir de différences de caractéristiques individuelles

I Pareillement, comparer avant-après pour les traités

I peut provenir de changement dans les conditions

I et pas seulement de l’effet du traitement

I Par contre, la différence avant-après des traité

I moins la différence avant-après des non-traités

I élimine l’effet de ces 2 sources de différences

I pour ne garder que l’effet du traitement

(38)

2. Méthode des “différences de différences”

I

Avantages

I validité interne des résultats

I contrôle des caractéristiques observables et inobservables

I estimation aisée au moyen de logiciels statistiques existants

I

Limites

I validité externe limitée : difficulté à généraliser les résultats à des publics plus larges

I risque de modification de comportement

I

Contraintes opérationnelles

I Les expériences naturelles sont rares

(39)

3. Méthodes de régression par discontinuité

I

Statistiquement assez complexe

I La régression est une technique statistique

I qui calcule essentiellement une corrélation multiple

I mais le principe reste centré autour du calcul de moyenne

I

S’applique dans les cas où

I la participation à la politique dépend d’un seuil exogène

I Alors, les individus/unités proches du seuil sont statistiquement comparables

I Ils ne diffèrent que du fait de leur participation ou non au traitement

I La méthode consiste alors à comparer les résultats des participants et des non participants localisés au voisinage du seuil de participation

(40)

3. Méthodes de régression par discontinuité

I

Avantages

I contrôle des caractéristiques observables et inobservables I

Limites

I résultats valables seulement pour les individus situés à proximité du seuil

I possible manipulation du seuil par les bénéficiaires

I

Contrainte

I existence d’un seuil déterminant la participation au traitement

I

Exemple

I impact sur la réussite universitaire d’une bourse octroyée sur critère de ressources familiales

I p.e. bourse pour les revenus < 15 000 euros par an

I Comparer les résultats aux examens des étudiants se trouvant juste en dessous du seuil d’éligibilité et ceux se situant juste au-dessus du seuil

(41)

4. Méthodes de variables instrumentales

I

Exploite une variable

I qui est statistiquement corrélée à la variable de traitement

I mais non corrélée à celle de résultat

I Ce qu’il faut démontrer (difficulté de la méthode)

I Cette variable se nomme un instrument

I

L’instrument permet au fond de contrôler pour la sélection

I La technique statistique permet alors de voir l’effet du traitement sans cette sélection

(42)

4. Méthodes de variables instrumentales

I

Avantages

I contrôle des caractéristiques observables et inobservables I

Limites

I Peu intuitif, difficile à communiquer

I Complexité stat., même si des logiciels standards permettent l’estimation

I

Contraintes

I Existence d’au moins un instrument

(43)

5. Méthodes d’appariement

I

On laisse tomber le contrôle des caractéristiques inobservables

I

Principe

I constituer des “paires” entre des individus traités et non traités

I présentant des caractéristiques observables similaires

I et susceptibles d’influencer la participation au traitementetla variable de résultat

I p.e. âge ou diplôme dans le cas d’une évaluation de l’impact de la formation sur les salaires

I Par une technique statistique, on calcule un score de

“propension à être traité”

I Probabilité d’être dans le traitement

I Conditionnelle aux caractéristiques observables

I On apparie des individus traité et non-traité aux propensions proches

I Le groupe des non-traités ainsi constitué est le groupe de contrôle (contre-factuel)

(44)

5. Méthodes d’appariement

I

Avantages

I moins exigeant en données que les précédentes méthodes

I

Limites

I Validité interne limitée car dépend de l’absence de caractéristiques individuelles inobservables

I Complexité stat., même si des logiciels standards permettent l’estimation

I

Contraintes

I Assez faibles si les données sont présentes

(45)

Conclusions partielles

I

Ceci conclut la sous-section sur les méthodes athéoriques

I La première est le design expérimental

I Les autres sont qualifiées de quasi-expérimentales

I

Elles sont présentées en terme de qualité décroissante des résultats

I Mais aussi d’exigences sur les données

I Elles ont aussi pour défaut qu’elles ne se prètent pas bien à la généralisation

I Elles ne renseignent pas les mécanismes par lesquels la politique produit ses résultats

(46)

Intervention locale et politique globale

Sommaire

Les objectifs

Évaluation des politiques publiques environnementales Facteurs concomittants et sélection

Principales techniques de construction de contre-factuels Intervention locale et politique globale

Expliquer l’échec ou la réussite d’une politique

Conclusions

(47)

La question de la généralisation

I

Une limite des méthodes présentées

I difficulté à généraliser leurs résultats à une population plus vaste, dans le cas où la politique serait étendue.

I une telle extension peut mener à changer les effets estimés de la politique

I parce que la population à laquelle la politique est étendue peut avoir une sensibilité différente au dispositif évalué

I parce que le changement d’échelle de ce dispositif peut engendrer des effets indirects

I Dits effets d’équilibre général

I

Il faut donc prévoir correctement les effets d’une politique

donnée dans un contexte différent

(48)

Effets sur les non-bénéficiaires

I

L’extension d’une politique à une population plus large peut produire des effets différents de ceux évalués sur la seule population des bénéficiaires

I en raison de l’hétérogénéité des effets selon les publics

I par des effets indirects

I qui ne se manifestent pas à petite échelle

(49)

Les effets de “déplacement” en sont un exemple

I

dispositifs d’accompagnement renforcé pour les demandeurs d’emploi

I Lorsque les offres d’emploi sont en nombre limité, ce type de dispositif peut améliorer le taux d’emploi de ses bénéficiaires

I Mais les autres chômeurs qui se voient évincés

I En conséquence, l’impact de cette mesure évalué sur

l’ensemble de la population est différent de celui évalué sur les seuls bénéficiaires

I

L’exclusion des véhicule polluants dans les zapa comme Paris

I Améliore peut-être la qualité de l’air intra-périph

I Mais engendrent-elle une hausse de la pollution en périphérie ?

I

L’environnement hors parc naturel se détériore-t-il plus que si

le parc naturel n’avait pas été déclaré ?

(50)

Des effets différents selon la population couverte

I

Lorsque la politique engendre une modification de l’offre ou de la demande sur un marché donné

I Effet sur le niveau de la scolarisation et sur les inégalités de salaires d’une subvention forfaitaire de 500 dollars

I pour tous les élèves au niveau du collège

I sans tenir compte des effets sur le marché du travail, la subvention accroît le niveau de la scolarisation de 5,3 % en moyenne

I Mais cette hausse de la scolarisation conduit à une hausse du nombre de diplômés sur le marché du travail

I Celle-ci produit une baisse des salaires des diplômés

relativement aux non-diplômés, en raison de la moindre rareté des diplômés

I À l’équilibre, l’effet estimé se réduit à 0,46 %

I Ici, les non-bénéficiaires sont impactés, mais les bénéficiaires eux-mêmes subissent un effet d’équilibre général

I Un exemple similaire à la diapo suivante

(51)

Exemple : interventions visant l’adoption de technologies efficientes en énergie

I

Dirigées à des firmes & citoyens

I Pour diminuer la consummation d’énergie

I et donc les gaz à effets de serre

I

Bien que les technologies efficientes réduisent la consommation par unité

I de puissance, chauffage, refroidissement, lumière

I Elles réduisent aussi le prix effectifs de ces services

I Et donc en accroissent la demande

I On change les réglages du thermostat, on laisse les lumières allumées

I Parfois jusqu’au point d’accroître la consommation d’énergie

I

Sur le plan international,

I On peut se demander à quel point les politiques environnementales de l’UE n’exportent pas la pollution européenne

(52)

Expliquer l’échec ou la réussite d’une politique

Sommaire

Les objectifs

Évaluation des politiques publiques environnementales Facteurs concomittants et sélection

Principales techniques de construction de contre-factuels Intervention locale et politique globale

Expliquer l’échec ou la réussite d’une politique

Conclusions

(53)

Approche structurelle

I

Objectif : décomposer les effets et les quantifier

I

Le principe : modéliser les mécanismes économiques

I représentation de la réalité économique

I fondée sur une idée a priori des mécanismes économiques à l’oeuvre

I Dont les paramètres sont estimés à partir de données I

Avantage : si le modèle est le bon

I On peut anticiper les résultats de plusieurs politiques

I Amélioration de la compréhension du système

I

Limite

I sensibilité aux hypothèses du modèle théorique

I complexes à appréhender pour un décideur public

(54)

Approche qualitative

I

Objectif

I connaître les perceptions et les pratiques des acteurs de terrain

I

Principe

I interroger et observer les acteurs

I

Avantage

I permet des investigations approfondies sur le contexte local et l’environnement institutionnel

I mesurer la satisfaction des bénéficiaires et apprécier, de manière subjective, les retombées du dispositif

I révéler les attentes et les besoins des acteurs, souvent à l’origine de leurs stratégies, positions et comportements

(55)

Principaux outils de l’approche qualitative

I

Entretiens des acteurs

I directifs, semi-directifs ou ouverts ; individuels ou collectifs (dont groupes focus) ; répétés ou non

I favorisent la formulation de nouvelles questions

I

Observation directe de l’enquêteur

I en situation, auprès des acteurs

I

Études de cas ou monographies

I Étude approfondie de cas particuliers

I divers territoires d’application d’une intervention publique

I Pour en donner une vision la plus complète possible

I déroulement de l’intervention publique dans le temps

I interrogation du système d’acteurs

(56)

Approche qualitative

I

Force

I Comprendre les facteurs d’échec et de succès de la politique évaluée

I

Faiblesse

I Petits échantillons

I Fiabilité des réponses (subjectivité)

I Difficulté à isoler les effets

I ne peut pas indiquer de manière fiable ce qui se serait passé sans le programme

I Sauf si elle est également menée sur un groupe non traité

(57)

Conclusions

Sommaire

Les objectifs

Évaluation des politiques publiques environnementales Facteurs concomittants et sélection

Principales techniques de construction de contre-factuels Intervention locale et politique globale

Expliquer l’échec ou la réussite d’une politique

Conclusions

(58)

Conclusions

Barrières à l’évaluation de programmes environnementaux

I

Réponses non-linéaires, p.e. seuils

I

Variabilité élevée des résultats

I

Échantillonnage irrégulier / peu fréquent

I pas de données avant le programme

I erreurs de mesure

I

Temps long entre intervention et réponse

I

Interventions multiples/croisées

I

Effets complexes de débordement

I La déforestation de l’Amazone provoque la sécheresse plus au sud

I

Grandes échelles spatiales des processus écologique

I

Unités traitées uniques, sans comparateurs

I habitats rares, espèces endémiques

I

Faibles budgets

(59)

Conclusions

Opportunités d’appliquer une pensée contre-factuelle

I

L’expérience randomisée n’est pas souvent faisable

I Raisons politiques, éthiques, financières, pratiques, légales

I

Les designs quasi-expérimentaux sont également rares

I Il faut des coincidences peu fréquentes

I

Une étude de cas ne peut sans doute pas se permettre une analyse si poussée

I Mais il est important de conserver un schéma de pensée contre-factuel

I Méme si on n’a accès qu’à des données qualitatives ou peu abondantes

I Il faut toujours garder à l’esprit un scénario “et si ?”

I Au fond, la pensée contre-factuelle consiste à éliminer graduellement des explications crédibles altenatives à l’intervention

I Ceci peut être réalisé en partie dans une étude de cas

I Donc dans le travail demandé, il faut exposer au mieux toutes les causes possibles

(60)

Conclusions

Quelques sources (cliquez)

I

Cas et données

I modernisation.gouv.fr: evaluer-les-politiques-publiques

I TheOECD database on Policy Instruments for the Environment

I

Guides

I France stratégie

I Ferraro, P. J. (2009). Counterfactual thinking and impact evaluation in environmental policy. In M. Birnbaum & P.

Mickwitz (Eds.), Environmental program and policy evaluation. New Directions for Evaluation, 122, 75–84.