BIAE Indicateurs hors
N 1 : quantité épandue en présence de la politique (en uN/ha) S
2.2. Le problème de l'évaluation et les biais des méthodes intuitives d’estimation des effets propres
L'objectif de l'évaluateur est d'estimer l'effet propre moyen de la politique, ce qui implique de déterminer la situation contrefactuelle inobservée à partir des données observées. Il fait face à ce que l'on appelle un problème d'identification de l’effet propre. Les sections qui suivent montrent que les méthodes intuitives habituellement retenues dans la littérature sur l'évaluation des politiques agro- environnementales ne répondent pas à la question de l'identification. Plus précisément, en choisissant de comparer les pratiques des bénéficiaires aux pratiques des non bénéficiaires, l'évaluateur est susceptible d'introduire un biais dans son estimation de l'effet propre recherché – un biais de sélection. En outre, en choisissant de comparer les pratiques des bénéficiaires après la contractualisation à leurs pratiques avant la contractualisation, l'évaluateur est confronté à un biais de tendance temporelle.
2.2.1 La comparaison « avec-sans » : le biais de sélection
Au niveau de la parcelle ou de l’exploitation, la différence , c’est-à-dire la différence entre la quantité d’azote épandue en présence de mesure et la quantité d’azote épandue en l’absence de mesure, n'est pas observable, un individu ne pouvant se trouver simultanément dans deux états à la fois. Cette évidence fait l'objet des travaux déjà anciens de Neyman (1923) et de Fisher (1926) sur les expériences agronomiques. Une plante ou une parcelle ne peuvent se trouver simultanément traitées (recevant une dose d'engrais, par exemple) et non traitées (ne recevant pas la dose). L'impact de la dose d'engrais sur le rendement sur la parcelle n'est donc pas observable (ou identifié) à partir de l'observation du niveau de rendement réalisé sur la parcelle.
0 1 i i i
Y
Y
Y
=
−
Δ
Ce problème de données manquantes au niveau individuel induit un problème de biais de sélection au niveau moyen. L'impact d'une dose d'azote sur le rendement moyen d'une culture par exemple ne peut être identifié par la simple comparaison des rendements sur les parcelles traitées et non traitées. Le rendement moyen sur les parcelles traitées en l’absence de traitement n’est pas observé. Il n’est par ailleurs pas forcément égal au rendement moyen observé sur les parcelles non traitées. En effet, les traitements azotés ne sont pas distribués de manière aléatoire. Plus précisément, les parcelles traitées peuvent présenter des caractéristiques particulières qui justifient le traitement (qualité de la terre, niveau de pluviométrie, présence d'adventices, etc.). Par conséquent, la différence de rendement entre parcelles traitées et non traitées n'est pas uniquement due à la dose d'engrais. Elle peut également être expliquée par d’autres caractéristiques des parcelles qui ont déterminé le choix du traitement appliqué. Ainsi, l'impact de la dose d'engrais sur le rendement ne peut être estimé par une simple comparaison entre parcelles traitées et non traitées. En particulier, si les parcelles traitées présentent certaines caractéristiques qui les rendent plus fertiles même en l'absence d'engrais, on surestime l'effet de l'engrais, en les comparant aux parcelles non traitées initialement moins fertiles.
De manière analogue, la comparaison des pratiques moyennes entre les agriculteurs ayant bénéficié de MAE et ceux n'en ayant pas bénéficié ne donne pas une bonne mesure de l’effet propre moyen des MAE sur les pratiques. Une partie de la différence de pratiques observée entre bénéficiaires et non bénéficiaires peut être due au fait que les bénéficiaires ont des caractéristiques différentes de celles des non bénéficiaires. Par exemple, les bénéficiaires peuvent avoir un niveau de formation plus élevé, une plus grande habileté managériale, un cahier des charges orienté vers une production de meilleure qualité ou des terres plus favorables, qui les conduisent à adopter, même en l’absence des MAE, des pratiques plus respectueuses de l’environnement (cf. Encadré 4). Par conséquent, ces agriculteurs sont plus enclins à contractualiser des MAE puisque le coût d'adoption de ces mesures est plus faible pour eux. Ces agriculteurs ayant contractualisé une MAE auraient, en l'absence de
CemOA
: archive
ouverte
d'Irstea
mesure, de toute façon adopté des pratiques différentes de celles des non bénéficiaires. Le processus de contractualisation a donc sans doute sélectionné des agriculteurs dont les caractéristiques déterminent un niveau de pratiques en l'absence de contractualisation différent en moyenne du niveau de pratique des non contractants. La différence de pratiques entre les bénéficiaires et les non bénéficiaires n'est donc pas égale à l'impact recherché
0
i
Y
*)
(I
B−I
B . La simple comparaison des niveaux moyens de la variable Yi entre les participants et les non participants conduit à une mesure biaisée de l'impact moyen de la MAE sur Yi. Ce biais correspond à la différence entre le niveau moyen des pratiques qu'auraient adoptées les bénéficiaires en l'absence de la politique et le niveau moyen des pratiques adoptées par les non bénéficiaires.Rien ne permet de dire que ce biais est nul, c’est-à-dire qu'en l'absence de MAE, les bénéficiaires se seraient comportés de manière identique aux non bénéficiaires. Au contraire, il est probable que les agriculteurs qui choisissent de contractualiser une MAE auraient de toute façon adopté des pratiques plus favorables à l’environnement en l'absence de MAE. Le biais est donc négatif. Autrement dit, la comparaison entre participants et non participants, dans ce cas, surestime l'impact de la politique, en lui attribuant ce qui est en fait dû au mode de sélection des bénéficiaires. Pour cette raison, on parle de « biais de sélection » (cf. Annexe 7 pour l’expression du biais de sélection).
Encadré n° 4 : La comparaison «avec-sans »
Quantité d’azote épandue par hectare
La comparaison « avec-sans » surestime l’effet propre de la mesure. En effet, si l’indicateur de pression est la quantité d’azote épandue par exemple, on observe que la quantité épandue par le non bénéficiaire était déjà supérieure à la quantité épandue par le bénéficiaire avant même la contractualisation de la mesure. Les agriculteurs qui ont choisi de bénéficier de la mesure présentaient des caractéristiques qui les différenciaient des autres agriculteurs avant la contractualisation. Par exemple, il est possible que les agriculteurs qui choisissent de bénéficier de la mesure soient également les mieux formés. Par conséquent, en comparant la quantité épandue par les bénéficiaires à la quantité épandue par les non bénéficiaires, on ne mesure par seulement l’effet propre de la mesure, mais également l’effet de l’écart de performance entre les bénéficiaires et les non bénéficiaires dû à l’écart de formation.
CemOA
: archive
ouverte
d'Irstea
2.2.2 La comparaison « avant-après » : le biais de tendance temporelle
Une autre méthode intuitive pour mesurer l'impact d'une MAE sur les pratiques agricoles est la comparaison « avant-après » : on compare le niveau moyen de pratiques des bénéficiaires après la contractualisation (en t=2006, par exemple) au niveau moyen de leurs pratiques avant la contractualisation (en t=2000, par exemple). Cette méthode est susceptible de conduire, là encore, à une estimation biaisée de l'effet recherché. En effet, le changement de pratique observé chez les bénéficiaires peut n'être dû qu'en partie à la MAE. Les changements du contexte dans lequel évoluent les exploitations notamment (mise en place de la conditionnalité des aides du premier pilier, augmentation de la participation à des cahiers des charges de bonnes pratiques, variation des prix des intrants et des productions, etc.) peuvent aussi être à l'origine d'un changement dans les pratiques agricoles. En comparant directement les pratiques des bénéficiaires avant la contractualisation des mesures aux pratiques adoptées après, il est impossible de faire la part, dans le changement de pratiques observé, de ce qui est dû aux variations du contexte et de l'effet propre de la mesure (cf. Encadré 5).Encadré n° 5 : La comparaison «avant-après »
Quantité d’azote épandue
L’indicateur de pression est la quantité d’azote épandue. On observe que la quantité épandue par les bénéficiaires aurait diminué même en l’absence de mesure. La comparaison « avant-après » surestime donc l’effet propre de la mesure. Le contexte dans lequel ont évolué les agriculteurs a été favorable à l’environnement (une augmentation des prix de l’engrais par exemple). Par conséquent, en comparant la quantité épandue avant la contractualisation à la quantité épandue après la contractualisation, on ne mesure pas seulement l’effet propre de la mesure, mais également l’effet de la baisse des prix de l’engrais.
La différence entre les pratiques des bénéficiaires avant la contractualisation et les pratiques adoptées après, n'est donc pas égale à l'impact recherché