Évaluation ex-post du Programme de développement
rural hexagonal (PDRH)
Programmation FEADER 2007-2013
Etude Satellite
Effet des mesures du PDRH sur les
performances techniques et économiques
des exploitations agricoles à partir du
Réseau d’information comptable agricole
(RICA)
– Note méthodologique –
Juin 2016
Hervé DAKPO, Yann DESJEUX, Pierre DUPRAZ INRA, UMR 1302 SMART, FR 35000 Rennes
Table des matières
1 Contexte ... 2
2 Définition du champ et des variables de l’étude ... 3
2.1 Indicateurs de performance calculés à partir du RICA ... 4
2.1.1 Indicateurs de performance techniques ... 4
2.1.2 Indicateurs de performance économiques ... 6
2.1.3 Indicateurs de performance environnementale ... 8
2.1.4 Indicateurs de performance sociale ... 8
2.2 Subventions agricoles dans le cadre de la PAC et du PDRH ... 8
3 La mesure des effets propres d’une politique : enseignements de la
littérature ... 9
3.1 Mise en évidence d’une causalité en économétrie ... 9
3.2 Choix des méthodes et interprétation des résultats dans le
cadre de l’évaluation du PDRH ... 12
1 Contexte
Le Programme de Développement Rural Hexagonal (PDRH) est la déclinaison française, à l’échelle métropolitaine, du deuxième pilier de la Politique Agricole Commune (PAC), soutenu par le Fonds européen agricole pour le développement rural (FEADER). Dans sa programmation 2007-2013, le PDRH a été construit autour d’un enjeu de dynamisation des espaces ruraux et de la préservation de la qualité de l’environnement, et se décline en quatre grands axes. Pour rappel, l’axe 1 est relatif à l’amélioration de la compétitivité des secteurs agricole et sylvicole. L’axe 2 se focalise sur l’amélioration de l'environnement et de l'espace rural. L’axe 3 regroupe des mesures de renforcement de la qualité de la vie en milieu rural et la diversification de l'économie rurale. Quant à l’axe 4, désigné comme le programme Leader, c’est une « une méthode de développement local permettant aux acteurs locaux de développer un territoire en exploitant son potentiel de développement local endogène »1, et qui
reprend des mesures des axes 1 à 3. Ces axes s’inscrivent dans la continuité de la programmation 2000-2006 et reprennent les conclusions de l’évaluation à mi-parcours de cette programmation (Ministère de l'Agriculture et de la Pêche, 2007). Une spécificité particulière du PDRH est sa double structuration à partir d’un socle national commun de six mesures2 avec néanmoins des déclinaisons régionales (21 régions) ;
même si la plupart des régions ont mis l’accent sur l’axe 2. Aujourd’hui dans le cadre de l’évaluation ex-post du PDRH 2007-2013 (règlement d’application (CE) n°1974/2006), une étude satellite conduite par l’INRA UMR SMART est proposée afin de renforcer les conclusions de celle conduite par le cabinet d’étude Epices.
L’avantage de cette évaluation est d’apporter des réponses statistiques sur les effets du PDRH sur divers indicateurs de performances (techniques, économiques, environnementales, sociales), en abordant la question non plus à un niveau agrégé et descriptif, mais de façon plus désagrégée en évaluant directement ce qui se passe au niveau des bénéficiaires (les producteurs). L’idée étant ici de recourir, comme recommandée dans le guide méthodologique européen de l’évaluation ex-post des programmes de développement régionaux (EC et EENRD, 2014), à l’utilisation de techniques quantitatives, plus complexes et plus avancées adaptées au cas spécifique du deuxième pilier de la PAC, pour répondre à la question (en complément des entretiens qualitatifs et avis d’experts, de la revue bibliographique, des annexes de programme, de l’analyse des réalisations et des indicateurs de résultats, et des études de cas territoriaux). Pour mener à bien ce travail d’évaluation d’impact il faut donc recourir à des données individuelles microéconomiques d’exploitations agricoles. A cet effet, le RICA (Réseau d’Information Comptable Agricole) est la seule base de données statistiquement représentative, qui en plus de contenir des données
1 http://enrd.ec.europa.eu/enrd-static/leader/fr/leader_fr.html.
2 Installation des jeunes agriculteurs, indemnité compensatoire de handicaps naturels (ICHN), plan chablis,
desserte forestière, investissements en forêt, la prime herbagère agro-environnementale (PHAE) et MAE rotationnelle.
économiques, structurelles fournit des informations sur les pratiques agricoles, permettant de faire le lien entre les paiements de la politique agricole commune (PAC) et les performances techniques (ex : rendements des principales productions), économiques (ex : valeur ajoutée, excédent brut d’exploitation, résultat courant avant impôt), environnementales (consommation d’énergie non-renouvelable, utilisation d’engrais, produits phytosanitaires et vétérinaires), sociales (travail salarié, familial, contractuel) des exploitations. Triplement stratifié (la région, l'orientation technico-économique et la classe de dimension technico-économique), la représentativité régionale du RICA colle bien à la double échelle du PDRH. De plus, le RICA a l’avantage d’être un panel, avec un taux de rotation annuel d’environ 10%. Cela est un atout important pour isoler l’effet des mesures d’adoption volontaire ou biais d’auto-sélection des agriculteurs sur les performances de l’exploitation. En effet le caractère volontaire des aides du 2nd pilier est une spécificité particulière qui complexifie leur évaluation
d’impact puisque le processus même de participation à un programme est « endogène ». Par exemple, si la conception d’une mesure amène les agriculteurs ayant les plus bas rendements à s’auto-sélectionner pour cette mesure, ne pas contrôler cet effet d’endogénéité risque fort d’aboutir à la conclusion que la mesure entraîne une baisse des rendements, même si elle conduit à augmenter ceux des bénéficiaires. En outre les techniques économétriques disponibles pour l’analyse des panels non cylindrés (les exploitations observées ne sont que partiellement les mêmes d’une année à l’autre), permettent de mettre en évidence des effets de changement de politique au cours du temps, tout en corrigeant les effets, et les biais, d’hétérogénéité temporelle communs à toutes les exploitations une même année. La même remarque reste valable également au niveau des exploitations pour lesquels il possible de contrôler, par des effets fixes ou aléatoires, l’hétérogénéité inobservée spécifique à chaque exploitants.
Dans ce document, nous résumons de façon succincte et claire les étapes méthodologiques pour mener à bien cette étude satellite. La deuxième section sera consacrée à la définition du champ et des variables de l’étude et la troisième section détaillera les choix méthodologiques adoptés pour l’évaluation d’impact du PDRH.
2 Définition du champ et des variables de l’étude
L’étude portera sur l’ensemble des exploitations du RICA ou sur une sélection d’orientations productives identifiées comme pertinentes au regard des aides du 2nd
pilier de la PAC qu’elles perçoivent. Ce choix a-priori sera fait à l’issue de la phase exploratoire des données du RICA mises à disposition. Bien que la programmation couverte par l’évaluation soit celle du PDRH, c'est-à-dire 2007-2013, certaines études ont montré qu’il existait des effets retardés des mesures de la programmation précédente (PDRN) (Desjeux et al., 2014; Desjeux et al., 2015). En outre, mobiliser
des variables retardées offre la possibilité de traiter plus facilement la question de l’endogénéité. Il est donc nécessaire de travailler sur un échantillon couvrant les deux dernières programmations, soit de 2000 à 2013. Cependant il se peut que certaines variables du RICA ne soient pas disponibles sur l’ensemble de cette période. Ce point sera clarifié au cours de la phase exploratoire des données mises à disposition. Les indicateurs (agrégats) de performance technique, économique, environnementale et sociale retenus dans le cadre de l’analyse des effets propres des mesures du 2nd pilier
de la PAC sont résumés dans la sous-section suivante.
2.1 Indicateurs de performance calculés à partir du RICA
2.1.1 Indicateurs de performance techniques
Usuellement la performance technique des exploitations agricoles est captée par les niveaux de rendements obtenus au niveau des divers ateliers de production. Ainsi en production végétale (céréale, oléagineux, protéagineux), la performance technique est le rendement par hectare des productions spécifiques. Dans le cadre de cette évaluation nous considérons les productions représentatives que sont le blé, le maïs grain et le colza. En ce qui concerne les productions animales, le rendement technique dépend du type de la production considérée. Dans le cas de la production laitière, le critère retenu est la quantité de lait produit par animal (vache laitière) et par an. En termes de viande, nous avons retenu les principales consommations françaises : la viande bovine, le porc et le poulet. Au vue de la complexité pouvant aussi exister au sein même de certains types de production (par exemple en production bovine il existe plusieurs types d’animaux : veaux, broutards, génisses, vaches, taureaux), un indicateur de performance technique peut être obtenu en divisant la production en volume sur le niveau des consommations intermédiaires et de capital fixe (Veysset et
al., 2015). Toutefois cette grandeur requiert l’utilisation d’un certain nombre de
variables nécessaires à l’évaluation de la performance économique. Pour rester attacher à la technicité même de l’atelier, nous proposons ici d’évaluer la performance technique en rapportant le volume de viande par les unités gros bovins (UGB) de l’exploitation. Dans le RICA l’information sur les UGB est renseignée pour les bovins et les porcins. Quant à l’atelier de production de viande de poulet, un indicateur de performance technique peut être calculé en rapportant le volume de viande par le nombre de poules. La production des œufs est également considérée pour cette évaluation et son rendement technique est simplement le nombre d’œufs produits par animal (poule pondeuse).
Les codes correspondant dans la base de données RICA des différentes productions sus-évoquées sont résumés dans le Tableau 1.
Tableau 1 : Codes et libellés des variables de production dans le RICA
Fiche RICA Code Libellé
3 111 Blé tendre
3 112 Blé dur
3 118 Maïs grain
3 222 Colza
7 021 Lait de vache
7 028 Autres produits bovins 7 060 Produits porcins
7 074 Viande de poule, poulet
7 076 Œufs de poule
Les variables décrivant les différents types d’animaux sont résumées dans le Tableau 2 ci-dessous. Comme évoqué plus haut, pour la production de viandes bovine et de porc, les divers types d’animaux pourront être regroupés en termes d’UGB afin d’obtenir un dénominateur commun pour l’évaluation de la performance technique associée à chacun de ses deux ateliers de production.
Tableau 2 : Codes et libellés des variables décrivant les types d’animaux dans le RICA
Fiche RICA Code Libellé
6 929 Nombre de vaches laitières 6 921 Veaux de batterie
6 922 Autres veaux de boucherie
6 923 Autres bovins de moins de 1 an - supprimé en 2002, éclaté en : 931, 932 et 933
6 924 Bovins mâles de 1 à 2 ans - supprimé en 2002, éclaté en : 934, 935 6 925 Génisses de 1 à 2 ans
6 926 Bovins mâles de 2 ans et plus - supprimé en 2002, éclaté en : 936 et 937
6 927 Génisses d’élevage de 2 ans et plus 6 928 Génisses de boucherie de 2 ans et plus 6 930 Autres vaches
6 931 Veaux de 8 jours, à remettre - créé en 2002 6 932 Broutards - créé en 2002
6 933 Autres bovins de moins de 1 an - créé en 2002 6 934 Bovins mâles de 1 à 2 ans maigres - créé en 2002 6 935 Bovins mâles de 1 à 2 ans gras - créé en 2002
6 936 Taureaux reproducteurs de 2 ans et plus - créé en 2002 6 937 Autres bovins mâles de 2 ans et plus - créé en 2002 6 961 Porcelets 6 962 Truies mères 6 963 Porcs à l'engrais 6 964 Autres porcs 6 965 Cochettes 6 971 Poulets de chair 6 972 Poules pondeuses
2.1.2 Indicateurs de performance économiques
La viabilité économique d’une exploitation agricole peut être appréciée si l’exploitation en question crée de la valeur ajoutée, génère un excédent brut d’exploitation tout en dégageant un résultat courant avant impôt. Toutefois les difficultés de comparaison entre différentes exploitations liées à la nature même de certains facteurs de production ou au statut juridique des exploitations, nous a amené à considérer un autre indicateur de performance économique plus simple qu’est la marge brute.
La marge brute est obtenue en retirant du produit brut (somme des ventes plus l’autoconsommation et les recettes diverses hors subventions d’exploitation ici) les charges proportionnelles (semences, engrais, produits de protection des cultures, frais d’élevage, frais de commercialisation, etc.). La marge brute est donc un profit résiduel utilisé pour rémunérer les facteurs fixes de production (terre, capital, travail) qu’ils soient en propriété ou en location (Latruffe et al., 2013). La marge brute n’est pas calculée dans le RICA. Pour cette évaluation, nous calculons cette marge brute en utilisant les variables usuelles discutées dans la littérature pour chaque type d’atelier de production.
La valeur ajoutée hors subventions est la différence entre la production de l’exercice, celle-ci corrigée des rabais, remises et ristournes, et les consommations intermédiaires et d’autres charges nécessaires au fonctionnement régulier de l’exploitation (la location du foncier et le coût des assurances). Autrement la valeur ajoutée est égale à la marge brute agricole de laquelle on retire les frais généraux (fournitures, honoraires, assurances…), les charges de structure hors amortissements (mécanisation, bâtiments, fonciers…) et les charges fixes liées aux loyers et fermages. Pour comparer les performances économiques des exploitations indépendamment de leur statut sur la disposition du foncier (en propriété ou en fermage), nous retenons la valeur ajoutée hors fermage (VAFER). La valeur ajoutée est un indicateur de la richesse créée par une entité de production. Selon Guyomard et al. (2013 p27) « Elle reflète l’efficacité technique et allocative de l’exploitation agricole à court terme. L’efficacité technique mesure le rapport entre les quantités produites, ici limitées aux biens marchands, et les quantités de facteurs disparaissant dans le processus de production qui ont permis de les obtenir. L’efficacité allocative mesure l’écart entre les rapports de prix des différents facteurs et biens produits et les taux marginaux de substitution et de transformation correspondants. Un vecteur de facteurs et de biens est allocativement efficace si ces rapports et ces taux sont égaux. La valeur ajoutée est donc un indicateur très synthétique de l’efficacité technico-économique à court terme. Avec les subventions à l’exploitation, elle est la source de la rémunération des facteurs de production qui ne disparaissent pas dans le processus de production : la terre, le travail et le capital d’exploitation qui rassemble bâtiments et équipements. ». Un problème associé à la marge brute et à la valeur ajoutée telles que décrites est liées aux travaux réalisés par tiers (CUMA) qui sont au sens comptable considérés dans les charges proportionnelles (ou consommations intermédiaires). Ces charges
qui se substituent au capital et au travail propres aux exploitations peuvent être considérées en réalité comme la facturation d’une charge fixe à l’exploitant. Dans ce cadre, pour des raisons de comparaison, il peut être pertinent de corriger la marge brute et la valeur ajoutée desdits charges.
Dans le RICA, la valeur ajoutée hors fermage (VAFER) est obtenue en rajoutant à la production de l’exercice nette des achats d’animaux (PROEX), les rabais, ristournes et remises obtenues (RABAI), auxquels on retire les charges d’approvisionnement et les autres achats et charges externes (fermage non inclus). Les deux dernières charges peuvent être de divers type en fonction de l’orientation technico-économique de l’exploitation. Par en production bovine allaitante (viande), les charges d’approvisionnement sont : les aliments pour animaux, les engrais et amendements, les carburants et lubrifiants, les produits vétérinaires, les semences et plants, les produits phytosanitaires, et les fournitures consommables diverses. Quant aux autres achats et charges diverses, on peut y trouver : les travaux par tiers, l’entretien du matériel et des bâtiments, les honoraires (vétérinaires et autres), l’eau, le gaz, l’électricité, le petit matériel (ou petit outillage), les autres fournitures, les cotisations d’assurance et les frais divers de gestion.
« L’excédent brut d’exploitation (EBE) est l’indicateur économique qui reflète le mieux le point de vue de l’exploitant agricole en temps qu’entrepreneur et propriétaire » (Guyomard et al., 2013 p27). L’EBE est calculé à partir de la valeur ajoutée hors fermage en rajoutant à cette dernière les subventions et indemnités d’assurance et en retirant les loyers et fermages, les impôts et taxes et les charges de personnel. Selon Guyomard et al. (2013 p27) « l’EBE est le solde qui doit rémunérer les facteurs de production détenus en propre par l’exploitant agricole soit le travail familial, la terre en faire-valoir direct et les bâtiments, équipements et matériels qu’il possède. Si l’EBE permet de comparer les performances de deux exploitants en tant qu’entrepreneurs, il est peu fiable comme indicateur des performances technico-économiques car il est très sensible à la propriété des moyens de production. En effet, deux exploitations absolument identiques en termes de valeur ajoutée, de terre, de travail et de capital vont avoir des EBE très différents si l’une n’utilise que du travail familial et l’autre du travail salarié. On a le même phénomène avec la part de terre exploitée en fermage, qui diminue mécaniquement l’EBE ». Néanmoins, l’EBE reste un bon indicateur synthétique de la performance économique à moyen terme.
Le résultat courant avant impôt (RCAI) est selon Guyomard et al. (2013 p28), « l’indicateur qui se rapproche le plus du concept économique de profit ». Il est obtenu en rajoutant à l’EBE les autres produits de gestion courante nets, en retirant les dotations aux amortissements (matériels, bâtiments, foncier…) et en rajoutant le résultat financier de l’exploitation. Les produits et charges exceptionnels ne sont pas pris en compte dans le calcul du RCAI. On peut encore aller plus loin, en calculant le revenu disponible. Il est égal au RCAI duquel on retire les charges sociales de l’exploitant, les remboursements en capital des prêts, et pour finir on rajoute les
amortissements (l’amortissement est une quote-part de richesse mise de côté afin de permettre le renouvellement du capital).
2.1.3 Indicateurs de performance environnementale
Rigoureusement, la performance environnementale doit être évaluée en analysant directement les impacts environnementaux associés à l’agriculture (émissions de gaz à effet de serre, pollution des eaux…). Par exemple le recours à la méthode de l’analyse de cycle de vie (ACV) est assez répandu pour réaliser l’écobilan d’un système de production (Jolliet et al., 2010). Au vue de la difficulté à réaliser une ACV rigoureuse avec les données du RICA, nous avons considéré, les consommations d’intrants en lien direct avec divers impacts environnementaux. Il s’agit entre autre de la consommation d’engrais, de produits phytosanitaires et vétérinaires, d’énergie non-renouvelable (fioul, carburants, électricité) achetée. Pour ce qui est des impacts indirects (énergie indirecte), nous ne pouvons les prendre en compte ici au regard des données disponible dans le RICA. D’autres indicateurs environnementaux pourront être rajoutés en fonction des OTEX (part des prairies permanentes, l’autonomie alimentaire en élevage, indice d’intensification/extensification,…)
2.1.4 Indicateurs de performance sociale
A ce niveau, nous nous sommes uniquement intéressés à la structure de la demande de travail sur l’exploitation agricole. La question ici est donc d’analyser la demande du travail en fonction de son type : travail familial, salarié ou contractuel.
2.2 Subventions agricoles dans le cadre de la PAC et du PDRH
Depuis le début des années 2000, les aides de la PAC se subdivisent en deux grands groupes : les aides du premier pilier directement liées aux productions réalisées sur l’exploitation et les aides du deuxième pilier qui cherchent à encourager le développement rural et l’adoption de pratiques plus respectueuses de l’environnement. Dans le cadre de cette évaluation, les aides du deuxième pilier sont d’intérêt. Dans la base de données du RICA, les aides du premier pilier peuvent être regroupées en aides aux productions végétales et animales distinctement. Quant aux aides du deuxième pilier, elles sont de plusieurs types. On a les mesures agroenvironnementales (MAE) qui depuis 2005 dans le RICA sont scindées en deux catégories. D’un côté la prime herbagère agroenvironnementale et d’un autre côté toutes les autres primes agroenvironnementales. On retrouve également les aides directes pour compenser un handicap géographique. Ces aides sont aussi désignées comme les indemnités compensatrices de handicap naturel (ICHN). Plusieurs autres types d’aides sont également classés comme du 2nd pilier. Il s’agit entre autre des
aides directes pour compenser un accident climatique, des aides à l’investissement, des aides à l’installation, des aides locales et régionales et des indemnités d’assurance.
3 La mesure des effets propres d’une politique : enseignements de la
littérature
Comme expliqué dans Gassiat et Zahm (2010, p443) « l’effet propre d’une politique se définit comme la différence entre la situation en présence de la politique et la situation qui aurait prévalu en son absence. Dans le cas d’évaluations ex-post, la situation en présence de la politique est observée. Il faut alors déterminer ce qu’il serait advenu en l’absence de la politique. Cette dernière situation, hypothétique et inobservée, est appelée « situation contrefactuelle », « contrefactuel » ou « antimonde ». ». L’inobservation de la situation contrefactuelle est un problème fondamental de données manquantes en l’évaluation d’impact étant donné que cette situation suppose l’observation d’un individu à la fois bénéficiaire et non-bénéficiaire de la même politique au même moment. Ce qui est non-concevable. Il faut donc estimer cette situation contrefactuelle en construisant un groupe contrôle d’individus qui n’aurait pas bénéficié de la politiques mais qui auraient les mêmes caractéristiques que les bénéficiaires. Dans le cadre de cette évaluation du PDRH, la question de l’évaluation d’impact pourrait se formuler comme suit : est ce que les aides du deuxième pilier de la PAC ont un effet sur les variables de performances (techniques, économiques, environnementales et sociales), toute chose égale par ailleurs ?
Dans la pratique une approche simpliste et naïve se résoudrait par exemple à regarder les effets avant et après. Néanmoins cette démarche souffre d’un problème spécifique lié à la non-prise en compte de facteurs conjoncturels, technologiques, environnementaux qui peuvent aussi influencer la variable d’intérêt. Il s’agit du biais de conjoncture. Une approche de comparaison est de mesurer les différences dans une situation avec et une autre situation sans. Toutefois cela supposerait que les populations observées sont de caractéristiques semblables, dans le cas contraire l’effet mesuré refléterait aussi les différences initiales entre les individus. Ce problème est connu sous le nom de biais de sélection. Le défi majeur en évaluation d’impact a été au cours des dernières décennies de développer de nouveaux outils capable d’aller au-delà des approches intuitives avant/après ou avec/sans.
Pour mettre en évidence d’un point de vue statistique, l’effet causal (ou attributif) d’une politique sur une variable, plusieurs outils économétriques ont été proposés que nous discuterons dans la sous-section suivante.
3.1 Mise en évidence d’une causalité en économétrie
Littéralement, la causalité désigne le fait qu’un changement dans une grandeur 𝑋 entraine les changements dans une autre grandeur 𝑌. Cette notion doit être distinguée de la corrélation qui spécifie que deux grandeurs évoluent ensemble et qu’il existe d’une façon ou d’une autre un lien entre elles. Cette distinction est pertinente parce que toutes les corrélations ne sont pas causales car la causalité va au-delà d’une simple corrélation. En effet la corrélation regroupe plusieurs situations possibles : la causalité (𝑋 cause 𝑌), la causalité inverse (𝑌 cause 𝑋), la simultanéité (𝑋 cause 𝑌 et 𝑌
cause 𝑋), le problème de variable omise (𝑍 cause 𝑋 et 𝑍 cause 𝑌), une liaison fallacieuse. Ici on cherche donc à isoler la causalité des paiements du 2nd pilier sur des
indicateurs de performance.
Les outils proposés dans la littérature pour la construction d’un bon contrefactuel dépendent de la nature de la mise en œuvre du programme: expériences aléatoires ou naturelles, situations quasi-expérimentales et non-expérimentales.
La mise en place d’une expérience aléatoire (loterie) dans la création d’un groupe de traitement qui bénéficie du programme et d’un groupe de contrôle qui n’en bénéficie pas garantie que la différence entre les deux groupes est la participation au programme. L’impact du programme peut donc être évalué sans biais de sélection. Cette approche souvent utilisée dans le cas de programmes pilotes souffrent d’un certain nombre de limites. La première est d’ordre éthique puisque l’on exclut du programme des individus qui potentiellement en bénéficierait. La deuxième est liée à la nature contraignante du traitement. En effet si les individus ont le choix pour être affecté au groupe de traitement ou pas, il y a des chances que les groupes obtenus dans cette situation soient différents de ceux créés sous expérimentation aléatoire. Même si les deux groupes sont similaires d’un point de vue de leurs caractéristiques observables (mesurables) le fait que certains individus choisissent le traitement et d’autres pas traduit qu’il existe des différences intrinsèques inobservables entre les individus de ces deux groupes. Par une expérience aléatoire, l’impact alors mesuré est celui équivalent à une situation expérimentale avec donc des difficultés d’inférer pour toute la population. L’effet réel qui nous intéresserait est celui sur les individus qui auraient recourus au traitement. Une solution discutée dans la littérature est de réaliser l’expérience aléatoire parmi les individus qui auraient choisi de recevoir le traitement, ou parmi les individus de la population éligible. Il ressort donc que la principale préoccupation dans à la mise en œuvre d’une expérience aléatoire dépend de la question (sociale, économique, politique) posée et de la population concernée. Dans le cadre de cette évaluation, le caractère volontaire, donc non-aléatoire, de certaines des mesures du 2nd pilier de la PAC (exemple MAE) est sujet dans un modèle
économétrique à un problème de biais de sélection.
Dans le cas des situations quasi-expérimentales, les méthodes utilisées (modèle de discontinuité de la régression (Gertler et al., 2011)) s’efforcent de recréer le cadre d’une situation expérimentale en trouvant des critères ou des seuils qui permettent de séparer les individus en les groupes de contrôle et de traitement. L’assignation à un groupe de traitement ou de contrôle n’est pas aléatoire mais néanmoins l’on connait la règle qui influence la ventilation des individus dans les deux groupes. Pour les méthodes dans cette catégorie, la difficulté réside dans le choix du seuil et donc aussi de discuter de ce qui se passe juste en dessous et juste au dessus. Il est possible de construire un intervalle de tolérance autour de ce seuil afin que les individus aux alentours de ce seuil soit similaires. Ce qui rend par contre local les effets du traitement évalué. Ici aussi le cas des aides de la PAC ne correspond pas à une situation de quasi-expérience mais plus à une situation non-expérimentale.
Dans les situations non-expérimentales, plusieurs méthodes sont discutées dans la littérature. Nous avons la méthode d’appariement ou du « matching » qui consiste à associer à chaque individu traité un individu non traité, les deux ayant des caractéristiques observables similaires (jumeaux). Il existe plusieurs techniques de matching : la méthode du voisin le plus proche, la méthode des noyaux, la méthode d’appariement multiple. La faiblesse majeure de cette méthode d’évaluation d’impact est qu’elle suppose que les caractéristiques inobservables sont constantes et invariables dans le temps. Dans un certain nombre de cas pratiques, des variables comme la motivation, les dotations intellectuelles sont autant de facteurs inobservables assez importants qui peuvent différencier un groupe d’individus traités d’un groupe qui ne l’est pas. Une autre limite de la méthode d’appariement est liée à la dimensionnalité de l’algorithme d’appariement (curse of dimensionality) qui perd en efficacité quand le nombre de variables introduit augmente. Dans ce cas l’appariement peut se faire sur la probabilité des individus à être traités (propensity score matching). A cela il faut rajouter la taille de l’échantillon qui doit être suffisamment grand afin de permettre un possible appariement. En dehors de la méthode d’appariement il existe aussi la méthode de la double différence qui est issue d’une combinaison des approches avant/après et avec/sans. Cette méthode estime la différence entre les individus traités et les non traités avant et après le traitement et compare ces deux différences. Une hypothèse fondamentale de cette approche se résume comme suit : en l’absence du traitement, la variable d’intérêt dans le groupe traité et le groupe non-traité aurait eu des évolutions parallèles. Sous cette hypothèse et seulement sous elle la méthode de la double différence permet de prendre en compte les caractéristiques inobservables. Néanmoins cette hypothèse qui implique que le biais de sélection est constant dans le temps reste discutable dans le temps surtout si l’on travaille à moyen terme sur des séries temporelles plus ou moins longues. Les deux méthodes discutées ci-dessus ont été appliquées dans le cas des MAE dans Chabé-Ferret et Subervie (2013). Pour finir dans cette catégorie des méthodes non expérimentales, il y a la méthode de variables instrumentales qui apparait aujourd’hui comme une des innovations majeures en économétrie permettant d’évaluer l’effet causal entre deux variables (Angrist et Pischke, 2008). Si elle est correctement appliquée (bonne spécification), il est possible d’isoler les effets propres d’une politique en contrôlant non seulement pour les facteurs observables mais aussi pour les non observables. Un instrument (ou variable instrumentale) est une variable qui est fortement corrélée à la participation au programme et qui n’explique pas la variable d’intérêt (les indicateurs de performances). La méthode des variables instrumentales est la méthode de choix que nous retenons dans le cadre de cette évaluation. Comparée aux méthodes d’appariement et de la double différence, elle a l’avantage de considérer l’intensité de la variable de traitement (le niveau des aides perçues par les agriculteurs) et de pouvoir traiter simultanément plusieurs variables de politiques. En effet un inconvénient du matching et de la double différence est que ces méthodes peuvent devenir très coûteuses en temps en présence de plusieurs mesures à évaluer comme dans le cas des aides du 2nd pilier de la PAC.
3.2 Choix des méthodes et interprétation des résultats dans le cadre de l’évaluation du PDRH
Comme mentionné précédemment la méthode des variables instrumentales est la méthode pertinente que nous retenons pour évaluer l’effet causal des mesures du PDRH sur plusieurs indicateurs de performances. Nous retenons cette méthode non seulement pour les avantages sus-évoqués dans le traitement du biais de sélection mais aussi pour sa mise en œuvre dans le cas d’absence de ce biais. En effet, pour rappeler, le biais de sélection est lié au caractère volontaire de la participation à un programme politique. Toutefois dans le cas de ce travail l’évaluation des impacts des différents paiements relevant du PDRH sur les indicateurs de performance sera conduite selon des niveaux de désagrégation croissant, afin d’estimer les effets généraux des paiements, puis leurs effets plus spécifiques au fur et à mesure de la désagrégation. Dans le cas d’une mesure agrégée des aides du deuxième pilier, tous les agriculteurs touchent de ces aides et de ce fait le bais de sélection devient moins perceptible. Cela n’empêche pas cette variable d’être endogène car elle souffre du biais de simultanéité. En effet dans la mesure où ces aides sont volontaires, l’agriculteur travaille pour pouvoir en bénéficier. Il en ressort que le niveau de performance peut réciproquement affecter le niveau des aides perçues. La méthode des variables instrumentales reste une méthode pertinente pour corriger ce biais de simultanéité.
Nous proposons également de discuter de deux hypothèses : une sur le comportement économique et de séquençage des décisions et l’autre sur la prédétermination de certaines variables.
Dans les modèles d’évaluation d’impact utilisant des méthodes comme le matching ou la double différence, il y a une totale absence d’hypothèses économiques. En effet le concept même d’endogénéité provient du raisonnement de l’agriculteur. La manière dont l’agriculteur prend ses décisions devrait transparaitre dans le modèle d’analyse. Ce qui pose la question de la séquence des prises de décisions des agriculteurs. L’utilisation en économétrie de modèles structurels est souvent préférable. En effet à l’opposé des formes réduites classiques, les modèles structurelles transcrivent le comportement des agents. Par exemple si nous considérons le rendement par hectare d’un atelier de culture. D’un point de vue agronomique, seul le climat et les fertilisants utilisés pourront expliquer le niveau de rendement. Cependant dans une dynamique temporelle cela n’est plus vrai car le niveau des engrais appliqués n’est plus aléatoire mais raisonné (biais de simultanéité entre consommation d’engrais et rendements). De plus, expliquer les niveaux de rendement techniques de certaines cultures dépend aussi de l’équation d’offre de production.
En ce qui concerne par exemple le modèle d’offre agricole, on peut considérer qu’à court terme certaines variables comme la terre, le travail et le capital sont prédéterminés. Mais à moyen long terme ces variables peuvent tout à fait être endogènes dans le processus de production. Il en est de même pour le niveau des prix mesurés au niveau des exploitations. Dans la mesure où ces prix peuvent refléter
un effort consenti par un producteur par exemple pour des produits de qualité, de la vente directe, ces prix ne sont plus exogènes dans un modèle de profit.
Dans cette partie, nous avons discuté des possibilités de raffinement des modèles estimés par le rajout d’information afin de représenter au mieux les relations entre les variables. Toutefois les hypothèses théoriques sur lesquelles ces raffinements sont basés ne sont pas universelles mais si elles se vérifient, elle permettrait une meilleure estimation.
Pour finir, il convient aussi de discuter de la pertinence de raisonner par OTEX (orientation technico-économique des exploitations) ou simplement en considérant toutes les exploitations. Par exemple si l’on travaille sur les rendements du blé, doit on considérer toutes les exploitations qui produisent du blé ou seulement celles de l’OTEX céréales. Etant donné les différences qui peuvent exister entre diversifié et spécialisé, le plus simple peut être de considérer toutes les exploitations et contrôler pour le niveau de diversification/spécialisation de chaque exploitation.
4 References
Angrist, J.D., Pischke, J.S., 2008. Mostly Harmless Econometrics: An Empiricist's Companion. Princeton University Press.
Chabé-Ferret, S., Subervie, J., 2013. How much green for the buck? Estimating additional and windfall effects of French agro-environmental schemes by DID-matching. Journal of Environmental Economics and Management 65, 12-27.
Desjeux, Y., Dupraz, P., Kuhlman, T., Paracchini, M.L., Michels, R., Maigné, E., Reinhard, S., 2015. Evaluating the impact of rural development measures on nature value indicators at different spatial levels: Application to France and The Netherlands. Ecological Indicators 59, 41-61.
Desjeux, Y., Dupraz, P., Latruffe, L., Maigne, E., Cahuzac, E., 2014. Evaluating the impact of rural development measures on farm labour use: a spatial approach, 14th EAAE (European Association of Agricultural Economists) Congress Agri-Food and Rural Innovations for Healthier Societies, Ljubljana, Slovenia.
EC, EENRD, 2014. Capturing the success of your RDP: Guidelines for the ex post evaluation of 2007-2013 RDPs.
Gassiat, A., Zahm, F., 2010. Mobiliser des indicateurs pour évaluer les effets propres des mesures agro-environnementales en France. Revue d’Économie Régionale & Urbaine, 439-471.
Gertler, P.J., Martinez, S., Premand, P., Rawlings, L.B., Vermeersch, C.M.J., 2011. Impact Evaluation in Practice. World Bank Publications.
Guyomard, H., Huyghe, C., Peyraud, J.-L., Boiffin, J., Coudurier, B., Jeuland, F., Urruty, N., 2013. Vers des agricultures à hautes performances. Volume 2. Conception et évaluation de systèmes innovants en agriculture conventionnelle. Inra, p. 234. Jolliet, O., Saadé, M., Crettaz, P., Shaked, S., 2010. Analyse du cycle de vie: Comprendre et réaliser un écobilan. Presses Polytechniques et Universitaires Romandes.
Latruffe, L., Desjeux, Y., Nauges, C., Guyomard, H., 2013. Performances économiques, In Vers des agricultures à hautes performances, Volume 1. Analyse des performances de l’agriculture biologique, Sous la direction de H. Guyomard, Inra, p. 368.
Ministère de l'Agriculture et de la Pêche, 2007. Programme de développement rural hexagonal 2007-2013.
Veysset, P., Lherm, M., Roulenc, M., Troquier, C., Bebin, D., 2015. Productivity and technical efficiency of suckler beef production systems: trends for the period 1990 to 2012. Animal 9, 2050-2059.
