L’analyse des données de l’ensemble du Puy de Dôme

Figure 6 : évolution moyenne des volumes annuels coupés autour de la mise en place d’un SMGF sur l’ensemble du Puy de Dôme

−500 0 500 1000 1500 2000 Volume (en m3) −20 −10 0 10 Années Evolution Brut Résidus Tendance avant Après −10 ans Complète Après Moyenne Tendance

Source : ONF et calculs de l’auteur. « Brut » : méthode avant/après. « Résidus » : méthode de double-différence.

La figure 6 montre le profil d’évolution des volumes annuels moyens prélevés par SMGF, avant et après la mise en œuvre du SMGF sur les données ONF63 concernant l’ensemble des forêts sectionales et communales du Puy de Dôme. Le profil de l’évolution moyenne des volumes prélevés avant la mise en œuvre des SMGF ne respecte pas du tout l’hypothèse de tendance parallèles qui garantit la validité de la méthode de double-différence : entre 20 et 10 ans avant la mise en œuvre du SMGF, la tendance est plutôt à une réduction des volumes prélevés, puis on observe dans les dix années précédant la mise en œuvre du SMGF une hausse, qui s’intensifie particulièrement la dernière année et l’année de la création du SMGF. Ce profil, notamment ces deux dernières caractéristiques, est sans doute dû à des relevés de coupes incomplets dont la saisie s’améliore lors de la mise en place du SMGF. La liste des SMGF pour lesquels aucune coupe n’est relevée avant sa mise en œuvre est longue (cf tableau 13 et figure 3).

Tableau 7 : effet propre moyen d’un SMGF estimé par la méthode de double-différence sur les données de l’ensemble du Puy de Dôme

Effet propre

(en m3 supplémentaires par SMGF et par an)

Ecart-type

Toutes années 534 68

Uniquement >-10 ans 570 71

Uniquement >-10 ans et < 10 ans 606 75

Uniquement >-10 ans et < 5 ans 628 79

Uniquement >-10 ans et < 10 ans et Sancy-Cézallier 654 87 Uniquement >-10 ans et < 5 ans et Sancy-Cézallier 661 93

Source : ONF et calculs de l’auteur. Les effets propres significatifs au seuil de 10% sont en gras.

L’effet propre mesuré en utilisant l’ensemble des données ONF63 est présenté dans le tableau 7. L’effet mesuré oscille entre 500 et 600 m3 supplémentaires par SMGF et par an. Cet effet est bien supérieur à celui qui a été mesuré sur les données Sancy-Cézallier. Cette différence semble être une conséquence de la moindre exhaustivité du recensement des coupes qui se produisent avant la mise en œuvre d’un SMGF dans les données ONF63. En effet, lorsque l’on se limite aux coupes relevées sur l’UT Sancy-Cézallier dans la base de données ONF63, l’effet estimé est d’une ampleur comparable (600 m3), et bien supérieur aux 200 m3 identifiés en utilisant directement les données Sancy-Cézallier. L’effet plus élevé obtenu en utilisant les données ONF63 semble donc bien dû à une moins bonne déclaration des coupes dans cette base.

7 Conclusion

L’objectif de ce rapport est de présenter les travaux de recherche conduits par le Cemagref pour évaluer l’effet propre de certaines politiques de mobilisation du bois mises en œuvre en région Auvergne. Les dispositifs évalués sont les Plans de Développement de Massif (PDM), mis en œuvre par le CRPF, les actions sur les sous-massifs du PDM, mises œuvre par des acteurs économiques (coopératives, experts forestiers, associations d’entreprises), et la mise en place de Syndicats Mixtes de Gestion Forestière par l’ONF pour regrouper les différentes forêts sectionales d’une même commune dans une même instance de gestion.

L’effet propre d’une politique publique, défini comme la différence entre les volumes prélevés en présence de la politique et ceux qui auraient été prélevés en l’absence de la politique, n’est pas directement observable. Les comparaisons usuelles (avec des zones sans animation, ou avec les volumes mobilisés avant la mise en œuvre de la politique) donnent des estimations biaisées de cet effet propre, parce que la zone concernée par l’animation peut être différente de la zone non animée, ou parce qu’à la date de mise en œuvre de l’animation, d’autres facteurs (comme la demande de bois) ont été modifiés. Pour résoudre ces problèmes et éliminer ces biais, plusieurs méthodes sont mises en œuvre : la combinaison des comparaisons avec/sans et avant/après, la comparaison à caractéristiques identiques et la double-différence. La première méthode consiste à ne conserver que la plus petite des différences avant/après et avec/sans, puisqu’elles constituent toutes deux des bornes maximales de l’effet propre. La deuxième méthode consiste à ne comparer des unités de gestion que lorsqu’elles ont les mêmes caractéristiques (peuplement, âge, taille de la parcelle, accessibilité). La troisième méthode consiste à comparer l’évolution des coupes avant et après la mise en place de la politique à l’évolution sur la même période sur les zones où la politique n’est pas mise en œuvre.

L’évaluation de l’effet des PDM sur la mobilisation des bois montre qu’un effet positif est détecté sur les deux PDM étudiés : le PDM de la Montagne Bourbonnaise et le PDM du Haut Livradois. L’effet estimé est une borne supérieure de l’effet propre (l’effet peut être moindre), mais la combinaison des comparaisons avant/après et avec/sans laisse penser que des coupes supplémentaires ont été réalisées grâce à l’action d’animation. Dans le cas du PDM de la Montagne Bourbonnaise, la comparaison avec/sans donne des résultats le plus souvent inférieurs à ceux de la comparaison avant/après, alors que c’est le contraire dans le

cas du PDM du Haut Livradois. Cela laisse penser que le massif de comparaison utilisé pour l’évaluation de ce dernier PDM est sensiblement différent du massif animé (mais la nature de cette différence est difficile à préciser). L’effet total mesuré pour ce dernier PDM est en conséquence plus élevé que celui mesuré pour le PDM de la Montagne Bourbonnaise, puisque l’ensemble des coupes réalisées entre 2006 et 2009 sont attribuées à l’action d’animation. Il est fort probable que cet effet soit donc surestimé, sans qu’il soit possible de déterminer l’ampleur de l’effet propre réel. Néanmoins, la combinaison des évaluations de ces deux PDM offre de bonnes raisons de penser que l’action d’animation a un effet significatif sur la mobilisation des bois. Cet effet est compris entre 3 m3/ha/an et 20 m3/ha/an sur les deux premières années du PDM, selon les résultats obtenus sur les deux PDM. Le niveau de 3 m3/ha/an (qui correspond à une augmentation de 15% de la récolte) mesuré sur le PDM de la Montagne Bourbonnaise est sans doute le plus proche de l'effet réel des PDM Auvergnats.

L’évaluation du PDM du Haut Lignon a permis de montrer indirectement l’effet de l’animation. En effet, sur ce PDM, l’évaluation de l’effet des actions d’animation réalisées par les acteurs économiques sur les sous-massifs par rapport à l’effet de l’animation PDM classique a été privilégiée, ce PDM offrant le seul exemple où ces deux actions peuvent être comparées. Il apparaît que les actions sur les sous-massifs ne semblent pas avoir d’effets supplémentaires détectables par rapport à l’animation classique.

Enfin, l’évaluation des SMGF met en évidence l’importance de relevés exhaustifs des coupes réalisées sur les forêts concernées. En effet, les résultats obtenus sont très sensibles à la base de données employée : les résultats obtenus avec les coupes recensées sur l’ensemble du Puy de Dôme sont plus élevés que ceux obtenus avec la base de données des coupes relevées sur l’UT Sancy-Cézallier. Cette dernière base est plus précise et riche et les tests de validité de la méthode utilisée réalisés sur cette base sont plus convaincants. Les résultats obtenus sur la base Sancy-Cézallier sont donc privilégiés. L’effet propre mesuré est de 270 m3 supplémentaires par SMGF et par an sur les 5 premières années d’existence du SMGF. L’effet semble décroître par la suite assez fortement, sans qu’il soit possible de déterminer si cette baisse est due au hasard ou à une réduction de l’effet des SMGF après 5 ans.

Sur le plan méthodologique, quatre directions de recherche peuvent être identifiées pour poursuivre les travaux d’évaluation sur les politiques de mobilisation des bois : l’étude des effets de diffusion, la prise en compte de différences inobservées entre massif animé et massif de comparaison, l’amélioration de la précision des estimations et enfin l’évaluation de

la pérennité des effets mesurés. Tout d’abord, il est important de rappeler que les résultats obtenus dans ce travail reposent sur l'hypothèse d'absence d'effets de diffusion : les actions d'animation sont supposées ne pas avoir d'effet sur les unités (unités de gestion, sections) ne bénéficiant pas de l'animation. Cette hypothèse est assez forte et il est possible que les résultats élevés obtenus sur le PDM du Haut Lignon soient dus au fait que cette hypothèse est prise en défaut. L'animation réalisée sur le massif animé a pu détourner les acteurs économiques du massif voisin et réduire ainsi les actions de gestion menées sur ce massif. Il est difficile de détecter ces effets de diffusion. Une piste de recherche pourrait être d'essayer de caractériser et d'exploiter la variation probable de l'effet de diffusion dans l'espace : plus une parcelle est proche du massif animé, plus il est possible qu'elle soit affectée par l'effet de diffusion. Si l'on observe un gradient de gestion dans le massif non animé en direction de la frontière avec le massif animé, il est possible d'imputer l'existence de ce gradient à l'effet de diffusion. Il faut alors sélectionner comme parcelles de comparaison les parcelles les plus éloignées de la frontière du massif animé. Il existe alors une tension dans la méthode d'évaluation, puisque ces parcelles sont susceptibles d'être différentes des parcelles situées sur le massif animé.

Une seconde explication possible des résultats obtenus sur le PDM du Haut Livradois est que le massif de comparaison diffère dans une dimension non mesurée lors de l'analyse du massif animé. L'observation de données sur les propriétaires pourrait peut-être offrir un test de cette hypothèse, mais le couplage des relevés du CRPF avec le cadastre numérisé s'est avéré très imprécis, les échelles de ces deux bases de données n'étant pas compatibles. Une autre dimension importante pouvant expliquer cette différence est la répartition de la demande de bois (acteurs économiques). Trois directions de recherche peuvent être proposées pour résoudre ces problèmes : la première est de tenter d'observer l'ensemble de ces déterminants, en recourant au cadastre numérisé d'une part, et en positionnant les acteurs économiques sur un fond de carte d'autre part. Cette approche peut se heurter à des problèmes de compatibilité des données et est très coûteuse en temps de construction de la base. Une deuxième approche consisterait à réaliser la phase de diagnostic simultanément sur l'ensemble des massifs d'un PDM (l'ensemble des tranches). On disposerait ainsi de données nous permettant d'utiliser la méthode de double-différence, puisque deux relevés successifs seraient obtenus sur le massif animé et le massif de comparaison. Si les caractéristiques inobservées sont constantes dans le temps, la méthode de double-différence permettrait d'obtenir une estimation non biaisée de l'effet de l'animation. La dernière approche possible est l'utilisation de méthodes

expérimentales. Ces méthodes, issues des sciences expérimentales, en distribuant le bénéfice d'une politique de manière aléatoire, permettent d'obtenir une estimation sans biais de l'effet propre par une simple comparaison avec/sans. Ces méthodes sont aussi appliquées à l'évaluation de programmes sociaux, comme le RSA ou les politiques de retour vers l'emploi en France. En France, la loi constitutionnelle du 28 mars 2003 autorise l’utilisation de l’expérimentation dans les lois et les règlements (art. 37-1) et pour les collectivités territoriales (art. 72, alinéa 4). Dans le cas des PDM, l'expérimentation pourrait consister à rendre aléatoire la progression des actions d'animation sur un massif : un ensemble d'actions prévues pourrait être construit après la phase de diagnostic. L'expérimentation consisterait à ne retenir qu’un tiers des actions pour être conduites la première année, un tiers la seconde année et un tiers la troisième année. La comparaison à la fin de la troisième année entre les unités ayant bénéficié de l'animation la première année et celles en ayant bénéficié la dernière année fournirait une mesure sans biais de l'effet de l'animation. Il est par ailleurs possible de détecter de possibles effets de diffusion grâce à cette méthode.

Un troisième enjeu soulevé par les méthodes développées ici est la précision des estimations de l'effet propre : les échantillons de 400 unités de gestion réalisés dans cette étude, même lorsqu'ils sont réalisés avec l'objectif de maximiser la précision de l'estimation de l'effet propre comme dans le PDM du Haut Lignon, s'avèrent souvent de taille trop réduite pour détecter des effets même moyennement importants (hausse de 10% des niveaux de gestion).

Le dernier enjeu de l'évaluation des actions d'animation est celui de l'évaluation de la pérennité des effets détectés. Les méthodes utilisées ici mesurent des effets de relativement court terme (deux ans pour les PDM, cinq ans pour les SMGF). Dans le cas des SMGF, la limite tient au fait que de nombreux SMGF sont récents : de nouvelles données devraient permettre d'améliorer la connaissance de la pérennité des effets mesurés. De même, de nouvelles saisies des coupes réalisées avant la mise en œuvre des SMGF permettraient de détecter l'effet des SMGF sur une plus grande partie du territoire concerné. Pour les PDM, le problème est plus profond : la méthode utilisée repose fortement sur la progression des PDM par massifs contigus. Pour mesurer des effets de long terme, il faudrait pouvoir identifier un massif proche n'ayant pas été animé pendant de nombreuses années et n'ayant pas été affecté par les actions d'animation sur les massifs voisins. Cette approche semble peu applicable en pratique. Une approche différente pourrait être proposée : comparer les niveaux de gestion (et leur évolution) sur les massifs animés au début du PDM et sur ceux animés à la fin du PDM.

Par exemple, les massifs de comparaison utilisés dans cette étude sont en cours d'animation. Dans deux ans, il sera possible de réaliser une enquête sur ces massifs et sur les massifs dont l'animation a été évaluée dans ce rapport. Si aucune différence n'est observée dans l'évolution de la gestion sur ces massifs, alors les effets seront qualifiés de pérennes (au moins sur une durée de 4 à 5 ans). Dans le cas contraire, ils seront qualifiés de transitoires.

La spécificité de ce dispositif d'évaluation rend aussi délicate son application à l'évaluation de PDM déjà terminés. En effet, pour ces PDM, il sera nécessaire de trouver des données pour des massifs de comparaison non animés. Une approche possible dans ce cas pourrait être de travailler au niveau national et de rechercher dans les relevés IFN des observations proches à celles des observations situées dans un PDM. Dans ce cas, la méthode proposée ici peut s'appliquer. Néanmoins, comme le montre ce travail, l'évaluation est plus aisée si elle est conçue en même temps que la politique qu'elle évalue