6.3 Analyse du mode d’organisation de l’étape d’animation des actions PDM
6.4.3 Des protocoles d’évaluation à améliorer
Dans toutes les régions, les dispositifs font l’objet d’une évaluation de la part du CRPF. Cependant, dans la plupart des cas, il existe un sentiment de frustration par rapport aux
58 « Alors bon c’est vrai qu’après on va tout comptabiliser mais il faut se méfier de ne comptabiliser que les effets dans les 3 ans. Si on fait ça je pense que l’on va dire que le PDM, la rentabilité, elle n’est pas forcément évidente. Il y a des effets qui vont se poursuivre après, il y a des dynamiques qui sont lancées, lorsque l’on fait une route ce n’est pas forcément seulement pour les coupes dans les 3 ans ou sinon je n’ai pas tout compris ! C’est çà qu’il faut évaluer par rapport à l’effet PDM. » (Entretien CRPF Bourgogne)
59
Avertissement : les remarques formulées ici reposent sur l’analyse des documents relatifs aux évaluations à notre disposition et de nos entretiens, il est possible que les CRPF mettent en place des dispositifs d’évaluation dont nous n’avons pas à ce stade la connaissance.
91
résultats obtenus qui, selon les CRPF, ne reflètent pas la réalité du terrain et l’impact positif du PDM sur les territoires. Ce problème vient non seulement du manque de moyens
humains pour assurer un suivi précis des opérations, mais aussi des lacunes de leurs protocoles d’évaluation. Dans la logique des CRPF, les indicateurs sont souvent des jours
passés en objectif plutôt que des unités d’œuvre de réalisation. Les difficultés rencontrées dans la mise en place d’une démarche rigoureuse et fiable d’évaluation sont donc de deux ordres :
- Problèmes de définition d’une liste de critères et d’indicateurs pertinents.
On a pu constater, à la lecture des rapports d’évaluation disponibles (Cf. Annexe 4) que, dans chaque région, le mode d’évaluation pratiqué est différent (périodicité, échelle d’évaluation, unités des indicateurs …) et repose sur une liste de critères et d’indicateurs spécifique. Cette situation témoigne du fait qu’il peut être nécessaire bien évidemment d’adapter la grille d’évaluation au contexte local et éventuellement aux attentes des financeurs, mais elle reflète aussi dans une certaine mesure un manque de rigueur et de méthodologie dans la mis en place de ces démarches. Une chose est certaine, il n’est pas possible aujourd’hui d’agréger
l’ensemble des résultats issus de ces rapports d’évaluation et de proposer un bilan précis de la mise en œuvre des PDM à l’échelle nationale60
.
On peut malgré tout formuler quelques remarques sur les protocoles mis en place.
- D’abord on constate que l’évaluation porte généralement à la fois sur les moyens mis en œuvre (ou indicateurs d’actions) et sur les résultats obtenus. Concernant la mise en œuvre il y a de manière quasi systématique un recensement précis du nombre de
réunions et du nombre de participants, voire des actions de communication et des
documents de vulgarisation distribués. Concernant les résultats, l’indicateur de
volume mobilisé semble incontournable, ceux relatifs à la réalisation des documents
de gestion sont aussi renseignés s’il y a lieu. En revanche, on s’aperçoit que les
résultats en termes d’amélioration des conditions de valorisation des massifs (organisation des propriétaires, regroupements, conditions de desserte, relations avec les opérateurs économiques …) semblent plus difficiles à mettre en avant.
De même, on recense peu d’éléments relatifs aux enjeux environnementaux, aux conflits d’usage, à l’attractivité des forêts et à leur intégration dans le territoire. - Ensuite, il est intéressant de noter que quelques CRPF (au moins ceux de Lorraine-
Alsace et de Franche-Comté) proposent un critère d’évaluation portant sur les
résultats économiques. Ils n’utilisent pas tout à fait les mêmes indicateurs, mais cette
approche présente l’intérêt de proposer un croisement entre les éléments relatifs à la mise en œuvre (essentiellement associés aux coûts d’animation) et les résultats obtenus. Il s’agit là d’une information qui semble très pertinente au regard de l’attente des financeurs, mais qui se limite à la dimension valorisation économique, sans tenir compte des éventuelles retombées non marchandes de ces dispositifs ou des effets de long terme qu’ils peuvent engendrer.
- Problèmes méthodologiques liés à l’acquisition de l’information pour renseigner les
indicateurs.
60 Au début de l’Annexe 4, il est proposé une synthèse de quelques éléments d’évaluation tirés des rapports fournis par les CRPF afin de présenter les résultats d’un « PDM Type ». Toutefois, ces résultats sont à prendre avec beaucoup de précaution.
92
La définition d’indicateurs d’évaluation des dispositifs PDM est directement conditionnée aux capacités dont on dispose pour les renseigner de la manière la plus précise possible.
Il existe bien évidemment des limites liées aux moyens humains mais aussi aux méthodologies disponibles. Le CRPF est capable, dans la mesure où le technicien en charge de l’animation a à sa disposition une grille d’évaluation exhaustive, de renseigner un certain nombre d’indicateurs sans trop de difficultés (nombre de réunions, nombre de participants, temps consacré à telle ou telle action …). En revanche, pour d’autres, il s’avère pour lui beaucoup plus difficile de fournir une information totalement satisfaisante.
Ainsi, il existe quelques fois une réelle difficulté pour certains indicateurs de résultat à
obtenir une information fiable.
Par exemple, dans le cas des volumes mobilisés, l’animateur CRPF est fortement dépendant de l’information transmise par les opérateurs économiques. On a pu s’apercevoir que, dans beaucoup de cas, cette information est partielle ou pas adaptée au protocole d’évaluation du PDM61. Au cours des entretiens, de nombreux CRPF ont fait part de cette contrainte et ont souligné que l’amélioration de la circulation de l’information avec les opérateurs constituait un enjeu très important. Certains ont mis en place des fiches navettes pour assurer le suivi des différents chantiers, mais les retours d’expérience semblent souvent peu concluant, tous les opérateurs n’acceptent pas de se plier à cette discipline. Dans le cadre d’un partenariat unique avec une coopérative, le système des fiches navette fonctionne bien mais, lorsqu’il y a de multiples opérateurs, l’information a plus de mal à circuler.
Par ailleurs, on peut s’interroger sur la capacité des indicateurs renseignés à estimer
l’effet propre du dispositif.
On ne reviendra pas sur cette notion explicitée par ailleurs dans ce rapport, mais on peut noter que le volume mobilisé estimé par l’animateur peut sous-estimer certains résultats car des opérations induites par le PDM ont pu être réalisées par d’autres opérateurs mais aussi en surestimer d’autres s’il comptabilise l’activité normale qui se déroule sur un massif ou s’il anticipe des actions programmées. Dans certains PDM, il est spécifié au technicien de ne relever que les résultats issus de son activité d’animation.
Quelques éléments de réflexion sur la pratique de l’évaluation
Il semble que la question de l’évaluation des PDM pose de nombreux problèmes aux CRPF, alors que la demande des financeurs va tendre à se faire de plus en plus pressante dans un contexte de contrainte budgétaire et de redéfinition des modalités de développement forestier territorial (PPRDF).
Pourtant, il ne fait pas de doute, qu’au fil des années, les dispositifs d’évaluation mis en place par les CRPF se sont améliorés. Beaucoup de CRPF disposent d’ailleurs déjà de grilles d’évaluation systématique très élaborées (Voir par exemple en Auvergne, en Lorraine-Alsace ou en Poitou-Charentes).
La réflexion menée à l’échelle nationale dans le cadre de cette étude n’a pas pour but d’homogénéiser les différentes stratégies régionales, mais elle doit permettre d’identifier les problèmes rencontrés et de faciliter l’échange d’expérience dans le but d’améliorer les protocoles existants.
61 Par exemple, en Midi-Pyrénées, les coopératives délivrent une information sur les volumes supplémentaires mobilisés par rapport à une année de référence mais elle n’est pas disponible par PDM, elle englobe plusieurs secteurs.
93
7
Estimation des effets propres des PDM sur les actions
de gestion
Dans cette section, nous présentons les résultats de l’estimation de l’analyse économétrique présentée dans le chapitre 3 et menée sur les bases de données rassemblées par nos soins présentées dans le chapitre 4. Nous présentons l’effet des PDM sur le nombre de projets de desserte, puis l’effet sur la surface de forêt privée sous PSG et enfin l’effet sur les volumes prélevés mesurés par l’IFN.