Analyse de la pertinence des indicateurs au niveau du programme et de la qualité de leur

Evaluación in itinere POCTEFA

N.E. 16009 AVU

Page 110

6.3. Système d’indicateurs du POCTEFA

6.3.1. Structure actuelle du système d’indicateurs

L’objectif de ce chapitre est d’analyser la pertinence du dispositif de suivi mis en place, d’en vérifier sa faisabilité opérationnelle, et de proposer des recommandations visant à améliorer le dispositif pour les années à venir et surtout en vue de la prochaine période de programmation.

Deux niveaux d’indicateurs ont été définis pour la période actuelle : 1/ Des indicateurs au niveau du programme

De façon standard, ont été définis :

• Des indicateurs de réalisation, relatifs à l’activité du PO et mesurés avec des unités physiques ou monétaires.

• Des indicateurs de résultat, relatifs aux effets directs et à court terme sur les bénéficiaires du programme.

• Des indicateurs d’impact, qui font référence aux conséquences du programme au delà de ses effets à court terme (en réalité, ce sont davantage des « objectifs d’impact » non quantifiés et non présentés sous forme d’indicateurs).

Les porteurs de projet devaient utiliser, dans la mesure du possible, les indicateurs de réalisation et de résultat du Programme Opérationnel et tout particulièrement ceux correspondant aux objectifs dans lesquels s’inscrit le projet.

2/ Indicateurs spécifiques, au niveau des projets

En complément des indicateurs ci-dessus, les porteurs de projet devaient proposer puis renseigner des indicateurs spécifiques à leur opération, afin d’exercer un suivi plus complet.

Le problème posé par ces indicateurs est qu’ils ne peuvent pas être agrégés par domaine thématique ou par axe prioritaire, ils ne sont donc utilisables que pour analyser l’avancement projet par projet. De plus, les valeurs prises par ces indicateurs ne sont disponibles qu’au sein des rapports annuels d’exécution propres à chaque projet.

6.3.2. Analyse de la pertinence des indicateurs au niveau du programme et de la qualité de leur quantification initiale

Tout d’abord, on constate qu’entre différents documents du programme, les intitulés des indicateurs de réalisation ne sont pas les mêmes, ce qui pose un problème d’homogénéité de l’information.

Ensuite, il est indiqué dans le PO (page 67) que « la quantification des indicateurs a été faite au moyen d’une analyse du degré d’atteinte des indicateurs de la période antérieure, et extrapolée de manière plus ambitieuse pour cette période » mais le rapport annuel d’exécution pour 2009 ne comporte aucune « base

Evaluación in itinere POCTEFA

de référence » renseignée dans les tableaux d’indicateurs par axe, qui indiquerait la valeur prise par l’indicateur au terme de la précédente période de programmation.

Globalement, le nombre d’indicateurs de réalisation et de résultat par axe est suffisant. En termes de contenu, ils reflètent globalement bien les objectifs du programme axe par axe, et sont assez classiques.

Mais peu d’indicateurs portent sur le nombre de bénéficiaires directs ou indirects des projets. Cela reflète la difficulté traditionnelle rencontrée en matière de quantification du public réellement concerné par des projets de coopération.

Analyse des indicateurs de l’Axe 1

Pertinence des indicateurs

Les indicateurs de réalisation de l’axe 1 sont simples et classiques pour un axe « développement économique » d’un programme de coopération. Il aurait toutefois été utile de préciser comment est apprécié le caractère « innovant » qui apparaît dans plusieurs indicateurs, et de disposer d’une définition précise d’un « projet en réseau ».

Proposition d’indicateurs de réalisation complémentaires, à considérer éventuellement pour la prochaine

Evaluación in itinere POCTEFA

N.E. 16009 AVU

Page 112

- Nombre de coopérations d’entreprises dans le domaine de l’ouverture des marchés - Nombre de relations de sous-traitance développées

- Nombre d’étudiants, docteurs/chercheurs engagés dans une mobilité grâce au programme - Nombre d’entités qui participent à des projets de coopération, en distinguant les entités publiques

des entités privées

Proposition d’indicateurs de résultat complémentaires, à considérer éventuellement pour la prochaine période de programmation :

- le résultat de questionnaires renseignés par les bénéficiaires de formations à l’issue des séances, portant sur leur opinion quant aux connaissances acquises

- le nombre d’emplois maintenus (et pas seulement créés).

Faisabilité du renseignement des indicateurs

3 indicateurs de résultat sur 5 ne peuvent être renseignés à ce jour, car les projets correspondants ont démarré trop récemment pour que des résultats soient déjà visibles.

Qualité de la quantification initiale

Les valeurs atteintes par les indicateurs montrent un taux de réalisation fin 2009 assez conforme aux attendus d’avancement, à l’exception du nombre de projets visant le développement de l’emploi féminin, ce qui incite à remettre en cause la pertinence même de l’indicateur.

Evaluación in itinere POCTEFA

Analyse des indicateurs de l’Axe 2

Pertinence des indicateurs

Certains indicateurs de réalisation sont peu clairs, comme « analyse sur la viabilité de nouvelles formes de développement d’activités », « activités traditionnelles touristiques » ou « nouveaux circuits de commercialisation développés » que l’on a du mal à différencier de l’indicateur de réalisation « analyse des moyens de commercialisation… ».

- Proposition d’indicateurs complémentaires, à considérer éventuellement pour la prochaine période de programmation: Nombre de territoires s'engageant dans la définition de "visions"

transfrontalières communes, par la rédaction de chartes communes, l'adoption d'outils d'observation et de planification harmonisés

Evaluación in itinere POCTEFA

N.E. 16009 AVU

Page 114

- Nombre de structures touristiques transfrontalières créées.

Faisabilité du renseignement des indicateurs

Seule l’économie énergétique (indicateur de résultat n°1) n’est pas renseignable fin 2009, ce qui confirme globalement la bonne faisabilité du renseignement des indicateurs de cet axe.

Qualité de la quantification initiale

Les objectifs quantifiés apparaissent ambitieux au regard des valeurs atteintes fin 2009.

Analyse des indicateurs de l’Axe 3

Pertinence des indicateurs

Par rapport au contenu initial du PO, il manque des indicateurs relatifs aux transports de proximité, au nombre d’actions / services favorisant la mobilité transfrontalière, au nombre de services transfrontaliers à la population, au nombre de projets visant l’harmonisation des services offerts par la route et le rail de part et d’autre de la frontière, au nombre d’actions en faveur d'une meilleure connaissance entre les populations frontalières.

Dans la mesure où une proportion importante de projets concernent les services, c’est au sein de cet axe en particulier que l’effort de définition d’indicateurs liés au nombre de personnes bénéficiaires aurait du être effectué, tout en rappelant la difficulté de renseigner ce type d’indicateurs.

Evaluación in itinere POCTEFA

Faisabilité du renseignement des indicateurs

Les indicateurs de résultat se révèlent difficiles à renseigner, du fait du caractère flou de certains intitulés (« connectivité »…), de la difficulté à circonscrire les périmètres territoriaux ayant réellement bénéficié des projets. L’indicateur de résultat n°3 apparaît très large et peu discriminant, un grand nombre de projets de l’axe 3 pouvant correspondre à son intitulé.

Qualité de la quantification initiale

Les objectifs quantifiés sont largement supérieurs aux valeurs atteintes fin 2009, ce qui s’explique par le fait qu’un petit nombre de projets concentrent une part importante des fonds, les indicateurs de type

« nombre de projets » atteindront donc des hauteurs limitées.