Programme ACTEUR
4.2 Evaluation des différentes approches
4.2.1 Evaluation de l’approche par questionnement (N°2)
Avantages Inconvénients
a) Le processus permet de prendre en compte très en amont les problématiques d’actualité et permet
a) Compte tenu de la diversité des situations urbaines et donc des attentes des collectivités locales, le
compléments
Systèmes d'informations existants
Détermination du standard de fait Littérature technique et scientifique, études, travaux exploratoires Recherche d'indicateurs complémentaires Expérimentation Standard de fait Standard de fait Validation Standard ACTEUR Préoccupations des décideurs locaux
Avantages Inconvénients
ainsi de donner du sens aux travaux engagés. Il répond probablement mieux à l’attente des chercheurs et des praticiens sur l’orientation de l’observation.
b) La volonté de limiter le nombre de questions à traiter permet d’assurer la compatibilité entre les travaux à réaliser, les moyens disponibles et les délais de production souhaités.
c) L’effort de formalisation sous-tendu
par la description du processus permettra d’assurer une bonne cohérence entre les travaux des différentes équipes.
d) La proposition du standard ACTEUR pourra être réalisée sur la base de travaux menés scientifiquement et collégialement, en prenant en compte les études menées en phase préliminaire.
consensus sur la sélection des questions à retenir risque d’être difficile à obtenir.
b) La mise en expérimentation risque d’être retardée
par les travaux importants à réaliser en amont (sélection des questions et des indicateurs, rédaction des cahiers des charges pour les tests sur sites pilotes).
c) La limitation du nombre de questions à traiter risque de conduire à une couverture très inégale des différents thèmes.
d) Le calendrier induit pour ces opérations est probablement peu compatible avec les impératifs des exercices budgétaires annuels des agences, des CETE et du CERTU.
e) La promotion du système d’information issu de
cette méthode reste problématique. Cette promotion conditionne l’utilisation, et donc l’utilité du standard ACTEUR.
f) Le standard produit risque d’être assez éloigné des pratiques réelles sur le terrain. La méthode ne permet pas d’estimer les coûts de mise au standard des systèmes d’information existants.
4.2.2 Evaluation de l’approche par identification d’un standard de fait (N°3)
Avantages Inconvénients
a) Le standard de départ, identifié sur le terrain, est un constat qui ne peut faire débat. La proposition de standard finale intégrera déjà des communautés de pratiques.
b) Le travail de complétude de ce standard restera collégial.
c) Le processus permettra d’identifier
certaines situations de blocage concernant l’accès aux données et peut être d’y apporter des réponses, ce qui correspond à une attente de nos partenaires.
d) La promotion du système d’information
issu de cette méthode sera facilitée par la prise en compte d’éléments déjà existants sur le terrain.
e) Le standard produit sera plus proche des pratiques réelles sur le terrain. Ainsi, la méthode permettra d’estimer les coûts de mise au standard des systèmes d’information existants.
a) La méthode ne prend pas réellement en compte la demande formulée consistant à partir des problématiques et des questions que l’on se pose.
b) Que faire si l’hypothèse de l’existence d’un
standard de fait n’était pas avérée ?
c) La définition de la liste des informations à collecter, du mode de collecte à retenir, des critères de tri pour la sélection des données et indicateurs, représente un travail très lourd, auquel s’ajoutera celui de la collecte et de l’exploitation de l’information.
d) La mise en expérimentation risque d’être
retardée par les travaux importants à réaliser en amont (identification du standard de fait, ajout et recherche d’indicateurs complémentaires, rédaction des cahiers des charges pour les tests sur sites pilotes).
e) Le calendrier induit pour ces opérations est probablement peu compatible avec les impératifs des exercices budgétaires annuels des agences, des CETE et du CERTU.
4.2.3 Conclusion de l’évaluation des différentes approches
La 1ère approche consistant à balayer exhaustivement tous les thèmes de l’observation en
s’efforçant de trouver pour chacun d’eux une dizaine d’indicateurs synthétiques n’a pas fait l’unanimité lors de la consultation menée en 1998. Elle reste trop éloignée des problématiques, trop sectorielle et probablement difficile à mettre en œuvre compte tenu des ressources dont nous disposons.
La 2ème approche reprend les recommandations formulées lors de la consultation et
propose de partir d’une sélection de questions d’actualités, aux travers desquelles on s’attachera à balayer le plus de thématiques possible. Les indicateurs seront mobilisés dans le but d’aider à fournir des réponses à ces questions. Leur pertinence sera évaluée
sur des sites expérimentaux locaux. Cette approche présente l’avantage de mieux répondre aux attentes exprimées lors de la consultation en étant plus réaliste. Elle peut cependant conduire à produire un résultat assez éloigné des systèmes d’informations existants déjà dans les observatoires, et donc difficile à promouvoir. Le consensus sur les questions à retenir risque peut également être assez délicat à obtenir.
La 3ème approche part de l’hypothèse qu’il existe déjà, dans les observatoires urbains, un
standard de fait. Elle suggère de s’attacher à identifier ce standard pour en détecter les lacunes, et pour vérifier en quoi il peut déjà répondre à un certain nombre de problématiques. Ce travail doit ensuite être prolongé par l’adjonction d’une série d’indicateurs complémentaires permettant d’une part d’assurer une meilleure couverture des différents thèmes, et d’autre part de répondre à de nouvelles problématiques. On s’assure ainsi de produire un résultat plus facile à mettre en œuvre, car plus proche des systèmes d’information existants. Cependant, il n’est pas certains que l’hypothèse de l’existence d’un standard de fait soit avérée, ni qu’il soit utilisable pour permettre de répondre aux préoccupations actuelles des élus et des professionnels.
Aucune des approches envisagées ne présente toutes les garanties de production d’un résultat idéal vis à vis des objectifs et des ambitions du programme. La 1ère semble
cependant la plus risquée.
L’équipe en charge du programme ACTEUR propose donc de “ mixer ” les approches 2 et 3. Il s’agira de compléter l’approche n° 2 en l’aménageant de la façon suivante :
Ajout d’une action spécifique visant à identifier un “ standard de fait ” et à dresser un état des lieux des observatoires urbains locaux en terme de modes d’utilisation, de données disponibles, de périmètres d’observation, de points de blocages... ; Cette action pourrait démarrer rapidement si l’un des CETE répond à cette demande.
Utilisation du “ standard de fait ” précédemment identifié lors de la recherche d’indicateurs thématiques pour l’étude des questions retenues, et prise en compte de ses lacunes éventuelles.
A l’issue du programme, évaluation qualitative et quantitative des écarts entre le standard ACTEUR proposé et le standard de fait constaté initialement.