Nathalie Beaupère, Gérard Podevin*
Dans le cycle de vie de l’évaluation, le moment possible d’une « recherche-action » occupe une place à part. Le plus souvent, ce moment ne paraît pas y être perçu comme indispensable, utile à l’action publique. La « recherche-action » est un cadre rarement mis en œuvre avant l’introduction d’un nouveau programme, alors même qu’elle peut favoriser les initiatives décentralisées et faire émerger des solutions nouvelles dans des contextes de changement. Elle peut devenir la condition nécessaire pour que s’instaurent des logiques de coopérations effectives entre acteurs disposés à apprendre ensemble.
Nonobstant ce faible recours et cette incertaine reconnaissance, la "recherche-action" parait avoir toute sa place dans le processus évaluatif, en venant compléter les autres phases plus conventionnelles et formalisées de l’évaluation (voir encadré page suivante) (Fouquet 2009). Située en amont de la définition d’un nouveau dispositif ou d’un nouveau programme, devant répondre à de nouvelles intentions politiques, la recherche-action est en quelque sorte à cheval entre une évaluation ex-ante et une évaluation in itinere, sans s’y substituer toutefois et sans se confondre ni avec l’une ni avec l’autre.
1. L’évaluation au cœur même du déroulement de l’action
C’est cette place unique et féconde que nous proposons de présenter dans ce papier, en s’appuyant sur une expérience réussie (bien que toujours en cours) d’une recherche-action menée en Bretagne sous l'impulsion du Conseil régional autour de la mise en œuvre d’un nouveau dispositif visant à améliorer la formation qualifiante et l’insertion professionnelle des jeunes non qualifiés. Ce dispositif, appelé
« Trajectoire », avant d’être généralisé à la région, a fait l’objet d’une recherche-action portant sur son architecture, ses principes fondamentaux, son instrumentation, son appropriation par les opérateurs chargés de le mettre en œuvre. L’originalité de cette phase réside dans le fait que le projet – tel que présenté aux acteurs – est marqué d’emblée par l’inachèvement et contient de façon endogène une incitation explicite à le transformer et à l’adapter. Les formes, l’étendue de la participation des acteurs impliqués et leur degré d’engagement dans la mise en place du dispositif imaginé par les décideurs publics au démarrage de la recherche-action, ne seront pas les formes, participations, et profondeurs d’engagement observables au terme de la recherche-action. C’est que la recherche-action est un processus de transformation et d’émancipation qui vient modifier le comportement des acteurs et leurs logiques d’action. Mais ce processus prend du temps. La temporalité d’une recherche-action s’inscrit sur un sentier dont l’horizon est peu connu à l’avance tant du point de vue des réalisations et des coopérations, que des délais nécessaires. C’est ainsi que la recherche-action évaluée ici, dont la durée initiale avait été fixée à dix-huit mois, a été prolongée à deux reprises d’un an.
L’évaluation dont on rendra compte se situe donc clairement dans le courant de nouvelles pratiques évaluatives, celles qui s’inscrivent dans le temps même de l’action qu’elle vise en permanence à enrichir, à infléchir et réorienter (voire à inventer). Dans ce type d’évaluation, qui se veut davantage en prise sur l’action, le rapport au temps est très différent puisqu’il s’agit d’aider à anticiper et à réagir au plus près des pratiques concrètes d’acteurs (Chanut 2009).
Ce positionnement de la recherche-action, entre un diagnostic qu’elle va contribuer à « retravailler », et une évaluation « chemin-faisant » se limitant au suivi de la mise en œuvre d’un programme « clef en main », est bien un positionnement singulier qui suppose un ensemble de conditions, et entraine une série
* Centre associé au Céreq pour la région Bretagne, Université de Rennes1, nathalie.beaupere@univ-rennes1.fr,
192
de conséquences difficilement atteignables par l’évaluation d’un programme déjà prédéfini et sa mise en œuvre déjà planifiée. Au nombre de ces conditions nous insisterons par la suite plus particulièrement sur l’exigence d’une temporalité dégagée de la production immédiate de résultats, sur l'importance de co-construire les cadres favorables à l’engagement et à la coopération des acteurs, sur la nécessaire émergence d’une nouvelle gouvernance territoriale émancipée des formes hiérarchisées de pouvoirs et des pratiques managériales de contrôle.
Encadré 1
La recherche-action dans le cycle de l’évaluation
Mise en œuvre du
Le choix des méthodes en fonction du phasage de l’évaluation
Ex ante : outils de diagnostics et de structuration
Chemin faisant : outils d’observation et d’analyse
Ex post : outils d’analyse et de jugement Conception du programme : Evaluation ex ante
Des contraintes à la mise en œuvre
Concomitance Cycle de l’évaluation et cycle du mandat
Durée du processus d’évaluation et de production du rapport
Concomitance et rétroaction des différentes évaluations
Recherche-Action
Évaluation ex-ante : analyse préalable, diagnostic
• Diagnostic avec constitution d’un fonds documentaire, identification des forces et des faiblesses, des opportunités et des menaces
• Phase d’écriture des objectifs et de la hiérarchie des objectifs (objectifs stratégiques, objectifs intermédiaires, objectifs opérationnels) = arbre des objectifs (AO) et indicateurs associés
• Phase d’identification des actions, des réalisations prévues, des résultats attendus et des impacts mesurables = diagramme logique d’impact (DLI) et indicateurs associés
• Production de documents de travail et rédaction du rapport
Évaluation « chemin-faisant » : in itinere ou on-going (suivi au fil de l’eau)
• Organisation de la récupération des informations contenues dans la gestion,
• Suivi des indicateurs au fil de l’eau, à partir des actions identifiées, des réalisations prévues et des résultats attendus au regard des objectifs identifiés
• Réalisation de photographies = évaluations intermédiaires à un instant T
• Production de documents de travail et rédaction du rapport pour chaque évaluation intermédiaire Évaluation ex-post
• Photographie des indicateurs, en fin de durée du programme, au regard des objectifs identifiés
• Production de documents de travail et rédaction du rapport d’évaluation finale.
Enfin, cette approche, lorsqu’il est possible de la déployer sur des territoires différents – comme ce fut ici le cas –, contribue à rendre compte des conditions, variables d’un espace à l’autre, de sa mise en œuvre et de la qualité des innovations et réalisations produites sur chacun d’eux. La question de l’extension, du transfert vers une généralisation du programme à l’ensemble de la région peut alors gagner en capacité d’adaptabilité, de différentiation spatiale, de fécondation croisée, ce qu’elle parait perdre en délais et allongement de calendrier, ou en certitude et simplification.
L’idée directrice de ce papier est de montrer qu’avant même la mise en place d’une politique publique ou d’un programme, il convient d‘en éprouver la pertinence en y associant tous les acteurs potentiels (définis dans le sociogramme) suivant une logique de coopération, dans un cadre de gouvernement local démocratique et suivant une méthode « bottom-up » faisant remonter les attentes et les contraintes de faisabilité du terrain.
2. La « recherche-action » : une démarche singulière qui laisse du temps aux ajustements
Le principe d’une recherche-action a été retenu par la Direction de la formation professionnelle de la Région pour mettre en œuvre dans trois pays un dispositif visant à favoriser l’accès à la qualification de jeunes et d’adultes inscrits dans une prestation du dispositif régional d’insertion professionnelle (DRIP).
Il s’agissait à la fois d’accompagner le changement souhaité, de capitaliser des connaissances au fil de l’action, de mettre en place le dispositif et d’envisager sa transférabilité aux autres pays. Si les objectifs poursuivis se rapprochent, a priori, d’une expérimentation, ils s’en distinguent cependant par sa mise en œuvre puisqu’il s’agit bien plus de construire le dispositif « chemin-faisant » que de tester en vraie grandeur ses effets sur une courte durée.
En effet, une expérimentation1 désigne une initiative localisée, et/ou une mesure mise en œuvre pour une durée limitée à l’issue de laquelle une décision politique doit intervenir sur son extension. Il s’agit d’une initiative volontaire devant répondre à quatre caractéristiques : l’affectation aléatoire des bénéficiaires et d’un groupe de contrôle (random assignement), un dispositif de politique publique (policy intervention), un dispositif de suivi (follow up data collection) et une évaluation (evaluation).
Dans le contexte d’une recherche-action, à la différence de l’expérimentation, le chemin n’est pas dessiné a priori, il se construit dans l’action en même temps que les acteurs et chercheurs observent, échangent et capitalisent leurs connaissances. La participation des acteurs est alors au cœur de la démarche qui nécessite l’acceptation des temps d’itération, de réflexion sur les pratiques existantes et la recherche de modalités optimales d’action.
La recherche-action présente cet intérêt de ne pas être figée et d’accepter des ajustements, des remises en cause, de nouveaux questionnements qui font évoluer la recherche et proposent de nouvelles pistes d’action. Durant tout le processus, l’observation nourrit les échanges et contribue aux inflexions décidées collectivement. Le changement ici n’est pas décidé à l’avance, il se construit sur la base de la concertation – et de controverses. Les temps de rencontres sont alors d’autant plus importants qu’ils sont l’occasion de retours sur les expériences menées et d’élaboration d’un langage commun.
L’objectif final n’est pas tant de statuer sur le bien-fondé du dispositif que d’amener les acteurs à s’engager dans une réflexion sur leurs pratiques, à les infléchir de manière à les rendre optimales, à s’auto-évaluer dans l’action. En conséquence, l'évaluation conduite ici ne peut être assimilée à un rapport d’audit, ni à une expertise, mais relève d’un processus d’accompagnement interactif et itératif où le chercheur – l'évaluateur dans notre cas – se trouve en position d’observation participante et de conseil, contribuant à faciliter la distanciation critique, la construction d'espaces d'interprétation qui soient
« adogmatiques », et l’appropriation d’outils d’analyse et d’auto-évaluation. Cette posture singulière
1 Ce terme d’expérimentation est un néologisme qui remonte au XIXe siècle. Selon le Littré, il désigne
194
encourage l’émancipation des acteurs des procédures d’instruction et de contrôle qui viendraient freiner leurs initiatives créatrices. Elle procède d’une démarche cognitive, mais aussi d’une volonté pédagogique.
3. La recherche-action « Trajectoire » : des objectifs et des rôles mis en questions
Par sa disposition à l’ouverture à des pratiques innovantes, la recherche-action initiée par la Direction de la formation professionnelle devenait un contexte favorable à l’engagement et à la prise de responsabilité des protagonistes. Si le cadre d’action était relativement défini par un cahier des charges, les acteurs de l’AIOA (Accueil, information, orientation accompagnement) et de la formation professionnelle étaient invités à innover et à faire preuve de créativité en matière d’accompagnement et d’ingénierie pédagogique : le leitmotiv régional étant de « faire bouger les lignes » et de « rendre les frontières plus perméables ».
Encadré 2
Le nouveau dispositif « Trajectoire » du Conseil régional de Bretagne
Le programme ayant fait l’objet d’une recherche action est celui de la « formation tout au long de la vie » de la nouvelle SREF (Stratégie régionale emploi-formation) de la région Bretagne. Cette recherche-action s’est déroulée dans un premier temps entre 2007 et 2009. Elle se trouvera prolongée en 2010 et 2011. Plus particulièrement, c’est le dispositif de formation et d’accompagnement, dénommé « Trajectoire », destiné aux demandeurs d'emploi qui a fait l’objet de l’évaluation. La recherche-action qui a accompagné la mise en place de ce dispositif visait à tester en vraie grandeur la faisabilité de nouveaux outils et de nouvelles pratiques. Le principal objectif stratégique est de mettre en place un nouveau dispositif permettant de favoriser l’accès à des formations qualifiantes et à l’emploi durable pour des jeunes et adultes bénéficiaires du dispositif régional d’insertion professionnelle (DRIP)*. Pour cela, le cahier des charges initial du Conseil régional, cadre contractuel de référence, propose que s’instaure une nouvelle coordination des acteurs de l’AIOA (Accueil, information, orientation et accompagnement) et des acteurs de la formation. Il définit les objectifs à atteindre, les nouveaux rôles attendus et institue la mise en place d’un
« tandem », regroupant sur chaque territoire une Mission locale (ML) et un organisme de formation pilote (OFP).
La recherche-action s’est située dans trois pays de la région Bretagne. L’innovation en matière d’accompagnement et d’ingénierie pédagogique est centrale dans ce dispositif qui s’appuie sur la mise en place d’une nouvelle gouvernance locale des acteurs. Dans l’organisation préconisée, la Mission locale partage son rôle d’accompagnement avec un organisme de formation « pilote », ou « référent » avec lequel elle forme un tandem. La recherche-action a donc pour objet le changement organisationnel et le changement de pratiques des acteurs.
Les objectifs définis par le commanditaire :
• Stratégiques
Favoriser l’accès à la formation qualifiante des jeunes inscrits dans des prestations du dispositif régional d’insertion professionnelle (DRIP)
• Intermédiaires
Limiter l’évaporation des jeunes et adultes dans les parcours de certification Assurer la fluidité des parcours de certification des jeunes et adultes
• Opérationnels
Maintenir les jeunes et les adultes mobilisés tout au long de leur parcours de certification Améliorer l’articulation entre les prestations du DRIP et la formation qualifiante
Développer l’ingénierie de formation.
* Il s’agit majoritairement de jeunes sans qualification, public principal des Missions locales.
Cependant, l’appel à l’initiative et à l’autonomie des acteurs n’a pu, au commencement de la recherche-action, et paradoxalement, s’affranchir d’une tentation de contrôle et d’encadrement visant à faire coïncider les réalisations effectives aux représentations implicites que le commanditaire se faisait de la réalité du chemin à parcourir et des outils à construire. Cette situation a pu être un facteur de blocage puisqu’elle s’est trouvée en porte-à-faux avec la volonté d’installer une gouvernance pluraliste et décentralisée, et de favoriser les processus participatifs.
Fondée sur un diagnostic préalablement établi par un cabinet extérieur – diagnostic pour partie récusé par les Missions locales –, la recherche-action s’est trouvée dès ses premiers pas « bousculée » dans son déroulement et dans son calendrier. Pourtant, et c’est bien l’intérêt d’une telle démarche, il semblait nécessaire de prendre le temps de rediscuter les constats du diagnostic initial et de reformuler les objectifs (stratégique, intermédiaires et opérationnels) du projet avant d’entrer dans des phases plus opérationnelles.
Malgré l’affichage d’une certaine souplesse, la recherche-action a paru contraignante. Certains points de tension se sont manifestés qu’il a fallu apaiser en allant jusqu’à remettre en cause la pertinence de certains éléments du cahier des charges qui s’appuyaient sur des postulats implicites ou des jugements de qualité qui n’avaient pu être validés. Ces points se sont notamment cristallisés sur la variété des temporalités des acteurs, la reconnaissance de leur légitimité et la nature de leurs compétences. Par exemple, invités à participer à la construction des parcours d’accès à la qualification au côté des missions locales, les organismes de formation pilotes ont cherché à construire leur nouveau rôle dans des processus d’accompagnement des jeunes déjà éprouvés par ailleurs. Dans le même temps, les Missions locales se sont senties mises en cause et d’une certaine façon « dépossédées », en devenant « secondaires » dans l’accompagnement et la construction des parcours d’orientation et d’insertion professionnelles des jeunes.
Le premier travail des acteurs (et de l'évaluateur) a donc consisté à « déconstruire » certains des articles du cahier des charges initial pour contribuer à l’élaboration d’une nouvelle commande et s’impliquer dans la démarche de changement de leurs pratiques. Ainsi, la recherche-action qui donnait la possibilité de faire évoluer le projet s’est avérée être une démarche constructive permettant de rendre le dispositif plus adapté aux problématiques locales. Le cahier des charges initial qui définissait plus ou moins strictement les rôles respectifs des protagonistes a été dépassé, « débordé », afin de créer les conditions d’une coopération volontaire, différente de celle « planifiée » sur le papier. C’est donc en situation que les acteurs ont réécrit leur rôle, au fil de l’action, accompagnés en cela par l'évaluateur. Les outils proposés, et souvent co-construits, ont contribué à leur implication et à faire émerger les comportements coopératifs pour que s'élabore un bien commun.
4. Un nouveau rôle à composer pour l’évaluateur
Dans un tel contexte, où la coopération est indispensable au bon déroulement de l’action, l’évaluateur se trouve confronté à des difficultés qui tiennent à la définition de son rôle : à la fois impliqué et observateur, retenu par le commanditaire pour mener à bien le projet défini et indépendant, il doit gagner la confiance des acteurs dont il accompagne l’évolution des pratiques. Pour cela il doit convaincre n'être ni « agent double », ou « force d'interposition », ou « expert exclusif », ou encore « prophète délivrant la bonne parole », voire « professeur diffusant en pluie fine son savoir savant »… Comme le rappelle Barbier (1996), « le chercheur joue alors son rôle professionnel dans une dialectique qui articule sans cesse l’implication et la distanciation, l’affectivité et la rationalité, le symbolique et l’imaginaire, la médiation et le défi, l’autoformation et l’hétéroformation, la science et l’art. Le chercheur en recherche-action n’est ni un agent d’une institution, ni un acteur d’une organisation, ni un individu sans appartenance sociale, par contre il accepte éventuellement ces différents rôles à certains moments de son action et de sa réflexion ».
Mais, si le nouveau dispositif incitait fortement les acteurs à dépasser les cadres « traditionnels » et
« conventionnels », de leur intervention, il s’est rapidement avéré que les changements de pratiques
196
décréter unilatéralement. Les difficultés propres à toute démarche de changement ont nécessité, de facto, que l’évaluateur se positionne en « facilitateur » des échanges.
Il a fallu à certains moments rendre plus explicites les attentes du commanditaire, plaider en faveur d’un
« ralentissement » du rythme souhaité, faire accepter les temps d’arrêt et de réflexion, ce qui ne fut pas la moindre des contributions que le contexte de la recherche-action a permis de justifier : alors qu’il semblait important de réaliser dans un temps court la mise en place de nouvelles modalités d’accompagnement des jeunes – pour pouvoir en mesurer les effets –, il était nécessaire de laisser plus de temps au déroulement de l’action.
La question du temps, on le voit, est au cœur de la recherche-action. L’évaluateur a plaidé pour une harmonisation des temporalités parfois discordantes de cette recherche-action et de son évaluation.
L’écriture d’un chronogramme2 a permis de distinguer une dizaine de temporalités différentes. Aux écarts entre les horizons temporels des acteurs du « tandem » (voir encadré 2) se sont ajoutés : le temps de la construction des jeux coopératifs, le temps des prestations, le temps des plans d’actions à la sortie du DRIP, le temps des bénéficiaires et de la construction de leurs projets, le temps de l’évaluation et de la recherche-action, enfin celui du politique et de la prise de décision, ou bien encore le temps d’apprentissage de la nouvelle gouvernance.
Dépasser ces écarts entre temporalités, les tensions générées, établir une certaine « polyphonie » des actions tout en conservant la multiplicité des niveaux et instances d’actions, suppose d'aller vers une harmonisation des calendriers, des rythmes et des durées. Mais ajuster les temporalités prend… du temps.
Il est remarquable à ce propos que « chemin faisant », le politique ait pris la (bonne) décision de prolonger la recherche-action pour donner plus de temps à ces ajustements, et de quitter l’obsession de la production de résultats immédiats pour conquérir une nouvelle temporalité créatrice, compatible avec la mise en place de processus d’appropriation de l’évaluation par les acteurs (notamment sur le versant de la construction d’indicateurs de résultats).
5. Co-construire les outils du suivi-évaluation et favoriser la coopération des acteurs
La co-construction, avec les acteurs, des outils du suivi-évaluation et plus particulièrement des logigrammes (chaines de production des résultats attendus) a permis de mettre en lumière les rôles et contributions de chacun et d’écrire les intentions d’action, réalisations et résultats attendus de chaque
« tandem ».
Si ces outils ont favorisé la coopération en proposant un cadre formalisant les résultats des échanges, ils ont également favorisé l’appropriation des objectifs du commanditaire par les opérationnels. Le travail d’élaboration des outils est une des réalisations tangibles des « tandems » et plus largement de la nouvelle gouvernance souhaitée.
2 Il s'agit d'un outil nouveau, rarement mobilisé par les évaluations, que nous avons testé dans cette recherche-action.
Encadré 3
Des outils pour le suivi-évaluation
Le sociogramme, représentation systémique, non hiérarchique, de l’ensemble des parties prenantes à l’activité
Le sociogramme, représentation systémique, non hiérarchique, de l’ensemble des parties prenantes à l’activité