Pour répondre à notre questionnement, nous avons opté pour une stratégie de recherche qui multiplie les prises et les méthodes d’enquête susceptibles de rendre compte, dans l’espace et dans le temps, du déploiement de l’évaluation.
La visée diachronique et synchronique que nous cherchons à restituer a été conduite à différents échelons, publics et privés, de l’espace infranational de l’évaluation.
La recherche s’appuie essentiellement sur des observations directes et participantes, soixante- six d’entretiens semi-directifs menés auprès des acteurs de l’évaluation infranationale en France (consultants, fonctionnaires de collectivités territoriales, fonctionnaires d’Etat, chercheurs) et une enquête par questionnaire en ligne.
À titre liminaire, notons que la première difficulté à laquelle nous avons été confrontés en entamant cette recherche est le caractère technique de notre objet. L’évaluation des politiques publiques possède ses méthodologies et ses codes bien établis.
Pour réussir à maîtriser le domaine et dans un souci d’« empathie avec les indigènes de l’évaluation », nous avons donc commencé par décoder les ressorts de leur langage.
Ce « coût d’entrée » paraissait nécessaire pour saisir ensuite plus efficacement les propos de nos interlocuteurs lors des investigations. Maîtrisant davantage les us et coutumes des acteurs, nous nous sentirions plus à même d’enquêter auprès d’eux.
Après une analyse approfondie des manuels et de la littérature professionnelle (notamment les revues spécialisées de langue anglophone de type Evaluation ou Journal of MultiDisciplinary Evaluation), nous avons mis en place un système d’observation directe et participante86, une forme de « recherche embarquée ».
Désireux de travailler « sur » l’évaluation mais de l’appréhender de « l’intérieur »87 des mécanismes de production de l’action publique, nous avons opté pour cette technique de collecte d’information même si, de fait, nous pouvions nous exposer à des critiques sur une
86 Pour une analyse détaillée de ces techniques : Cefai (D.), L'enquête de terrain, Paris, La Découverte, 2003.
Peneff (J.), « Les débuts de l'observation participante ou les premiers sociologues en usine », Sociologie du travail, n°1, 1996, p. 25-44. Arborio (A.-M.), Fournier (P.), L'enquête et ses méthodes : l'observation directe, Paris, Nathan, Collection 128, 1999.
87 Pour une contribution à ce débat : Barbier (J.-C.), La longue marche vers l’Europe sociale, Paris, PUF, 2008,
37
« complicité intellectuelle avec l’objet » en raison de la proximité que nous étions susceptibles d’entretenir avec notre terrain.
Nous défendons pourtant cette approche dans laquelle nous avons essayé de tenir une position de « neutralité axiologique »88 et de nous inscrire dans les canons déontologiques d’une recherche en sciences sociales, « dire le vrai, dire ce que l’on croit sincèrement être la vérité, après s’être efforcé de l’approcher »89, limitant au maximum les interférences avec notre objet, bien que celles-ci soient parfois inévitables du fait de l’observation.
D’ailleurs, on soulignera, pour le cas français, que les analyses sont essentiellement venues de chercheurs qui étaient eux-mêmes « embarqués » dans une activité d’évaluation90.
Tout débute par notre intégration dans un cabinet de conseil au sein duquel nous sommes embauché sous la forme d’une CIFRE (Convention Industrielle de Formation par la Recherche)91.
Bénéficiant d’un statut de « consultant junior » de mars 2005 à septembre 2006, nous pouvons, dès lors, développer cette technique de l’observation de manière assez naturelle. L’enquête de terrain en entreprise92, cet accès privilégié à un « trou noir du pouvoir »93 que constitue une structure de consultance, est l’occasion pour nous de saisir très rapidement certains enjeux de notre objet de recherche.
88 Sur ce sujet, nous incitons à la lecture très instructive de Fassin (D.), Bensa (A.), (dir.), Les politiques de
l’enquête. Épreuves ethnographiques, Paris, La Découverte, 2008. Cet ouvrage étudie la position du chercheur engagé, qui ne peut plus fermer les yeux sur les conditions morales et politiques de son enquête. Il plaide pour une anthropologie critique qui ne se transforme pas en entreprise militante et continue d’appliquer les canons de la recherche scientifique.
89 Barbier (J.-C.), art.cit, p. 166.
90 Par exemple: Fontaine (J.), art.cit et Leca (J.), art.cit.
91 Il s’agit d’un dispositif de financement de thèse géré par le Ministère de la recherche qui permet à des
doctorants de préparer leur thèse en entreprise. Pour une présentation du dispositif : ANRT (2002), 1981/2001, 20 ans de CIFRE, Dossier réalisé par l’ANRT à l’occasion des 20 ans du système CIFRE. Relevons que nous sommes parti au bout de 18 mois du cabinet de conseil ne pouvant plus concilier notre recherche avec les exigences grandissantes et les impératifs économiques du cabinet. Désireux de mener à bien notre travail et de l’inscrire dans une recherche objective de science politique, nous avons donc arrêté d’un commun accord le contrat qui nous liait avec la structure pour pouvoir nous concentrer exclusivement sur notre recherche.
38
Notre statut de consultant nous permet, en effet, d’être positionné dans des missions d’évaluation et de comprendre comment s’agence au « concret » l’instrument évaluatif. Nous participons de fait à plusieurs missions d’évaluation de politiques pour le compte de collectivités territoriales. Nous n’en restituerons pas pour autant leur nature, préférant surtout nous saisir de ce terrain pour envisager les modalités de circulation d’un cabinet de conseil sur le marché de l’évaluation territoriale. C’est donc la structure en elle-même qui sera ici analysée à partir de l’étude de son activité et de ses productions mais également de nos impressions de terrain consignées dans un journal de bord tout au long de l’immersion.
En parallèle de ce travail, nous avons également choisi de « fréquenter » les espaces où se rassemblent et échangent les acteurs de l’évaluation.
Très vite, nous repérons une Société Française de l’Evaluation (SFE) qui semble réunir une partie des effectifs de ce secteur d’activité. Nous décidons donc d’y adhérer.
Il s’agit alors de voir à l’œuvre les stratégies des acteurs mais également de collecter des données sur l’association et plus généralement sur le « monde » de l’évaluation.
Dès 2005, nous participons aux manifestations et aux journées d’étude de cette association pour observer et repérer les acteurs qui se revendiquent sous cette bannière professionnelle en France. Les différentes réunions étant aussi l’occasion de nous « acculturer » davantage à notre objet de recherche.
Grâce à nos présences aux manifestations, nous bénéficions de l’accès à l’ensemble des documents produits (communications, lettres aux adhérents, rapports moraux et financiers de l’association distribués lors des assemblées générales, ...) et pouvons voir, in situ, les échanges qui se codifient entre les membres de l’association.
Début 2007, nous sommes repérés par nos travaux et notre présence aux différents événements. Ayant pris connaissance de notre sujet de thèse, un des membres de la SFE nous contacte pour intégrer le conseil d’administration de l’association :
92 Sur les différents aspects de l’enquête de terrain en entreprise, voir l’excellent guide de Michel Villette :
Villette (M.), Guide du stage en entreprise. De la recherche du stage à la rédaction du mémoire, Paris, La Découverte, 2004 (1ère éd. 1994, intitulée L’art du stage en entreprise).
93 Lascoumes (P.), Lorrain, (D.), « Trous noirs du pouvoir. Les intermédiaires de l’action publique », Sociologie
39
« Nicolas, je viens vers toi, au nom du bureau, pour te proposer de présenter ta candidature au conseil d'administration de la SFE. Nous avons besoin de forces jeunes et compétentes : tout ton profil ! Il ne s'agit pas d'un engagement lourd en termes de temps ; je te joins le document qui va être adressé à tous les adhérents prochainement et qui te donne des indications sur l'engagement et ses modalités. Il est temps pour nous, les anciens, de passer le relais à des plus jeunes ; nous organiserons ces relais, Guy, Annie et moi restons au bureau mais il nous faut penser à l'avenir. Merci de ta réponse que j'espère positive, n'hésite pas à m'appeler un soir si tu veux qu'on en discute. Bien cordialement, »94.
Cette « opportunité de terrain » nous paraît alors offrir un excellent prisme pour poursuivre une nouvelle phase d’observation, conscient de la place privilégiée que nous pouvons avoir pour appréhender encore plus finement notre objet de recherche. Nous acceptons de nous présenter au conseil d’administration (CA) de l’association et soumettons une candidature. C’est ainsi que nous intégrons à partir de novembre 2007, le CA de la SFE.
Nous participerons et observerons dès lors les séminaires internes du CA sur la période 2008- 2010 (quatre par an dont un résidentiel de 2 jours à la campagne) et collecterons des données de premières mains sur les stratégies de l’association.
Dans ce contexte d’observation de lieux, un cabinet de conseil et une association professionnelle, nous avons pu comprendre l’évaluation en train de se faire.
Dans les deux cas, les acteurs n’étaient pas informés de l’observation, mais conscients de notre activité de recherche95. Nous ne préférions pas, en effet, altérer leur comportement à notre endroit.
Parallèlement à ces observations directes, nous avons réalisé des entretiens semi-directifs96 avec les acteurs de l’évaluation infranationale (Liste en annexe I).
94 Extrait du mail que nous a adressé une des membres du conseil d’administration de la SFE en septembre 2007. 95 Sur le même type d’approche: Demortain (D.), « Le lobbying à Bruxelles, ou la politisation comme métier
(observation) », Terrains & Travaux, n° 8, 2005, p. 34-52.
96 Nous avons effectué la majorité des entretiens en face à face. Seulement quatre pour des raisons techniques
(éloignement géographique et impossibilité de trouver une date de RDV) ont été réalisés par téléphone. Nous avons également eregistré tous nos entretiens. avec l’accord des interlocuteurs. Un nombre important ne souhaitant pas être nommé explicitement, nous avons garanti leur anonymat dans le corps du texte.
40
Bien que cette méthode soit aujourd’hui soumise à questionnement en analyse des politiques publiques97, elle reste néanmoins un levier pertinent de collecte d’informations. Son efficacité nous paraît d’autant plus avérée quand elle est couplée avec d’autres types de méthodes, c’est ce que nous avons essayé ici d’agencer.
Ces entretiens se répartissent en trois catégories.
La première est constituée d’entretiens exploratoires avec des acteurs nationaux qui nous donnent une vision historique et un regard transversal sur l’évaluation des politiques publiques.
La seconde est composée d’entretiens avec les acteurs du conseil.
Après un repérage des prestataires d’évaluation territoriale (sur lequel nous reviendrons plus en détail dans la suite de notre travail), nous décidons d’enquêter auprès des cabinets de conseil. Le choix s’opère en fonction de critères nous permettant d’avoir une relative représentativité (taille, date de création, spécialisation, ...) de ces producteurs d’évaluation. Nous menons alors des entretiens tant auprès de petites structures que de « géant » internationaux du conseil. Notre questionnement est double : connaître le cabinet et appréhender le travail du consultant rencontré.
La troisième catégorie d’entretien nous conduit enfin à prendre plus au sérieux la commande d’évaluation et à enquêter auprès des administrations publiques, notamment territoriales. Le Conseil régional de Lorraine retient alors notre attention pour mener une approche monographique et comprendre comment sur une période (de la fin des années 1980 jusqu’à aujourd’hui), l’évaluation est saisie par une collectivité territoriale. Nous mettons alors en place une collecte d’informations sur la base d’une analyse d’archives (presse, rapports d’activités, procès-verbaux de l’assemblée régionale,…) et d’entretiens auprès des acteurs régionaux.
Maîtrisant davantage les ressorts administratifs de l’évaluation, nous avons ensuite interviewé, dans d’autres collectivités territoriales, des fonctionnaires repérés en charge d’évaluation. Des entretiens semi-directifs sont alors réalisés auprès de fonctionnaires de
97 Notamment: Laborier, (P.), Bongrand, (P.), « L’entretien dans l’analyse des politiques publiques, un impensé
méthodologique ? », Revue Française de Science Politique, vol. 55, n°1, 2005, p. 73-112 et Pinson (G.), Sala- Pala (V.) « Peut-on vraiment se passer de l'entretien en sociologie de l'action publique ? », Revue française de science politique, vol. 57, n°5, 2007, p. 555-597.
41
différentes structures territoriales (Région, départements, villes et communautés urbaines essentiellement) pour comprendre leur pratique de l’évaluation.
Enfin, dans l’optique d’avoir une vue d’ensemble du développement de l’évaluation dans l’espace infranational, nous avons réalisé une enquête par questionnaire auprès des collectivités territoriales (dont la méthodologie sera présentée plus en détails dans le corps de la recherche). L’objectif étant de compléter les analyses obtenues plus qualitativement lors des entretiens semi-directifs.
C’est donc un protocole d’enquête combinant des méthodes de collecte d’informations variées et complémentaires que nous avons établi pour comprendre notre objet de recherche.