La crédibilité, élément fondamental du processus d’évaluation

Considérant la relation entre qualité et utilisation de l’évaluation, les associations professionnelles d’évaluation ont élaboré des standards pour garantir la qualité des travaux. Cependant, la qualité ne suffit pas, plusieurs études ayant montré la faiblesse du lien entre la qualité scientifique de travaux d’évaluation ou de recherche et leur utilisation (Black 2001, Marmot 2004, Sheldon, 2005). La notion de crédibilité se substitue à la notion de qualité, car elle prend en compte, l’appréciation scientifique, la croyance et la confiance que les utilisateurs accordent à l’évaluation.

La crédibilité associée à l’évaluation est triple. Elle concerne les données, le processus de production et les personnes engagées dans l’activité. Nous abordons les deux premiers aspects.

3.1.1. La crédibilité en tension entre validité et acceptabilité

La notion de données probantes a été l’objet de nombreux débats (Donaldson et al. 2009). Le concept a évolué : la preuve n’est plus seulement définie à partir de la méthode de production et « ce qui compte comme données probantes » intègre la notion d’application et d’utilité pour le décideur. Les données crédibles sont valides, rigoureusement produites, objectives et argumentées et porteuses de sens, c’est à dire reliées aux connaissances et intérêts des décideurs, apportent des connaissances nouvelles et utiles pour la conduite de l’action publique.

Pour autant, l’évaluation est jugée à l’aune de la qualité de sa production (les connaissances produites) et son processus de production de connaissances (la méthode de collecte et d’analyse des données et l’argumentaire pour produire le jugement évaluatif).

Dans le contexte des politiques de santé en France que nous avons exposé précédemment, la crédibilité inclut la notion d’acceptabilité, compromis entre deux exigences contradictoires : la production de données jugées de qualité à la fois parce qu’elles documentent la réalité de l’action publique et sont produites en respectant les critères de rigueur des disciplines mobilisées ; l’intégration du point de vue des acteurs, partenaires institutionnels et bénéficiaires de l’action publique.

En effet, depuis la loi du 4 mars 2002 relative aux droits des malades et à la qualité du système de santé, le concept de démocratie sanitaire est omniprésent dans les discours et orientations des politiques de santé. Ce concept fait référence aux droits collectifs des usagers du système de santé et aux droits individuels des personnes malades. Les usagers peuvent, par l’intermédiaire de leurs représentants, donner leur point de vue dans le débat public sur l’organisation et le fonctionnement du système de santé et, plus largement, sur la politique menée dans ce domaine. Depuis 2002, les instances de concertation se sont multipliées et ont été réformées à plusieurs reprises. Révisée par la loi de 2009, la conférence régionale de santé et de l’autonomie (CRSA) est un organisme consultatif qui concourt par ses avis à la politique régionale de la santé. Selon l’article L 1432-4 du code de la santé publique, elle peut faire toute proposition au directeur de l’ARS sur l’élaboration, la mise en œuvre et l’évaluation de la politique de santé dans la région. Bien que ses missions en matière d’évaluation soient assez peu formalisées6 et limitées à la production d’un avis sur le rapport d’évaluation du PRS, c’est une instance avec laquelle il faut compter. En effet, dès 2010, la présidente de l’assemblée permanente des CRS plaidait pour l’instauration d’un véritable dialogue avec les décideurs et financeurs du système de santé et une participation effective à l’évaluation du projet régional de santé, faisant de leur association à l’évaluation, un véritable enjeu de la démocratie sanitaire (Devictor, 2010). Dans le domaine médicosocial, le point de vue des usagers est érigé en principe pour l’évaluation des établissements. Aujourd’hui la conception de l’évaluation est mise en tension entre souci de validité scientifique et exigence démocratique.

Par ailleurs, la consultation s’accompagne du devoir de « rendre compte » de ce qui a été fait et donc de soumettre les résultats de l’action publique au regard des citoyens. La motivation à évaluer est ainsi doublement encadrée, par la loi et par la pression que ces instances sont en mesure d’exercer, ces dernières étant bien disposées à faire valoir leur droit. La crédibilité des travaux d’évaluation résulte donc d’un double processus, externe et interne.

3.1.2. La crédibilité de la démarche d’évaluation

La crédibilité des données est indissociable de celle de l’évaluation, incluant le mode d’interprétation des données et l’organisation des relations entre les personnes engagées.

Le processus de production de jugement

Hurteau et al (2012) insistent sur la notion de jugement crédible. L’évaluation est caractérisée par sa capacité à produire un jugement, l’évaluateur étant un guide dans la démarche d’élaboration de ce jugement avec les parties prenantes. Selon ces auteurs, le jugement pour être crédible, c'est-à-dire recevable, doit être juste, refléter la réalité, émaner d’un consensus et être esthétique (cohérent, congruent, lisible).

La qualité de l’argumentaire participe de la crédibilité. A l’image de l’enquête policière ou journalistique, l’évaluation doit amasser un faisceau d’indices (Hurteau et al., 2012 ; Leviton, 2003) dont l’assemblage rigoureux permet de formuler un jugement. De ce point de vue, la pratique évaluative s’analyse comme une pratique argumentative (Perret, 2009c).

L’organisation de l’évaluation

L’organisation et la conduite de la démarche d’évaluation participent de sa crédibilité. Nous avons vu dans nos travaux sur l’évaluation des PRSP, que la définition des missions des différents groupes et la répartition des responsabilités entre les personnes sont des critères de la qualité du processus ; ces caractéristiques figurent dans l’énoncé du principe de responsabilité de la charte de la SFE (2006). Cependant, bien que les standards élaborés par les sociétés professionnelles intègrent ces aspects, le fonctionnement des groupes est assez peu documenté dans la littérature (Baizerman et al., 2012). Nous souhaitons apporter un éclairage à partir de notre expérience de l’évaluation des PRSP.

Le concept français de « dispositif d’évaluation »

Les modes d’organisation ne sont pas identiques selon les pays et milieux concernés. En France, le dispositif d’évaluation désigne « le système des relations à établir dans le cadre de l'évaluation entre ses différents acteurs et participants » (Conseil scientifique de l’évaluation, 1996, p.19) ; il inclue les acteurs et différents groupes de suivi ou de pilotage.

Le terme français « dispositif » évoque un assortiment de pièces ou de mesures7, l’agencement de ces éléments ou le mécanisme lui-même8. Le dispositif d’évaluation

7 « Ensemble de pièces constituant un mécanisme, un appareil, une machine quelconque ; ensemble de mesures prises, de moyens mis en œuvre pour une intervention précise » (dictionnaire Larousse).

concerne à la fois les structures et les procédures. Il n’a pas son équivalent en anglais. Dans la littérature anglophone, il est fait référence à un comité consultatif (evaluation

consultation/advisory group) qui, basé sur l’expertise de ses membres, conseille l’évaluateur

sur la conduite de l’évaluation et l’utilisation des résultats (Baizerman et al., 2012).

La distinction entre comité consultatif et instance d’évaluation

Les cinq fonctions que doit remplir un comité consultatif décrites par Mattessich (2012) diffèrent peu de celles de l’instance d’évaluation décrites par le CSE (1996). Pour Mattessich, le comité doit engager les parties prenantes, garantir la crédibilité externe, concilier les points de vue politiques, promouvoir l’intégrité méthodologique et l’utilisation. Sa responsabilité de dans l’utilisation est clairement affirmée avec une influence directe sur l’utilisation, par l’accomplissement des deux premières fonctions, et indirecte, en contribuant activement aux stratégies de diffusion des résultats. La composition du groupe constitue un enjeu majeur et Mattessich, listant les catégories d’acteurs concernés, souligne les différences de positionnements et d’apports de la part des représentants du commanditaire selon la nature de leur statut au sein de l’institution.

L’instance d’évaluation française est un groupe représentant la diversité des groupes d’intérêts, indépendant du commanditaire et porteur d’une expertise. Dans l’esprit du CSE, c’est un « dispositif qui est le mieux à même de garantir une zone d’autonomie de l’évaluation entre la science et l’action ». Elle est « conçue comme un arbitre entre les différents points de vue et non comme un médiateur de différents intérêts qu'il conviendrait d'accommoder » (Conseil scientifique de l’évaluation, 1996, p.30).

Ce qui distingue les deux visions, c’est d’une part, la contribution de ces deux groupes dans l’exécution des travaux d’évaluation et, d’autre part, la nature de la personne qui pilote le groupe. Tandis que l’evaluation consultation/advisory group assiste l’évaluateur qui en est l’animateur, l’instance d’évaluation pilote les travaux, en exécute tout ou partie, et apporte des réponses aux questions évaluatives assorties de propositions. Cette dernière est animée par une personnalité extérieure à l’institution commanditaire, le « président de l’instance d’évaluation », gage de son indépendance.

8 « La manière dont sont disposés les pièces ou les organes d’un appareil ou le mécanisme lui-même ; l’ensemble de moyens disposés conformément à un plan (dictionnaire Robert).

Comme nous l’avons rapporté, dans le secteur de la santé en France, la mise en place d’un groupe d’acteurs, selon le format qui vient d’être décrit, est un principe adopté et intégré dans les pratiques d’évaluation pour assister le chargé d’évaluation d’une institution. Selon les milieux, il est désigné par plusieurs termes : comité de suivi de l’évaluation, comité d’évaluation, groupe d’évaluation ou encore, comité de pilotage, terme dévolu à une instance de décision plus formelle. Si l’appellation « instance d’évaluation » a intégré le vocabulaire, la distinction entre ce groupe et un comité de pilotage est souvent assez floue, ce que traduit le glissement sémantique, car la présidence de ce groupe est souvent confiée à un responsable de l’institution commanditaire (Jabot et al., 2010).

Des divergences de vues et de mises en œuvre existent, s’agissant du statut, de la composition du groupe de suivi de l’évaluation et du mode de fonctionnement du dispositif. Ainsi que nous venons de l’aborder, l’animateur du groupe n’est pas toujours extérieur à l’institution. Par ailleurs, toutes les parties prenantes ne sont pas toujours inclues dans le groupe ou ne figurent pas dans le processus dans son ensemble. Enfin, le moment où l’évaluation est ouverte à la concertation, varie selon les institutions, avec des conséquences sur le rôle des partenaires dans l’évaluation et par extension sur les suites de l’évaluation. Les dispositifs en place pour l’évaluation des PRSP étaient loin d’être identiques dans les régions (cf. analyse des seize régions) et expliquent pour partie l’approbation ou le désaveu des travaux par les différentes parties prenantes.

Enfin, comme nous allons le voir maintenant, la crédibilité tient aux principaux acteurs responsables de la démarche.