De même, la démarche évaluative demande un effort avant tout symbolique aux acteurs : se remettre en question ou accepter la critique ne sont pas des traits spontanés du comportement humain ! Comme le rappelle A. Lopez, « derrière toute évaluation, il y a un pouvoir qui se sent menacé » et il faut dès lors « trouver le chemin permettant de satisfaire une pluralité d’intérêts »3. Elle comporte également des risques : notamment la tentation de la normalisation stérilisante, l’étouffement de l’innovation ou encore la démotivation des acteursi. Ces risques sont loin d’être négligeables et il ne faudrait pas non plus tomber dans l’excès inverse, celui d’une évaluation chronophage qui – surtout si elle est imposée à ressources humaines et financières constantes – détournerait au-delà du « raisonnable » motivations et investissements de l’action à son seul bénéfice. Nous n’en sommes pas là dans le champ du soin et de l’aide aux personnes sans chez soi – tant s’en faut ! – même si nous partageons le constat de C. Bachman qui écrivait en 19974 : « l’évaluation tombe régulièrement sur ces petits canards de l’intervention publique que sont les dispositions prises au bénéfice des populations démunies. On ne compte plus les travaux sollicités autour du RMI, des dispositifs de développement social des quartiers, des mesures de lutte contre le chômage. Au sein de l’Education nationale, les ZEP ont été longuement rôties sur le gril évaluatif. Rien de la sorte n’est arrivé aux classe préparatoires ou aux grandes écoles, qui sont intouchables ». En matière d’évaluation aussi, il s’agit de prôner des politiques équitables
i Voire de souffrance au travail quand l’évaluation devient permanente, qu’elle est perçue comme injuste ou déconnectée des réalités et des contraintes du terrain, ou qu’elle vide le travail de son sens… et, de ce fait, perd de vue ce qui devrait être un de ses objectifs premiers.
et justes, à la hauteur des financements consentis… Dans ces conditions – et puisque l’évaluation a, bien entendu aussi, un coût matériel - il est absolument vital que ses objectifs soient partagés, que toute suspicion soit levée sur d’éventuels objectifs non dits, qu’elle se construise hors du registre de la controverse ou de la sanction.
Encadré n° 19 : Les écueils de l’évaluation.
Confondre les différents objectifs possibles d’une évaluation : différentes qualité d’une action ou d’un programme peuvent être évaluées (simultanément au nom). Il s’agit de distinguer l’évaluation de sa pertinence (l’adéquation de ses objectifs aux besoins des personnes), de sa cohérence (l’articulation de ses différentes composantes), de son efficacité (l’évaluation des résultats obtenus en regard des objectifs poursuivis), de son efficience (le rapport entre les ressources utilisées et les résultats obtenus) et de son impact (les effets – attendus ou non – observés non seulement dans la population des usagers, mais dans la population cible dans son ensemble).
Confondre objectifs et indicateurs, et ses corollaires : définir ses objectifs en fonction des indicateurs disponibles mais également postuler que les bénéfices d’une action vont de soi et ne nécessite pas d’être interrogés…
Confondre motivation intrinsèque (celle fondée sur le plaisir de l’activité ou, du moins, sur la minimalisation de ses contraintes et de ses coûts) et motivation extrinsèque (celle fondée sur les résultats).
Confondre évaluation et mesure, et son corollaire : négliger ce qui ne peut être mesuré alors qu’il s’agit, justement, de facteurs clés qui doivent être pris en compte. Or d’autres méthodes que la mesure sont disponibles (notamment le jugement d’experts) et, souvent, des méthodes d’estimation (qualitatives ou statistiques) des dimensions non mesurables pourraient être utilisées.
Confondre les résultats passés et les capacités futures : que les performances mises en lumière par l’évaluation du passé prédisent les capacités d’un programme ou d’un dispositif à s’adapter aux besoins futurs est un postulat qui mérite lui-même d’être interrogé !
Oublier les usagers : pour reprendre les propos de F. Bertolotto au sujet de l’évaluation des réseaux de soins mais qui s’appliquent très bien à tous les dispositifs à destination des personnes sans chez soi (dont on a vu à quel point leur parole est souvent disqualifiée et leurs compétences niées), « il est facile et de bon ton de décréter que les usagers doivent être au centre du réseau et pouvoir participer pleinement aux activités de celui-ci. L’expérience pratique montre à quel point ceci est difficile, non pas parce que les usagers ne sont pas qualifiés ou disposés à le faire, mais parce que les enjeux de la participation sociale dans le champ de la santé sont souvent importants et risquent de mettre en cause l’homéostasie du système. A l’heure de la démocratie sanitaire, quand l’exigence de transparence et de qualité des services est un leitmotiv des nouvelles politiques de santé, il semble indispensable que les cahiers des charges de l’évaluation externe des réseaux soient aussi un espace d’expression des usagers, qui permette l’appréciation raisonnée et subjective ».5
Trouver ou retrouver un sens à ce que l’on fait, mieux adapter ou réadapter ces objectifs et ces pratiques aux besoins des personnes dont on s’occupe (notamment quand il s’agit d’agir auprès des personnes sans domicile, dont on a montré l’extrême diversité des parcours, des situations et des besoins), améliorer également les conditions de travail et d’intervention des acteurs sont des objectifs au moins aussi précieux et importants que de simplement justifier les moyens mis en œuvre. Il s’agit de construire ou consolider une culture de l’analyse des pratiques.
On ira plus loin : de notre point de vue, faute de tels objectifs, l’évaluation est condamner à n’être - ou ne devenir - qu’une pratique bureaucratique, purement rhétorique, cédant à un impératif essentiellement idéologique6 et qui ne débouche sur rien ou, dans le meilleur des cas, sur pas grand chose : à court terme, détecter et sanctionner, tout au plus, ceux qui ont à la fois des pratiques défaillantes et l’incapacité de les dissimuler et, à long terme, décrédibiliser l’ensemble de la démarche auprès de tous les acteurs (y compris ceux qui auront été évalués positivement) conscients que l’évaluation sera passée à côté de ses véritables enjeux.
Aux financeurs et aux décideurs, en corollaire, il est utile de rappeler sans cesse ce que l’évaluation ne permet pas. Comme l’ont écrit d’autres auteurs avant nous, « les attentes des décideurs relèvent quelquefois du mythe de la toute puissance de l'évaluation, laquelle serait apte à faire des découvertes inattendues et à apporter des solutions correctrices à toutes sortes de dysfonctionnements. Or, l'évaluation reconstitue une intervention dans toutes ses dimensions, mais elle ne produit pas de révélation ; elle redonne du sens, sans nécessairement justifier ; elle remet en question et parfois dérange. Autant de retombées plus ou moins conformes aux espérances des acteurs ».7
A l’inverse, l’évaluation des interventions sanitaires et sociales en direction des personnes sans chez soi doit absolument s’attacher à réinterroger le bien-fondé des actions entreprises. Avant même d’évaluer les pratiques, c’est bien l’objectif général du projet, la façon dont il est défini et s’inscrit vis-à-vis de l’ensemble des besoins des personnes ciblées et, de ce fait, la façon avec laquelle il s’articule avec les autres dispositifs et les autres offres de service qui doivent être interrogés. Cette première étape de l’évaluation passe bien entendu à la fois par un état des lieux des offres en présence mais également – et surtout – par la parole et le témoignage des usagers, et donc par une démarche participative au sens d’une évaluation coproduite par toutes les parties prenantes (décideurs, opérateurs, usagers)ii. Le modèle d’évaluation participative où la participation des acteurs est maximale est celui proposé par D. Fetterman en 1993 - l’« empowerment evaluation »8 - où les concepts, les méthodes et les résultats de l’évaluation sont utilisés, de façon circulaire, pour renforcer le développement et l’autodétermination des acteurs et leur propension à être parties prenantes de l’évaluation et, ainsi, maximiser les chances de succès du dispositif. S’agissant des personnes sans chez soi, une telle perspective élargie d’abord aux usagers eux-mêmes, encore fort rare, nous paraît particulièrement pertinente.
Recommandations
• Systématiser l’approche participative dans l’évaluation des actions et dispositifs
mis en œuvre pour les personnes sans chez soi.
Quand il s’agit ensuite d’évaluer les pratiques, au regard des besoins qui ont été identifiés initialement par les instigateurs de l’action (mais aussi au regard des besoins exprimés
ii
L’étape ultérieure - celle de la définition des indicateurs utilisés et du choix ou du développement des outils de recueil (notamment auprès des usagers) - passe également par cette démarche participative, particulièrement importante dans cette population des sans chez soi.
ensuite, ici et maintenant, par les « usagers » sans chez soi) et des référentiels de pratique (qui font souvent défaut pour ces populations cibles), un objectif particulièrement intéressant est également d’éclairer systématiquement le contexte et les processus qui ont permis (ou freiné) l’innovation, un élément-clé de la capitalisation de l’innovation et du développement de ce que L. Potvin appelle le développement d’une « science de l’action ».9