Contribution de l’évaluateur

Les participants perçoivent le rôle de l’évaluateur comme celui d’un

accompagnateur, d’un animateur, d’un facilitateur, d’un leader, d’un coach.

L’expertise de ce dernier se situe au niveau méthodologique, c’est-à-dire que c’est lui qui guide les parties prenantes au travers les différentes étapes de l’évaluation, car c’est lui qui détient le savoir en la matière. Il doit permettre aux parties prenantes de prendre connaissance des options évaluatives qui s’offrent à elles, tant au niveau des

approches et modèles évaluatifs qu’au niveau des considérations méthodologiques de

l’évaluation, et ce, en fonction des besoins et des attentes qu’elles expriment.

[Les évaluateurs] ont eu un accompagnement très, très rigoureux au niveau de la méthodologie, de comment faire nos actions. C’était très scientifique. Aussi, ils ont amené beaucoup d’outils d’animation, de réflexion sur les sondages qu’on a passés, d’animation de focus group, etc. Des outils cartographiques, visuels, à utiliser pour bien mobiliser les gens, pour penser à la représentativité de notre échantillon. Bref, je dirais que c’était un accompagnement très méthodologique.

Aux dires des participants à l’étude, la qualité de l’accompagnement offert par l’évaluateur dépend de sa capacité à établir une bonne relation avec les parties prenantes et cette capacité est hautement tributaire de ses compétences et qualités, voire de sa personnalité. Dans le cadre d’une évaluation crédible, une part importante de sa contribution se situe en amont de la démarche, au moment où les orientations de l’évaluation doivent être décidées; l’approche d’un évaluateur à l’écoute, qui fait preuve d’ouverture, de sensibilité et d’empathie, peut aider à instaurer les bases d’une relation de confiance et dissiper les craintes chez certaines parties prenantes.

Une question d’attitude, de savoir-être, de façon de travailler. C’est beaucoup dans l’horizontal, dans la coconstruction, dans l’écoute, de poser des questions et de comprendre le projet, pour après ça réagir et rebondir. C’est un peu ça le rôle à mon avis d’un évaluateur, d’être à l’écoute, de comprendre le projet et de reposer des questions, de pousser la réflexion, de remettre en doute, de remettre en question […].

Je vous dirais beaucoup d’ouverture et beaucoup d’empathie, pour être capable de se mettre à la place des gens et comprendre leur réalité.

Un grand sens des relations humaines, ça c’est sûr! […] D’être capable de s’adapter aux personnes qui sont là.

Sa façon d’animer aussi. C’est une personne très conviviale. C’est une personne à qui on a le goût de se confier et de dire les choses aussi. Une personne qui a beaucoup d’ouverture, qui comprend rapidement les enjeux […]. Elle comprenait très rapidement quand on nommait des enjeux et elle rebondissait bien pour reposer les bonnes questions et aller pousser et aller creuser. Donc elle avait autant les

connaissances théoriques, en termes d’évaluation, que les

connaissances du milieu, avec une attitude très positive et ouverte de coconstruction.

L’évaluateur doit aussi posséder des aptitudes en matière de négociation et d’animation et faire preuve d’une bonne capacité d’adaptation. Ces qualités s’avèrent d’autant plus nécessaires dans un contexte de collaboration entre différents acteurs, occupant différents positionnements à l’intérieur du programme évalué, parfois ponctué de divergences d’opinions ou d’imprévus. Il doit être en mesure de dire les

choses telles qu’elles sont et ne pas se situer dans un discours de langue de bois, de

façon à alimenter les parties prenantes en temps réel. Par exemple, lorsque l’évaluateur assiste aux rencontres d’un comité d’évaluation, ses interventions peuvent faciliter l’émergence du consensus entre les diverses parties en présence. Plusieurs participants interrogés ont affirmé que l’évaluateur est souvent celui qui

initie certains concepts, certains outils et qu’ensuite, les parties prenantes sont amenées à réagir face aux éléments proposés par ce dernier.

Ce n’était pas une dictature, on avait notre mot à dire. Et le but c’était de coconstruire quelque chose aussi. […] Il y avait un échange qui se faisait aussi et je pense que c’est important.

C’est [l’évaluateur] qui avait essayé de leader ces rencontres-là. Nous on était là pour écouter et intervenir. C’est quelqu’un qui sait prendre sa place aussi, dans les bons moments. Et aussi, […] c’est qu’il n’est pas forcément envahissant, il sait s’ajuster selon nos délais, selon les impondérables […]. Donc il a été très souple […] par

rapport à comment se déroulait le projet.

L’évaluateur doit impérativement posséder une aptitude à bien vulgariser et un esprit

de concision pour expliquer les concepts inhérents à l’évaluation aux parties

prenantes pour qui le vocabulaire et le langage propres à l’évaluation demeurent souvent étrangers et complexes. L’évaluateur doit prendre le temps de les accompagner dans leur appropriation des notions évaluatives, de façon à leur rendre

accessibles l’évaluation et ses notions.

C’est de garder la motivation de la part de l’évaluateur qui accompagne. De vulgariser et de rendre le truc le plus concret possible […].

Je trouve qu’il y a encore du travail à faire au niveau des experts. Ils s’emballent dans leur évaluation et ils nous sortent des termes… Ouf! Avoir la patience de transmettre ses savoirs.

Je pense que j’aurais aimé ça que cette personne-là soit plus présente à mes côtés sur le terrain […]. Effectivement, je me serais sentie plus épaulée, mais en même temps, je pense que cette personne-là n’était pas la meilleure pour vulgariser et rendre la démarche conviviale.

Aux yeux des participants, une première étape cruciale dans le rôle d’un évaluateur demeure au niveau de sa compréhension du programme à évaluer et de l’organisation ou du milieu duquel il relève. Lorsque cette étape est lacunaire, l’évaluation qui en découle s’en trouve négativement affectée et ne peut aspirer à être jugée comme étant crédible. L’évaluateur doit pouvoir saisir la complexité du programme, s’imprégner de la réalité de l’organisation et ainsi mieux situer les orientations de l’exercice évaluatif et les besoins des parties prenantes. Si l’évaluateur possède une expertise ou des intérêts connexes avec le programme évalué, cela peut constituer une valeur ajoutée, car sa compréhension du contexte lié au programme et à la population qu’il dessert s’en trouve facilitée et plus complète.

Il faut que l’évaluateur prenne le temps de bien prendre connaissance du milieu. […] C’est ça la plus grande qualité qui est recherchée, la capacité de s’imprégner du milieu […], la capacité de l’évaluateur d’être bien à l’écoute de la réalité du milieu qu’il doit évaluer. Il faut qu’on réussisse à le comprendre et qu’il réussisse à

comprendre pourquoi on en est venu à créer ce projet-là. […] si je veux me donner à fond dans quelque chose, il faut que je la maitrise. Donc, dans ma tête, l’évaluateur externe doit faire la même chose. Une bonne capacité à comprendre le contexte de l’organisation qui est accompagnée, autant sur les besoins que sur les défis et les limites. C’est sûr que d’avoir une expertise et une connaissance du milieu quand on fait de l’évaluation, c’est un plus. Parce que la personne va connaitre les enjeux, les dynamiques, va connaitre aussi les bailleurs de fonds du milieu et comment ils marchent.

Lorsque questionnés sur les qualités recherchées chez un évaluateur, les participants évoquent aussi des aspects en lien avec le professionnalisme, l’éthique de travail et la

Mais c’est sûr que l’avantage d’avoir une démarche avec un

évaluateur externe, c’est sûr que c’est le regard externe aussi. […] Le bien qu’il soit externe, il est objectif, il ne prendra pas parti et il ne dira pas d’emblée que c’est un super bon projet, parce qu’il ne connait pas comme nous on connait de l’interne […].

Je pense que ça prend quelqu’un. […] Quand on dit une tierce partie neutre, c’est vraiment neutre, mais qui est capable d’aller vérifier avant de tirer des conclusions […].

La contribution de l’évaluateur a également été évoquée par certains participants à un autre niveau, soit celui de l’accompagnement post évaluatif dans l’appropriation des résultats de l’évaluation et la mise en œuvre de ses recommandations, notamment afin de faciliter le transfert des résultats théoriques vers la pratique et le terrain. Pour ces participants, cette dimension de l’évaluation est souvent négligée par les évaluateurs, dont le mandat financé se conclut souvent avec la publication du rapport évaluatif. Le rôle de l’évaluateur à cet égard ne fait toutefois pas clairement consensus dans les propos recueillis. Pour certains participants, une évaluation crédible devrait comprendre un accompagnement de l’évaluateur quant à cette étape cruciale de l’évaluation. Pour d’autres participants, la crédibilité de l’évaluation ne semble pas en dépendre; ils considèrent plutôt que cela relève de leur propre responsabilité. Quoi qu’il en soit, la mise en œuvre des recommandations demeure un défi de taille pour plusieurs milieux et l’accompagnement offert par l’évaluateur à cet égard dépend bien souvent des ressources financières disponibles. Indépendamment de ces difficultés, les participants mentionnent qu’ils s’attendent à ce que l’évaluateur soit en mesure de leur fournir un rapport évaluatif simple, adapté, accessible et facilement utilisable, de façon à faciliter cette appropriation et cette mise en œuvre des résultats et recommandations de l’évaluation.

le financement du projet est terminé et personne ne va le faire

bénévolement. Souvent, c’est ça, on pense en termes de projet, au lieu de penser en termes de pérennité, sur du long terme, sur de

l’accompagnement.

Le partage des connaissances en fin [d’évaluation]. […] dans le meilleur des mondes, [l’équipe] aurait eu le financement pour faire un truc avec les partenaires, pour que tout le monde s’approprie un peu les résultats de recherche.

L’idée que les résultats ne soient pas justes lus dans un rapport et expliqués par l’équipe d’évaluation, mais aussi que concrètement, les gens se les approprient, en discutent et que ça puisse plus facilement donner des changements concrets. […] C’est un côté qu’on n’a pas réussi à financer. […] Idéalement, il y aurait même une expertise sur c’est quoi les activités, les façons de s’assurer que les parties

prenantes s’approprient bien et ça, ça va au-delà d’une discussion, donc quasiment un autre champ de compétence.

Ce qu’on s’est rendu compte, il faut vraiment que les gens qui nous accompagnent connaissent bien le travail de notre organisation, soient de très bons vulgarisateurs, connaissent bien ce qu’est

l’évaluation, mais soient en mesure de bien le vulgariser auprès de[s] gens de l’organisme et de leur fournir les outils pour qu’après ils puissent l’utiliser. Et ça, c’est hyper important.

La contribution de l’évaluateur demeure importante dans la crédibilité accordée par les parties prenantes à une évaluation, notamment en lien avec ses capacités à rendre accessible l’évaluation. De par ses habiletés personnelles et relationnelles ainsi que ses compétences évaluatives et méthodologiques, l’évaluateur joue un rôle d’accompagnement clé dans le déroulement d’une démarche évaluative crédible. Ce rôle est déterminant particulièrement en début de processus, lorsque le lien de confiance s’établit entre les acteurs présents et lorsqu’il tâche de s’imprégner de la réalité des parties prenantes pour proposer les bonnes avenues pour engager l’évaluation.