Positionnement des participants à l’étude

Une première limite à considérer dans la lecture des résultats est liée au positionnement des participants interrogés. Bien que les contraintes rencontrées en ce sens ont été relevées au chapitre traitant de la démarche méthodologique, leur importance dans la manière d’interpréter les résultats de recherche justifie d’en discuter à nouveau dans ce chapitre.

Il avait été envisagé de réaliser des entretiens auprès des différents groupes de parties prenantes de la typologie de Daigneault et Jacob (2012), à savoir : 1) les décideurs, concepteurs, et gestionnaires; 2) les responsables de la mise en œuvre; 3) les bénéficiaires directs et indirects, et; 4) les citoyens. À titre de rappel, diverses tentatives de recrutement de participants potentiels ont été initiées pour diffuser l’invitation à prendre part à l’étude, notamment à l’aide d’informateurs clés et par le biais d’un repérage sur Internet. Un vaste bassin de parties prenantes pertinentes a donc été sollicité pour participer à un entretien par le biais de ces appels à volontaires. Néanmoins, seuls des participants issus des deux premiers groupes (gestionnaires et responsables de mise en œuvre) ont accepté de participer à l’étude. La définition et la contextualisation proposées dans le cadre de cette thèse quant à l’évaluation crédible s’inscrivent donc dans l’axe de ces groupes plus spécifiquement, ce qui ne permet d’aspirer à prétendre dresser un portrait global de la perception des parties prenantes à l’égard de l’évaluation crédible. Ces groupes demeurent assurément plus près des

programmes évalués que des membres de la société civile de façon plus élargie, par exemple. Ils entretiennent aussi des intérêts qui sont en lien avec leurs activités professionnelles, ce qui comporte une différence fondamentale de la nature plus personnelle des préoccupations que peuvent présenter des bénéficiaires. Les résultats reflètent le discours de participants mus par des motivations liées à leur pratique professionnelle. Il n’est donc pas surprenant de constater l’importance de facteurs liés à l’opérationnalisation simplifiée du processus évaluatif, par exemple. La perception de la crédibilité serait certainement différente pour un utilisateur de services qui bénéficie d’un programme pour des raisons personnelles, plus sensibles.

En effet, il aurait été pertinent de questionner les bénéficiaires des programmes qui ont été évalués. Comment perçoivent-ils l’évaluation crédible et comment conçoivent-ils leur participation à ce processus? Les bailleurs de fonds incarnent aussi un autre type de parties prenantes qu’il aurait été intéressant d’entendre, d’autant plus que l’importance des exigences qu’ils formulent en matière d’évaluation a été relevée à maintes reprises par les participants questionnés. Quels parallèles auraient pu être créés entre le discours des bailleurs de fonds qui exigent l’évaluation et celui des autres parties prenantes qui doivent s’y engager, notamment en tant que dispensateurs ou utilisateurs de services? Leurs témoignages, caractérisés par un positionnement et des intérêts distincts à ceux des participants à l’étude, auraient certainement amené une autre perspective aux résultats.

Bien que les parties prenantes relevant du grand public ou de la société civile n’aient pas été interrogées, notamment car elles demeurent généralement plus éloignées des processus évaluatifs, leur perspective demeure intéressante pour compléter le portrait ici dressé. Les travaux de Jacobson et Azzam (2016, 2018) apportent un éclairage en ce sens et permettent d’explorer l’influence des composantes méthodologiques ainsi que les effets de l’implication des parties prenantes au sein de la démarche évaluative

sur la perception du grand public relativement à la crédibilité d’une évaluation. Les résultats de ces chercheurs indiquent que la méthodologie de l’évaluation ainsi que la nature des résultats évaluatifs (résultats positifs ou résultats négatifs envers la valeur du programme) peuvent avoir une incidence sur la crédibilité et les attitudes du public face à un programme (Jacobson et Azzam, 2016). Ils démontrent également que les citoyens jugent davantage crédibles les conclusions obtenues par un évaluateur que celles obtenues par un groupe de parties prenantes ayant conduit l’évaluation, mais que cette différence était amoindrie lorsque les parties prenantes étaient décrites comme étant compétentes et crédibles (Jacobson et Azzam, 2018).

En continuité, certains évaluateurs seront sans doute portés à affirmer qu’ils demeurent eux-mêmes parties prenantes à l’évaluation crédible et que leur voix a été omise dans la recherche. Cette revendication demeure légitime. Ils auraient inévitablement un revers de la médaille à présenter relativement aux situations évaluatives explorées. Néanmoins, la démarche réalisée dans le présent contexte s’orientait vers l’étude de la perception des parties prenantes plus précisément, car celle des évaluateurs a déjà fait l’objet de publications et de réflexions. D’ailleurs, la notion de crédibilité dépeinte dans le cadre des premiers chapitres de cette thèse demeure celle construite par l’évaluateur. En conformité avec les objectifs de recherche poursuivis, le concept de crédibilité en évaluation ici exposé est plutôt défini et mis en contexte à partir du discours des parties prenantes.

De plus, parmi les participants interrogés, les parties prenantes associées au premier groupe, composé de gestionnaires, ont été beaucoup plus nombreuses. Le traitement et l’analyse des données réalisées n’ont pu permettre d’établir de distinctions spécifiques à l’égard du positionnement des participants, en raison de la surreprésentation de ce groupe. Il n’est donc pas possible de dégager des similitudes ou des divergences entre les deux profils de groupes de parties prenantes qui ont

répondu à l’appel. Les gestionnaires ont-ils une perception de l’évaluation crédible davantage orientée vers la prise de décisions et priorisant l’efficacité, alors que celle des responsables de la mise en œuvre est orientée vers la pratique quotidienne et les besoins de la clientèle? Les données récoltées tendent en ce sens, mais demeurent insuffisantes pour en statuer. Cette surreprésentation du groupe de gestionnaires expliquerait-elle la récurrence de propos en lien avec l’importance de la culture organisationnelle et celle de la disponibilité des ressources dans le discours des participants, puisqu’elles concernent directement ce type de parties prenantes qui occupent des fonctions de gestion?

Des participants à l’étude ont été invités à fournir des pistes pouvant potentiellement expliquer les difficultés de la chercheuse à rejoindre certains regroupements de parties prenantes dans le cadre de l’étude. Parmi les pistes évoquées, il y aurait celle concernant les gestionnaires, qui, de par la nature de leurs fonctions, seraient davantage concernés par les exercices évaluatifs et auraient donc répondu en plus grand nombre. Certains gestionnaires interrogés ont aussi mentionné avoir agi en tant que porte-paroles de leur équipe parce qu’ils ne souhaitaient pas imposer une tâche additionnelle aux membres de leur personnel qui se sont déjà vus exposés à du travail supplémentaire avec l’évaluation. Un autre scénario potentiel proposé par les participants serait en lien avec le manque de temps ou le peu d’intérêt des responsables de mise en œuvre ou les agents de terrain, qui peuvent parfois se montrer peu enthousiastes vis-à-vis les démarches évaluatives et le seraient encore moins face à une étude relativement à l’évaluation. Ainsi, différentes pistes explicatives, ou une combinaison de ces pistes, sont envisageables afin de comprendre les difficultés rencontrées par la chercheuse à recruter des parties prenantes occupant distincts positionnements au sein des programmes qui ont été évalués. Il s’avère difficile de proposer des pistes afin de rejoindre ces groupes qui

n’ont pas répondu à l’appel dans le cadre de travaux éventuels. Un questionnaire en ligne serait peut-être moins intrusif et exigeant que les implications liées à la participation à un entretien téléphonique, mais il ne permettrait pas une aussi grande richesse au niveau des résultats. La mise en place d’un forum de discussion sur une plateforme virtuelle, inspiré de la technique du groupe nominal, pourrait aussi représenter une alternative à envisager pour entrer en contact avec ces groupes et connaitre leur perspective quant à la crédibilité en évaluation de programmes.

La discussion de ces limites met aussi en évidence l’importance d’entamer une réflexion adéquate, tant de la part de l’évaluateur que de celle des différentes parties prenantes, à l’amorce d’une démarche évaluative. En effet, une démarche peut mettre en scène une variété de parties prenantes et cette variété interagit assurément avec les différents facteurs d’influence de la crédibilité. Bien qu’elles apparaissent avoir des objectifs qui convergent à l’intérieur d’un même programme, des parties prenantes qui occupent des positionnements distincts peuvent entretenir des intérêts plus spécifiques qui leur sont propres, teintant du coup la façon dont elles conçoivent l’évaluation crédible. Qui plus est, à l’intérieur d’un même groupe de parties prenantes, cette perception est susceptible de varier, car il serait erroné de croire que les regroupements de parties prenantes sont homogènes à ce niveau. Une même personne peut porter plusieurs chapeaux et sa réflexion peut être relativisée par distincts angles de perception d’une même situation. Les parties prenantes ne partagent pas toutes les mêmes antécédents évaluatifs, la même formation, voire les mêmes valeurs intrinsèques. Ces aspects peuvent certainement jouer sur la perception qu’elles entretiennent face à l’évaluation et à la crédibilité qu’elles y accordent.