La démarche méthodologique recense des forces qui lui confèrent un potentiel de retombées intéressantes et pertinentes. En effet, le guide d’entretien élaboré à partir du cadre conceptuel et théorique retenu constitue une force en soi, car il présente une structure ouverte et flexible, de façon à préserver l’émergence des données. De plus, bien que cette perspective théorique s’appuie sur la littérature liée à l’utilisation de l’évaluation, il demeure qu’elle découle du discours des parties prenantes (Taut et Alkin, 2003). Cette perspective a donc permis d’organiser et d’orienter adéquatement la collecte des données. En réalisant des entrevues auprès de différentes parties prenantes, le phénomène de la crédibilité en évaluation a pu être étudié en s’appuyant sur des expériences authentiques et des contextes réels vécus par ces dernières. Par ailleurs, le fait que la chercheuse ait été externe aux cas évaluatifs garantissait une plus grande aisance dans le discours des participants interrogés, contrairement à
l’étude de Taut et Alkin (2003), où le chercheur a joué un double rôle à cet égard (évaluateur et intervieweur). De plus, la circularité entre les phases de collecte et d’analyse des données a permis de générer des résultats riches, issus d’un ancrage empirique.
La démarche méthodologique élaborée comprend également des limites qu’il importe de mentionner et de reconnaitre. Puisque cette démarche est réalisée dans un but exploratoire et compréhensif, un nombre restreint de participants a été envisagé. Aucune généralisation ne peut ainsi être inférée quant au phénomène de la crédibilité en évaluation de programmes.
Puisque la chercheuse étudie les perceptions de différentes parties prenantes ayant respectivement pris part à des démarches d’évaluation distinctes, il demeure impossible d’appréhender réellement toutes les subtilités du contexte inhérent à ces démarches et d’en comprendre pleinement tous les enjeux qui en découlent. Pour pallier cette situation, la chercheuse a procédé à un questionnement en profondeur auprès des parties prenantes afin de bien cerner le contexte évaluatif auquel elles ont participé. Il demeure que cela n'a permis néanmoins de documenter qu’un seul côté de la médaille, d’autres acteurs, incluant l’évaluateur, pouvant entretenir des propos nuancés et avoir une version des faits différente.
Puisque les parties prenantes inhérentes à un programme et à son évaluation ne se positionnent pas toutes de façon similaire et n’entretiennent pas les mêmes intérêts, il apparait légitime qu’elles ne partagent pas les mêmes perceptions à l’égard de la démarche évaluative et du coup, à l’égard de ce en quoi constitue une démarche évaluative crédible. La démarche méthodologique mise de l’avant aspirait donc à interroger des parties prenantes appartenant à différents groupes et manifestant des opinions distinctes ou nuancées, permettant d’étudier le concept de la crédibilité sous
l’angle de la nature du positionnement des parties prenantes. Il était ainsi prévu de sélectionner des participants relevant des différentes catégories de parties prenantes présentes dans la typologie de Daigneault et Jacob (2012). Néanmoins, malgré les efforts déployés en ce sens, seules deux catégories de parties prenantes ont pu être jointes (les décideurs, concepteurs et gestionnaires ainsi que les responsables de mise en œuvre). De plus, les décideurs, concepteurs et gestionnaires ont été beaucoup plus nombreux à répondre à l’appel que les responsables de mise en œuvre. Cette situation obtient certainement une incidence sur l’atteinte d’un équilibre au niveau de la représentativité et ne permet ainsi que de dresser un portrait partiel de la perception des parties prenantes à l’égard de la crédibilité en évaluation de programmes. Ces limites sont plus amplement discutées au cinquième chapitre de la thèse.
Alors qu’il était initialement prévu d’approfondir l’étude de cas d’intérêts spécifiques en questionnant des parties prenantes occupant des positionnements distincts au sein de ces mêmes cas, les efforts de sollicitation encourus en ce sens se sont avérés vains, n’obtenant que peu de réponses des participants contactés. En effet, seul un cas évaluatif a pu être étudié par le discours de deux parties prenantes y étant associées. La stratégie prévue pour la sélection des participants à l’étude à partir d’informateurs clés et de l’identification de cas d’intérêts (évaluations crédibles et évaluations non crédibles) visait à garantir la richesse des informations recueillies en ciblant des parties prenantes ayant des expériences pertinentes à partager. Peu de démarches en ce sens ayant abouti, la chercheuse a été contrainte de procéder autrement. Les recherches Internet réalisées subséquemment ont tout de même été concluantes et ont permis de constituer un bassin important de parties prenantes à interroger. Les premières prises de contact établies avec les participants ayant manifesté un intérêt à prendre part à l’étude lors du recrutement cherchaient notamment à s’assurer de la pertinence de l’expérience évaluative de ces derniers dans le cadre de l’étude.
Il importe de mentionner que les recherches Internet réalisées afin d’identifier des cas évaluatifs n’ont permis d’identifier qu’un nombre restreint de démarches d’évaluation parmi toutes celles existantes. Nombreux sont les milieux qui ne partagent pas ce type d’informations publiquement. Cela explique le fait que les cas évaluatifs étudiés proviennent majoritairement d’organisations à but non lucratif, lesquelles sont tenues d’exploiter leurs ressources financières dans un souci de transparence et affichant parfois ouvertement leur participation à des processus d’évaluation.
Finalement, puisque la crédibilisation est un processus amené à évoluer, l’étude de cette évolution des perceptions des parties prenantes n'a pu être possible que par la capacité des participants à réfléchir sur leurs perceptions antérieures en se transposant au sein d’évènements passés.