Facteurs influençant l’utilisation des évaluations

Plusieurs facteurs peuvent influencer l’utilisation des évaluations. Théoriquement, les facteurs émergent de traditions conceptuelles regroupées autour des théories du changement (Ottoson, 2009): théorie de l’utilisation des connaissances incluant les connaissances issues de la recherche (Sarah & Judith, 2009), théorie de la diffusion des innovations en sociologie et communication (Ashley, 2009), théorie de l’implantation de politique venant des sciences politiques et de l’administration publique qui met en œuvre les politiques (DeGroff & Cargo, 2009), théorie de transfert des technologies et des sciences (LaBelle Oliver, 2009), et théorie du transfert de connaissances empruntée à la linguistique et à la communication (Davison, 2009). King et coll. (1984) proposent, à partir d’une étude de cas dans le domaine de l’éducation, un ensemble de conditions affectant les utilisations d’évaluation. Ils proposent des facteurs relatifs aux conditions de communication des informations et au contexte décisionnel dans lequel les informations sont officiellement utilisées (King & Pechman, 1984).

Ces théories du changement et leurs applications à l’évaluation (Ottoson, 2009; King & Pechman, 1984) proposent plusieurs facteurs affectant l’utilisation des évaluations dont le temps, les ressources, l’environnement interne et externe, l’objet de changement. Ottoson (2009) énonce que la disponibilité des facteurs de ressources et de temps affecte l’utilisation ou la non utilisation des évaluations. L’environnement interne à l’institution dans lequel l’évaluation se déroule permet de faciliter les types d’utilisation à des degrés variés selon le style de gestion, de soutien et d’engagement des détenteurs d’enjeux, ainsi que selon les pratiques habituelles et la ligne d’autorité de l’institution. En plus de l’environnement interne, l’environnement externe peut affecter l’utilisation des évaluations. En effet, l’agenda des détenteurs d’enjeux peut ne pas présenter de fenêtre d’opportunité pour introduire des changements. Les divergences entre les valeurs des détenteurs d’enjeux peuvent orienter l’utilisation d’instrumentale ou conceptuelle. Le contexte socio-politique du moment peut être plus ou moins favorable au changement. Finalement, des facteurs relatifs à l’objet de changement, soit l’innovation, la connaissance, la technologie, le type de programme évalué, la mission du programme, orientent l’utilisation possible des évaluations.

Ces facteurs propres à l’environnement, aux individus impliqués ou touchés par l’évaluation, au programme, rejoignent les propositions faites par Mowbray pour maximiser l’utilisation (1988): renforcer l’image de l’évaluation utile, porter attention à la formulation des questions d’évaluation, proposer et planifier l’évaluation en cohérence avec l’intervention, mettre en place des conditions pour mener une évaluation de qualité (comité de suivi, compétences de l’évaluateur, etc), s’assurer que les résultats soient traduits et compris par les détenteurs d’enjeux, notamment en appuyant les techniques de communication efficaces, et diffuser les résultats en fonction du contexte.

Les études empiriques menées depuis les années 1970 sur l’utilisation des évaluations confirment l’importance des facteurs liés aux individus, à l’évaluation, au contexte politique et à la communication/dissémination (Johnson, 1998).

La première revue de littérature sur les utilisations d’évaluations et les facteurs affectant l’utilisation couvre les études empiriques de 1970 à 1985 (Cousins & Leithwood, 1986) puis de 1986 à 2005 (Johnson et al., 2009). Les facteurs émergeant de ces revues de littérature se regroupent en contexte décisionnel et politique, mise en œuvre de l’évaluation, compétences de l’évaluateur, implication des détenteurs d’enjeux.

Plus précisément, l’engagement dans le milieu institutionnel par rapport à l’évaluation, le climat, les informations nécessaires à la prise de décision, la présence d’informations contradictoires au-delà des résultats d’évaluation, l’ouverture des décideurs à l’évaluation et leurs caractéristiques sociales et professionnelles, orientent le type d’utilisation de l’évaluation (Cousins & Leithwood, 1986; Johnson, et al., 2009). Les caractéristiques propres à l’évaluation menée, sa qualité technique, son objectivité et sa pertinence, la cohérence avec les informations nécessaires à la prise de décision, la qualité de la communication et son à-propos ont démontré un lien avec les types d’utilisation (Cousins & Leithwood, 1986; Johnson, et al., 2009). Dans les PVD, les gestionnaires ne reçoivent pas toujours l’information sous le format utile et au moment opportun pour prendre une décision (Horton, 1999). Au niveau local, l’à-propos des résultats d’évaluation n’affecte pas toujours l’utilisation (Pechman, 1982) contrairement aux macro-organisations comme la banque mondiale (Grasso, 2003) qui, selon leur politique, incorporent l’utilisation des résultats d’évaluation dans leur gestion. En Zambie, la structure de pouvoir qui prend les décisions politiques, qui applique ou non les recommandations de projets dépend d’un bailleur externe malgré la participation des gestionnaires de programmes aux évaluations

(Rebien, 1996). L’organisation des institutions qui financent les évaluations affecte l’utilisation future des résultats des évaluations (Balthasar, 2009).

Les études empiriques menées récemment, notamment depuis le plaidoyer pour l’implication des détenteurs d’enjeux dans le processus et/ou dans la rétrocession des résultats des évaluations, ont investigué l’engagement/l’ouverture/l’implication des acteurs dans l’évaluation et montrent une relation positive entre implication et utilisation (Johnson, et al., 2009) sauf pour une étude (Santhiveeran, 1994).

Les facteurs qui influencent l’utilisation des résultats, liés aux individus, à l’évaluation, au contextuel politique, à la dissémination, sont cohérents avec les études menées dans le domaine du transfert de connaissance. En effet, les modalités de communication, le processus bureaucratique, les facteurs politiques et le sujet même de l’étude sont des facteurs qui influencent le transfert de connaissance et mènent à des utilisations ou non des connaissances (Rich, 1991). Le processus de transfert, notamment la participation des acteurs en cours de processus, est un sujet étudié dans le domaine du transfert des connaissances.

Cet intérêt pour l’implication des acteurs dans les évaluations se retrouvent également dans les études menées dans le domaine de l’appréciation de la performance. En effet, depuis l'extension des mesures de performance à des dimensions non financières, cette littérature s'est historiquement concentrée sur la définition du terme performance et la multiplication des cadres conceptuels, puis sur la méthodologie de la mesure, la mise en relation avec la stratégie organisationnelle, et récemment les études d'impact des systèmes de mesure de la performance. Dans l’industrie, Ong et coll. mettent en évidence des facteurs influençant l’implication des acteurs dans les systèmes de mesure de performance (2008). Ces facteurs concernent le produit, l’intervention, les stratégies organisationnelles dont les stratégies de communication interne, la culture organisationnelle, l’ouverture organisationnelle (Ong & Teh, 2008). Les solutions proposées pour renforcer l'effet des systèmes de mesure de la performance insistent sur la prise en compte du contexte organisationnel et l'appropriation du système de mesure de la performance par des approches collaboratives et participatives (Adair, Simpson, & Casebeer, 2006). Les modalités préconisées sont aussi du ressort de la participation des acteurs : les techniques de construction de consensus pour le choix d’un

modèle et pour le développement d’indicateurs. Ces techniques sont bien reçues par les participants (Cholewa, Moran, & Cheung, 2010).

Même si la participation est encouragée dans un processus pour faciliter l’appropriation et ultimement l’utilisation des résultats d’évaluation, des résultats d’appréciation de la performance et des connaissances, les ressources sont actuellement principalement regroupées autour de la préparation et de la réalisation d’une évaluation (Forss, et al., 2002) plutôt que sur la rétroaction concernant les leçons apprises et les résultats d’une évaluation. La participation des détenteurs d’enjeux peut signifier leur implication précoce dans l’évaluation, continue et active (Reineke, 1991), ou encore leur implication dans le développement du devis et/ou dans l’interprétation des résultats (Weiss, 1998b).