Obstacles à la réalisation des évaluations

“Evaluation opens up a can of worms for everybody” Citation d’un intervenant (Skinner, 2004)

Les études disponibles dans le domaine des évaluations distinguent rarement les obstacles rencontrés, ou facteurs d’inquiétude (Région Nord-Pas de Calais, ND), lors de l’initiation d’une évaluation et ceux qui émergent lors du déroulement de l’évaluation (Skinner, 2004), voire même les obstacles à l’utilisation des évaluations. Ce chapitre présente les obstacles à la réalisation des évaluations11.

En évaluation, des outils sont parfois à disposition des praticiens pour faciliter leur contribution (Allard, Bilodeau, & Gendron, 2008; Bilodeau, et al., 2006; Kumar, et al., 2007). Malgré cet outillage, la pratique participative opère dans un contexte spécifique et est soumise à de multiples influences qui peuvent devenir des obstacles (Cummings, 1997; Oakley, 1991), encore appelés barrières ou facteurs défavorables. Les obstacles à la réalisation des évaluations sont de plusieurs ordres.

Agenda de gestion

La conciliation des agendas d’évaluation avec les agendas de la gestion peut s’avérer difficile. Les productions de rapports d’évaluation n’arrivent pas nécessairement en temps opportun pour que les gestionnaires puissent les intégrer dans leur prise de décision (Région Nord-Pas de Calais, ND). Cette remarque est issue de l’expérience d’évaluateurs plutôt que d’une étude de terrain. Dans une étude au sein d’administrations publiques, des gestionnaires tentent de gérer les situations actuelles et de prévoir les situations à venir. Les actions des gestionnaires sont orientées vers le futur plutôt que sur les bilans rétrospectifs

11 _{Ce chapitre traite des obstacles au déroulement, à la réalisation des évaluations « moins » participatives ou}

non libellées comme participatives et exclut, lorsqu’elle est clairement identifiée, la littérature sur les obstacles à l’utilisation des évaluations qui a déjà été présentée dans la problématique.

(Skinner, 2004) qu’apportent la plupart des évaluations. Leurs intérêts portent, pour les gestionnaires d’un certain niveau, sur les stratégies à proposer et à mener alors que l’opérationnalité des interventions et les actions du terrain relèvent de la responsabilité d’autres acteurs (Skinner, 2004). Ainsi les évaluations ayant les projets et les programmes en cours pour sujet ne coïncident pas avec les fonctions et le domaine d’action de certains gestionnaires dans la hiérarchie organisationnelle, ni avec des habitudes de prioriser la gestion de l’institution plutôt que celles de ces interventions (Région Nord-Pas de Calais, ND). De l’opinion de Schwandt et coll. (2006), la préférence pour conserver les actions en cours dépasse la volonté de soutenir des évaluations qui peuvent remettre en question le statu quo.

Disponibilité de ressources

Parmi les obstacles identifiés, certains sont d’ordre technique, soit liés au contenu et au format des méthodes à utiliser lors des évaluations participatives, mais aussi liés aux ressources nécessaires.

Bradley et collaborateurs (2002) rapportent que la participation des communautés dans le processus évaluatif est rare car leur implication nécessite un investissement en temps qui n’est souvent ni prévu ni soutenu financièrement par les bailleurs de fonds (Bradley, et al., 2002). Le temps requis est notamment allongé par la complexité de la tâche évaluative dont les praticiens n’ont parfois qu’une expérience limitée (Papineau & Kiely, 1996).

Un questionnaire distribué auprès de plus de 280 organismes à but non lucratif reprend également le manque de temps pour réaliser des évaluations mais aussi le manque de financement (Hattrup McNelis & Bickel, 1996), de compétences et d’assistance technique pour mener des évaluations (Murphy & Mitchell, 2007; Taut & Brauns, 2003). Cette étude par questionnaire a été financée, et les questionnaires distribués et analysés, par le bailleur de fonds habituel des mêmes organismes à but non lucratif. Nous pouvons donc nous questionner sur la différence à établir entre les obstacles déclarés et une possible liste de doléances des bénéficiaires envers leurs bailleurs.

Parfois le différentiel de connaissances évaluatives au sein du groupe participant est si important que le processus participatif se voit altéré (Mercier, 1997). Le sentiment de ne pas pouvoir mener techniquement l’évaluation est présent tant au niveau des individus qui ne se sentent pas suffisamment habilités pour déterminer un plan d’évaluation, collecter et analyser les informations (Murphy & Mitchell, 2007; Preskill & Torres, 1999), qu’au

niveau des organisations pour entreprendre une telle démarche (Hattrup McNelis & Bickel, 1996), par exemple à cause de rotation fréquente du personnel (Taut & Brauns, 2003).

Parfois, des données ne sont pas disponibles dans les organisations, ce qui peut compliquer la réalisation d’évaluation (Skinner, 04) ou rendre le processus de collecte apparemment plus fastidieux. Les employés perçoivent une charge de travail supplémentaire amenée par une évaluation (Hattrup McNelis & Bickel, 1996).

Plus particulièrement dans le cas des évaluations participatives, la familiarité avec les approches et techniques de collecte et d’analyse peut modifier, ralentir et compliquer le processus en comparaison avec la vitesse qu’aurait prise une approche non participative comme le rapportent Amsden et coll. au cours d’une évaluation participative avec des jeunes de Vancouver (2005). En sus de la familiarité et de la connaissance des méthodes, la familiarité ou non des évaluateurs avec les techniques de communication peut créer un ralentissement de l’évaluation. En effet, suite à l’évaluation participative de l’initiative communautés en santé au Nouveau Mexique, Etats-Unis, les leçons apprises soulignent la nécessité pour les experts évaluateurs de se démunir de leur jargon technique et de clarifier leur position au sein de l’équipe (Wallerstein, Polascek, & Maltrud, 2002), notamment que l’évaluateur soit reconnu comme membre d’un groupe au même titre que les praticiens et les autres participants.

Interrelation avec l’évaluateur

Les capacités relationnelles de l’évaluateur font partie des compétences essentielles de professionnels en évaluation (SCE, 2010). En effet, le manque de qualité de la relation interpersonnelle entre l’évaluateur et les bénéficiaires d’une intervention évaluée est à la fois citée par les évaluateurs (Schwandt & Dahler-Larsen, 2006) et par les acteurs non évaluateurs (Taut & Alkin, 2003). La relation de pouvoir entre les membres participants à l’évaluation, aussi bien les utilisateurs de services et bénéficiaires de programmes entre eux, avec les évaluateurs ou entre bailleurs et utilisateurs, est citée comme une barrière à la participation aux évaluations participatives (Wallerstein, 2006).

Au-delà des relations interpersonnelles, des obstacles à l’évaluation proviennent directement de l’évaluateur : sa compétence en évaluation (Skinner, 2004; Taut & Alkin, 2003) et sa connaissance du terrain (Skinner, 2004; Taut & Alkin, 2003), sa sensibilité

culturelle face à l’intervention et aux personnes avec lesquelles il réalise l’évaluation (Botcheva, White, & Huffman, 2002), sa crédibilité (Skinner, 2004).

Expérience antérieure d’évaluation

Les expériences antérieures d’évaluation qui se sont soldées par des expériences peu fructueuses (Schwandt & Dahler-Larsen, 2006; Taut & Brauns, 2003; Taut & Alkin, 2003; Skinner, 2004) semblent défavoriser les futures évaluations. Une description de ce qu’une expérience d’évaluation peu fructueuse comprend n’est pas disponible sur une base systématique12.

Inconvénients perçus

Lorsque les évaluations ne produisent pas de bénéfices clairs (Taut & Brauns, 2003) ou encore laissent place à certains inconvénients, vécus ou anticipés, comme l’emploi non éthique des résultats (Schwandt & Dahler-Larsen, 2006) voire l’utilisation des résultats comme une arme pour punir (Hattrup McNelis & Bickel, 1996), elles rassurent peu.

Motivation

Lorsque les participants n’ont pas confiance dans le processus, leur participation et leur volonté d’implication peut être menacée (Ziobrowski, 1993). Ramage et Amstrong (2005) identifient la motivation propre à améliorer la prise de décision parmi les facteurs d’influence agissant sur l’implantation de systèmes de mesure. Même du côté des évaluateurs, la dimension individuelle et émotionnelle, l’engagement, la curiosité, la passion de l’évaluateur pour sa fonction font potentiellement partie de son expertise (Sié & Yakhlef, 2009).

Les obstacles à la réalisation d’évaluation se situent aussi bien aux niveaux technique, individuel, qu’organisationnel. Le niveau technique fait référence aux contraintes de l’évaluation et de ces méthodes proprement dites ainsi qu’à la disponibilité de ressources. Le niveau organisationnel fait référence aux modes de fonctionnement des agents dans les organisations avec des systèmes de gestion qui ne sont pas toujours en adéquation avec le

12 _{Les auteurs cités mentionnent bad experiences, prior experiences with evaluation, previous evaluation}

mode de fonctionnement des évaluations. Le niveau individuel comprend l’évaluateur ou le praticien en relation avec l’évaluation. La motivation des praticiens, les inconvénients perçus de l’utilisation de l’évaluation, et les expériences antérieures d’évaluation négatives affectent la réalisation d’une évaluation.