Les évaluations de programme servent la société de plusieurs façons. Elles présentent les déclarations de mérite, de valeur, d’amélioration, d’accréditation, d’imputabilité, de reddition de compte et lorsque nécessaire, des conditions pour supprimer les programmes insatisfaisants (Stufflebeam & Shinkfield, 2007). Elle procure de la rétroaction aux clients qui ont engagé un évaluateur, et aux consommateurs qui utilisent le service ou le programme. Une évaluation identifie les forces et les faiblesses du programme et recueille de l’information en vue d’orienter le développement, la modification, la reconduction et l’amélioration du programme.
2.2.1 Approche de Scriven
Selon Scriven (1967), l’évaluation est une activité méthodologique qui consiste à combiner les données ou les résultats d’une action avec une échelle d’objectifs. Cette approche pratique souligne la dimension jugement de valeur et utilité sociale. L’évaluateur doit porter un jugement sur la réalisation des objectifs du programme et sa contribution au bien-être des consommateurs. Scriven (1973) favorise une approche « goal-free » axée sur l’analyse de l’ensemble des résultats générés par un programme et non pas seulement sur les résultats prévus. Au préalable, Scriven signale la différence entre les termes valeur et mérite et leur fonction importante au moment de porter un jugement sur un objet. Parfois il faut déterminer si un programme réalise bien les objectifs qu’il s’est fixés. Dans l’affirmatif, le programme a du mérite. Mais si les établissements ou les consommateurs, à savoir
les parties prenantes, constatent que le programme n’a pas d’utilité, alors il n’a pas de valeur et doit être éliminé.
2.2.2 Approche de Stake
L’approche de Stake (1967) est axée sur les préoccupations d’une variété de parties prenantes et souligne la dimension d’utilité sociale. L’évaluation consiste en la description complète du processus de l’enseignement et du programme qui permet de juger la valeur du programme. Son modèle inclut la description d’un programme, le rapport distribué aux consommateurs, l’obtention et l’analyse de leurs jugements et le rapport des analyses rédigé par les consommateurs. Dans cette optique, l’évaluation se passe comme un dialogue continu entre l’évaluateur et les parties prenantes (Stake, 1975).
2.2.3 Approche de Stufflebeam
Le modèle de Stufflebeam (Stufflebeam & Shinkfield, 2007) est axé sur la prise de décisions. Une bonne évaluation doit fournir des recommandations pour rendre le service ou le programme facile à utiliser, efficace en termes de ressources et viable politiquement. Elle doit considérer les perspectives utilisées pour interpréter les résultats de façon à ce que les bases sur lesquelles les jugements de valeur sont posés soient claires. En combinant les deux volets, l’évaluation détermine la valeur d’un objet et permet de prendre des décisions selon lesquelles on fournit, ou ne fournit pas, certains services, et pour améliorer ceux qui sont offerts.
La définition étendue (Stufflebeam & Shinkfield, 2007) de l’évaluation systématique s’oriente vers l’appréciation et prend en considération le mérite, la valeur, la probité, la commodité, la sécurité, la signifiance et l’équité de l’objet évalué. La probité de l’évaluation s’adresse aux considérations d’honnêteté, d’intégrité et de comportement éthique. La commodité évalue l’efficacité du temps et des ressources aussi bien que la viabilité politique du programme. La sécurité vise l’évaluation des mesures de sécurité, et la signifiance se réfère à la visibilité, à l’importance et à l’influence
potentielles du programme. L’évaluation de l’équité du programme donne l’assurance que le service est disponible à tous les membres de la société.
Ces trois approches envers l’évaluation s’entendent sur une caractéristique essentielle de l’évaluation, à savoir la dimension jugement de valeur. Les approches supposent également qu’une relation doit s’installer entre l’évaluateur et le client pour que ces deux derniers identifient ensemble les besoins de l’évaluation et déterminent la façon de communiquer les résultats. La relation, formulée dans le modèle de Stake (1975), qui existe entre la description du programme, le rapport des évaluateurs, les analyses et les jugements des parties prenantes, se traduit par des mécanismes, des politiques, des guides ou des cadres d’évaluation de programme d’études que les institutions canadiennes adoptent, ou se voient imposés par les gouvernements ou par des agences privées ou publiques. Ces mécanismes décrivent de manière détaillée les pratiques d’évaluation de programme qui doivent être mises en œuvre et que nous exposerons dans notre cadre conceptuel.
2.2.4 Métaévaluation
Scriven (1969) a introduit le concept de métaévaluation. Ce terme correspond à n’importe quelle évaluation d’une évaluation, d’un système d’évaluation ou d’un mécanisme d’évaluation. La métaévaluation apporte donc un éclairage important sur la qualité des évaluations, en assure la qualité, fournit des pistes pour améliorer les pratiques évaluatives, aide à développer des approches et des outils évaluatifs, et favorise et maintient la crédibilité professionnelle des services (Stufflebeam & Shinkfield, 2007). Les bons rapports métaévaluatifs permettent d’identifier les évaluations solides, d’employer les résultats avec confiance et d’écarter les conclusions déficientes ou invalides. De plus, le personnel, les divers professionnels et les étudiants s’attendent à ce que les systèmes mis en œuvre pour évaluer leurs aptitudes, leurs qualifications de formation, d’expérience, de compétence et de performance, atteignent les standards appropriés. La métaévaluation sert donc les intérêts d’une vaste population touchée par les pratiques d’évaluation.
Qui plus est, la métaévaluation a pour objectif de trouver les raisons pour lesquelles une évaluation est excellente, médiocre ou inadéquate. Quelques raisons qui pourraient invalider une évaluation sont les critères inappropriés, les instruments de mesure non fiables, les conflits d’intérêts, l’information erronée ou les erreurs d’analyse. La métaévaluation proactive ou formative et la métaévaluation rétroactive ou sommative sont donc nécessaires pour permettre aux consommateurs de bénéficier des résultats des évaluations solides. Stufflebeam et Shinkfield soulignent que « chaque étude évaluative doit être solide, et sa solidité devrait être assurée et améliorée à l’aide de la métaévaluation formative et vérifiée ou rejetée à l’aide d’une ou de plusieurs métaévaluations sommatives défendables » (traduction libre17). L’opérationnalisation de la métaévaluation est le processus de délimiter, d’obtenir et d’appliquer l’information descriptive et interprétative au moyen des critères pertinents d’utilité, de faisabilité, de déontologie, d’acuité, de compétence, d’intégrité, de respect, et d’imputabilité sociale. Elle doit être en mesure de guider l’évaluation et les intervenants, et de rapporter les forces et les faiblesses de l’évaluation.