Dans cette section, nous présentons le modèle d’évaluation CIEP élaboré par Stufflebeam (2003). Les deux sections suivantes présentent une description des mécanismes de l’évaluation périodique des programmes d’études universitaires et la politique de la Conférence des recteurs et des principaux des universités du Québec (CREPUQ) et de l’Undergraduate Program Review Audit Committee (UPRAC) de l’Ontario. Ces modèles représentent une partie du fondement théorique de la présente étude. Nous terminons les trois sections en présentant une synthèse des catégories liée à l’évaluation de programme qui est retenu dans notre cadre conceptuel. La section finale présente notre cadre conceptuel qui est constitué de la synthèse de toutes les rubriques et catégories de notre champ conceptuel des langues de spécialité et de l’évaluation des programmes d’études.
3.4.1 Le modèle CIEP
Parce que l’évaluation de programme de Stufflebeam est axée sur la prise de décisions (Stufflebeam & Shinkfield, 2007), nous avons choisi le modèle CIEP de Stufflebeam pour l’élaboration de notre cadre conceptuel. Cette approche maintient qu’une bonne évaluation doit fournir des recommandations et doit considérer les perspectives utilisées pour interpréter les résultats de façon à ce que les bases sur lesquelles les jugements de valeur sont posés soient claires. Cette méthode d’évaluation permet de prendre des décisions selon lesquelles on fournit ou ne fournit pas certains services, et pour améliorer ceux qui sont offerts. Par conséquent, les objectifs d’évaluation du modèle CIEP s’alignent le mieux avec les objectifs d’évaluation de programme universitaire de la CREPUQ et de l’UPRAC qui sont discutées dans la section 3.6.
Le modèle d’évaluation CIEP est un cadre compréhensif qui guide les évaluations de programmes, de projets, de produits, d’institutions et de systèmes d’évaluation (Stufflebeam, 2003). La définition formelle de l’évaluation sous-jacente au modèle CIEP explique que
L’évaluation est le processus par lequel on délimite, obtient, fournit et applique des informations descriptives et de jugement sur le mérite et la valeur des buts, de l’implémentation, et des résultats d’un objet afin de guider les décisions d’amélioration, de fournir la reddition de compte, d’informer les décisions d’institutionnalisation/diffusion, et d’améliorer la compréhension des phénomènes concernés (traduction libre28).
Les composantes clés du modèle d’évaluation CIEP sont présentées dans le diagramme à la page suivante.
28 « Evaluation is the process of delineating, obtaining, providing, and applying descriptive
and judgmental information about the merit and worth of some object’s goals, design implementation, and outcomes to guide improvement decisions, provide accountability reports, inform institutionalization/ dissemination decisions, and improve understanding of the involved phenomena » (Stufflebeam, 2003, p. 34).
Figure 3.2. Modèle d’évaluation CIEP
Selon le modèle CIEP, l’évaluation du contexte évalue les besoins, les problèmes et les opportunités au sein d’un environnement défini. L’évaluation du contexte aide les utilisateurs des évaluations à définir et à évaluer les objectifs, et plus tard, à se servir de l’évaluation des besoins comme référence afin de juger un programme d’études ou un autre produit ou service. L’évaluation de l’intrant évalue les diverses stratégies proposées, les projets du travail et les budgets pour les approches choisies pour implémentation. Elle aide les utilisateurs des évaluations à concevoir des efforts d’amélioration, à développer les propositions de demande de fonds, à détailler les plans d’action, à prendre note des projets alternatifs et à noter les raisons pour avoir choisi une approche plutôt que d’autres. L’évaluation du processus assure le suivi, la documentation et l’évaluation des activités. Elle aide les utilisateurs des évaluations à réaliser les efforts d’amélioration et à maintenir les archives de reddition de compte concernant la mise en œuvre des plans d’action. L’évaluation de l’extrant identifie et évalue les résultats à court et à long terme, voulus et non voulus. Elle aide les utilisateurs à maintenir le cap sur les objectifs en répondant aux besoins des bénéficiaires, à évaluer et à prendre note du niveau de succès quant à la réalisation des objectifs, et à prendre des décisions informées pour reconduire, supprimer ou améliorer l’effort.
3.4.2 Utilisation des indicateurs
Dans une perspective quantitative, un indicateur en éducation est « une statistique ou un amalgame de statistiques qui sont reliées à des construits de base et qui sont utiles dans un contexte d’élaboration et d’évolution de politiques éducatives » (Blais,
Laurier, & Pelletier, 2001, p. 135). L’utilité des indicateurs de qualité repose sur leur capacité de rendre compte de l’état d’un système éducatif. Cependant, pour obtenir une vue complète du système, il est essentiel que l’indicateur soit mis dans une perspective comparative ponctuelle ou temporelle des systèmes et qu’il fasse appel à un ensemble d’indicateurs provenant de différents niveaux du système (Blais, et coll., 2001).
Aux fins de l’évaluation de programmes d’études universitaires, les indicateurs sont préparés par certains services de l’université, par exemple le Bureau de recherche institutionnelle, afin que les responsables de l’autoévaluation aient accès à des informations de base recueillies de façon uniforme et rigoureuse. En fournissant des informations relatives aux étudiants, aux ressources humaines, aux ressources matérielles et à l’enseignement, les indicateurs de qualité constituent un soutien au travail d’analyse et de jugement pour la rédaction de l’autoévaluation (Bureau du provost et vice-rectorat - Affaires académiques, 2007). Les données quantitatives doivent aussi rendre compte du taux de diplomation, de la durée des études, du succès des diplômés dans leurs études subséquentes ou de leur vie professionnelle ce qui permet de porter un jugement sur l’adéquation des formations offertes aux étudiants (CREPUQ, 2004). Dans le même ordre d’idées, la politique institutionnelle de l’évaluation de programme de l’UPRAC insiste sur « la définition des indicateurs qui fournissent la preuve de la qualité du corps enseignant, de la clientèle étudiante (demandes et inscriptions), de la qualité des étudiants, et des résultats du programme (taux de diplomation, durée des études, et ainsi de suite) et de la réalisation des objectifs d’apprentissage du programme » (traduction libre29) qui permet d’évaluer l’intégrité et la qualité du programme. Ainsi, les données quantitatives sont un outil de travail incontournable pour rendre compte d’un certain état de développement d’un système éducatif.
29 « the definition of indicators that provide evidence of quality of faculty, student clientele
(applications and registrations), student quality, and the outcomes of the program (graduation rate, length of studies, etc.) and achievement of its learning objectives » (OCAV, 2006, p. 5).
Il s’avère qu’une analyse des systèmes d’indicateurs peut être reliée au modèle de CIEP (Blais, et coll., 2001). Les indicateurs de contexte posent des questions sur le financement de l’éducation et sur les caractéristiques socioéconomiques des populations et des conditions nationales de l’emploi. Les indicateurs d’intrant concernent les possibilités d’accès aux différents paliers de la formation, la préparation des étudiants, les disciplines privilégiées lors des inscriptions, et les ressources didactiques disponibles. Les indicateurs de processus s’intéressent aux conditions dans lesquelles l’apprentissage se déroule et aux caractéristiques des enseignants et de l’enseignement. Les indicateurs de l’extrant attestent les résultats des appréciations des élèves, la scolarisation et le taux de réussite, de l’échec, de persévérance ou d’abandon, et les conditions d’accès au marché du travail, la rémunération des diplômés ou le taux de chômage. Malgré le lien entre les systèmes d’indicateurs et le modèle CIEP, selon Blais, Laurier et Pelletier (2001), les tendances actuelles de l’évaluation de programme révèlent que les indicateurs de l’extrant deviennent de plus en plus répandus à mesure que les systèmes éducatifs passent d’un système d’obligation de moyens à celle d’une obligation de résultat. Par conséquent, la production des ensembles d’indicateurs semble favoriser davantage une appréciation de la qualité du système en termes de résultats ou d’extrant qu’en termes d’intrant, de processus ou de contexte.
En outre, il y a des limites quant à la possibilité de produire un ensemble d’indicateurs qui permette d’atteindre simultanément des objectifs de description et d’explication du fonctionnement des systèmes d’éducation. Les indicateurs fournissent des informations pour prendre des décisions qui permettent de baliser ou d’orienter l’évolution du système, mais ne permettent pas de poser le diagnostic, de prescrire le remède ou d’identifier les causes (Blais, et coll., 2001). Ils ne font que suggérer le besoin d’une action qui devrait être entreprise seulement après une analyse attentive du problème et des solutions possibles. Il y a des aspects de l’information des systèmes éducatifs qui sont difficilement quantifiables, d’où la nécessité d’avoir recours à un modèle d’évaluation de programme, comme le modèle classique CIEP, pour expliquer le fonctionnement d’un programme en éducation. À
l’aide des évaluations du CIEP, on pourrait par exemple, expliciter les stratégies et les projets proposés, les efforts d’amélioration, les détails des plans d’action et les raisons pour le choix d’une approche plutôt qu’une autre.
3.4.3 Fonction formative de l’évaluation
Pour distinguer l’évaluation qui rend compte de programmes stables et bien établis de l’évaluation de nouveaux programmes pour lesquels on cherche à savoir la viabilité, Scriven (1967) a introduit les termes d’évaluation formative et d’évaluation sommative. L’évaluation formative vise à améliorer un programme quand il est encore en voie de réalisation, à formuler les buts et les priorités, à guider l’implémentation des plans et à évaluer les résultats intérimaires. L’évaluation sommative est utilisée pour l’imputabilité, la reddition de compte ou la certification. Le modèle d’évaluation CIEP s’oriente vers les besoins formatifs et sommatifs. Il tient compte des rôles de l’amélioration (formatif) et de la reddition de compte (sommatif) dégagés par l’évaluation du contexte, de l’intrant, du processus et de l’extrant. Toutefois, ce sont les caractéristiques formatives de l’évaluation CIEP qui guide notre analyse de l’évaluation de programmes d’études universitaires. Le tableau V à la page suivante présente les fonctions formatives des composantes du modèle d’évaluation CIEP.
Tableau V. Caractéristiques formatives des composantes du modèle CIEP
Composantes Caractéristiques formatives
Contexte
Besoins, problèmes, opportunités dans un environnement défini Définition et évaluation des objectifs
Utilisation de l’évaluation des besoins comme référence afin de juger un programme académique
Intrant
Stratégies proposées, projets du travail Conception des efforts d’amélioration Détail des plans d’action
Prise en note des projets alternatifs
Raisons pour une approche plutôt qu’une autre
Processus
Le suivi, la documentation, et l’évaluation des activités Réalisation des efforts d’amélioration
Mécanismes de reddition de compte concernant la mise en œuvre des plans d’action
Extrant
Identification et évaluation des résultats à court et à long terme, voulus et non voulus
Maintien de l’objectif pour répondre aux besoins des bénéficiaires Évaluation et prise en note du niveau de succès des objectifs Prise de décision quant à la reconduction, l’arrêt ou l’amélioration
La section suivante traitera du processus de l’évaluation des programmes d’études universitaires. La validation des programmes est indispensable pour l’autorisation de décerner les grades et pour la confirmation des compétences par l’octroi d’un grade.