Les autres formes ou types d’évaluation

On relève plusieurs formes de recherches ou d‘opérations d‘analyse ou de collecte de données reliées à l‘évaluation institutionnelle que l‘on peut regrouper en quatre grands types :

Tableau 10. Formes de recherches ou d'opérations d'analyse ou de collectes de données reliées à l'évaluation institutionnelle

Macro-analyse Reddition de comptes

Évaluation des politiques publiques Méta analyse

Études comparatives Études ad hoc

Production d‘indicateurs et de statistiques o Enquêtes Relance

o Données sur les cheminements scolaires o Prévision et observation des effectifs o Établissement de standards et de normes

Contrats de performance

Inspections du vérificateur général Indicateurs de suivi universitaires Enquêtes d‘agence d‘évaluation externes

o Sous forme d‘audits o Sous forme d‘accréditation Évaluation de programme Évaluation institutionnelle Palmarès d‘établissement

Autres Analyse interne

Évaluation des besoins Évaluation d‘opportunités Étude d‘impact

Évaluation des composantes et des processus

Évaluation des cours, des enseignements, des apprentissages

Production d‘indicateurs et de statistiques Évaluation de programme

Évaluation institutionnelle Tableau de bord de gestion Balisage institutionnel

Les agences d’évaluation externe

Les agences d‘évaluation externe peuvent être statutaires ou non, plus ou moins indépendantes du pouvoir politique, privées ou publiques, professionnelles, ou basées sur un secteur particulier. On distingue principalement deux principales formes d‘évaluation externe en enseignement supérieur : l‘accréditation et l‘audit.

L’accréditation

L‘accréditation est un acte de reconnaissance officielle d‘un programme ou d‘une institution. Elle nécessite un verdict positif ou négatif. L‘accréditation peut être initiale ou de contrôle. L‘accréditation initiale concerne l‘habilitation de nouveaux programmes proposés par les universités; l‘accréditation initiale de nouveaux établissements en enseignement supérieur est un phénomène plus rare. L‘accréditation de contrôle, quant à elle, vise à garantir la qualité des services offerts (Haakstad, 2001). L‘accréditation a pour fonction de protéger le public. Elle peut aussi jouer un rôle plus marketing en attirant de meilleurs étudiants, de meilleures ressources. L‘accréditation garantit une certaine forme d‘uniformité.

L‘accréditation peut s‘appliquer à une institution ou à un programme. Typiquement, l‘accréditation institutionnelle va s‘intéresser à l‘infrastructure, y compris les ressources technologiques, les ressources matérielles, les ressources humaines, en plus de vérifier la viabilité financière, la gouvernance et le support administratif. Elle pourra aussi tenir compte de la réussite scolaire. Quant aux programmes, ils peuvent être accrédités en fonction de standards académiques ou pour vérifier leur capacité à produire des professionnels ou des praticiens compétents. On parle alors, dans ce dernier cas, de l‘accréditation professionnelle. L‘accréditation de programme concernera davantage les ressources du programme, le contenu et la structure du programme, la réussite scolaire des étudiants et leur insertion sur le marché du travail.

Plusieurs critiquent les coûts importants de gestion des organismes d‘accréditation. Le système d‘évaluation mis en place par ces organismes se révèle coûteux en ressources financières et humaines. Selon Harvey (2004), malgré la déclaration de Bologne, il n‘existe pas de consensus sur le rôle futur de l‘accréditation dans un contexte international. Le défi actuel est comment se retrouver à travers la multiplicité des façons de faire et des processus nationaux. Dans un monde qui se veut de plus en plus globalisant comment garantir la qualité?

Enfin, pour Harvey (1999), il est surprenant malgré les différents types d‘agences d‘évaluation externe de constater une certaine convergence dans la méthode, chaque évaluation comprend habituellement les quatre éléments de base suivants :

autoévaluation;

évaluation par les pairs;

utilisation d‘indicateurs de performance ou statistique; les rapports des agences d‘évaluation sont rendus publics.

L’audit

Pour Woodhouse (2003, p. 133) : « A quality audit is a check to see whether the

organisation is structured to achieve its objectives ». Dans le dictionnaire Robert, le

concept d‘audit fait référence à l‘examen, ou à la vérification de la conformité aux règles de droit ou de gestion, d‘une opération, d‘une activité ou de la situation générale d‘une entreprise.

Pour Woodhouse, l‘audit serait la meilleure approche pour les agences d‘évaluation externe spécialement dans un contexte de tradition et de maturité des établissements d‘enseignement supérieur. Il énumère certains des avantages de cette approche :

reinforces institutional independence; supports institutional diversity; is flexible;

can incorporate the other quality assurance approach, if desired; is least intrusive;

betoken most trust;

may be an alternative (or even an antidote) to competition. (Woodhouse, 2003, p. 136)

Au Québec, la Commission d‘évaluation de l‘enseignement collégial (CEEC) procède à des audits de l‘application de certaines politiques et utilise cette approche, parmi d‘autres, à l‘intérieur de son processus d‘évaluation institutionnelle. La CREPUQ procède périodiquement à une vérification (audit) des politiques et pratiques d‘évaluation périodique des programmes de chaque université.

Tavenas (2004), comme Woodhouse, est d‘avis que le processus d‘audit est particulièrement intéressant parce qu‘il respecte intégralement l‘autonomie des établissements en même temps qu‘il les responsabilise. Il donne les garanties nécessaires au public sur la qualité des programmes en plus d‘éviter les coûts importants normalement associés au fonctionnement d‘organismes nationaux d‘évaluation de programme.

Le balisage institutionnel

Le balisage institutionnel (benchmarking), comme méthode de management, fut d‘abord utilisée dans le monde des affaires (Camp, 1992). Robert Camp, ingénieur détenant une maîtrise en commerce, et travaillant pour la compagnie Xerox, en serait l‘initiateur. Il fit démonter une série de photocopieuses concurrentes et en étudia les caractéristiques. Ses analyses ont mis à jour d‘importantes différences au niveau des coûts de production; ce qui amena Xerox à effectuer des changements considérables dans ses processus, ce qui lui permit de baisser ses coûts et de retrouver ses parts de marché.

Ayant rapidement acquis ses lettres de noblesse dans le secteur industriel, le balisage institutionnel a, par la suite, effectué des percées importantes au niveau des services gouvernementaux et éducatifs. En enseignement supérieur, cette méthode fut d‘abord utilisée pour améliorer les services comme la bibliothèque et la trésorerie. Aujourd‘hui, le balisage institutionnel est considéré comme un puissant outil de gestion et d‘amélioration de la qualité dans le secteur de l‘enseignement supérieur.

Le processus de balisage se définit comme suit (adapté de Jackson, 2001) : un processus continu d‘évaluation

à l‘aide de comparaison systématique des méthodes et des performances

dans un but d‘amélioration ou de reddition de compte.

Cette définition a comme principal avantage d‘intégrer les deux visions du balisage, une vision de reddition de compte et une vision d‘amélioration continue comme indiqué dans l‘extrait suivant : « Benchmarking is a learning process, which requires trust,

understanding, selecting and adapting good practices in order to improve »

(ENQA, 2003, p. 7).

Selon Kristensen (2003), l‘apprentissage organisationnel, apprendre de sa propre expérience (balisage interne) et apprendre de l‘expérience des autres (balisage externe) est l‘essence du processus de balisage. Balisage institutionnel et organisation apprenante sont donc intimement liés :

Performance and behaviour are not static; they change with time. [...] Benchmarking is therefore a long-term process, it is a method that involves the whole organisation in searching for the best practice; not just for what is done best, but how it is done. Benchmarking rests on two pillars: humility to recognise that somebody else can do something better than you can and wisdom to learn the lesson, adapt to your own situation and benefit from it. (Kristensen, 2003, p. 28)

Jackson et Lund (2000) identifient diverses formes de balisage. Le balisage implicite qui se réalise sans que l‘organisation l‘ait décidé et le balisage explicite présenté comme un, processus structuré et décidé. Ainsi, beaucoup d‘établissements, de leur propre initiative, comparent de façon indépendante leurs résultats avec ceux des autres, à partir des banques de données disponibles. Le balisage interne fournit une comparaison des différentes unités à l‘intérieur d‘une organisation. Le balisage externe s‘avère une comparaison des unités de l‘organisation avec d‘autres unités d‘autres organisations semblables. Le balisage vertical correspond à l‘évaluation d‘une unité de façon approfondie, comme un département. Le balisage horizontal compare un même processus ou résultat entre différentes unités. Le balisage peut utiliser une approche qualitative ou une approche quantitative (dans la plupart des cas, la complexité des situations requiert une combinaison de ces deux approches). Le processus de balisage utilise généralement des indicateurs d‘intrants, de processus ou de résultats.

Jackson et Lund (2000) distinguent aussi différentes pratiques : le balisage en collaboration entre groupes ou partenaires, le balisage entre deux partenaires, le balisage avec l‘intervention d‘un tiers, l‘auto-évaluation indépendante.

Le balisage en collaboration entre groupes ou partenaires est vu comme un processus d‘amélioration continue. Il s‘agit d‘apprendre par la mise en commun d‘informations et le partage des expériences. L‘information est synthétisée sous forme de comptes-rendus autour de sujets d‘intérêt commun (modèle du G13 DE-ED : groupe d‘échanges de données des treize plus grandes universités du Canada).

Dans le balisage entre deux partenaires, une institution crée un partenariat avec une autre institution pour systématiquement partager de l‘information en lien avec leurs objectifs de développement. Habituellement, le dialogue s‘effectue dans les deux sens et profite aux deux institutions.

Le balisage avec l‘intervention d‘un tiers requiert la collaboration d‘un consultant, d‘une agence ou d‘une organisation externe. L‘organisation externe crée ou rassemble de nouvelles connaissances qu‘elle partage avec un ou plusieurs partenaires.

Enfin, avec l‘auto-évaluation indépendante, l‘institution s‘évalue, se compare et prend des décisions à partir de données statistiques ou de codes de spécification.

Les tableaux de bord

Un tableau de bord de gestion est un outil permettant de sélectionner, d‘agencer et de présenter les indicateurs essentiels et pertinents, de façon sommaire et ciblée, en général sous forme de coup d‘œil accompagné de reportages ventilés ou synoptiques, fournissant à la fois une vision globale et la possibilité de forer dans les niveaux de détail (Voyer, 1999).

Les tableaux de bord permettent de prendre le pouls de l‘organisation, de produire l‘information de gestion névralgique, de signaler et de localiser les problèmes ou les situations anormales, le plus possible en temps réel, sur demande. Il s‘agit d‘une interface intégratrice, car ils représentent une structure intermédiaire d‘accès à l‘information par navigation, filtrage, réorganisation et présentation. Ils s‘inscrivent dans un processus cyclique de gestion. Ils sont conçus à partir des objectifs et de la planification de l‘organisation et permettent de suivre la réalisation des objectifs et de mesurer les écarts entre les intentions et les résultats. Ils facilitent le suivi des décisions et peuvent amener la modification des plans et des activités.

Selon Voyer (1999), on utilise encore des systèmes d‘information de gestion qui ont été conçus comme une simple extension de reportage synoptique du système opérationnel ou des systèmes comptables. Cet auteur note également la pauvreté de l‘information produite et l‘habitude de travailler avec des données historiques.

Les palmarès

Les palmarès sont une méthode de classement qui permet de déterminer méthodiquement un ordre dans un ensemble d‘institutions en vertu de certaines caractéristiques précises (Legendre, 2006). Selon Labonté (1994, p. 55), les classements relatifs à l‘enseignement supérieur, qu‘ils soient fondés sur la réputation ou sur d‘autres critères, sont nés aux États-Unis. L‘utilisation de ces classements est associée à l‘approche marché, approche qui permet à l‘établissement de mieux se positionner dans une hiérarchie classifiée ou d‘éclairer les choix des futurs utilisateurs. Ces méthodes de classement font l‘objet de plusieurs critiques (Gingras, 2008).

Enfin, à partir de la définition de ces concepts, nous croyons que la conception service public privilégie la reddition de compte comme moyens d‘évaluation. La conception marché privilégie les palmarès, la veille concurrentielle, le balisage institutionnel et l‘audit. La conception académique est traditionnellement opposée à la reddition de compte au nom de la protection de son autonomie et de la liberté universitaire. Elle privilégie l‘évaluation par les pairs. La conception apprenante favorise les tableaux de bord de gestion et l‘évaluation mixte impliquant des acteurs externes. La conception entrepreneuriale adopte des moyens pour expliciter la vision. La conception politique évalue sa performance dans un cadre de reddition de compte. Enfin, la conception relations humaines procédera à l‘évaluation du climat de travail.

Le tableau 11 présente les sept conceptions des universités avec les moyens ou types d‘évaluation privilégiés.

Tableau 11. Typologie des conceptions et évaluation de la performance

Conceptions/dimensions Évaluation de la performance

Service public Reddition de compte

Marché Palmarès

Balisage institutionnel Veille concurrentielle Audit

Académique Évaluation par les pairs

Apprenante Tableau de bord de gestion

Évaluation formative Évaluation des compétences

Évaluation mixte impliquant des acteurs externes

Entrepreneuriale Explicitation des finalités

Politique Reddition de compte

Opinion publique

Relations humaines Évaluation du climat de travail