L'ENSEIGNEMENT DE LA GESTION COMME ANALYSEUR DE LA CRISE

-

o

LES USAGES DE L'EVALUATION DANS L'ENSEIGNEMENT SUPERIEUR (6)

LES USAGES DE L'EVALUATION DANS L'ENSEIGNEMENT SUPERIEUR (4)

1 ETATS-UNIS 1 INSTITUTION INSTITUTIONNEL 1

ITALIE

INSTITUTION INSTITUTIONNEL OUTCOMES OUTPUTS PROCESS INPUTS OUTCOME$. OUTPUTS PROCESS INPUTS

LES USAGES DE L'EVALUATION DANS L'ENSEIGNEMENT SUPERIEUR (7)

LES USAGES DE L'EVALUATION DANS L'ENSEIGNEMENT SUPERIEUR (5)

1 ROYAUME-UNI 1 DISCIPLINE INSTITUTION CONTEXTE INSTITUTIONNEL 1 SCHEMA GENERAL 1 DISCIPLINE INSTITUTION SYSTEME EDUCATIF INSTITUTIONNEL

INPUTS PROCESS OUTPUTS OUTCOMES

INPUTS PROCESS OUTPUTS OUTCOMES

121

122

o o z m m z o m e m z o m m o o m m z z o m C o 3 3

-

-

C

..

z mn

zo

r: cm - c

c

r: m m z m - m

c

c m z z m o c 0 m 1 c o 0 z c e z 0 m z m

,.---

...

--.

cm rn z < m : c o m - 0

s

_n - 0 Oz z OUTCOMES

1 FRANCE (A) UNIVERSITES1

OUTPUTS DISCIPLINE PROCESS INSTITUTION FINANCEMENT PUBLIC AUTORISATION

LES USAGES DE L'EVALUATION DANS L'ENSEIGNEMENT SUPERIEUR (2) SYSTEME EDUCATIF

INPUTS

INSTrrUTIONNEl

LES USAGES DE L'EVALUATION DANS L'ENSEIGNEMENT SUPERIEUR (3)

INSTITUTIONNEL

LES ETABLISSEMENTS DE FORMATION SUPERIEUREDE GESTION EN FRANCEETLEURSLABELS INSTITUTION

1 FRANCE(B) ECOLES 1

UNIVERSITES

INPUTS PROCESS OUTPUTS OUTCOMES

IAE n= 23 UNIVERSITES DELIVRANT DES DIPLOMES NATIONAUX DE GESTION n=35 n= 80 DESGRANDES n

=

23 DIPLOME VISE n =32

ECOLE RECONNUE PAR n

=

42

HOMOlOGUE n

=

40

CERTIFICATS SANS AUCUN LABEL (NON REPERTORIES)

123

TYPES D'EVALUATION DANS L'ENSEIGNEMENT SUPERIEUR

0

TYPES D'EVALUATION INTERNES EXTERNES

...

_C

1. IMPLICITE OUI OUI 0 t1

m

1 1

Z

t 1

2 QUALITE TOTALE OUI

...

• •

3. AUTO-EVALUATION OUI

Z

m-

t

4. EVALUATION DES ACQUIS OUI QUELQUEFOIS 11

z

1

1

m m

1 1

5 JUGEMENT PAR LESPAIRS QUELQUEFOIS OUI

...

1 1 1

f I

m

I l 1 1

6, STANDARDS DE QUALITE QUELQUEFOIS OUI t

1 1

m

1 1 1 1 1

Z

1 1 1 1

...

t

..

INDICATEURS OUI 1 1 1 1 t 1 1 1 , 1 , 1 1 1 1

m

1

,

1 1 1 8 OUI 1 1 1 1 1 1

Z

1 1

C

9 ENQUETES OUI

m

C

m

0 _lit

..

-

e

0 m

3

•

c

e

m

LES USAGES DE L'EVALUATION DANS L'ENSEIGNEMENT SUPERIEUR (1) EVALUATIONIHABIUT DANS L'ENSEIGNEMENT

SUPERIEUR DE GESTION EN FRANCE INSTITUTIONNEL SYSTEME EDUCATIF

UNIVERSITES D'ETAT

DES HABILITATIONS OONT'I.AE' NOTE: LESCREATIONS SONTLIBRES ou LABELS

DES EVALUATIONET LABEL UES A

L'ADMISSIONAU SEIN DE CONFERENCE DES

(ASSOCIATIONPRIVEE) ECOLES

"DIPLOMES 5."RECONNAJSSANCE DE L' ECOLEPAR L'ETAT"

(LICENCE. OESS, DOCTORAT)

MlNISTERE DE ' AUTORISATION EX ANTE 6."DIPLOME VISE PAR LE MINISTEREDE

L'EDUCATION ' FINANCEMENT PUBLIC L'EDUCA nON NAnONALE'

NATIONALE

"DIPLOMES D'UNIVERSITE'

(PROPRE A CHAQUE UNIVERSITE) . UBRE SANS PUBLIC

3, EVALUATION EXPOSTPAR LE NATIONAL (CNE)

7."HOMOLOGAnON PAR ESTCLASSEE PAR

INTERMINISTERIELLE POST·MAITRISE(> ANS) DEL'ENSEIGNEMENT II. LICENCEou (3ou ANS)

III, IUTIBTS (2 ANS) IV NIVEAU OU BACCALAUREAT

DISCIPLINE INSTITUTION

1

INPUTS

PROCESS

OUTPUTS

OUTCOMES

125 126

RAPPORTS

1. Christine MUSSELIN

Le texte proposé par Jean-Pierre NIOCHE invite en fait à pousser plus avant la réflexion sur la notion de "régulation de la qualité" dans l'enseignement supérieur. A cette fin, il me paraît nécessaire de produire 11 une définition plus précise des modes de régulation existants et 21 pour

chacun d'entre eux, une explicitation de leurs limites.

A partir de là, il me semble que l'on peut distinguer quatre modes de régulation de la qualité : le marché, le contrôle bureaucratique, le contrôle externe exercé par les pairs, et le contrôle interne. Il est bien évident qu'aucun de ces modes de régulation n'existe isolément : dans tous les pays, on trouve des mécanismes relevant de l'un ou l'autre de ces modes de régulations. En revanche, tous les pays ne les utilisent pas tous avec la même intensité. Plus que les différences de nature, ce sont les différences de degré qui sont sensibles : certains pays feront plus que d'autres "confiance" au marché pour "contrôler" et réguler la qualité dans leurs systèmes universitaires, tandis que d'autres laisseront aux pairs le soin de maintenir un certain niveau de qualité etc. On voit bien alors tout l'intérêt que pourrait avoir une comparaison internationale approfondie d'une part pour mettre en évidence les combinaisons possibles entre les différents modes de régulation et la manière dont ils se complétent et interagissent, et d'autre part pour étudier leurs conséquences. Toutefois, je ne pourrai aller aussi loin ici car le travail empirique nécessaire pour cela reste à faire" Je me contenterai donc dans l'exposé de quatre modes de régulation de m'appuyer sur le cas de la France et parfois de l'Allemagne.

Précisons enfin que je ne tenterai pas, à dessein, de définir ce qu'est la "qualité de l'enseignement". Il s'agit là d'un autre débat: je me bornerai à essayer de discuter des moyens permettant de "contrôler" et de modifier une certain niveau de qualité, quelle que soit la définition que l'on retienne pour celle-ci. En effet, la nature même de l'activité d'enseignement, c'est-à-dire le fait qu'il s'agisse d'une technologie "molle" (causalité lâche entre l'input et l'output: en quoi le produit fini, l'étudiant diplômé, est-il le résultat des cours qu'il a suivis ?) rend problématique un contrôle de la qualité : non seulement il est difficile de définir des critères de qualité qui soient partagés et reconnus, mais de plus, même à supposer que l'on parvienne à déterminer un niveau de qualité satisfaisant et des indicateurs pour le mesurer, on ne sait pas non plus sur quels leviers agir pour le modifier ou pour le maintenir.

L'enseignement supérieur n'est pas un "processus de production "comme les autres, il ne fabrique pas des "produits" comme les autres. Ceci explique peut-être pourquoi les modes de régulation de la qualité sont plus divers, moins stables et plus discutables que pour tout autre produit.

1. Régulation de la qualité par le marché

Nous entendrons ici par marché, les mécanismes de concurrence et d'ajustement entre l'offre et la demande d'enseignement

Commençons tout d'abord par remarquer qu'il existe en fait deux marchés: d'une part celui des étudiants (qui s'inscrit où ?) et d'autre part celui de l'emploi (qui les entreprises recrutent-elles ?). La question qui se pose est de savoir dans quelle mesure la concurrence existant entre les formations ou entre les établissements permet de contrôler ou d'améliorer la qualité de l'enseignement dispensé (modification des cursus, plus grande coordination entre les enseignements et les enseignants etc.).

Or, il semble que les effets du marché sur la qualité soient assez faibles. Une première raison à cela tient à un problème classique d'informations: quelle que soit la définition que l'on a de la qualité,il faut constater que l'information dont on dispose sur celle-ci, tant comme étudiant que comme employeur, est relativement limitée. Seules les entreprises d'une certaine taille peuvent comparer

les résultats [c'est-à-dire l'écart entre les compétences attendues et les compétences réelles (ou la capacité à les acquérir)] entre différentes formations. Faute de quoi, la plupart des employeurs se fondent plus sur la réputation des formations que sur une appréciation de la qualité de leur contenu.

Par ailleurs, le marché des étudiants est actuellement caractérisé par une forte demande en enseignement supérieur. Par conséquent, même si chaque étudiant préférerait accéder à un établissement réputé, il préfèrera aussi obtenir une inscription n'importe où plutôt que de ne pas être inscrit du tout : quelle que soit la qualité de l'enseignement, la perspective du diplôme supplémentaire motive l'inscription" De ce fait, rares sont les formations qui disparaissent, ou qui se réforment, faute d'inscrits.

Un autre effet possible du marché serait à trouver du côté des employeurs. La question à poser est alors la suivante: les entreprises ont-elles une action sur la qualité de l'enseignement dispensé à travers leurs politiques de recrutement? Ou bien: le fait que les entreprises n'embauchent pas les étudiants de telle formation a-t-il une incidence sur la formation? Différents travaux ont montré que cela ne décourage pas pour autant l'inscription des étudiants et que d'autre part, l'évaluation des mécanismes à l'oeuvre est complexe : la difficulté à trouver un premier emploi n'empêche pas nécessairement des rattrappages en cours de carrière par la suite, Une évaluation portant seulement sur le premier emploi et négligeant le long terme peut donc fausser la perception. Par ailleurs, en France, dans les disciplines où les grandes écoles font une forte concurrence aux universités, le marché de l'emploi est "perturbé" par les phénomènes de corps ou de "préférence aux anciens" qui tendent à déconnecter les motifs de recrutement de la qualité intrinsèque de l'enseignement.

Remarquons ainsi que dans le cas français, l'existence des grandes écoles, et notamment des plus prestigieuses d'entre elles, rend de toute façon difficile une adéquation entre l'offre et la demande par la qualité de l'enseignement. En effet, la concurrence entre les grandes écoles conduit à des classements qui ne sont pas corrélés à la qualité des enseignements. Ce qui rend attractif le recrutement d'élèves de telle ou telle grande école, c'est plus la sélectivité que le contenu des enseignements eux-mêmes. A la limite, se demander si ce sont les meilleurs enseignants' de gestion qui officient dans les grandes écoles n'est pas important : tout se passe comme si réputation et sélectivité à l'entrée étaient plus déterminantes que le contenu.

La régulation de la qualité par le marché connaît donc des limites du fait que les "marchés de l'enseignement" (au sens de l'adéquation entre des offres et des demandes) se bâtissent peu sur la base de la qualité des enseignements"

2. La régulation bureaucratique

Celle-ci repose sur la volonté (l'illusion) de contrôler la qualité à partir d'un contenu standard (garantissant la qualité). Là encore, cette forme de régulation existe dans tous les pays et même aux Etats-Unis comme l'a souligné Jean-Pierre Nioche.

En France, la régulation bureaucratique tient une place importante pour les formations universitaires, du fait du monopole des diplômes nationaux. De manière à établir l'équivalence des diplômes sur l'ensemble du territoire, des maquettes ont été définies (par l'administration mais avec consultation de la discipline). Pour créer un cursus, il est donc nécessaire de rédiger un projet qui respecte la maquette. Ce projet est ensuite soumis à deux expertises: d'une part une expertise administrative qui consiste à vérifier la conformité du projet avec la maquette: d'autre part une expertise pédagogicolscientifique menée par des universitaires, nommés par le ministère, qui étudient la validité du projet. Ce processus permet d'aboutir à une habilitation qui certifie l'équivalence du diplôme avec les autres diplômes de ce type sur l'ensemble du territoire.

Par cette procédure, la France offre un exemple particulièrement poussé, car très centralisé et mû par une logique d'harmonisation très formalisée. Mais, même s'ils fonctionnent sur des bases très différentes, des mécanismes de même ordre existent dans d'autres pays, qu'il n'y ait ou non des maquettes nationales: en Allemagne par exemple, il n'existe pas de maquettes fédérales, mais les ministères de Landont chacun leurs procédures d'habilitation et disposent de réglementations très précises sur le contenu du contrôle des connaissances (Prüfungsordnung).

Dans le cas de la France, les limites d'un tel modèle pour réguler la qualité des enseignements sont bien connus: la masse des demandes à traiter rend impossible un examen approfondi des projets et conduit à une expertise très formelle sur dossier. Par ailleurs, cette procédure donne une prime très forte à l'existant: les critères utilisés étant plus la conformité à des exigences bureaucratiques et un niveau satisfaisant de contenu, il est finalement assez rare de ne pas ré-habiliter ce qui existe déjà. En revanche, les nouvelles demandes sont traitées de manière beaucoup plus sélective.

3. La régulation externe par les pairs

Il s'agit cette fois d'un mode de régulation assez peu développé en France (même si, dans le cadre du contrôle bureaucratique, les pairs interviennent à travers l'expertise pédagogico-scientifique des projets d'habilitation, mais uniquement sur dossiers).

Il me semble qu'il existe deux exemples de régulation externe par les pairs. Le premier a été développé en France avec la création du CNE (Comité National d'Evaluation des universités). Des experts, qui sont des pairs, se rendent dans les établissements et réalisent des diagnostics qui sont publics et publiés. Nous proposons ici de ne pas nous arrêter sur le difficile problème de la méthodologie à utiliser pour mener de telles évaluations, mais sur l'incidence de ces dernières sur la qualité. Il semble que malheureusement, elle reste très faible. En effet, les établissements saisissent rarement l'opportunité du diagnostic réalisé pour lancer une réflexion interne et développer des stratégies de changement. Autrement dit, il existe un outil, avec ses imperfections, mais il n'est pas utilisé pour provoquer des ajustements.

Un autre exemple de régulation externe par les pairs est celui des associations professionnelles disciplinaires (par exemple l'association française de gestion) .. Elles jouent un rôle souvent assez faible en France (même si des différences existent entre les disciplines). En revanche en Allemagne, ces associations peuvent avoir une incidence sur la définition de normes à appliquer aux contenus. Il ne s'agit alors pas d'une régulation ex post comme celle qui pourrait intervenir après les diagnostics du CNE, mais d'une régulation ex ante: on définit ce qu'il serait souhaitable de respecter pour assurer un enseignement de qualité. Mais bien évidemment, les limites de ce type de régulation sont à la mesure de la force communautaire de la discipline : il ne suffit pas qu'un groupe d'enseignants définissent des normes, des contenus ou des critères, il faut qu'ils soient suffisamment reconnus pour que l'ensemble des membres de la discipline adhère et suive leurs préconisations.

4. La régulation interne

Un dernier type de régulation est à chercher au sein même des établissements, dans la capacité des enseignants à constituer des équipes pédagogiques, c'est-à-dire à instituer un minimum de coopération et de coordination, à se définir des objectifs, à évaluer les résultats de leur action (auprès des étudiants, des entreprises ...).

Cette pratique semble fort peu développée dans les universités françaises: quand elle existe, elle est le fait d'inititiatives ponctuelles, autour d'un petit nombre d'individus .. Elle n'est en aucun cas systématique.

Quand elle existe, elle fonctionne souvent à travers des mécanismes d'essais-erreurs, de changements à la marge permettant d'ajuster les contenus, les rythmes, en fonction des résultats, de la satisfaction des étudiants, des demandes exernes...

Si l'on ne peut qu'encourager ce type d'auto-régulation parce qu'il crée une dynamique entre les enseignants, il n'est pas pour autant suffisant car il n'inclut pas facilement une comparaison avec d'autres enseignements de même type et manque de points de référence externes.

J'ai donc essayé de discuter rapidement des principaux modes de régulation de la qualité de l'enseignement supérieur et d'en présenter quelques limites. Comme je l'ai précisé au départ, cette typologie n'est pas intéressante en soi : c'est la combinaison de ces modes de régulation, propre à chaque pays, qui est pertinente. L'intérêt de travaux empiriques comparatifs est par conséquent évident. Toutefois l'ampleur de la tâche et sa complexité supposent certainement de se limiter à un nombre restreint de pays (trois ou quatre) a priori contrastés. Par ailleurs, et pour finir, se pose la question des grandes écoles en France et de leur comparabilité avec les systèmes

129

purement universitaires. Ce que j'ai présenté ici est d'ailleurs basé sur l'étude du système universitaire français: j'aimerais que Jean-Pierre Nioche nous en dise plus sur ce qui se passe pour les grandes écoles et notamment sur le rôle de la Conférence des Grandes Ecoles.

Il. Bertrand GIROD DE L'AIN

a toujours comparé l'Église et l'Université. On a écouté ici la vision de la bureaucratie papale sur l'Eglise. Le point de vue de Drewermann n'est pas inintéressant..

Historiquement, l'évaluation se faisait par les étudiants au Moyen-Age. Il ya aussi l'évaluation par les professions, et enfin l'évaluation par le nombre.

Là, on est dans le cadre de l'évaluation de l'enseignement. Mais on n'a pas parlé de l'évaluation de la recherche. Or, ce qui est intéressant, c'est le basculement qui s'est produit : on évalue les professeurs par la qualité de la recherche .. Aux USA, les Universités se paient des prix Nobel. Aujourd'hui, on est arrivé aux limites de ce modèle.

Sowell dans Inside of American Education, a bien montré l'hypocrisie de ce système. Dans les Universités de recherche américaines, les premiers cycles sont négligés. Certains professeurs recrutés pour leur réputation de chercheur réclament dans leur contrat d'embauche de ne pas enseigner en premier cycle, voire de ne plus enseigner du tout.. Donc, plus l'étudiant paie, moins l'enseignement est bon parce que l'argent part dans les laboratoires de recherche.

La massification a produit un effet terrible : le premier cycle a été livré aux politiques. Aux USA, on impose des quotas (femmes, homosexuels, noirs, etc.). En France, on impose de prendre n'importe quel bac.

Aujourd'hui, on se rend donc bien compte que qualité de la recherche et qualité de l'enseignement nevontpas de pair. Certaines filières, comme l'économie, s'effondrent déjà. Ori va revenir de la massification. Certains collèges privés aux USA ont abandonné leur premier cycle pour faire des prépas intelligentes. Même Harvard préfère recruter ses étudiants de second cycle dans les collèges privés que dans son premier cycle.

Aujourd'hui, on ne va pas vers des standards, on va vers l'excellence en rompant avec la massification. On va vers de l'enseignement financé et géré régionalement et de la recherche financée sur le plan national.

DISCUSSION

Jean-Pierre NIOCHE : Je suis bien sûr d'accord avec C. Musselin sur le fait qu'il n'existe pas de modèle pur. Ce qui est intéressant, c'est le fait que des évolutions ont lieu même au niveau de ces modèles.

Je suis d'accord aussi sur le problème des Grandes Écoles Il y a une opacité dans la qualité d'enseignement des Grandes Ecoles. Dans ce système, il y a un mécanisme de compétition extrêmement fort. En amont, il existe une véritable guerre pour décrocher les meilleurs. En aval, également. Pour la deuxième année consécutive, les salaires d'embauche des ESSEC ont été supérieurs à ceux des HEC.

La question portait sur l'évaluation par la Conférence des Grandes Écoles, comparée à celle qui a lieu dans l'Université. Il s'agit d'une évaluation ex-post, le produit n'est pas formaté à l'avance. Elle repose sur une évaluation "sous-traitée" à la commission des titres pour les écoles d'ingénieurs. Les écoles de gestion ont créé le "chapitre management" : on envoie un questionnaire; si on va plus loin, on demande à l'école de faire une auto-évaluation approfondie ; enfin, il y a une évaluation par des experts envoyés par la Conférence, qui vérifient les réponses au questionnaire, l'auto-évaluation, et posent des questions. Ce dispositif a été mis en place pour les nouvelles

130

écoles. L'idée a été soulevée de repasserà la moulinette tous les membres tous les cinq ans. Elle n'a pas encore fait beaucoup de chemin. Il faut noter que la logique du dispositif est dynamique: l'idée est d'encourager les écoles à progresser pour se faire admettre à terme" Le processus marche d'ailleurs : certaines écoles ont pu décrocher des budgets plus élevés de la part des régions, pour pouvoir progresser.

En Suède et dans d'autres pays, le mouvement actuel se porte plutôt vers les programmes, les curriculum, plutôt que de centrer l'évaluation sur la salle de classe.

Je suis d'accord pour l'essentiel avec B. Girod de l'Ain. Je nuance sur deux points : il y a des spécificités dans l'enseignement de la gestion; second point, je n'ai parlé que de l'enseignement et pas de la recherche.

Aux USA, historiquement, l'enseignement de la gestion était sous-universitaire. On a donc essayé de le rendre universitaire, d'améliorer sa qualité scientifique. Aujourd'hui, beaucoup pensent qu'on est allé trop loin: on forme des scientifiques, on fait de la recherche, et on ne forme pas des managers.

Michel BERRY: Je me pose une question : en quoi les dispositifs de contrôle de la qualité de l'enseignement en gestion produisent-ils des enseignants de qualité? On cherche un moule unique, avec des normes harmonisées. Or, les entreprises cherchent la diversité. Plutôt que de gérer des systèmes uniques, il faut peut-être organiser la diversité. Ouels pourraient être les critères de la diversité? Pensons aux fromages. Ils sont très divers en France, et leur qualité est

Dans le document Concurrence et auto-régulation professionnelle : une approche organisationnelle des conflits d'intérêts dans les firmes américaines d'avocats d'affaires (Page 61-68)