Colloque
Colloque « « Evaluations Evaluations de la recherche de la recherche » » (Centre D
(Centre D ’ ’ Alembert) Alembert)
R R éé éé valuation de l valuation de l ’é ’é valuation valuation Qui Qui é é value quoi et pourquoi ? value quoi et pourquoi ?
J J - - F F M M é é la la (13.05.09) (13.05.09)
http://
http://jfmela.free.frjfmela.free.fr//jfmblogjfmblog
Au terme d
Au terme d ’ ’ une longue une longue é é volution volution
Il y a 25 ans, la rechercheIl y a 25 ans, la recherche éétait en France ltait en France l’’affaire desaffaire des organismes, avec un rôle secondaire des universit
organismes, avec un rôle secondaire des universitéés.s.
La composante universitaire a pris de plus en plusLa composante universitaire a pris de plus en plus d’d’importance pour plusieurs raisonsimportance pour plusieurs raisons ::
-- La dLa déémographiemographie : En 20 ans les effectifs de: En 20 ans les effectifs de professeurs et de ma
professeurs et de maîîtres de conftres de conférences ont doublérences ont doubléé.. -- La politique dLa politique d’’association avec les organismes qui aassociation avec les organismes qui a structur
structuréé la recherche sur les campus.la recherche sur les campus.
-- La politique de contractualisation qui a entraLa politique de contractualisation qui a entraîînnéé lele passage d
passage d’’un pilotage centralisun pilotage centraliséé àà un pilotage plusun pilotage plus strat
stratéégique par lgique par l’Etat’Etat..
Au terme d
Au terme d ’ ’ une longue une longue é é volution volution
Cette politique contractuelle implique un processus plusCette politique contractuelle implique un processus plus universel d
universel d’é’évaluation, qui svaluation, qui s’’est traduit dest traduit d’’abord par laabord par la crcrééation dation d’’organes dorganes d’é’évaluation dans les ministvaluation dans les ministèèresres (MST, MSU, MSTP), ce qui a pos
(MST, MSU, MSTP), ce qui a poséé le problle problèème de leurme de leur harmonisation avec les comit
harmonisation avec les comités dés d’évaluation des’évaluation des organismes.
organismes.
CréCréation en 2006 dation en 2006 d’une’une «« Agence d’éAgence d’évaluation de lavaluation de la recherche et de l
recherche et de l’’enseignement supenseignement supéérieurrieur »» (AERES)(AERES)
«« autoritautoritéé administrative indadministrative indéépendantependante »» avec uneavec une mission
mission «« universelleuniverselle »» dd’é’évaluation.valuation.
Une r
Une r é é forme centralisatrice forme centralisatrice
Une pareille agence nUne pareille agence n’’existe dans aucun autre pays.existe dans aucun autre pays.
CC’’est un paradoxe de la rest un paradoxe de la rééforme actuelle de prôner dforme actuelle de prôner d’’unun côtcôtéé la dla déécentralisation universitaire et, de lcentralisation universitaire et, de l’’autre, deautre, de
mettre en place des instances de pilotage centralis
mettre en place des instances de pilotage centraliséées…es…
En GrandeEn Grande--Bretagne, il nBretagne, il n’’existe pas dexiste pas d’’agenceagence
d’éd’évaluation, mais une campagne nationale dvaluation, mais une campagne nationale d’é’évaluationvaluation des d
des déépartements de toutes les universitépartements de toutes les universités, les, le ResearchResearch Assessment
Assessment ExerciseExercise (RAE) a lieu tous les 4(RAE) a lieu tous les 4 àà 6 ans et les6 ans et les rréésultats sont utilissultats sont utiliséés pour rs pour réépartir les crpartir les créédits rdits réécurrents.currents.
Une r
Une r é é forme centralisatrice forme centralisatrice
Les Les « « Etats Etats G G é é n n é é raux de la Recherche raux de la Recherche » » (2004) (2004) étaient plutôt favorable é taient plutôt favorable à à la cré la cr é ation d ation d ’une ’ une
« « Instance nationale d Instance nationale d ’é ’é valuation scientifique valuation scientifique » » (INES) agissant pour le compte de l
(INES) agissant pour le compte de l ’ ’ ensemble ensemble des des Etablissements Etablissements . .
Son fonctionnement devait s Son fonctionnement devait s ’ ’ inspirer de celui du inspirer de celui du Comit
Comit é é national de la recherche scientifique du national de la recherche scientifique du CNRS (
CNRS ( CoCNRS CoCNRS ) )
Principes ? Principes ?
Les principes affichLes principes affichéés par less par les EtatsEtats GGéénnééraux de 2004raux de 2004 :: -- L’éL’évaluation doit être collvaluation doit être colléégiale, contradictoire et transparente.giale, contradictoire et transparente.
-- L’éL’évaluation doit être lvaluation doit être léégitime pour la communautgitime pour la communautéé desdes éévaluévalués.s.
-- LL’é’évaluation de la recherche publique doit être systvaluation de la recherche publique doit être systéématique.matique.
-- LL’é’évaluation scientifique visevaluation scientifique vise àà assurer la meilleure qualitassurer la meilleure qualitéé scientifique des recherches effectu
scientifique des recherches effectuéées eues eu éégard aux missions configard aux missions confiééeses aux acteurs.
aux acteurs.
-- LL’é’évaluation scientifique doit être assurvaluation scientifique doit être assuréée de conse de consééquencesquences exéexécutives.cutives.
Composition de l
Composition de l ’ ’ instance instance d d ’é ’é valuation valuation
LL’é’élection dlection d’’experts sur listes syndicales a peu deexperts sur listes syndicales a peu de justifications. Cependant la composition du
justifications. Cependant la composition du CoCNRSCoCNRS est jug
est jugééee «« lléégitimegitime »» par beaucoup.par beaucoup.
Tout ne se réTout ne se résume passume pas àà la réla réglementation ; c’glementation ; c’est aussiest aussi affaire de pratique et de tradition.
affaire de pratique et de tradition.
Dans la tradition anglo-Dans la tradition anglo-saxonne, on n’ésaxonne, on n’élit pas leslit pas les experts. Ceux
experts. Ceux--ci sont nommci sont nomméés sur propositions.s sur propositions.
La France nLa France n’’a pas de tradition de nomination desa pas de tradition de nomination des experts qui soit transparente et ind
experts qui soit transparente et indéépendante. Ce quipendante. Ce qui justifie une certaine proportion d
justifie une certaine proportion d’’experts issus dexperts issus d’’uneune
procéprocéduredure éélectivelective –– pas forcépas forcément sur listes syndicales.ment sur listes syndicales.
Critiques de l
Critiques de l ’ ’ AERES AERES
Elles ne portent pas tant sur la composition des comitElles ne portent pas tant sur la composition des comitééss d’d’experts que sur les procexperts que sur les procéédures :dures :
-- CritCritèères qui ne seraient plus dres qui ne seraient plus dééterminterminéés de fas de faççonon
collécollégiale, mais selon desgiale, mais selon des «« réréféférents communsrents communs »»,, soussous l’él’égide degide de «« ddééléléguguééss scientifiquesscientifiques ».».
-- Usage abusif des indicateurs quantitatifs.Usage abusif des indicateurs quantitatifs.
-- Manque deManque de «« professionnalismeprofessionnalisme »» des comitdes comitéés ds d’’audit.audit.
Critiques les plus vives dans le milieu des SHS pourCritiques les plus vives dans le milieu des SHS pour lequel ces proc
lequel ces procéédures sont souvent nouvelles.dures sont souvent nouvelles.
Co Co û û ts de l ts de l ’é ’é valuation valuation
L L ’é ’é valuation valuation « « coll coll é é giale et contradictoire giale et contradictoire » » du du CoCNRS
CoCNRS « « co co û û te cher te cher » » . .
L L ’é ’é valuation g valuation g é é n n é é ralis ralis é é e de toutes les unit e de toutes les unit é é s et de s et de tous les chercheurs et enseignants chercheurs
tous les chercheurs et enseignants chercheurs suivant des m
suivant des m é é thodes classiques a un coû thodes classiques a un co û t et une t et une lourdeur consid
lourdeur consid é é rables. rables.
Le caract Le caract è è re re syst syst é é matique matique de l de l ’é ’é valuation valuation pos pos é é comme comme principe de base, ne se justifie que si un autre
principe de base, ne se justifie que si un autre principe est respect
principe est respect é é : celui de la mise en : celui de la mise en œ œ uvre des uvre des
cons cons é é quences de cette quences de cette é é valuation valuation . .
Logique budg
Logique budg é é taire taire
L L ’ ’ Etat Etat veut distribuer l veut distribuer l ’ ’ argent en fonction des argent en fonction des r r é é sultats des opé sultats des op é rations inscrites dans les rations inscrites dans les
programmes de la LOLF.
programmes de la LOLF.
Indicateurs affich Indicateurs affich és dans la LOLF : nombre de é s dans la LOLF : nombre de publications
publications ; indice de citation ; indice de citation à à deux ans deux ans ; ; nombre de brevets
nombre de brevets ; participation aux ; participation aux programmes cadre europ
programmes cadre europ é é ens ens ; nombre de ; nombre de chercheurs, d
chercheurs, d ’ ’ enseignants chercheurs enseignants chercheurs é é trangers trangers … …
D D é é rives de la logique budg rives de la logique budg é é taire taire
On peut parler de d On peut parler de d é é rives lorsqu rives lorsqu ’ ’ on voit ces on voit ces indicateurs budg
indicateurs budgé é taires macroscopiques devenir taires macroscopiques devenir des indicateurs de qualit
des indicateurs de qualit é é pour chaque pour chaque
é é tablissement, pour chaque tablissement, pour chaque é é quipe, voire pour quipe, voire pour chaque individu, et s
chaque individu, et s ’é ’é tablir comme des normes tablir comme des normes auxquelles les uns et les autres vont chercher
auxquelles les uns et les autres vont chercher à à satisfaire, ind
satisfaire, ind é é pendamment de leurs motivations pendamment de leurs motivations et de leurs d
et de leurs d é é marches propres. marches propres.
Cons Cons é é quences financi quences financi è è res des res des é é valuations valuations
Du temps de la MSU, c Du temps de la MSU, c ’é ’é tait la même instance tait la même instance qui qui é é valuait les unité valuait les unit é s (ou validait les s (ou validait les évaluations é valuations du CNRS), qui r
du CNRS), qui r é é partissait les cr partissait les cr édits r é dits ré é currents, currents, et qui faisait ses
et qui faisait ses « « recommandations recommandations » » pour le pour le pilotage des laboratoires.
pilotage des laboratoires.
Orientation Orientation « « jacobine jacobine » » qu qu ’ ’ on retrouvait aussi on retrouvait aussi dans les organismes.
dans les organismes.
Cons Cons é é quences financi quences financi è è res des res des é é valuations valuations
Il faut que les critIl faut que les critèères et les rres et les réésultats de lsultats de l’é’évaluationvaluation scientifique soient valid
scientifique soient validéés par ls par l’’instance qui distribue lesinstance qui distribue les crcréédits. On devrait dire par les instances, car les crdits. On devrait dire par les instances, car les crééditsdits rérécurrents ne constituant plus qucurrents ne constituant plus qu’’une partune part ––
dédécroissantecroissante –– des crdes créédits des laboratoires, lesdits des laboratoires, les
financements contractuels prennent de plus en plus financements contractuels prennent de plus en plus dd’’importance.importance.
UneUne éévaluation scientifique a aujourd’valuation scientifique a aujourd’hui peu dehui peu de
consconsééquences si lquences si l’’Agence Nationale de la RechercheAgence Nationale de la Recherche (ANR) ne la prend pas en compte.
(ANR) ne la prend pas en compte.
Cons Cons é é quences financi quences financi è è res des res des é é valuations valuations
On est dans une situation diam On est dans une situation diam é é tralement tralement oppos
opposé ée e à à celle des USA o celle des USA o ù ù ce sont la NSF et les ce sont la NSF et les autres agences qui proc
autres agences qui procè è dent dent à à l’é l ’é valuation des valuation des projets qui leur sont pr
projets qui leur sont pr é é sent sent é é s (par des individus s (par des individus ou des
ou des é é quipes), et o quipes), et o ù ù les universit les universit é é s s s s ’ ’ appuient appuient l l à à - - dessus pour former leurs propres jugements. dessus pour former leurs propres jugements.
Les britanniques s Les britanniques s ’ ’ engagent dans la même engagent dans la même logique avec la r
logique avec la r é é forme du RAE. forme du RAE.
R R é é forme du RAE forme du RAE
Le RAE qui fonctionnait sur le principe de la Le RAE qui fonctionnait sur le principe de la peer peer review
review , , est appel est appel é é à à être remplac être remplac é é par un nouvel par un nouvel exercice d
exercice d ’é ’é valuation, le valuation, le Research Research Excellence Excellence Framework
Framework (REF), qui serait tr (REF), qui serait tr è è s largement basé s largement bas é sur des indicateurs quantitatifs de performance.
sur des indicateurs quantitatifs de performance.
Le principal indicateur serait un indicateur des Le principal indicateur serait un indicateur des financements qu
financements qu ’ ’ une unit une unit é é de recherche (en de recherche (en
l l ’ ’ occurrence un d occurrence un d é é partement) est capable d partement) est capable d ’ ’ attirer attirer sur ses projets (de la part des agences de moyens sur ses projets (de la part des agences de moyens nationales, de l
nationales, de l ’ ’ Europe, des entreprises Europe, des entreprises … … ) )
R R é é forme du RAE forme du RAE
Le RAE est un exercice extrêmement lourd, Le RAE est un exercice extrêmement lourd, à à la la fois pour ceux qui le font et pour ceux qui le
fois pour ceux qui le font et pour ceux qui le subissent.
subissent.
L L ’ ’ effort fait par les d effort fait par les d é é partements pour bien se partements pour bien se pré pr ésenter au RAE est pay senter au RAE est pay é é en retour de maigres en retour de maigres augmentations
augmentations - - voire de la stagnation voire de la stagnation - - des des cr cr é é dits de recherche. dits de recherche.
Du coup, le gouvernement, mais aussi nombre Du coup, le gouvernement, mais aussi nombre d d ’ ’ universitaires, estiment que le jeu n universitaires, estiment que le jeu n ’ ’ en vaut pas en vaut pas la chandelle.
la chandelle.
R R é é forme du RAE forme du RAE
SS’’agissant des cragissant des créédits, les promoteurs de la rdits, les promoteurs de la rééforme fontforme font valoir que lorsqu
valoir que lorsqu’’on totalise la dotation don totalise la dotation d’’un grandun grand éétablissement, il y a une forte corrtablissement, il y a une forte corréélation entre leslation entre les montants calcul
montants calculéés selon ls selon l’’ancien et le nouveau systancien et le nouveau systèmes.èmes.
Le nouveau systLe nouveau systèème ne pourrait gume ne pourrait guèère être utilisre être utiliséé teltel quel dans le champ des sciences humaines et sociales, quel dans le champ des sciences humaines et sociales, pour lesquelles on devrait conserver la
pour lesquelles on devrait conserver la peerpeer reviewreview..
L’L’ididéée gée génnérale qui se dérale qui se déégage est qugage est qu’’on ne peut pason ne peut pas abandonner compl
abandonner complèètement le systtement le systèème basme baséé sur lasur la «« peerpeer review
review »», mais qu, mais qu’’on peut faire un plus grand usage deson peut faire un plus grand usage des indicateurs.
indicateurs.
Evaluation
Evaluation nationale nationale et et auto auto - - é é valuation valuation
Dans le cas de la Grande Bretagne, la note Dans le cas de la Grande Bretagne, la note attribu
attribu é é e e à à un d un d é é partement sert partement sert à à calculer (par calculer (par une formule connue de tous) le montant des une formule connue de tous) le montant des
cré cr é dits r dits r écurrents vers é currents vers és é s à à l’ l ’universit universit é é au titre de au titre de ce d ce d é é partement. Ces cr partement. Ces cr é é dits sont ensuite dits sont ensuite
globalis
globalis é é s au niveau de l s au niveau de l ’ ’ universit universit é é qui les qui les r r é é partit comme elle l partit comme elle l ’ ’ entend. entend.
Tout repose ensuite sur la qualit Tout repose ensuite sur la qualit é é des procé des proc édures dures d d ’ ’ auto auto -é - évaluation valuation et d et d ’ ’ arbitrage interne de arbitrage interne de
l l ’é ’é tablissement. tablissement.
Evaluation
Evaluation nationale nationale et et auto auto - - é é valuation valuation
L’L’autoauto--éévaluationvaluation dédésigne le processus mis ensigne le processus mis en œœuvre paruvre par unun éétablissement pourtablissement pour éévaluer ses performances envaluer ses performances en
fonction de sa politique,
fonction de sa politique, àà partir d’partir d’indicateurs etindicateurs et
dd’’expertises externes, quexpertises externes, qu’’il sil s’’agisse dagisse d’’expertises nationalesexpertises nationales ou dou d’’expertises ad hoc commanditexpertises ad hoc commanditéées par les par l’établissement.’établissement.
Il faut apporter aux universitIl faut apporter aux universitéés une aide ops une aide opéérationnellerationnelle pour faire un diagnostic personnalis
pour faire un diagnostic personnaliséé àà partir despartir des indicateurs et des notes de l
indicateurs et des notes de l’é’évaluation nationale.valuation nationale.
Il appartient auxIl appartient aux éétablissements,tablissements, àà partir de ce diagnostic,partir de ce diagnostic, de mettre en
de mettre en œœuvre, le casuvre, le cas ééchéchéant, desant, des éévaluations plusvaluations plus fines (faisant appel
fines (faisant appel àà des experts extdes experts extéérieurs) sur des pointsrieurs) sur des points strat
stratéégiques :giques : ééquipes en difficultquipes en difficultéés,s, éémergence demergence de nouvelles
nouvelles ééquipes, restructurations ou projets novateurs…quipes, restructurations ou projets novateurs…
Modulation des
Modulation des é é valuations valuations
Compte tenu de la lourdeur d Compte tenu de la lourdeur d ’ ’ une une é é valuation valuation nationale suivant les m
nationale suivant les m é é thodes traditionnelles, et thodes traditionnelles, et de leurs cons
de leurs cons é é quences souvent limit quences souvent limit é é es en es en termes de cr
termes de cré é dits de recherche, on peut se dits de recherche, on peut se demander si elles doivent être mises en
demander si elles doivent être mises en œ œ uvre de uvre de fa fa ç ç on syst on syst é é matique. matique.
Le basculement pur et simple vers des m Le basculement pur et simple vers des m é é thodes thodes
d d ’ ’ indicateurs soul indicateurs soul è è verait chez nous tout autant verait chez nous tout autant
d’ d ’objections qu objections qu’ ’en Grande en Grande - - Bretagne. Bretagne.
Modulation des
Modulation des é é valuations valuations
Un fameux rapport britannique, leUn fameux rapport britannique, le «« Rapport RobertsRapport Roberts »»,, prenait acte que tous les d
prenait acte que tous les déépartements ne sont pas danspartements ne sont pas dans la même situation du point de vue de la recherche. Il la même situation du point de vue de la recherche. Il proposait de moduler l
proposait de moduler l’’importance de limportance de l’é’évaluation envaluation en fonction des enjeux.
fonction des enjeux.
Pour ceux dont lPour ceux dont l’’activitactivitéé de recherche est modeste (ende recherche est modeste (en termes de volume ou de notori
termes de volume ou de notoriéétété internationale), ilinternationale), il suggsuggéérait de se contenter drait de se contenter d’’uneune éévaluation survaluation sur
indicateurs
indicateurs ; les autres auraient droit; les autres auraient droit àà uneune peerpeer reviewreview..
DD’’autres experts ont suggautres experts ont suggéérréé de rde rééserver laserver la peerpeer reviewreview aux unit
aux unitéés dont la situation aurait notablements dont la situation aurait notablement éévoluvoluéé depuis la derni
depuis la dernièère campagne dre campagne d’é’évaluationvaluation ; le rep; le repééragerage de ces unit
de ces unitéés pouvant se faire, lui, sur la base dess pouvant se faire, lui, sur la base des indicateurs quantitatifs.
indicateurs quantitatifs.
Modulation des
Modulation des é é valuations valuations
Les notes nLes notes n’ont pas qu’ont pas qu’’un usage budgun usage budgéétairetaire ; elles servent; elles servent aussi
aussi àà classer les unitclasser les unitéés de recherche aux yeux de las de recherche aux yeux de la communaut
communautéé scientifique et duscientifique et du «« publicpublic »», dans une logique, dans une logique dede «« palmarpalmarèèss »» qui influe sur lqui influe sur l’’attractivitattractivitéé de lde l’’unitunitéé..
LL’’AERES propose de remplacer une note par une pluralitAERES propose de remplacer une note par une pluralitéé de notes, en distinguant : la qualit
de notes, en distinguant : la qualitéé scientifique et lascientifique et la production
production ; le rayonnement et attractivité; le rayonnement et attractivité et l’et l’intintégrationégration dans l
dans l’’environnementenvironnement ; la strat; la stratéégie, la gouvernance et la viegie, la gouvernance et la vie de laboratoire
de laboratoire ; l’; l’apprappréciation du projet. Cependant une noteéciation du projet. Cependant une note ggéénnéérale serait finalement attriburale serait finalement attribuéée.e.
Il faut privilIl faut priviléégier la simplicitgier la simplicitéé des mdes mééthodes de notation quithodes de notation qui rend au moins possible la critique et la remise en cause
rend au moins possible la critique et la remise en cause ééventuelle des rventuelle des réésultats.sultats.
Modulation des
Modulation des é é valuations valuations
