Peut-on définir un bon indicateur d’évaluation de la recherche ?recherche ?

Les "Principes de Berlin"10 définis en 2006 par l’auto-proclamé International Ranking Expert Group énoncent un certain nombre d’exigences que devraient satisfaire les classements internationaux des établissements d’enseignement supé-rieur :

1. Etre l’une des nombreuses approches de l’évaluation des ressources, des processus et des résultats de l’enseignement supérieur.

2. Etre explicites quant à leur objectif et à leurs publics cibles.

3. Reconnaître la diversité des établissements et prendre en considération leurs différentes missions et objectifs

8. dans [Gingras, 2008]

9. Y. Gingras dans [Zaccai et al., 2016] page 69

10. Un Groupe d’experts internationaux en classements - IREG [International Ranking Expert Group] a été fondé en 2004 par le Centre européen pour l’enseignement supérieur de l’UNESCO (UNESCO-CEPES) de Bucarest et l’Institute for Higher Education Policy de Washington, D.C. C’est à partir de cette initiative que s’est tenue la deuxième réunion de l’IREG (Berlin, les 18-20 mai 2006) afin de formuler un ensemble de principes concernant la qualité et les bonnes pratiques dans les classements des établissements d’enseignement supérieur - appelés les Prin-cipes de Berlin sur le classement des établissements d’enseignement supérieur - http ://ireg-observatory.org/en/index.php/berlin-principles-french

CHAPITRE 2. LA FONCTION EVALUATION

4. Etre clairs quant à la gamme de sources d’information employées dans les classements et des informations rendues accessibles par chaque source 5. Indiquer les contextes linguistiques, culturels, économiques et historiques

des systèmes d’enseignement qui font l’objet de classements

6. Etre transparents quant à la méthodologie employée pour la création de classements.

7. Choisir les indicateurs en fonction de leur pertinence et de leur validité. 8. Mesurer de préférence, et dans la mesure du possible les résultats plutôt

que les ressources

9. Mettre en évidence les poids assignés aux différents indicateurs (si employés) et limiter leurs changements.

10. Accorder une attention sévère aux standards éthiques et aux recommanda-tions concernant les bonnes pratiques formulées dans ces Principes.

11. Utiliser des données auditées et vérifiables chaque fois que cela est possible. 12. Inclure des données qui sont collectées par des procédures appropriées de

conformes à la collecte scientifique de données.

13. Appliquer des critères d’assurance qualité aux processus mêmes de classe-ment.

14. Appliquer des critères organisationnels qui accroissent la crédibilité des clas-sements.

15. Offrir aux consommateurs une compréhension claire de l’ensemble des fac-teurs employés pour la construction d’un classement, ainsi que le choix de la manière dont les classements doivent être présentés.

16. Etre compilés d’une manière qui élimine ou réduise le nombre d’erreurs au niveau des données d’origine, et être organisés et publiés d’une manière qui permette la correction des erreurs et des fautes potentielles.

Bien qu’énoncées initialement pour les classements des établissement d’en-seignement supérieur, il nous semble que ces exigences peuvent facilement, sous réserves de quelques adaptations mineures, être étendues à tous types de classements. En outre, il est important de noter que ces principes qui ont le mérite d’exister ne sont que des recommandations à respecter et en aucune façon une méthode qui permette de concevoir un nouveau classement.

D’une manière plus générale, [Gingras, 2008] définit un indicateur comme une variable mesurable qui vise à appréhender un concept. Ainsi l’indicateur n’est pas le concept lui-même, mais une façon approchée de mesurer dans le temps les chan-gements du concept visé. Il doit donc être fortement corrélé aux caractéristiques

CHAPITRE 2. LA FONCTION EVALUATION

présumées du concept lui-même. Gingras continue en proposant les propriétés sui-vantes pour caractériser un bon indicateur :

— être adéquat à son objet : la mesure est-elle appropriée à l’objet évalué ? Les résultats que produit l’indicateur sont-ils du bon ordre de grandeur étant donné ce que l’on sait par ailleurs ?

— être homogène dans sa mesure.

— respecter l’inertie propre de l’objet : certaines choses variant plus ou moins rapidement, selon leurs caractéristiques intrinsèques (un thermomètre qui, sans raison apparente, enregistre un brusque changement de la température d’une pièce est sans doute mal configuré ou défectueux).

— soutenir une relation monotone croissante entre le concept mesuré et l’indicateur choisi.

Pour continuer nous allons maintenant utiliser le classement de Shanghai pour discuter de la validité de cet indicateur à la lumière des propriétés et principes énoncés précédemment. Ainsi ce classement s’articule autour de l’agrégation des six mesures pondérées comme suit :

1. 20 % - membres du corps universitaire ayant reçu un Nobel ou une médaille Fields

2. 20 % - nombre de chercheurs de l’institution parmi la liste des "plus cités" de Thomson Reuters

3. 20 % - nombre d’articles de l’institution publiés dans les revues Nature et Science

4. 20 % - nombre total d’articles recensés dans le Web of Science de la com-pagnie Thomson Reuters

5. 10 % - nombre d’anciens étudiants ayant reçu un Nobel ou une Médaille Fields

6. 10 % - ajustement des résultats précédents selon la taille de l’institution Ainsi, l’indice se fonde sur l’agrégation de plusieurs mesures hétérogènes (le nombre de publications n’est par exemple pas commensurable avec le nombre de prix Nobel). En outre, il est démontré que les données sur lesquelles il est fondé sont difficilement reproductibles [Florian, 2007]. Ce classement souffre par ailleurs d’un problème d’inertie à travers la variation possible de la position d’une université de plus de 100 rangs dans le palmarès par le seul fait d’attribuer à l’université de Berlin ou à l’université Humboldt le prix Nobel d’Einstein obtenu en 1922. L’influence aujourd’hui d’un prix obtenu il y a aussi longtemps pose en outre question, voir notamment [Enserink, 2007].

De ce fait, les exigences des "Principes de Berlin", qui selon Gingras passent sous silence l’importante problématique de la diversité disciplinaire, sont loin

CHAPITRE 2. LA FONCTION EVALUATION

d’être satisfaites par le classement de Shanghai ou d’autres classements com-parables. De même la majeure partie des indicateurs utilisés aujourd’hui dans l’évaluation de la recherche ne respectent pas les propriétés énoncées par Gingras, voir notamment pour une critique de ces indicateurs l’intervention de Y. Gingras intitulée "Du bon usage des indicateurs", pages 67 à 73 dans [Zaccai et al., 2016] . Dans ce qui précède, nous avons souligné que la question des indicateurs est fortement débattue au sein de la communauté scientifique notamment dans un contexte d’évaluation de la recherche. Nous avons par ailleurs précédemment fait la distinction entre évaluation de la recherche et évaluation du système. Dans ce qui suit nous allons nous interroger sur la notion d’indicateur dans le contexte plus large de l’aide à la décision et discuter des enjeux de ces questions sur la construc-tion de notre foncconstruc-tion d’évaluaconstruc-tion. Pour faire la transiconstruc-tion avec ce qui précède, nous renvoyons le lecteur à [Billaut et al., 2010] qui remettent également en cause le classement de Shanghai mais en adoptant un point de vue fondé sur l’aide mul-ticritère à la décision. En particulier, leurs conclusions sont que les critères utilisés ne sont pas pertinents, que la méthode d’agrégation présente des problèmes ma-jeurs et que l’exercice souffre d’une réflexion insuffisante sur les questions liées à la structuration du problème.