La mesure de la réputation

La réputation d'un système d'enseignement supérieur reflète la qualité perçue à l'échelle internationale du système plutôt que sa qualité intrinsèque et peut être approximée par le niveau de performance atteint par chaque pays dans les classements mondiaux des universités.

Le classement de Shanghai prend en considération, dans ses indicateurs principalement bibliométriques, la dimension de la performance de recherche des universités. Le classement du QS-Times utilise un ensemble plus diversifié d'indicateurs et essaye de capturer également la dimension de la qualité de l'enseignement des universités, notamment en menant une enquête annuelle demandant aux enseignants-chercheurs de nommer, dans leur domaine académique, les universités les plus réputées pour leur qualité d'enseignement. Une deuxième enquête est également menée en parallèle pour évaluer la qualité de la recherche des universités, en plus des indicateurs bibliométriques traditionnels (publications et citations dans la base de données "Web of Science".

Dans le classement de Shanghai les universités y sont classées selon six indicateurs avec des pondérations suivantes (Tableau 1) : les Alumni (anciens étudiants) d'une institution ayant gagné un prix Nobel ou une médaille Fields (10%), le personnel académique d'une institution ayant gagné un prix Nobel ou une médaille Fields (20%), les chercheurs les plus cités dans 21 catégories dans quatre grands groupes de sujets (20%), les articles publiés dans "Nature and Science" (20%), les articles indexés dans "Science Citation Index-expanded" et "Social Science Citation Index" (20%), et la performance académique par tête d'une institution (10%) (les scores pondérés des cinq indicateurs sont divisés par le nombre du personnel académique en temps plein équivalent). Enfin, pour chaque indicateur, l'université ayant obtenu le score le plus élevé se voit attribuée un score de 100, et les scores des autres universités sont calculés en pourcentage du score de l'université ayant obtenu le score le plus élevé.

156 Tableau 1

Les indicateurs et pondérations utilisés dans le classement de Shanghai (Academic Ranking of World Universities "ARWU")

Critère Indicateur Code pondération

Qualité d'éducation institution ayant gagné un prix Nobel Alumni (anciens étudiants) d'une

ou une médaille Fields Alumni 10%

Qualité du personnel académique

Le personnel académique d'une institution ayant gagné un prix Nobel

ou une médaille Fields Award 20%

Les chercheurs les plus cités dans 21 catégories dans quatre grands

groupes de sujets HiCi 20%

Production de recherche

Articles publiés dans "Nature and

Science" N&S 20%

Articles indexés dans "Science Citation Index-expanded" et "Social

Science Citation Index". PUB 20% Performance par

tête Performance académique par tête d'une institution PCP 10%

Total 100%

Source : traduction de l'auteur, http://www.shanghairanking.com/ARWU-Methodology-2012.html

Dans le classement mondial des universités du Times, 13 indicateurs de performance sont regroupés en cinq thèmes avec des pondérations attachées à chaque thème et ses indicateurs comme suit (voir le tableau 2 ci-dessous): l'enseignement ou l'environnement d'apprentissage (30%), le volume de la recherche, le revenu et la réputation (30%), Citations ou l'influence de la recherche (32,5%), la composition internationale du personnel académique et des étudiants (5%), le revenu reçu de l'industrie pour capturer la dimension d'innovation (2,5%).

Afin de construire nos indicateurs extrants de réputation des systèmes universitaires pour chaque pays, en exploitant les résultats des classements de Shanghai et du Times, nous avons suivi les étapes, ci-après :

− La première étape consiste à recueillir des données sur les scores obtenus dans chaque indicateur ainsi que le score global pour toutes les universités classées dans "Shanghai" ou dans "Times" (les universités classées dans le Top500 du classement de Shanghai, et les universités classées dans le Top400 du classement du Times), pour les périodes 2004-2006 et 2010-2012.

− Particulièrement pour le "classement du Times", le site officiel ne propose que des données sur les classements des années récentes (2011-2015). Les classements des anciennes années ne sont plus disponibles en ligne. Nous possédions déjà une copie de sauvegarde de l'édition 2007 du classement Times-QS (aujourd'hui les classements du Times et QS sont publiés

157 séparément par deux éditeurs différents), nous avons donc utilisé cette édition de l'année 2007 pour recueillir les données comme un substitut raisonnable des données de la période 2004- 2006. (En fait, les classements sont relativement stables et ne changent que par incréments d'une année à l'autre, donc nous estimons que le classement Times-QS 2007 est représentatif de la performance des universités réalisée dans le classement Times-QS pendant la période 2004-2006). Pour la période 2010-2012, nous avons utilisé les deux éditions disponibles en ligne, celles de 2011 et de 2012.

Tableau 2

Les indicateurs et pondérations utilisés dans le classement mondial des universités du Times

Indicateurs Pondération

Enseignement (l'environment d'apprentissage) 30%

Enquête de réputation 15%

Nombre des étudiants de premier cycle universitaire acceptés par une institution

par rapport au nombre du personnel académique 4.50%

Le ratio Doctorats-Licences 2.25%

Proportion des étudiants dans les programmes de recherche 6.00%

Revenu de l'institution par rapport au nombre du personnel académique 2.25%

Volume de la recherche, revenu et réputation 30%

Enquête de réputation 19.50%

Revenu destiné à la recherche, par rapport au nombre du personnel académique en

parité du pouvoir d'achat 5.25%

Nombre des articles publiés par le personnel académique dans les revues indexés

par Thomson Reuter (Web of Science) 4.50%

Revenu public destiné à la recherche d'une institution par rapport au revenu total

destiné à la recherche de cette institution 0.75%

Citations (influence de la recherche) 32.5%

Le nombre de fois les publications d'une universités sont citées par les chercheurs 32.50%

Mix international (personnel académique/étudiants) 5%

Le ratio personnel académique étranger/national 3.00%

The ratio of international to domestic students 2.00%

Revenu reçu de l'industrie (innovation) 2.5%

Revenu destiné à la recherche reçu de l'industrie par rapport au nombre du

personnel académique 2.50%

Total 100%

Source : traduction de l'auteur https://www.timeshighereducation.com/world-university-rankings-2010-11- methodology

− La deuxième étape consiste à calculer le score global obtenu par chaque université classée, en calculant la moyenne pondérée des scores obtenus dans chaque indicateur, en utilisant la méthodologie officielle des classements de "Shanghai" et du "Times". Cet étape est nécessaire puisque les classements ne fournissent pas le score global obtenu par les universités classées en dessous d'un certain seuil de classement (le score global est fourni uniquement pour le Top100 des universités dans "Shanghai" et le Top200 des universités dans "Times", alors que

158 nous avons besoin du score globale de toutes les universités classées dans le TOP500 de "Shanghai" et le Top400 du "Times").

− La troisième étape consiste à calculer la moyenne du score global de chaque université classée pour les deux périodes (2004-2005-2006) et (2010-2011-2012). Pour le classement du Times, comme expliqué précédemment, nous avions accès uniquement à l'édition 2007 (substitut pour la période 2004-2006) et aux éditions 2011 et 2012 (nous avons pris leur moyenne comme substitut pour la période 2010-2012).

− La quatrième étape est de grouper les universités par pays. Ensuite, nous avons additionné les scores obtenus par toutes les universités de chaque pays dans le classement de "Shanghai", et nous avons fait de même pour le classement du "Times". Cela nous a fourni un seul score total représentant la performance des universités de chaque pays dans les classement de "Shanghai", et un seul score total représentant la performance des universités de chaque pays dans le classement du "Times".

− La cinquième et dernière étape consiste à calculer le score total obtenu par les universités de chaque pays par rapport à la taille du système d'enseignement supérieur de ce pays (en divisant par le nombre d'étudiants). Enfin, les scores de chaque pays sont exprimés pour 10.000 étudiants. Ce qui nous donne nos deux indicateurs pour les 35 pays et les deux périodes 2004-2006 et 2010-2012: "Somme des scores obtenus par les universités dans le classement de Shanghai pour 10.000 étudiants", et " Somme des scores obtenus par les universités dans le classement du Times pour 10.000 étudiants".