CLASSEMENT DE SHANGHAI

Critères Indicateurs Pondération

Qualité de l'enseignement

Nombre de prix Nobel et de médailles Fields parmi les anciens

élèves 10 %

Qualité de l'institution

Nombre de prix Nobel et de médailles Fields parmi les

chercheurs 20 %

Nombre de chercheurs les plus cités dans leurs disciplines 20 %

Publications

Articles publiés dans Nature et Science entre 2000 et 2004 20 % Articles indexés dans Science Citation Index, et Arts &

Humanities Citation Index 20 %

Taille de l'institution Performance académique au regard de la taille de l'institution 10 % Source :

http://fr.wikipedia.org/wiki/Classement_acad%C3%A9mique_des_universit%C3%A9s_mondiales_par_l%27uni versit%C3%A9_Jiao_Tong_de_Shanghai#cite_note-4

Les critiques dénoncent l'importance accordée au prix Nobel¹¹ qui vaut 30 % des points (Marginson, 2007d : 2). Malgré tout, Liu affirme que cela leur permet de créer un classement avec un haut niveau de fiabilité et de stabilité d’une année à l’autre. Pour mieux figurer au sein de ce classement, on voit se profiler entre les divers établissements d’enseignement une course aux enseignants-chercheurs détenant un prix Nobel, aux chercheurs les plus cités et aux jeunes enseignants-chercheurs ayant le plus de potentiel de recherche afin de les embaucher pour ainsi gravir quelques places supplémentaires et se rapprocher de Harvard et de Cambridge (Wildavsky, 2010). De plus, les travaux de recherche considérés par le classement de Shanghai sont uniquement des travaux qui ont été rédigés en anglais, ce qui accorde un avantage certain à tous les pays anglo-saxons et ce qui se fait au détriment de tous les autres (Marginson et Wende, 2007 ; Marginson, 2007c).

Le classement de Shanghai accorde 20 % de la note d’un établissement aux chercheurs les plus cités de leur domaine. En anglais, on parle de « HiCi researchers ». Les HiCi researchers sont déterminés par un index de citation créé par une institution qui

11 « Il y a lieu de se poser de sérieuses questions sur la validité d’un indice qui fait varier la position d’une université de 100 rangs dans le palmarès par le seul fait d’attribuer à l’université de Berlin ou à l’université Humbolt le Prix Nobel d’Einstein obtenu en 1922 ! » (Gingras, 2008 : 9).

Chapitre III - Les classements internationaux

81 s'appelle « Thomson and Institute for Scientific Information ». Dans la littérature, on voit souvent apparaître cette institution par son acronyme : ISI. Elle classe les meilleurs chercheurs par catégories disciplinaires très larges et plus ou moins précises. ISI se concentre surtout dans les sciences dures. Elle identifie les 300 chercheurs les plus cités, parfois les 150 plus cités, tout dépend des groupes de disciplines (Marginson et Wende, 2007).

Toutefois, un des inconvénients avec les instruments bibliométriques c'est qu'il faut laisser suffisamment de temps à un article afin que les autres chercheurs le citent. Nous nous retrouvons donc dans une situation où les articles les plus cités ont une dizaine d'années et donc ne sont pas vraiment représentatifs de la situation actuelle des chercheurs et donc par extension de l'université dans lequel il travaille ou travaillait (Marginson et Wende, 2007).

Après tout, il est fort possible que ce chercheur ait changé d’université entre temps faisant ainsi profiter la nouvelle université de sa réputation et de ses travaux écrits dans le passé dans un autre établissement. Mais aussi, les résultats fournis par ISI sont principalement issus des États-Unis, créant ainsi un autre biais en faveur des anglophones nord-américains. En 2006:

« Of the HiCi researchers, 3,614 are located in the United States, compared to 224 in Germany, 221 in Japan, 162 in Canada, 138 in France, 101 in Australia, 94 in Switzerland, 55 in Sweden, 20 in China, and none in Indonesia (ISI, 2006). Among the U.S. universities, Harvard and its affiliated institutes alone have 168 HiCi researches, more than the whole of France or Canada. Stanford has 132 HiCi researches, more than all the Swiss universities together, University of California, Berkeley has 82, and MIT has 74. There are 42 at the University of Cambridge in the United Kingdom » (Marginson et Wende, 2007 : 342).

Dans le classement de Shanghai¹², les pays anglo-saxons sont largement dominants.

Par exemple, en 2006, les universités américaines occupaient 17 places dans le Top20 des meilleures universités au Monde. C’est énorme. Et dans le Top100 des meilleures universités, il y a 54 universités des États-Unis. Et si l'on ajoute aux 54 universités celles des autres principaux pays anglo-saxons (Royaume-Uni, Australie, Nouvelle-Zélande et Canada), ce sont 71 universités figurant dans le Top100 du classement de Shanghai (Marginson, 2007d).

En 2012¹³, dans le top 20, il y avait 17 universités américaines, deux anglaises et une japonaise. Donc 19 universités sur 20 sont anglo-saxonnes. Dans le Top100, c’est 53

12 Les données de ce paragraphe sont rapportées par Marginson (2007c : 6) sauf s’il y a des indications contraires.

13 http://www.shanghairanking.com/ARWU-Statistics-2012.html

universités des États-Unis, 9 de Grande-Bretagne, 5 d’Australie et 4 du Canada (toutes anglophones) et une en Nouvelle-Zélande pour un total de 72 universités sur 100 qui sont anglo-saxonnes. Le fait d’accorder beaucoup de poids aux publications donne l’avantage aux pays qui ont comme langue maternelle l’anglais. Rappelons que les publications non anglophones ne sont pas considérées par ce classement international. Il est donc prévisible d’y voir majoritairement des pays anglo-saxons :

« In 2001, scientists and social scientists in the United States published 200 870 articles in major journals. The volume of the articles from Japan was 57 420, the United Kingdom 47 660, Germany 43 623, France 31 317, and Switzerland 8 107. By contrast, in Indonesia, a midlelevel developing nation with two thirds of the population of the United States, there were 207 articles. There were 11 076 from India and 20 978 from China (National Superior Board, [NSB], 2006) » (Marginson et Wende, 2007: 348)

Toutefois, Marginson et Wende (2007) nous font remarquer qu’il est vrai que les États-Unis occupent majoritairement le classement de Shanghai et celui du Times dans le top100, mais, dans le top500, les universités américaines sont beaucoup plus rares.

Marginson et Wende (2007) nous expliquent que cela démontre un certain déséquilibre entre les meilleures universités américaines de recherche qui font l’admiration des autres pays par rapport aux universités en régions. Ces dernières ne sont pas aussi bien financées et représentent tout simplement des universités moyennes et non classées. Tandis qu’en Allemagne, les universités se démarquent bien dans le top500, mais ne sont pas souvent dans les 100 premières, ce qui démontre un meilleur équilibre dans le système allemand que dans le système américain.

Même si le classement de Shanghai a été pris dans des débats controversés sur sa fiabilité et notamment sur les indicateurs choisis par ses concepteurs, il est quand même jugé le plus crédible et le plus stable d’une année à l’autre selon plusieurs (Marginson et Wende, 2007 ; Marginson, 2007 ; Taylor et Braddock, 2007). Il ne cesse de voir grandir son influence sur les dirigeants des universités et aussi sur les étudiants partout dans le monde (Gingras, 2008) : « Altough the early rankings were aimed at a small audience, after Liu posted them online the demand – and controversery – soon became enormous. By his count, 4 million people have visited the Shanghai rankings Web site since 2003 [and 2007] – an average of 2,000 per day » (Liu cité par Wildavsky, 2010: 112).

Chapitre III - Les classements internationaux

83 Toutefois, le classement de Shanghai a aussi des faiblesses. Il ne tient pas compte de la qualité de l'enseignement, du taux de diplomation, du nombre d’étudiants par classe, des services offerts par l'université tels un gymnase équipé et accessible, une salle informatique moderne ou une bibliothèque riche en documents, etc. qui sont pourtant des informations pouvant être trouvées facilement pour la plupart et qui correspondraient aux types d’indicateurs normalement privilégiés par ce classement. On reproche aussi aux classements de Shanghai la trop grande importance qu'il accorde aux sciences dures aux dépens des sciences humaines et sociales, des lettres et des arts (Wildavsky, 2010). Ses concepteurs ont tout de même essayé de contrecarrer ce biais initial en augmentant la pondération des articles publiés dans les disciplines autres que la science étant donné que le taux de publications des chercheurs en sciences humaines ou en lettres est nettement inférieur à celui des chercheurs en sciences dures. Aussi, Marginson (2007d) rappelle que le classement de Shanghai ne prend pas en compte les livres, les chapitres de livres et les manuels publiés par les universitaires :

« Many detractors have complained about the Shanghai rankings’ bias toward science. After confirming that academics in the humanities typically have lower rates of publications than scientists, Liu doubled the weighting of articles that appear in the SSCI [Social Science Citation Index]. The rankings are still viewed as heavily tilted toward science (“the easiest way to boost rankings is to kill the humanities, one rector told Hazelkorn”) » (Wildavsky, 2010: 113-114).

Le danger des classements est de « guider » les administrations des établissements dans leurs choix de priorités en termes de distribution des ressources plutôt que de guider les étudiants. Dans le cas du classement de Shanghai, par ses critères d’évaluation, il suggère (in)directement à la direction des établissements d’enseignement d'accorder plus d’importance aux sciences dures qu'aux sciences sociales et humaines (Wildavsky, 2010).

Marginson (2007d) explique que très souvent les recherches faites en médecine sont plus citées que celles d'autres domaines de la science par exemple en ingénierie. Ce faisant, une université dotée d'une grande faculté de médecine sera nécessairement avantagée.

Aussi, les institutions d’enseignement les mieux cotées sont surtout américaines ce qui démontre que les indicateurs choisis par Liu et son équipe sont nettement influencés par la vision américaine de ce que devrait être une bonne université de recherche (Wildavsky, 2010). Finalement, les pays auront avantage à réduire le nombre d’universités en les fusionnant afin de créer des centres ou pôles d’excellence comme en Allemagne et en France.

Le fait d’avoir moins d’établissements réduit nécessairement l’offre de formations en dehors des grandes villes d’un pays, car ces pôles d’excellences allemands ou français auront intérêt à se situer près d’un bassin de population suffisamment important afin de justifier leur taille, ce qui désavantage les lieux plus éloignés. Ces regroupements d’établissements permettent de créer une masse critique plus importante en termes de quantité d’enseignants-chercheurs, d’étudiants et surtout en nombre de publications (Henzelkorn, 2009) :

« More specifically, in some countries such as Germany and the Netherlands [et la France] the Jiao Tong University research rankings have focused national government attention on actual or possible policies designed to increase the concentration of research activity in a small number of universities, including recruitment of additional high citation researchers, a group which significantly impacts university performance in the Jiao Tong University rankings. » (Marginson, 2007d: 6-7)

D’ailleurs, on oublie trop souvent que le classement de Shanghai n’est pas un classement international qui tient compte de toutes les facettes des établissements d’enseignement y figurant. Pourtant, les journalistes, les politiciens, les enseignants-chercheurs, les étudiants, bref tous ceux qui sont concernés par les résultats les prennent comme s’il s’agissait d’un classement « holistique » qui tiendrait compte de toutes les dimensions de l’université, ce qui n’est pourtant pas le cas (Marginson et Wende, 2007 ; Marginson, 2007a,b,c,d). Le classement de Shanghai se concentre à 90 % sur des indicateurs mesurant l’effort et la capacité de recherche d’un établissement (Usher et Savino, 2007), créant ainsi inévitablement un biais en faveur de la recherche au détriment d’autres dimensions importantes des universités comme l’enseignement, l’intégration à la communauté locale ou le transfert des connaissances : « Any ranking system must be judged based on the purposes for which a ranking system has been established » (Hendel et Stolz, 2008 : 377).

Par conséquent, les établissements qui fondent leurs décisions sur le classement de Shanghai prennent leurs décisions à partir de « résultats » partiels, ce qui peut comporter certains dangers. Pour le classement de Shanghai, la qualité d’un établissement d’enseignement supérieur s’identifie par sa capacité à produire des connaissances publiables dans des revues à comité de lecture et anglophones. Est-ce que cela garantit des cours de hauts niveaux avec de bons pédagogues et intéressants en classe : pas du tout !

« The chief problem with the Jiao Tong data lies not in their validity but their use. For the most part they are understood around the world not as a ranking of university research performance but as a holistic ranking of the

Chapitre III - Les classements internationaux

85 universities concerned and a marker of reputation in the emerging global

university market (Marginson 2006; 2007). Harvard becomes understood not as number one research site according to Shanghai Jiao Tong University but as number one university. This is despite the explicit urging of the Jiao Tong group not to interpret the data as holistic rankings; and despite the fact that those data favour certain kinds of institution and disadvantage others » (Marginson, 2007c: 6).

Classement du Times (Times Higher Education Supplement)

Le Times Higher Education Supplement que nous appellerons classement du Times a été lancé en 2005, soit à peine une année après le lancement officiel du classement de Shanghai. Il a été créé par John O’Leary, l’éditeur du Times de Londres. Il s’agit d’un classement international encore plus controversé que le classement de Shanghai pour le choix de ses indicateurs, leur validité, leur fiabilité et leur stabilité. Comme on l'a vu plus haut, le classement de Shanghai cherche à évaluer et comparer la productivité scientifique des établissements d’enseignement à travers le monde tandis que le classement du Times veut surtout mesurer, à l’aide d’un système d'évaluation par les pairs, la réputation des institutions d’enseignement. Le classement du Times – contrairement au classement de Shanghai - se veut un classement holistique (‘holistic’), c’est-à-dire qu’il considère que la réalité est complexe et dépasse largement la capacité de production scientifique des établissements qui ne représente qu’une seule dimension importante (Marginson, 2007c ; Marginson et Wende, 2007). Ainsi, le classement du Times cherche à mesurer à la fois la réputation de l’institution, le ratio enseignants-chercheurs par étudiant et les indices bibliométriques.

Le Times, pour classer les établissements d’enseignement, utilise un système d’évaluation par les pairs. Les enseignants-chercheurs dans différents domaines de spécialisation à travers le monde doivent répondre à un questionnaire qui permettra d'identifier les institutions les plus prestigieuses. Cette évaluation de la réputation d'un établissement d'enseignement supérieur faite par les pairs (les enseignants-chercheurs) représente en tout 40 % du pointage d'une université évaluée. L'avantage d'interroger directement les universitaires par un questionnaire permet une approche transdisciplinaire, c'est-à-dire que les enseignants-chercheurs de toutes les disciplines sont susceptibles de recevoir un questionnaire. Ainsi, les sciences humaines et sociales ainsi que les lettres y sont représentées au même titre que les sciences naturelles. 10 % des points proviennent d’un

sondage d'opinion de la qualité auprès des employeurs qui ont embauché (ou susceptibles d’embaucher) des diplômées des établissements d’enseignement. Comme le rappelle Marginson (2007d), si l’on additionne les deux parties réservées à la perception de la réputation par les enseignants-chercheurs et par les employeurs, cela représente 50 % de la note que le Times accorde aux établissements uniquement en fonction de la réputation et de l’opinion que les gens se font des établissements.

Cependant, la réputation est une idée subjective que les gens entretiennent vis-à-vis d’une institution. Elle est nécessairement le résultat d’une équation mentale complexe spécifique à chaque individu et qui couvre certainement plus large que les indicateurs pris en compte par le Times. Pour le Times, l’évaluation de la réputation des établissements d’enseignement devient une « boite noire ». L’évaluation de cette « réputation » varie beaucoup entre les répondants et les différentes cultures. D’ailleurs, nous le verrons, la volatilité d’une année à l’autre des résultats du Times est beaucoup plus élevée que celle du classement de Shanghai qui est plus stable (Marginson, 2007c, d).

En 2009, il y a eu 3300 réponses des employeurs du secteur privé et public à travers le monde. Aussi, le classement du Times accorde 20 % des points au rapport entre le nombre d’enseignants-chercheurs et le nombre d'étudiants. Selon le Times, cela permettrait d'évaluer l'importance qu’accorde l’établissement à son activité d'enseignement. De plus, 10 % des points sont accordés à l’institution pour sa capacité à attirer des candidats étrangers, soit 5 % pour des étudiants et 5 % pour les enseignants-chercheurs. Le classement accorde aussi 20 % du résultat au nombre de citations des professeurs en se basant sur les résultats disponibles sur ISI (Thomson and Institute for Scientific Information). Le classement du Times se veut surtout un guide et un premier pas dans l'acquisition d'information nécessaire aux étudiants afin que ceux-ci puissent choisir l'université correspondant le plus à leurs aspirations et à leurs ambitions. Il s'agit d'une aide à la décision et non pas d’un guide qui dicte ce qu’il faut faire dans toutes les circonstances.

La volatilité du classement du Times est beaucoup plus grande que celui du classement de Shanghai. La volatilité étant un défaut de stabilité fait que d'une année à l'autre, l’ordre des établissements classés tendra à beaucoup changer (Marginson, 2007c). Par exemple entre les résultats de 2006 et 2007, l'université de Stanford est passée de la 6e à la 19e place, mais elle est loin d’être la seule.Par exemple, l'Université Nationale de Mexico a

Chapitre III - Les classements internationaux

87 connu une dégringolade, passant de la 74e place à la 192e. Et l'université nationale de Singapour est passée de la 19e place à la 33e. Mais le cas le plus connu est celui de l'université de Malaya en Malaisie. En 2005, le Times lui accorda la 89e place. Évidemment, la direction de l'université était très fière et elle avait même affiché ses résultats sur le devant de son université pour faire savoir à tous que l’université faisait partie des 100 meilleures universités du monde. Or, le classement du Times avait fait une erreur dans le calcul des étudiants étrangers, notamment ceux provenant des pays asiatiques. L'année suivante, en 2006, l'université tomba à la 169e place ce qui coûta le poste au vice-chancelier de l'université, qui, à peine une année auparavant, avait été louangé par les médias nationaux (Wildavsky, 2010 ; Marginson, 2007 b & 2007d).

Ce dernier exemple nous rappelle que les classements internationaux sont parfois très imprévisibles ou volatiles pour utiliser un terme de Marginson (2007c). Encore une fois, la principale erreur est de voir dans les classements internationaux la valeur réelle d'une institution. Beaucoup plus de facteurs devraient être considérés, mais les classements considèrent qu'une partie de la réalité. Malgré ce fait, "l'imaginaire collectif" continue de considérer les résultats des classements comme représentatifs de la réalité « complète ». Par conséquent, dans les prochaines années, malgré l'amélioration constante des classements, il faut s'attendre à voir d'autres erreurs de ce type se produire avec toutes les conséquences qu'on peut imaginer sur la réputation d'un établissement. Car il vaut mieux monter de deux ou trois places dans un classement que d'être surévalué une année et de redescendre de plusieurs places comme l'université de Malaya. Bref, « think ‘yo-yo’ and you’ve about got it » comme dirait Marginson (2007d: 5) à propos du classement du Times.

Une autre chose que Marginson (2007d) dénonce est le faible taux de réponse qu’obtient le Times avec ses questionnaires auprès des universitaires. Par exemple, en 2007 plus de 200 000 questionnaires ont été envoyés, mais seulement 2000 questionnaires valides à des fins statistiques furent retournés. Le taux de réponse du Times n'est que de 1 %. De plus, ce sont surtout les pays anglo-saxons connaissant le Times qui répondent le plus aux questionnaires, c’est-à-dire qu’ils représentent environ la moitié du 1 % (Marginson, 2007c, 2007d).

« Methodologically, the ‘Times tables’ are open to criticism. It is not specified who is surveyed or what questions are asked. The survey gathers a response of just 1 per cent from 200,000 e-mails sent worldwide and not all responses are valid and can be used. The responses that do come in tend to

be from nations where the Times is well known, so the composition of the

be from nations where the Times is well known, so the composition of the