L ES PUBLICATIONS SCIENTIFIQUES AU PRISME DE L ’ ÉVALUATION

La recherche est sujette à l’évaluation, le premier niveau d’évaluation d’une nouvelle connais-sance passant par sa validation par les pairs dans le processus éditorial (I-2.1.2). La publica-tion devient ensuite le matériau pour mesurer les activités de recherche. Pour cela, la science a élaboré ses méthodes d’analyses.

2.2.1. La bibliométrie

La bibliométrie est la mesure de l’activité scientifique sur la base de publications scienti-fiques. Pensée à un moment où l’édition vivait une première révolution, dans le sillage de la révolution industrielle du XIX^e siècle (marquée avec une forte augmentation des disciplines et des revues), le terme a été employé pour la première fois par le bibliographe belge Paul Otlet, considéré comme le père de la documentation . ³³

Dès cette époque, la bibliométrie est utilisée à des fins de bibliothéconomie : face au besoin de rationaliser les abonnements, des bibliothécaires et documentalistes ont élaborés de nouveaux indicateurs, évaluant les revues selon des critères d’usage [26, Pontille et Torny].

Voir la définition donnée par Otlet, in Traité de Documentation, 1934, p. 13. Disponible en version intégrale sur https://

33

lib.ugent.be/fulltxt/RUG01/000/990/276/BIB-038A006_2006_0001_AC.pdf [Consulté le 30-11-2019]

L’utilisation de la bibliométrie comme mesure des activités de recherche remonte aux années 1950-60, avec la construction d’outils bibliométriques adaptés – indicateurs ou lois de réparti-tion se développent. La paternité de cette « science sur la science » est attribuée à deux scientifiques : le physicien anglais Derek J. de Solla Price et le chimiste américain Eugène Garfield. Tous deux sont à l’origine, en 1960, de l’Institute for Scientific Information (ISI), qui propose un ensemble de services d’analyse bibliométrique, afin de « combler le fossé qui sé-pare l’approche sujet de ceux qui créent les documents – c’est-à-dire les auteurs – et l'ap-proche par sujet du scientifique qui cherche des informations » [25, Garfield], donc de lui faci-liter le repérage et l’accès à l’information. Ces services reposent sur :

• les Current Contents, base de données pluridisciplinaire composée d’une compilation de références bibliographiques et sommaire de revues ;

• le Journal of Citation Report (JCR), qui propose un classement des revues scientifiques, selon la qualité des contenus, déterminée par le Journal Impact Factor (IF) (facteur d’im-pact de la revue), qui procède de la combinaison du nombre de citations d’une revue avec le nombre d’articles ;

• le Science Citation Index (SCI), l’indice de citation d’un article.

Les JCR « restent à la base de multiples études bibliométriques. Ils ont été les premiers ins-truments de travail. Mis à la disposition de tous sous la forme de périodiques, ils donnent l’opportunité aux chercheurs de toutes les disciplines d’utiliser des outils bibliométriques dans l'évaluation de leur propre domaine » [25, Rostaing].

De nouvelles métriques sont venues compléter celles de l’ISI, permettant de nouvelles ap-proches bibliométriques : le H-Index parmi les plus réputées (nombre de publications d’un chercheur rapporté au nombre de citations) ; les Altmétrics dernièrement, qui reposent sur la diversification des mesures, dont l’indice de mesure de la notation d’un article sur les réseaux sociaux académiques.

2.2.2. De la publication à la notice

Les outils de l’ISI se sont développés avec les nouvelles technologies et sa base de données bibliographiques s’est considérablement étoffée. L’identification d’une publication passe par sa notice, véritable matériau de l’analyse bibliométrique, mais aussi d’accès aux résultats de la recherche, d’autant plus essentiel avec la multiplication des documents et la prolifération des modes et lieux de diffusion.

« La notice bibliographique sert d’unité d’enregistrement dans une bibliographie ou dans un catalogue, mais aussi de référence pour citer un autre ouvrage dans les textes produits par les intellectuels et les scientifiques » [12, Boulogne]. Elle se compose d’une partie visible et d’une face cachée, qui contiennent des données de référence, organisées de façon rationnelle. Se-lon l’AFNOR, la notice bibliographique est « l’ensemble des données bibliographiques rela-tives à un document généralement prises dans celui-ci et servant à son identification » : au-teur(s), titre, titre de la revue ou de l’ouvrage, chapitre d’ouvrage, lieu de publication, date, pagination, identifiant, points d’accès. Dans le contexte d’échanges internationaux, la compo-sition des notices a très vite fait l’objet d’une normalisation . ³⁴

• La norme ISO 2709 est une norme internationale qui définit un format d’échange de no-tices bibliographiques, le format MARC (machine readable cataloging, catalogage lisible par machine) développé au moment de l’informatisation des bibliothèques.

L’IFLA (International Federation of Librarian Associations) est l’organisme international qui définit les normes bibliographiques.

34

• Depuis 1995, le Dublin Core (DC) a défini un schéma de métadonnées pour la description bibliographique des ressources Internet…

Les métadonnées apportent des informations supplémentaires sur le document, suivant éga-lement des formats standards adaptés au type de la ressource. La qualité et la granularité de ces métadonnées assurent la visibilité de la publication et son accès, et font des références bibliographiques des instruments précieux de bibliométrie.

Ainsi la référence bibliographique d’un article scientifique permet, en plus de renseigner l’au-teur, le sujet, son domaine et sous-domaine de recherche, d’indiquer le rattachement du chercheur, son ou ses affiliations, les adresses des structures, celles des co-auteurs éventuels, le pays de publication…, des indications dont sont garants les professionnels de la documenta-tion, et dont l’absence est un problème majeur pour le repérage, comme l’a montré l’enquête (II-3.4.2).

2.2.3. Le pilotage de la recherche

Les évaluations des activités de recherche répondent à deux logiques : l’une relevant de mo-tivations scientifiques, l’autre, de momo-tivations économico-politiques.

Selon l’OCDE, « la bibliométrie peut se définir comme la discipline qui mesure et analyse la production (“l’output”) de la science sous forme d’articles, de publications, de citations, de brevets et autres indicateurs dérivé plus complexes. La bibliométrie constitue un instrument important dans l’évaluation des activités de recherche, des laboratoires et des chercheurs, ain-si que dans l’appréciation des spécialisations et des performances scientifiques des pays »³⁵. En fonction des études stratégiques, chaque pays a développé ses critères, ses indicateurs ou ses sources d’analyses [24, Barts]. Toutefois, la compétitivité des États a conduit à privilé-gier une approche quantitative de l’évaluation.

Nombreux sont les scientifiques qui regrettent, depuis des années, ce détournement de la bibliométrie, devenue un moyen de mesure de l’activité du chercheur selon des indicateurs basés sur les revues prestigieuses classées dans le JCR, puis de la productivité des établis-sements.

L’ISI, devenu une entreprise lucrative, a fait long feu. Renommé Web of Science (WoS) , ra³⁶ -cheté par Thomson-Reuters en 1992 et repris en 2016 par la société Clarivate Analytics, l’ISI a profité de sa position monopolistique et, le graal pour tout chercheur est de voir son article publié dans les revues cotées du JCR, revues dont la validation par les pairs est assurée.

« De nombreux pays ont adopté des mesures d’incitation ou d’évaluation fondées sur le JIF, et des chercheurs modifient leurs pratiques de publication et de citation afin d’être bien positionnés dans les hiérarchies inédites favori-sées par ces technologies d’évaluation. » [26, Pontille et Torny]

Ce système de mesure a également contribué à renforcer la position monopolistique de quelques grands groupes d’éditions, au détriment de revues plus modestes, cinq d’entre eux – Reed Elzevier, Springer, Thomson Reuters, Wiley, Wolters Kluwer – se partageant plus de 40 % du marché de l’édition scientifique.

Okubo Y., « Indicateurs bibliométriques et analyse des systèmes de recherche : Méthodes et exemples », OCDE, n° 1997/01, Édi

35

-tions OCDE, Paris, Disp. sur https://www.oecd-ilibrary.org/science-and-technology/indicateurs-bibliometriques-et-analyse-des-sys-temes-de-recherche_233811774611

https://clarivate.com/webofsciencegroup/solutions/web-of-science/

36

Ce sont les classements internationaux qui ont participé à une instrumentalisation de la bi-bliométrie à des fins de compétition. Ainsi, le classement de Shanghai détermine l’excel³⁷ -lence des universités à partir de la participation aux deux fameuses revues anglophones plu-ridisciplinaires, Science et Nature, et des prix Nobel et médailles Fields obtenus par leurs chercheurs. L’évaluation du Times Higher Education³⁸ fait ressortir les mêmes universités, américaines et britanniques. Ces classements sont pris en compte pour donner la position des États et le WoS demeure la référence internationale pour l’analyse bibliométrique. Il ap-porte à ces utilisateurs de nombreuses garanties de qualité, demeurant la base de données la plus complète à défaut d’être exhaustive, malgré les faiblesses évidentes de ses critères pointées depuis longtemps [10, Billault] :

- la sous-représentation des sciences humaines et sociales (SHS), davantage tournées vers des revues locales ;

- l’hégémonie des revues anglophones (l’anglicisation des revues scientifiques s’est d’ailleurs imposée) ;

- une dissymétrie d’accès au savoir pour les pays en développement.

En outre, les références comportant souvent – et de plus en plus – de co-auteurs, contribu-teurs, toutes les affiliations de ces derniers ne sont pas prises en compte, ce qui fausse les indicateurs : « les études infométriques basées sur l’exploitation des grandes bases de don-nées scientifiques internationales sont perturbées par la complexité de l'organisation de la recherche française » [24, Barts].

Un avis de l’Académie des Sciences de 2011, réitéré en 2016, recommande de prendre en compte les différences de pratiques entre les disciplines et détaille les problèmes que sou-lève une évaluation univoque. Il enjoint de remettre les évaluations au service de la science : rejetant le JIF, le recours à des indicateurs qualitatifs doit être privilégié ; soulevant les diffé-rences entre les disciplines, une évaluation différenciée quant aux critères est prônée. L’Aca-démie souligne également la nécessité de reconnaître les règles et nouveaux principes d’évaluation aux niveaux européen et international (I-3.2.1).

Or, si la carrière d’un chercheur est depuis longtemps soumise à la pression de l’évaluation , ³⁹ celui-ci doit faire face à l’explosion de la littérature académique et, à l’injonction du « Publish or perish », s’ajoute celle du « Be visible or vanish ».