Validité des indicateurs bibliométriques

La plupart des évaluations sur la productivité de la recherche scientifique et des universités sont basées sur la bibliométrie. L’importance de ces évaluations suscite de fortes critiques sur l’application de cette méthode de recherche dans le domaine universitaire. Car,

L’évaluation de la production scientifique des chercheurs et des laboratoires détermine à l’Université l’habilitation des diplômes, l’accréditation des équipes et la carrière comme la promotion des enseignants-chercheurs. (Gori et Volgo, 2009: 1)

De même, les universités sont évaluées et classées en tant qu’institutions d’excellence selon leur productivité.

Les principales critiques reposent sur la validité des indicateurs bibliométriques, parmi lesquels se distinguent :

 Le facteur d’impact qui consiste en un décompte des citations et permet l’évaluation de l’impact scientifique de la recherche. Ce facteur, selon Gori et Volgo, « caractérise le contenant, la structure formelle, et non le contenu, la valeur » (Gori et Volgo, 2009: 2). Ainsi, Ils remarquent que,

Le nombre de citations ne mesure pas réellement la qualité de la publication. La nature des résultats dans les différents domaines scientifiques implique une quantité de publications différentes à un rythme différent. Ceci a un effet direct sur le facteur d’impact.

Par exemple, les revues médicales ont des facteurs d’impact bien supérieurs aux revues de mathématiques.

Relevant la fréquence des citations par article et négligeant le prestige de la revue, le facteur d’impact est une mesure de popularité, non de prestige.

Le facteur d’impact peut être artificiellement augmenté par une politique éditoriale adéquate.

Le facteur d’impact est lié à la revue et non à l’article. Un article publié dans une revue à fort impact peut avoir un nombre de citations très bas, voire nul.

Bien que le facteur d’impact ait été créé à l’origine comme mesure de la réputation d’une revue, il est de plus en plus employé comme mesure de la productivité des chercheurs. (Gori et Volgo, 2009: 1)

 Le taux des citations considéré comme synonyme de reconnaissance et de qualité de la recherche. Les processus bibliométriques sont cumulatifs, raison pour laquelle

Cumulative citation indicators thus seem to allow scientists to rest on their laurels since the number of citation might increase even if no new papers are published. In verbal terms, your papers do the job for you. (Glänzel, 2008: 29)

Un article peut être cité des années après sa publication. En plus, selon Gläzel, ce processus cumulatif est aussi illustré par les citations accordées aux travaux invalides ou frauduleux, qui parfois perdurent longtemps (Glänzel, 2008). Ainsi, un nombre de citations peut aussi refléter des réfutations et des controverses.

 Les cosignataires d’un article reflètent des collaborations scientifiques. Cronin (2003) observe que certains chercheurs inscrivent des signataires de façon gratuite pour des raisons de convenance. « Strategic co-authorship and sub-

authorship is actually used in the hope of starting with advantages and of easier

achieving success » (Glänzel, 2008: 27). Ainsi, même les remerciements traduits en signatures « gratuites » sont utilisés de façon stratégique pour obtenir de l’appui (Cronin et al., 2003).

À ces critiques s’ajoute la mauvaise construction des indicateurs bibliométriques, qui génèrent « des utilisations anarchiques, pour ne pas dire sauvages de la bibliométrie » (Gingras, 2008: 1). Gingras fait référence à l’application incorrecte des indicateurs bibliométriques dans le classement de Shanghai, lequel présente le palmarès des meilleures institutions internationales. « En fait, seule une psychosociologie des dirigeants universitaires et autres fonctionnaires ministériels haut placés pourrait

expliquer un tel engouement pour un classement qui n’a, en réalité, aucune valeur scientifique. Il est aussi probable que l’importance soudaine accordée à ce classement, soit un effet des discours sur l’internationalisation du « marché universitaire » et de la recherche de clientèles étrangères lucratives qui viendraient ainsi combler les revenus insuffisants provenant des gouvernements » (Gingras, 2008: 9-10). Par conséquent, les résultats obtenus par la bibliométrie ne reflètent pas seulement des réalités objectives et fiables, mais également les intérêts politiques, économiques et personnels de ceux qui les produisent. Cependant,

Aucune méthode d’évaluation n’est entièrement objective, ni ne présente de valeur universelle. Il est à la fois illusoire et dangereux de vouloir valider une méthode d’évaluation au nom de prétendues « normes » qui ne sont dans la plupart des cas que des concepts arbitraires ou des critères en fait autovalidés (Gori et Volgo, 2009: 1).

Sous cette perspective, la recherche produite à partir de n’importe quelle méthode de recherche est donc digne de méfiance, de scepticisme. Et il n’y aurait, « s’il fallait se rendre à cette objection, plus de recherche scientifique possible » (de Bonville, 2000: 396). Il reste, dans le cas de la bibliométrie, l’usage des indicateurs bien construits et l’application conjointe de méthodes variées pour leur analyse. En ce qui concerne l’application de cette méthode dans notre étude, nous nous inscrivons dans la suite de Archambault et Vignola Gagné (2004) mentionnées plus haut, et acceptons l’importance de construire des indicateurs adéquats (Gingras, 2008) à notre objet d’étude. Enfin, nous réalisons des entrevues avec plusieurs rédacteurs en chef des revues étudiées justement afin de corroborer certains de nos renseignements concernant les résultats obtenus.

Nous présentons ensuite notre démarche méthodologique. Notre volonté est de rendre lisible quantitativement et qualitativement l’ensemble de cette démarche afin de permettre l’analyse et la discussion des résultats.

Ce chapitre est consacré à un exposé de la démarche méthodologique suivie pour la présente thèse. Après avoir présenté les unités d’analyse, nous expliquons nos catégories d’analyse. Nous terminons ce chapitre avec une explication des entrevues et des communications considérées pour l’interprétation des résultats obtenus.