4. État de l’art dans le domaine de la bibliométrie appliquée à la
4.5 Les critiques formulées à l’encontre des indicateurs bibliométriques
4.5.2 Les indicateurs dont la pertinence n’est pas largement reconnue
4.5.2.1 Le facteur d’impact des revues scientifiques
En réponse aux critiques concernant le calcul du nombre de citations, Garfield (1979) réfléchit déjà à la pertinence de la pondération du nombre de citations en regard du prestige des revues. Il doute que la réputation des revues augmente la chance d’être cité, du fait que les services d’indexation et d’abstract permettent d’augmenter la visibilité des articles publiés dans la majeure partie des revues. En outre, estimant que les publications suffisamment citées pour « faire la différence » sont publiées dans un groupe réduit de revues qui bénéficie dès lors d’un haut degré de prestige et de visibilité, Garfield (1979) se demande :
“Is not the prestige of the journal that published the citing work just as important as the one that published the cited work?” (Garfield 1979, p. 365) Le FI est sans conteste l’indicateur le plus controversé dans le domaine. Le Manifeste de Leiden (Hicks et al. 2015) parle de cette obsession du FI, illustrant l’évolution des mentions dans les publications (cf. Annexe 27). La controverse autour du FI est de deux ordres précisent Wilsdon et al. (2017) : i. la manière dont il est calculé ; ii. la manière dont il est utilisé dans l’évaluation de la recherche. Nous avons précédemment expliqué ce qu’est le FI et les manières dont il est calculé (cf. chapitre 4.4.4). Cet indicateur renseigne quant à l’impact ou à la visibilité d’une revue, calculé en fonction du nombre de citations que reçoivent les articles qu’elle publie. Le FI a été développé en vue de permettre la sélection des revues auxquelles les bibliothèques vont s’abonner, « non pour mesurer la qualité scientifique de la recherche exposée dans un article » (Déclaration de Dora 2012, § 3).
La principale critique provient du détournement du FI, à savoir son recours en tant qu’indicateur de l’impact d’un article, alors utilisé comme substitut du nombre de citations d’une publication, ce qui est erroné (Wilsdon et al. 2017). Tous les articles publiés dans une revue ne seront pas cités de manière identique. De plus, “not every paper published in a top journal is high-quality paper” (Moosa 2018, p. 7). Dans leur étude portant sur le domaine de la pédiatrie, Jelicic Kadic et al. (2020) observent que :
“Articles that use observational research methodology, and are published in journals with lower impact factors, can become citation classics.”
(Jelicic Kadic et al. 2020, p. 7) En matière d’évaluation, Balaban (2012) avise que certaines publications ne seraient pas considérées du moment que la valeur du FI serait inférieure à un certain seuil. Les articles publiés dans des revues à fort FI ayant plus de chance d’être cités, Balaban
(2012) suggère d’inverser la pratique en attribuant plus d’importance, dans l’évaluation, aux citations d’articles publiés dans des revues à faible FI. Certains spécialistes du domaine n’écarteraient pas pour autant le recours aux indicateurs d’impact des revues dans le cadre de l’évaluation des publications récentes du fait que leur taux de citation n’est pas encore conséquent (Wilsdon et al. 2015). La Déclaration de Dora (2012) relève quatre faiblesses dans de FI :
« A) les distributions des citations dans les revues sont très asymétriques […] ; B) les propriétés du facteur d'impact sont propres à chaque domaine : il s'agit d'un agrégat de types d'articles multiples et très divers, avec des articles primaires comme de synthèse […] ; C) les facteurs d'impact peuvent être manipulés (ou « instrumentalisés ») par une politique éditoriale […] ; et D) les données utilisées pour calculer les facteurs d'impact ne sont ni transparentes ni ouvertement accessibles au public. » (Déclaration de Dora 2012, [p. 1] La relative facilité avec laquelle le FI peut, intentionnellement ou non, être manipulé par le biais de politiques et stratégies éditoriales a été analysée par Reedijk et Moed (2008). S’il leur a été impossible d’évaluer empiriquement la fréquence de ces comportements, Reedijk et Moed (2008) préconisent la prudence en cas de recours au FI. Moosa (2018) d’ajouter que le FI est biaisé : en faveur des revues américaines, en défaveur des revues non-anglophones et des jeunes revues avant de préciser qu’il ne peut être utilisé que pour comparer des revues au sein d’un même domaine.
À propos du recours au FI dans le cadre de l’évaluation de la recherche, Clarivate Analytics (2020a) rappelle qu’il n’est autre qu’une approximation brute du rayonnement de la revue et qu’il devrait être combiné avec d’autres mesures et l’appréciation par les pairs. La Déclaration de Dora (2012) demande à ce que les indicateurs basés sur les revues ne servent plus dans le cadre de l’évaluation des publications et chercheurs, particulièrement lorsqu’elle est corrélée à des décisions impactant la carrière scientifique ou l’octroi de fonds (point 1 de la Déclaration de Dora 2012). Elle préconise que la recherche soit désormais évaluée au regard de sa « valeur intrinsèque », non de l’aura des revues (Déclaration de Dora 2012, [p. 2]). Les éditeurs devraient développer des indicateurs qui permettent d’évaluer un article sur son contenu, non sur la revue (point 7 de la Déclaration de Dora 2012). Ils se voient en outre demander d’abandonner le FI comme outil de promotion, sinon du moins y associer d’autres indicateurs relatifs aux revues tels que :
« […] [FI] sur 5 ans, EigenFactor, [SJR], indice h, temps de traitement éditorial et de publication, etc. […] qui offrent une vision plus riche de la performance d'une revue. »
Pour de nouveaux instruments d’évaluation des publications scientifiques : état des lieux théorique et scénarios Au vu des arguments avancés, ne faudrait-il pas désormais clairement « […] distingue[r] […] deux types d’évaluation, celle des auteurs et celle des sources, c’est-à-dire des revues » (Durand-Barthez 2009, p. 128) ?
4.5.2.2 La validité du h-index
Rappelant que Hirsch (2005) a développé le h-index (cf. chapitre 4.4.3.1) du fait que le seul nombre de publications d’un chercheur ne peut pas être l’unique gage de qualité au vu de la culture POP (cf. chapitre 3.3.5), Gingras (2014b) évalue la validité du h-index à la lecture des trois critères de validité des indicateurs (cf. chapitre 4.4.1.2). Le souhait de Hirsch (2005) est de contrebalancer le poids du seul recours au nombre de publications en le combinant avec le nombre de citations. Gingras (2014b) qualifie d’ironique cette forte corrélation avec le nombre de publications qui détermine de par nature le h-index qui, dès lors, ne remplit pas son premier critère de validité. Le h-index ne remplit pas non plus le critère d’homogénéité proposé par Gingras (2014b) du fait qu’il est une mesure composite du nombre d’articles publiés et du nombre de citations. Il ne peut dès lors pas être considéré comme un indicateur de la quantité et de la qualité.
“Interestingly, its heterogeneous combination of quantity and “quality” confuses the author himself about what his h-index really measures, for the title of Hirsch’s paper was “An Index to Quantify an Individual’s Scientific Research Output” (my italics)”.
(Gingras 2014b, p. 118) Gingras (2014b) reconnait que malgré ses failles, le h-index est largement relayé par la communauté scientifique et désormais intégré dans nombre de bases de données. Du fait qu’il le considère comme invalide, Gingras (2014b) prévient de son effet pervers en matière d’évaluation :
“In case of the h-index, we have situations where a lower index often hides a better-
quality researcher.” (Gingras 2014b, p. 119)
Toujours selon Gingras (2014b), les failles du h-index ne peuvent pas être corrigées du fait qu’il ne présente pas de relation intuitive avec ce qu’il cherche à mesurer ; aussi toute opération qui serait effectuée sur cet indice “only make an invalid indicator even less transparent” (Gingras 2014b, p. 119).
Une autre critique formulée à l’encontre du h-index est qu’il est de facto plus élevé pour un chercheur avancé dans sa carrière, quand bien même il n’aurait pas publié de façon continue (Hicks et al. 2015). Il ne permet pas de comparer des chercheurs qui n’en sont pas au même stade de développement de leur carrière (Vuillemin-Raval 2018). En outre, le Manifeste de Leiden (Hicks et al. 2015) rappelle que sa valeur varie en fonction de la base de données qui l’a généré. D’où l’importance de toujours préciser la source du h- index que l’on cite.