Guillaume Sire
MCF – Université Toulouse 1 Capitole
« La bibliométrie est l’application des mathématiques
et des méthodes statistiques aux livres, articles et
autres moyens de communication. »
Pritchard A., « Statistical Bibliography or
Bibliometrics », Journal of Documentation, 25,
4, p. 348-349, 1969
1. Appréhender le comment et le pourquoi de
l’évaluation quantitative de la recherche
scientifique
2. Savoir quels en sont les principaux outils
3. Connaître les enjeux
4. Comprendre les principales controverses
Plan de cours
} Introduction : qu’est-ce que la bibliométrie ?
} Définition / Pour qui / Pour quoi / Exemples
} 1. Fondations et fondateurs d’une discipline et d’une pratique
} 1.1 Derek Price } 1.2 Eugene Garfield } 1.3 Pinski et Narin
} 2. Les lois
} 2.1 Loi de Bradford (les revues) } 2.2 Loi de Lotka (les auteurs) } 2.3 Loi de Zipf (les mots)
} 2.4 D’autres types de concentration } 2.5 Le problème des effets Matthieu
Plan de cours
} 3. Les méthodes
} 3.1 La modélisation des distributions } 3.2 Elaboration d’indicateurs multivariés } 3.3 Elaboration d’indicateurs relationnels
} 4. Les bases de données
} 4.1 Les bases de l’Institute for Scientific Information } 4.2 Le Scopus d’Elsevier
} 4.3 Google Scholar } 4.4 Comparaison
Plan de cours
} 5. Les indicateurs
} 5.1 Pour un chercheur } 5.2 Pour un article } 5.3 Pour une revue
} 5.4 Les indicateurs de l’OST } 5.5 Les pratiques émergentes
} 6. Les classements internationaux
} 6.1 Le classement de Shanghai } 6.2 Le classement de Leiden } 6.3 D’autres classements
Plan de cours
} 7. Controverses
} 7.1 Les indicateurs } 7.2 L’effet normatif
} 7.3 Les différences de périmètres } 7.4 Le mille-feuille des affiliations } 7.5 Les classements internationaux } 7.6 Les revues prédatrices
Introduction
Qu’est-ce que la
bibliométrie ?
Qu’est-ce que la valeur et qu’est-ce que
l’évaluation ? Y a-t-il une « valeur en soi » ?
« Évaluer c’est créer : écoutez donc, vous qui êtes créateurs ! C’est leur évaluation qui fait des trésors et des joyaux de toutes choses évaluées.
(…)
Les valeurs changent lorsque le créateur se transforme. Celui qui doit créer détruit toujours. »
Comment la recherche est-elle évaluée ?
}
2 types d’évaluation
}
A priori, qualitative, par les pairs (peer reviewing)
}A posteriori, quantitative, par les citations
(bibliométrique)
} Quels effets de l’évaluation (feed-back, ajustements,
La bibliométrie…
}
Analyse de deux choses en particulier :
}
Le Nombre
}La Relation
Quelques définitions de la bibliométrie
Pritchard, 1969 : « l’application des mathématiques et
des méthodes statistiques aux livres, articles et autres moyens de communication »
Hawkins et Miller, 1993 « Les analyses quantitatives d'un corpus. »
White et McCain 1989 « La bibliométrie est aux publications ce que la démographie est aux populations. »
Rostaing 1993 : « un outil de mesure auquel on fait appel pour aider à la comparaison et à la compréhension d'un ensemble d'éléments
bibliographiques. (…) La bibliométrie étudie la qualité des publications sur la base de données quantitatives et non plus simplement
La bibliométrie…
La bibliométrie…
}
Pour qui ?
} Les instances d’évaluation de la recherche nationales (HCERES) et
internationales (H2020)
} Les chercheurs eux-mêmes } Les chercheurs en bibliométrie } Les bibliothécaires
} Les autres
La bibliométrie…
}
Pour quoi ?
}
Les instances d’évaluation de la recherche, locales,
nationales, internationales
} Répartir les budgets et les postes } Remettre des prix et des primes } Fixer les prix du « job market »
}
Les chercheurs eux-mêmes
}
Les chercheurs en bibliométrie
}Les bibliothécaires
La bibliométrie…
}
Pour quoi ?
}
Les instances d’évaluation de la recherche, locales,
nationales, internationales
}
Les chercheurs eux-mêmes
} Effectuer un état de l’art, trouver d’autres travaux
} Topographier les paradigmes les uns par rapport aux autres } Situer leurs travaux dans la discipline
} Assurer la « cumulativité » : la fameuse « pierre à l’édifice ».
}
Les chercheurs en bibliométrie
}Les bibliothécaires
La bibliométrie…
} Pour quoi ?
} Les instances d’évaluation de la recherche, locales, nationales, internationales } Les chercheurs eux-mêmes
} Les chercheurs en bibliométrie
} Etudier une discipline dans le temps et dans l’espace
¨ Les réseaux de citations, les articles les uns par rapport aux autres, les revues les unes par rapport aux
autres, les horizons paradigmatiques
} Etudier les disciplines les unes par rapport aux autres
¨ Les ponts entre disciplines, les concepts communs
} Etudier la vie d’un concept
¨ Où est passé le trou dans la couche d’ozone ? Depuis quand parle-t-on des algorithmes en sciences
sociales ?
} Etudier les conditions et les modalités de la circulation du savoir (et éventuellement de sa performativité)
} Faire une sociologie des sciences et des techniques (les auteurs qui se citent entre eux se connaissent-ils ? (Moed et Van Raan, 1986)
} Etudier la politique de la recherche et des chercheurs qui produisent le savoir (approches constructivistes)
} Les bibliothécaires } Les autres
« Pour prendre un exemple contemporain, comment, avant sa
reconnaissance publique, aurait-on isolé le groupe des spécialistes du bactériophage ? Pour répondre à une question de ce genre, il faut se fonder sur la présence aux conférences socialisées, sur la circulation des manuscrits ou des preuves d’articles avant leur publication, et surtout sur les réseaux de communication officiels et officieux, y compris ceux que l’on découvre dans la correspondance et dans les liens révélés par les citations. » (Thomas Kuhn, 1962, p. 242 de l’édition française)
La bibliométrie…
}
Pour quoi ?
} Les instances d’évaluation de la recherche, locales, nationales,
internationales
} Les chercheurs eux-mêmes } Les chercheurs en bibliométrie } Les bibliothécaires
} Trouver l’information pertinente
} Hiérarchiser les informations par ordre de pertinence supposée } Les autres
} Hiérarchiser les contenus concernant un même sujet alors qu’on n’y connaît rien } Aider à y voir plus clair dans les débats scientifiques
Deux enjeux principaux pour la bibliométrie
}
Enjeux de pouvoir
} L’enjeu est la répartition des moyens financiers, matériels, humains et
institutionnels entre des groupes de chercheurs parfois concurrents tout en étant d’accord
} deux laboratoires de météorologie travaillant sur les origines anthropiques du
réchauffement climatiques
} ou bien des chercheurs n’étant pas d’accord } Climatosceptiques vs Anthropistes
} Economie industrielle vs Economie des conventions
}
Enjeux de savoir
} Epistémologie générale (qu’est-ce, concrètement, que le Savoir) } Epistémologie particulière (qu’est-ce que le savoir sur ce sujet) } Sociologie des sciences et des techniques (STS)
Exemples de travaux
}
Exemple n. 1 : Robert McSweeney, « The most ‘cited’
Exemples de travaux
}
Exemple n. 1 : Robert McSweeney, « The most ‘cited’
Exemples de travaux
}
Exemple n. 1 : Robert McSweeney, « The most ‘cited’
1. Définitions
}
Exemples de travaux
} Exemple n. 1 : Robert McSweeney, « The most ‘cited’ climate
1. Définitions
Situer les papiers
concernant le changement climatique par rapport à ceux qui concernent le climat mais pas le
Exemples de travaux
}
Utilité pour les chercheurs :
}
Travaux cités par : Jean-Louis Dufresne et Venance Journé,
CNRS, Laboratoire de météorologie dynamique, Institut
Pierre-Simon Laplace.
}
Pour les professionnels :
Exemples de travaux
} Utilité pour les politiques :} Travaux cités ou relayés par : Europe Ecologie les Verts, le PS, l’UMP
} Utilité pour les journalistes…
Sur Libération (1er septembre 2015, avant la COP21)
« Quels scientifiques faut-il interroger pour connaître la climatologie et bien informer les citoyens ? (…) Question pour journalistes spécialisés, mais aussi pour rédacteurs en chef. Pour les guider, voici une étude bibliométrique sous la forme d’une analyse réalisée par Robert McSweeney pour le site web Carbon Brief. Une étude statistique, donc, qui peut s’appuyer sur des grands nombres. Elle est fondée sur les données de la base Scopus, qui recense les recherches publiées sous forme d’articles dans des revues à comité de lecture et les citations qu’ils ont ensuite reçues par d’autres articles ultérieurs. Dans cette base de données, le nombre d’articles de recherche portant sur le changement climatique est passé de quelques dizaines par an en 1987 à près de 13.000 en 2014. Un signe indubitable de la mobilisation de la communauté scientifique sur ce sujet décisif pour l’avenir de l’Humanité. »
Exemples de travaux
}
Merot, P. & Bridet-Guillaume, F. (2006). Les bocages
armoricains : repères sur l'évolution des thèmes de
recherche depuis les années 1960. Natures Sciences
Exemples de travaux
} Evans J. A. (2008), « Electronic Publication and the Narrowing of Science and Scholarship », Science,
vol. 321, n°5887, p. 395-399
Pour la suite
} Choisissez 5 articles à propos de votre sujet de thèse, en anglais, publiés dans 5 revues différentes
1. Fondations et fondateurs
d’une discipline et d’une pratique
Les toutes premières études
} En 1917, Cole et Eales répertorient toute la littérature publiée entre 1850 et
1860 concernant l'anatomie et étudient statistiquement les « fluctuations » des centres d’intérêts (i.e. les effets de mode)
} En 1927, Gross et Gross comptabilisent des citations des chercheurs en chimie
pour classer ensuite les journaux par ordre décroissant du nombre de citations reçues.
} En 1934, Bradford propose aux gestionnaires de bibliothèques une manière
d’identifier les thèmes privilégiés par les différents journaux en comptant les articles associés à tel ou tel thème dans chaque journal, de manière à optimiser ensuite la gestion de leurs abonnements aux différentes revues en fonction des centres d’intérêts de leur clientèle.
} Rostaing H. (1996), La bibliographie et ses techniques, Toulouse, Editions
1.1
Derek John de Solla Price (1922-83)
« La science est ce qui se publie dans les revues, les articles, les communications et les ouvrages scientifiques. Bref, elle est ce que matérialise la Littérature... Ainsi définie, toute littérature scientifique se prête au dénombrement, à la classification et à la représentation sous forme de séries temporelles ; et dans de nombreux cas, c'est même chose faite ».
1.1
Derek John de Solla Price (1922-83)
} Hypothèses de Price (lui permettant d’aboutir à la conclusion citée ci-avant)
} La science est une population de publications.
} Un document écrit est une sorte d'atome de connaissance.
} Un article représente au moins un quantum d'information
scientifique.
} La conclusion proposée par Price sur la nature de la science est
contestable (« un article scientifique » est-ce que cela veut dire quelque chose ? peut-on additionner ou soustraire des articles scientifiques ? Peut-on les transformer en variables continues ?)
1.1
Derek John de Solla Price (1922-83)
}
Price, 1962 : « la méthode empirique traitant le nombre
brut de périodiques ou d'articles comme indice du volume
de la science trouve une justification théorique dans
l'existence de courbes stables et régulières »
}
Définition de la scientométrie par Price :
« les recherches
quantitatives de toutes les choses concernant la science
et auxquelles on peut attacher des nombres »
} A la fois plus resserré que la bibliométrie (seule l’ist est
concernée) et plus large (on prend aussi des données économiques (financement) sociologiques (ressources humaines)
1.1
Derek John de Solla Price (1922-83)
}
Price, "The Science of Science", dans J. H. Platt (ed.),
New Views of the Nature of Man, Chicago, 1965
}
Il suggère que le pattern d’un réseau d'articles
scientifiques peut être étudié par la théorie de
graphes et les méthodes matricielles, et propose
l'image selon laquelle "les articles se groupent dans
des continents et dans des états qui peuvent eux aussi
être cartographiés (mapped)".
1.2
Eugene Garfield (1925-2017)
}
Eugène Garfield
} Crée le L'Institute for Scientific
Information (ISI) en 1960
} Le Science Citation Index (SCI) en 1963 } L’impact Factor en 1972
} Le Social Sciences Citation Index en 1973 } Le Journal Citation Reports en 1976
} Art & Humanities Citation Index en 1978
Il crée les institutions (ISI), les instruments de collecte (SCI) et de mesure (IF), et les supports de publication (JCR)
1.2
Eugene Garfield (1925-2017)
}
Le SCI permet d'identifier la chaîne de citations et la
1.2
Eugene Garfield (1925-2017)
1.2
Eugene Garfield (1925-2017)
}
Au début, le SCI comprenait 3 répertoires
} Citation Index (répertoire des citations par noms d’auteurs)
} Source Index (répertoire des publications par noms d’auteurs)
} Permuterm Subject Index (répertoire des mots du titre des publications)
} Puis à partir de 1976, le Journal Citation Reports (JCR) est venu
faire office de quatrième répertoire, pour fournir notamment :
} Le nombre de citations reçues par une revue pendant une année
} Le facteur d’impact de chaque revue
Garfield, Pudovkin, Istomin (2003), « Mapping the output of topical searches in the Web of Knowledge and the case of Watson-Crick. »,
Information Technology and Libraries 22:183-187
1.3 Pinski & Narin
}
Pinski, Gabriel and Francis Narin. 1976. ‘Citation
influence for journal aggregates of scientific
publications.’ Information Processing and Management
12: 297–312, 298.
}
L’idée : toutes les citations ne se valent pas / grands
électeurs ?
} Tout en utilisant les données du SCI, Narin a proposé des définitions
de l’influence d’une revue qui lestent les citations d’un poids relatif à la revue citante : plus une revue est citée par une revue prestigieuse, plus elle est prestigieuse
David Pontille, Didier Torny, « La manufacture de l'évaluation scientifique. Algorithmes, jeux de données et outils bibliométriques », Réseaux 2013/1 (n° 177), p. 23-61.
« Après avoir remarqué que le classement de ces
valeurs numériques suivaient certaines régularités, les
chercheurs en bibliométrie ont souhaité découvrir les
modèles et les lois reproductibles qui engendraient ces
valeurs. »
Rostaing H. (1996), La bibliographie et ses techniques, Toulouse, Editions Sciences de la société.
2.1 La loi de Bradford : les revues
}
Objectif de Bradford : trouver quel « noyau » de
revues traite plus souvent que les autres de tel ou tel
sujet (une science appliquée, visant à aider les
bibliothécaires)
Le Coadic Y. (2005) « Mathématique et statistique en science de l’information et en science de la
communication: Infométrie mathématique et infométrie statistique des revues scientifiques », Ciência da
Informação, vol.34, no.3, p.15-22.
Bradford, S.C. (1934) « Sources of Information on Specific Subjects », Engineering: An Illustrated Weekly
2.2 La loi de Lotka (1926) : les auteurs
} Constat de départ : très peu d’auteurs ont publié un grand nombre d’articles (cœur), beaucoup
d’auteurs ont très peu publié (dispersion)
} par rapport au nombre d'auteurs C qui publient un article (y =C), 4 fois moins d'auteurs en publient
deux (y=C/4) , 9 fois moins en publient trois (y=C/9) , ... n² fois moins en publient n (y=C/n²)
} Si y(1) : 1 000 000 } y(2) : 250 000 } y(3) : 111 111 } y(4) : 62 500 } y(5) : 40 000 } y(6) : 27 778 } y(8) : 15 625 } y(9) : 12 346 } y(10) : 10 000 } Y(100) : 100 } Y(1000) : 1 ????
2.3 Loi de Zipf : les mots
}
Le ratio 1/n•(n+1) donne la fraction du nombre total de
mots différents apparaissant à la fréquence n.
}
La moitié des mots apparaissent une fois (pas pertinent)
}Un sixième des mots apparaissent deux fois (peut-être)
}Un douzième apparaissent trois fois (peut-être ++)
2.3 Loi de Zipf : les mots
}
Elle n’est pas fondée à proprement parler sur des
principes bibliométriques mais sur des principes
linguistiques.
}
Application en IR : (Peter Luhn montrera notamment
que la fréquence d’utilisation d’un mot dans un
document ainsi que sa position par rapport aux
autres mots permettaient de mesurer le degré de
pertinence du document pour une requête donnée
[Luhn, 1958].)
2.4 D’autres types de concentration
Rostaing H. (1996), La bibliographie et ses techniques, Toulouse, Editions Sciences de la société.
2.5 Le problème des « effets Matthieu »
}
« Car on donnera à celui qui a, et il sera dans
l'abondance, mais à celui qui n'a pas on ôtera même
ce qu'il a. » (Mt 13:12)
… The rich gets richer !
} Robert K. Merton, « The Matthew Effect », Science, vol. 159, no 3810, 1968,
3.1 La modélisation des distributions
}
Répartition de type cœur/dispersion, lois de Bradford,
3.2 Elaboration d’indicateurs univariés
}
mesures purement quantitatives basées sur du simple
dénombrement ou des calculs de ratio à partir des
différents éléments bibliographiques : la date de
publication, les revues, les auteurs, les organismes, les
pays, les thèmes.
3.3 Elaboration d’indicateurs relationnels
}
exploitation des méthodes d’analyse des données
statistiques pour décrire les relations entretenues
entre différents éléments bibliographiques : analyses
des citations, des mots associés, des
4.1 ISI
} En 1992, Thomson a racheté l’Institute for Scientific Information créé par
Garfield
} Science Citation Index (SCI)
} Social Sciences Citation Index (SSCI)
} Arts and Humanities Citation Index (A&HCI)
} Actes de colloques :
¨ Conference Proceedings Citation Index - Science (CPCI-S) ¨ Conference Proceedings Citation Index - Social Sciences &
Humanities (CPCI-SSH).
} Les livres :
¨ Book Citation Index (BCI)
} Deux bases de données consacrées à la chimie :
¨ Index Chemicus (IC),
¨ Current Chemical Reactions (CCR-Expanded).
SCI : plus de 9 700 revues, dont 70 % en sciences
naturelles
4.1 ISI
}
En juillet 2016, les fonds d’investissement Onex Corporation
et Baring Private Equity Asia rachètent au groupe Thomson
Reuters sa division "Intellectual Property & Science" pour
3,55 milliards de dollars.
}
… qui devient « Clarivate Analytics »
Web of Science (interface web de l’ISI)
Web of Science (interface web de l’ISI)
Web of Science (interface web de l’ISI)
Web of Science (interface web de l’ISI)
4.2 Scopus (Elsevier)
}
En 2004, l’éditeur de revues scientifiques Elsevier lance un
concurrent de l’ISI
4.2 Scopus (Elsevier)
}
En 2004, l’éditeur de revues scientifiques Elsevier lance un
concurrent de l’ISI
4.2 Scopus (Elsevier)
4.2 Scopus (Elsevier)
4.3 Google Scholar
}
Lancé en 2004, gratuit, automatique
}
En 2014, Google Scholar prétendait couvrir 85 % des
publications scientifiques.
}
Mais une qualité qui laisse à désirer pour les études
bibliométriques (à cause du manque de contrôle des sources
notamment)
} cf. Péter Jacsó, « Google Scholar’s ghost authors », Library
4.4 Comparaison
} Nomb
4.1 Web of Science
4.4 Comparaison
} On trouve de nombreux articles de comparaison des bases de données :
} Adriaanse, L. S., & Rensleigh, C. (2013). Web of Science, Scopus and Google Scholar: A content comprehensiveness comparison. The Electronic
Library, 31(6), 727–744.
} Amara, N., & Landry, R. (2012). « Counting citations in the field of business and management: Why use Google Scholar rather than the Web of
Science ». Scientometrics,93(3), 553–581.
} Bakkalbasi, N., Bauer, K., Glover, J., & Wang, L. (2006). Three options for citation tracking: Google Scholar, Scopus and Web of Science. Biomedical digital
libraries, 3(1), 7.
} Bar-Ilan, J. (2010). Citations to the “Introduction to informetrics” indexed by WOS. Scopus and Google Scholar. Scientometrics, 82(3), 495–506.
} Bergman, E. M. L. (2012). Finding citations to social work literature: The relative benefits of using Web of Science, Scopus, or Google Scholar. The Journal
of Academic Librarianship, 38(6), 370–379.
} De Groote, S. L., & Raszewski, R. (2012). Coverage of Google Scholar, Scopus, and Web of Science: A case study of the h-index in nursing. Nursing
Outlook, 60(6), 391–400.
} De Winter, J. C., Zadpoor, A. A., & Dodou, D. (2014). The expansion of Google Scholar versus Web of Science: A longitudinal study. Scientometrics, 98(2),
1547–1565.
} Meho, L. I., & Yang, K. (2007). Impact of data sources on citation counts and rankings of LIS faculty: Web of Science versus Scopus and Google
Scholar. Journal of the American Society for Information Science and Technology, 58(13), 2105–2125.
} Mikki, S. (2010). Comparing Google Scholar and ISI Web of Science for earth sciences. Scientometrics, 82(2), 321–331.
} Minasny, B., Hartemink, A. E., McBratney, A., & Jang, H. J. (2013). Citations and the h index of soil researchers and journals in the Web of Science, Scopus,
and Google Scholar. PeerJ, 1, e183.
4.4 Comparaison
}
En France, Scopus serait plus pertinent que le Web of
Science sur les revues AERES/HCERES (source : 2015)
Bordignon F., "Scopus plus pertinent que le Web of Science sur les revues AERES/HCERES," in Carnet'IST, 15/10/2015,https://carnetist.hypotheses.org/190. Consulté en ligne le 21/09/2017.
4.4 Comparaison
}
En France, Scopus plus pertinent que le Web of Science sur
les revues AERES/HCERES (source : 2015)
Bordignon F., "Scopus plus pertinent que le Web of Science sur les revues AERES/HCERES," in Carnet'IST, 15/10/2015,https://carnetist.hypotheses.org/190. Consulté en ligne le 21/09/2017.
4.4 Comparaison
}
En France, Scopus plus pertinent que le Web of Science sur
les revues AERES/HCERES (source : 2015)
Bordignon F., "Scopus plus pertinent que le Web of Science sur les revues AERES/HCERES," in Carnet'IST, 15/10/2015,https://carnetist.hypotheses.org/190. Consulté en ligne le 21/09/2017.
4.5 Les bases de données spécialisées
}
Informatique : Association for Computing Machinery, ACM
Attention : Moins performant que le WoS selon l’OST (2010)
OST (2010), « Note sur la comparaison Web of Science - ACM Guide pour la couverture bibliométrique de l'informatique »
5.1 Pour un chercheur
}
Nombre d’articles
}
Nombre de citations
}
Pondération du nbre d’articles et du nbre de citations
en fonction de l’IF des revues
}Indice H
}
Indice G d’Egghe
}
Indice i10
}
Impact factor
L’indice h (ou indice de Hirsh)
} « Un scientifique a un indice h si h de ses articles ont chacun au moins h citations. »
} Si j’ai publié 20 articles et que 8 de mes articles sont cités au moins huit fois (sachant que tous les autres sont cités moins de huit fois) mon indice h est 8.
Le H-Index
}
“Un h-index de 20 après 20 années d’activité scientifique
}caractérise un savant qui a réussi […] un h-index de 40
}après 20 années d’activité scientifique caractérise les
}savants exceptionnels, qu’on ne trouve probablement
}que dans les meilleurs universités ou les grands
}
laboratoires de recherche [...] un h-index de 60 après 20
}années, ou de 90 après 30 années, caractérise des
}
individus réellement uniques” (Hirsch 2005, p. 16571).
}Puis des “versions améliorées” comme le g-index
L’indice H (ou indice de Hirsh)
} “Un h-index de 20 après 20 années d’activité scientifique caractérise
un savant qui a réussi […] un h-index de 40 après 20 années
d’activité scientifique caractérise les savants exceptionnels, qu’on ne trouve probablement que dans les meilleurs universités ou les
grands laboratoires de recherche [...] un h-index de 60 après 20 années, ou de 90 après 30 années, caractérise des individus
réellement uniques” (Hirsch 2005, p. 16571).
} Hirsch suggère que, pour les physiciens, une valeur de 10-12 devrait
permettre de considérer un poste de chercheur résidant dans une université renommée. Un poste de professeur pourrait être
considéré à partir de 18, et 15-20 pour la qualité de membre de l'American Physical Society. Une valeur supérieure à 45 pointerait vers la possibilité d'être admis à l'Académie des Sciences américaine.
L’indice h (ou indice de Hirsh)
} Le rôle du temps : plus un article est publié depuis longtemps, plus il a reçu de
citations (s’il est bon)… c’est donc un indicateur qui convient mieux pour les chercheurs ayant déjà un certain âge
} Toutes les citations sont comptées de la même façon (une de Nature et une d’un
acte de colloque publié par une toute petite revue)
} Les co-auteurs capitalisent les citations de manière identique (y compris dans le cas
où il y a un premier auteur)
} Certains auteurs multiplient les citations à eux-mêmes dans le but d’augmenter leur
indice H
} « Gel » : Je peux avoir trois articles cités 10 000 fois chacun et un facteur H de 5,
Le facteur G d’Egghe
} Le facteur G est calculé comme le plus grand nombre G tel que les
G publications les plus citées ont reçu au moins G citations au carré
} Si G = 10, cela signifie que le chercheur a publié 10 articles recueillant, au
total, au moins 100 citations
} Il remédie au « gel » des publications captées au-dessus de l’indice H en tenant
compte du nombre exceptionnellement élevé de citations générées sur le (très) long terme par quelques unes d’entre elles
} Le G est reconnu et recommandé notamment par l’Académie des
L’indice iX (inventé par Google Scholar)
} « Un scientifique a un indice iX de Y s’il a Y articles cités au moins X fois chacun. »} Si 4 de mes articles sont citées au moins 10 fois mon indice i10 est de 4 (en général c’est toujours de i10 dont il s’agit)
Web of Science (interface web de l’ISI)
Web of Science (interface web de l’ISI)
Le facteur d’impact pour un chercheur
Le nombre moyen de citations de chaque article publié durant la période des 2 ans précédents (mais normalement le FI est fait pour les revues)
Les indicateurs de flux
} Les indicateurs de flux mettent en évidence les relations entre les chercheurs, institutions et domaines de recherche. Pour cette raison, ils sont parfois désignés sous le terme d'indicateur relationnel.
Les indicateurs de flux
} Les indicateurs de flux mettent en évidence les relations entre les chercheurs, institutions et domaines de recherche. Pour cette raison, ils sont parfois désignés sous le terme d'indicateur relationnel.
} Science et technologie résultent des échanges de connaissance et de la collaboration entre les acteurs de la recherche. De cette prémisse découle le besoin de créer des indicateurs pour identifier ces réseaux d'échange. L'analyse des flux cherche donc à rendre compte des
5.2 Pour un article
}
Nombre de citations
}
Leur(s) auteur(s) (indice(s) H)
}
Leur origine (IF des revues, indice H des chercheurs citant)
}Impact factor de l’article : « Le nombre moyen de citations
de cet article a reçu durant la période des 2 ans
précédents »
} Successful paper : « un article qui a reçu davantage de citations que le
nombre de références bibliographiques qu’il utilise » (Kosmulski, 2011) }
Indicateur de flux : PageRank…
5.2 Pour un article
5.3 Pour une revue
}
Facteur d’impact
}
PageRank
}
Facteur Y
}
Taux d’acceptation
}
Taux d’articles non cités
}Eigenfactor
}
SCImago
Facteur d’Impact (FI ou IF)
}
Le FI d'une revue est le nombre moyen de citations de chaque
article publié dans cette revue durant la période des 2 ans
précédents
}
Ils sont publiés chaque année par Carivate Analytics dans le
Journal Citation Reports
Problème : là encore les liens ne sont pas pondérés (une citation venant de Nature vaut la même chose qu’une citation d’une toute petite revue)
Facteur d’Impact (FI ou IF)
}
Le FI d'une revue est le nombre moyen de citations de chaque
article publié dans cette revue durant la période des 2 ans
précédents
}
Ils sont publiés chaque année par Carivate Analytics dans le
La course au Facteur d’impact
En 2009, le rédacteur en chef du Journal of Sleep Research commençait ainsi un éditorial, intitulé “the race for the impact factor”, où il décrivait l’attente générée par la parution annuelle du JCR (Lavie 2009) :
“Chaque année, pendant la deuxième quinzaine du mois de juin, les rédacteurs
en chef et les éditeurs de revues deviennent nerveux et agités, et même peut-être insomniaques, attendant impatiemment la publication du facteur d’impact de leur revue (JIF) pour l’année en cours par Thomson Reuters (auparavant Thomson Scientific). Ces dernières années, le JIF a acquis une influence
légendaire sur le prestige des revues et les articles qu’elles publient, qui a
engendré une “course pour le facteur d’impact”. Les rédacteurs en chef essaient d’augmenter leur JIF autant que possible et les auteurs s’efforcent de publier leurs articles dans les revues ayant le plus grand JIF possible”
Anecdote…
} En 2008, un article unique (en anglais), Une brève histoire du SHELX,
incluait la phrase « Cet article peut servir comme une citation de
littérature générale quand un des logiciels libres SHELX est utilisé pour déterminer la structure d'un cristal. »
} Cet article a reçu plus de 6 600 citations. Par conséquent, le FI de Acta
Crystallographica Section A augmenta de 2,051 en 2008 à 49,926 en 2009, soit plus que Nature (31,434) et Science (28,103)22. Le second article le plus cité dans Acta Crystallographica Section A en 2008 avait seulement 28
citations
PageRank de la revue
Facteur Y
}
Facteur Y : produit de l’IF et du « PageRank »
(en
plus du PageRank le WPR prend notamment en compte les liens
sortants, cf. Xing et Ghorbani, 2004)
Taux d’acceptation
}
Rapport entre le nombre d’articles publiés par
la revue et le nombre d’articles soumis
(données difficiles à obtenir)
Pontille D., Torny, D. (2013). La manufacture de l'évaluation scientifique: Algorithmes, jeux de données et outils bibliométriques. Réseaux, 177,(1), 23-61..
Taux d’articles non cités
}
Mesure la partie « morte » de la production
d’une revue en divisant le nombre d’articles
non cités par le nombre total d’articles publiés
sur une période donnée.
Pontille D., Torny, D. (2013). La manufacture de l'évaluation scientifique: Algorithmes, jeux de données et outils bibliométriques. Réseaux, 177,(1), 23-61..
Eigenfactor & Article influence
}
l’Eigenfactor est calculé pour une revue sur une période de
5 ans de citations d’articles. La formule n’intègre pas le
nombre d’articles publiés dans la revue.
} Les valeurs de l’Eigenfactor (EF) sont normalisées de telle sorte que la
somme des valeurs EF de toutes les revues classées dans le JCR est égale à 100.
}
Article Influence est le rapport entre l’Eigenfactor de la revue
et le nombre d’articles publiés par cette revue au cours des 5
années précédentes.
Retraction index
= (Nombre d’articles d’une même revue désavoués pendant une période T x 1000) / Nombre d’articles publiés par cette revue pendant la période T
Fang, F. C.; Casadevall, A. (8 August 2011)."Retracted Science and the Retraction
Index".Infection and Immunity. 79 (10): 3855–3859.
http://retractionwatch.com/
} Nomb
http://retractionwatch.com/
http://retractionwatch.com/
} Nomb
http://retractionwatch.com/
} Nomb
14 septembre 2017
Faites l’expérience…
} Eigenfactor } Scimago } Scopus } Web of Science } Retraction Watch Source : http://passeurdesciences.blog.lemonde.fr/2012/10/03/la-fraude-scientifique-est-plus-repandue-recherche/5.5 Les pratiques émergentes
}
Altmetrics
}Fac of 1000
Fac of 1000
6.1 Le classement de Shanghai
6.2 Le classement de Leiden
6.2 Le classement de Leiden
6.2 Le classement de Leiden
Indices de collaboration
Proportion des publications de collaboration (PP collab ) . La proportion des publications d'une université qui ont été co-écrit avec un ou plusieurs
autres organisations.
Proportion publications internationales de collaboration (PP int collab ) . La proportion des publications d'une université qui ont été co-écrit par deux ou plusieurs pays.
La distance moyenne collaboration géographique (MGCD) . La collaboration à distance géographique moyenne des publications d'une université
Proportion des publications à longue distance de collaboration (PP > 1000 km ) . La proportion des publications d'une université qui ont une distance géographique de la collaboration de plus de 1000 km.
6.2 Le classement de Leiden
6.3 D’autres classements…
1. Est-ce que les indicateurs sont les bons ?
} Cela a-t-il un sens de quantifier pour qualifier ?
} Le paradoxe sorite (4ème siècle av. J.-C., Eubulide)
1. Est-ce que les indicateurs sont les bons ?
} La périodicité ? (pourquoi deux ans ? Cinq ans ? ) } La pondération des différents critères ?
} Les autocitations ?
} Quelle marge d’erreur (en fonction des bases de données) ?
} Peut on comparer les années (nouvelles revues, changements de noms,
nouveaux chercheurs, chercheurs partis, chercheurs déplacés…) ?
} Le facteur H fige l’I.F. des jeunes chercheurs à un niveau faible sur
2. La question de l’effet normatif
}
Publish or perish… à quel prix pour la recherche ?
}
Tutelles, Communauté d'universités et établissements
3. Le problème des périmètres
}
Différence de périmètre entre WoS/Scopus/Google
Scholar
}
Absence des revues francophones…
4. Le problème des affiliations / tutelles etc.
Voir : Girard, F., Sene, A., Pothier, N., Deniau, A., Prêtre, V. & Durand-Barthez, M. (2016). Le mille-feuille des affiliations : où en sommes-nous ?. I2D – Information, données & documents, volume 53,(1), 15-15.
4. Le problème des affiliations / tutelles etc.
Voir :
• Michèle Dassa, Alina Deniau, Manuel Durand-Barthez, Françoise Girard, Nathalie Pothier, et al.. Le millefeuille des affiliations françaises dans les publications scientifiques. Documentaliste - Sciences de l’Information, ADBS, 2014, Le Droit sans complexe : décryptage et repères, 51 (4), pp.12-16.
• Girard, F., Sene, A., Pothier, N., Deniau, A., Prêtre, V. & Durand-Barthez, M. (2016). Le mille-feuille des affiliations : où en sommes-nous ?. I2D – Information, données & documents, volume 53,(1), 15-15.
}
Tentatives de solution :
} Ajout dans la base WoS d’un champ « intermédiaire » :
l’Organization-Enhanced qui fait référence à toutes les graphies d’un seul et même organisme. On a donc quatre champs indexés sur le WoS : Address (AD) (sous-entendu du/des laboratoire(s) d’affiliation des auteurs), Organization (OO), Suborganization (SG), et
Organization- Enhanced (OG)
5. Les classements internationaux des
universités
} Pourquoi ces classements ? Enjeux économiques et politiques } Quels effets concrets sur les formations et la recherche ?
} Qui a autorité pour comparer les universités, les laboratoires, les
chercheurs ?
} Qui a autorité pour définir les critères et les pondérations ? } Quels sont les grands gagnants/perdants ?
6. Les revues prédatrices
} Pourquoi ces classements ? Enjeux économiques et politiques } Quels effets concrets sur les formations et la recherche ?
} Qui a autorité pour comparer les universités, les laboratoires, les
chercheurs ?
} Qui a autorité pour définir les critères et les pondérations ? } Quels sont les grands gagnants/perdants ?
} Quelles sont les garanties, la fiabilité ?
5. Les prédateurs
} Pourquoi ces classements ? Enjeux économiques et politiques } Quels effets concrets sur les formations et la recherche ?
} Qui a autorité pour comparer les universités, les laboratoires, les
chercheurs ?
} Qui a autorité pour définir les critères et les pondérations ? } Quels sont les grands gagnants/perdants ?
} Quelles sont les garanties, la fiabilité ?
5. Les prédateurs
} Pourquoi ces classements ? Enjeux économiques et politiques } Quels effets concrets sur les formations et la recherche ?
} Qui a autorité pour comparer les universités, les laboratoires, les
chercheurs ?
} Qui a autorité pour définir les critères et les pondérations ? } Quels sont les grands gagnants/perdants ?
} Quelles sont les garanties, la fiabilité ?
6. Les prédateurs
} Pourquoi ces classements ? Enjeux économiques et politiques } Quels effets concrets sur les formations et la recherche ?
} Qui a autorité pour comparer les universités, les laboratoires, les
chercheurs ?
} Qui a autorité pour définir les critères et les pondérations ? } Quels sont les grands gagnants/perdants ?
} Quelles sont les garanties, la fiabilité ?
5. Les prédateurs
} Pourquoi ces classements ? Enjeux économiques et politiques } Quels effets concrets sur les formations et la recherche ?
} Qui a autorité pour comparer les universités, les laboratoires, les
chercheurs ?
} Qui a autorité pour définir les critères et les pondérations ? } Quels sont les grands gagnants/perdants ?
} Quelles sont les garanties, la fiabilité ?
5. Les prédateurs
} Pourquoi ces classements ? Enjeux économiques et politiques } Quels effets concrets sur les formations et la recherche ?
} Qui a autorité pour comparer les universités, les laboratoires, les
chercheurs ?
} Qui a autorité pour définir les critères et les pondérations ? } Quels sont les grands gagnants/perdants ?
5. Les prédateurs
} Pourquoi ces classements ? Enjeux économiques et politiques } Quels effets concrets sur les formations et la recherche ?
} Qui a autorité pour comparer les universités, les laboratoires, les
chercheurs ?
} Qui a autorité pour définir les critères et les pondérations ? } Quels sont les grands gagnants/perdants ?
Pour vérifier par ISSN :
http://road.issn.org/
Pour vérifier par ISSN :
Pour vérifier par ISSN :
7. Les faux indicateurs
} Pourquoi ces classements ? Enjeux économiques et politiques } Quels effets concrets sur les formations et la recherche ?
} Qui a autorité pour comparer les universités, les laboratoires, les
chercheurs ?
} Qui a autorité pour définir les critères et les pondérations ? } Quels sont les grands gagnants/perdants ?
Questions
Discussion
} Mail : guillaumesire@gmail.com } Twitter : @guillaumesire
