Les Indicateurs Bibliométriques

(1)

Dans le cadre des processus d’évaluation, les indicateurs bibliométriques apportent une appréciation quantitative objective complémentaire à l’évaluation scientifique qualitative par les pairs mais ils ne doivent ni se substituer à elle, ni fournir de classement.

Les Indicateurs

Bibliométriques

(2)

La cellule MIB fournit aux commissions scientifiques spécialisées, aux commissions ad hoc ou au conseil scientifique de l’Inserm des synthèses bibliomé-

triques pour soutenir leur expertise lors des éva- luations individuelles (chercheurs candidats au

concours DR ou à la promotion DR1, DRE) ou lors des processus de création d’équipes ou d’unités de recherche.

Chaque indicateur procure un éclairage différent de la production scientifique et seule la conver-

gence de plusieurs d’entre eux permet d’atteindre une vision globale et réaliste de l’impact de la recherche, de mettre en évidence des réseaux de

collaborations académiques et de révéler des tendances (positionnement scientifique d’un

chercheur, d’une équipe, d’une unité...).

Le Web of Science - Core Collection (WoS) constitue la source d’informations (publications, nombre de citations reçues et facteurs d’impact des journaux) à partir de laquelle sont établis les indicateurs bi- bliométriques. Les publications y sont réparties, en fonction des journaux dans lesquels elles sont publiées, dans 251 catégories thématiques.

L’analyse

bibliométrique

Les analyses bibliomé- triques réalisées par la

cellule MIB s’appuient sur une méthodologie

rigoureuse et conforme aux principes préconi- sés pour l’évaluation des

grandes institutions in- ternationales, décrite par

le Manifeste de Leiden

(Nature 2015, 520) .

(3)

Evaluation individuelle ou par équipe : liste des publications du chercheur parues, au cours de la période d’évaluation considérée, dans les journaux indexés dans la base du Web of Science - Core Collection.

Chaque publication référencée est présentée avec ses indicateurs bibliométriques. L’utilisation de l’outil Excel « Données/Filtre» permet de sélectionner une partie choisie des données

Année Titre Journal Citations Fields IC

Normé Top

Status IF Journal IF Normé Top Gén. Top Spéc. Ind. Pos. Position Nb Auteurs UT/PMID Dupont P,

Durant L, Lebrun G, Martin MP

P D C Articles 2014 Conceptualizing psychotic disorders: don't throw the baby out with the bathwater

WORLD PSYCHIATRY

9 Psychiatry/

psychology 2,45 20 2,26 1,90 1 1 4 4 WOS:0003127

39300226

Martin MP, Richard E, McDonald I

P D C Articles 2015 Cancer Risks Associated With Germline Mutations in MLH1, MSH2, and MSH6 Genes in Lynch Syndrome

Jama-j am

med assoc 1 Clinical

Medicine 30,00 37,50 7,92 1 1 1 3 WOS:0003150

81400350 Auteurs PDC Type de

Documents Articles originaux

Autres publications Pub non anglophones

Age Nb Pub Nb PDC⁽¹⁾Indice de position moyen

Nb % Nb pub Top10/Nb

pub Nb PDC⁽¹⁾ % Nb PDC⁽¹⁾ Top10 /Nb PDC

Nb % Nb pub IF Top 10/Nb

pub Nb PDC⁽¹⁾

% Nb PDC⁽¹⁾ IF Top 10/Nb PDC

GénéralistesJnx (2)

Jnx de Spécialités

(3)

Pub dans IF Top 10 des Journaux Nb de pub PDC⁽¹⁾ Chercheurs

Sans doublon Indice de

citation normé moyen

Pub Top 10% citations

IF normé moyen Chercheur

Production Visibilité des travaux Notoriété des journaux Prestige

Articles originaux Autres publications Pub non anglophones

Nb ETP Age

moyen Nb Pub Nb PDC⁽¹⁾ annuelle

par ETP Nb % Nb pub

Top10/Nb

pub Nb PDC⁽¹⁾ % Nb PDC⁽¹⁾ Top10 /Nb

PDC Nb % Nb pub IF

Top 10/Nb pub

Nb PDC⁽¹⁾

% Nb PDC⁽¹⁾ IF Top 10/Nb PDC

GénéralistesJnx (2)

(3) Pub dans IF Top 10 des Journaux Nb de pub PDC⁽¹⁾ Chercheurs^(*) Sans doublon

Indice de citation normé moyen

IF normé moyen

Equipe Production Visibilité des travaux Notoriété des journaux Prestige

Pharmacology

& Toxicology Medical Technics Immunology GastroHepato Molecular Biology & Genetics

Cardiovascular System Medicine Biology

& Biochemistry Critical Care

Endocrino Metabol Nutrition 9

0102030405060708090100

% pub Top10

53 29

18

14

7 5

7 4

12 9

24 %Part Pub Top 10% 18 % Part PDC

Étude bibliométrique de la production scientifique des équipes de recherche Étude bibliométrique de la production scientifique du chercheur

(4)

 PRODUCTION

 Nb Pub : nombre total de publications

sans doublon signées par le chercheur.

(Evaluation équipe : nombre total de publications sans doublon signées par les chercheurs de l’équipe. Les publica- tions signées par les chercheurs émérites mais non-cosignées par un chercheur de l’équipe ne sont pas incluses dans le total).

 Nb PDC : nombre de publications pour lesquelles le chercheur est Premier (ou co-Premier), ou Dernier (ou co-Dernier) ou auteur de Correspondance parmi les auteurs. (Evaluation équipe : nombre de publications pour lesquelles au moins un chercheur de l’équipe est Premier, Der- nier ou auteur de Correspondance. Les positions PDC des doctorants, post-doc- torants, émerites sont prises en compte).

 Production annuelle par ETP (Eva- luation équipe) : nombre moyen annuel de publications par ETP sur la période d’évaluation.

 Indice de position (Evaluation cher- cheur) : un indice de position est affecté au chercheur en fonction de sa position dans la liste des auteurs de la publication.

L’Indice de position moyen est la moyenne des indices de position.

Indicateurs utilisés

dans l’analyse bibliométrique

1 : si l’auteur est en 1ère (co-1ere) ou dernière position (co-dernière) ou s’il est auteur de correspondance (auteur en position « PDC »)

0,5 : si l’auteur est en 2ème ou avant-dernière position

0,25 : pour les autres positions, ou si l’auteur fait partie d’un groupe auteurs

Production : nos indicateurs bibliométriques

» Le volume de la production scientifique (nombre d’articles originaux, nombre de revues, etc.)

» Le positionnement de l’auteur dans la publication

(5)

Études bibliométriques de la production scientifique des chercheurs, des équipes de recherche et des candidats de l’Inserm (valorisation de carrière, postulants ERC, prix...)

(6)

 VISIBILITE

DES PUBLICATIONS

Les indicateurs de visibilité sont relatifs aux citations reçues par les publications et permettent de positionner la visibilité de la production scientifique par rapport au niveau international. Ces indicateurs sont calculés à partir des données extraites de la base du Web of Science-Core Collec- tion en utilisant l'outil d'analyse bibliomé- trique InCites de Thomson-Reuters.

Comme le nombre absolu de citations re- çues varie considérablement en fonction du type de documents (article original ou article de revue..), mais aussi d'une discipline à l'autre et en fonction du temps, il est nécessaire au préalable de rapporter ce nombre absolu au nombre moyen de citations reçues par les publications de même catégorie thématique, de même type, parues la même année, pour positionner la visibilité internationale des travaux scientifiques.

 Indice de citation normé par caté-

gorie : nombre absolu de citations de la publication attribuée à une catégorie thématique parue l’année Y rapporté au nombre moyen de citations de l’ensemble des publications m o n d i a l e s de même type, de la même catégorie et parues la même année.

Si la publication est parue dans un journal associé à une seule catégorie : l’indice de citation normé (ICN).

où EC = nombre moyen de citations reçues par toutes les publications mondiales relevant de la catégorie à laquelle est associé le journal où est parue la publication, en fonction de l’année de parution Y et du type de document (article, revue etc..).

Si la publication est parue dans un journal associé à plusieurs catégories, alors l’indice de citation normé par catégorie est égal à la moyenne pondérée des ICN par catégorie :

(i)=nombre de catégories auxquelles la publication est associée et

ICN(i)= nbre absolu de citations reçues / EC(i) L’indice de citation normé moyen est la moyenne des ICN.

ICN = Nbre absolu de citations reçues / EC

Indicateurs de visibilité : nos indicateurs bibliométriques

» L’indice de citations normé (ICN)

» Le nombre de publications classées parmi les plus citées dans le monde (Top 1% ou Top 10 %) Un indice de citation normé

(ICN) supérieur à 1 indique que la visibilité de la publication est supérieure à la visibilité

moyenne mondiale. Récipro- quement, un ICN inférieur à 1

indique une visibilité en dessous de la norme mondiale.

(7)

 Publications au Top 1%, Top10%...

Thomson Reuters ordonne les publications par ordre décroissant de citations reçues, par type de document, par an- née de parution et pour chaque caté- gorie à laquelle ces publications sont rattachées via le journal dans lesquelles elles ont été éditées. Ce classement permet de délimiter les valeurs-seuils des centiles de citations. Les publications Top1% figurent dans le 1^er centile des publications mondiales les plus citées de la catégorie (celles au Top10% figurent dans le 1^er décile).

Lorsque les publications sont asso- ciées à plusieurs catégories, la ca- tégorie sélectionnée est celle dans laquelle la publication est la mieux classée.

Les valeurs-seuils de citations sont ac- tualisées tous les deux mois.

Le tableau d’indicateurs fournit :

• Le nombre total de publications clas- sées dans la plage Top10% ;

• La part de ces publications rapportée au nombre total de publications (Part des Pub Top 10%) ;

• Le nombre de publications classées dans la plage Top10% pour lesquelles le chercheur (ou au moins un chercheur de l’équipe) est en position PDC (Nb de Pub PDC Top 10%) ;

• La part de ces publications rappor- tée au nombre total de publications pour lesquelles le chercheur (ou au moins un chercheur de l’équipe) est en position PDC (Part des Pub PDC Top 10 %).

Une part de publications au Top10%

au-dessus de 10 signifie que les publications de cet ensemble ont une visibili- té supérieure à la norme mondiale de la catégorie.

La part de publications au Top1% est un indicateur très sélectif qui peut être considéré comme une mesure perti- nente de l’excellence scientifique.

Le classement des publications au Top1% ou 10% est un indicateur normé par catégorie, par année et type de publication. Il peut être utilisé pour comparer la visibilité internationale des travaux toute discipline confondue, conjointement avec l’indice de citation normé moyen.

(8)

 NOTORIETE DES JOURNAUX

Les indicateurs de notoriété sont relatifs au classement des journaux par le facteur d’impact (IF). Ce classement mesure l’im- portance du journal dans sa discipline et permet d’estimer la difficulté à surmonter la barrière éditoriale. Ces indicateurs ne constituent pas une mesure de la qualité des publications et ne doivent pas être utilisés seuls pour évaluer les contribu- tions scientifiques des chercheurs (The San Francisco Declaration on Research Assessment, DORA 2012; Manifeste de Leiden, Nature 2015).

 Facteur d’impact normé du journal (IFN) : facteur d'impact du journal où est parue la publication divisé par le facteur d’impact moyen des publications mondiales associées au même domaine que la publication :

Le domaine correspond ici à chacun des grands champs thématiques de l’Inserm.

L’IF moyen des publications mondiales du domaine (IF moyen_domaine) est égal à la moyenne des IF de l’ensemble des journaux associés au même domaine, pondérée par le nombre de publications de chaque journal :

Le facteur d’impact normé moyen est la moyenne des IF normés.

Pub dans l’IFDécile1 des journaux Le classement ordonné des journaux par domaine et par valeurs de facteurs d’impact décroissants permet de délimiter les valeurs-seuils des centiles de ces IF, no- tamment l’IFDécile1 qui correspond à la plage des journaux situés dans le premier décile de ce classement.

IF moyen_domaine

∑(IFj x Nj pubs du journal j) domaine =

∑Pub du domaine

Nos indicateurs de notoriété des journaux

» Le facteur d’impact normé (IFN)

» Le nombre de publications éditées dans des journaux classés dans le premier décile

» Le nombre de publications, signées en position majeure par le chercheur ou au moins un chercheur de l’équipe, et parues dans des journaux généralistes et de spécialité classés dans le premier centile

IFN = IF du journal / IF moyen_domaine

(9)

Le tableau d’analyse fournit :

• Le nombre total de publications parues dans des journaux classés dans la plage IFDécile1 ;

• La part de ces publications rapportée au nombre total de publications (Part des Pub IFDécile1) ;

• Le nombre total de publications parues dans des journaux classés dans la plage IFDécile1 pour lesquelles le chercheur (ou au moins un chercheur de l’équipe) est en po- sition PDC ;

• La part de ces publications rappor- tée au nombre total de publications (Part des Pub IFDécile1) pour lesquelles le chercheur (ou au moins un chercheur de l’équipe) est en position PDC.

 PRESTIGE

Les indicateurs des colonnes «Prestige»

fournissent le nombre de publications signées par le chercheur (ou les cher- cheurs de l’équipe) en position principale (PDC) parues dans des journaux (géné- ralistes ou de spécialité) situés dans le 1^er centile du classement par IF.

Articles originaux Autres publications Pub non anglophones

Nb ETP Age

moyen Nb Pub Nb PDC⁽¹⁾ annuelle

par ETP Nb % Nb pub

Top10/Nb

pub Nb PDC⁽¹⁾ % Nb PDC⁽¹⁾ Top10 /Nb

PDC Nb % Nb pub IF

Top 10/Nb pub

Nb PDC⁽¹⁾

% Nb PDC⁽¹⁾ IF Top 10/Nb

PDC

GénéralistesJnx

(2)

(3)

Pub dans IF Top 10 des Journaux Nb de pub PDC⁽¹⁾

Chercheurs^(*) Sans doublon

Indice de citation normé moyen

IF normé moyen

Equipe Production Visibilité des travaux Notoriété des journaux Prestige

Un facteur d’impact normé (IFN) su- périeur à 1 signifie que la notoriété du journal où a été éditée la publi-

cation est supérieure à la notoriété moyenne des journaux dans lesquels

sont parues les publications mondiales associées au même domaine.

(10)

10

Pharmacology

& Toxicology Medical Technics Immunology

GastroHepato Molecular Biology & Genetics

Cardiovascular System Medicine Biology

& Biochemistry Critical Care

Endocrino Metabol Nutrition

9

0 10 20 30 40 50 60 70 80 90 100

% pub Top10

53 29

18

14

7 5

7 4

12 9

 PROFILS

THÉMATIQUES DE L’ENSEMBLE DES PUBLICATIONS

La répartition des publications selon les catégories thématiques permet :

• d’une part, de cartographier les prin- cipaux axes de recherche de l’équipe déterminés via le domaine des journaux dans lesquels les publications ont été éditées;

• d’autre part, de visualiser, pour chaque thématique, la proportion de publications classées parmi le Top10%

des publications mondiales les plus ci- tées.

Pour la détermination des profils, toutes les publications de l’équipe sont prises en compte sans distinction (articles originaux ou autres, y compris publications non anglophones).

 VISIBILITÉ DES ARTICLES ORIGINAUX

La représentation en en secteur ci- dessous permet de visualiser

La proportion d’articles originaux de l’équipe classés dans le Top10% par rapport au volume total d’articles originaux produits par l’équipe, et dans ce groupe d’articles de forte visibilité, ceux signés en position principale (PDC) par au moins un chercheur de l’équipe (incluant les doctorants et postdocto- rants).

Analyse bibliométrique des équipes uniquement

24 %Part Pub Top 10% 18 % Part PDC

(11)

Analyse bibliométrique des unités pluri-équipes uniquement

Étude des réseaux de collaborations nationales et internationales. Les ronds jaunes représentent les collaborations extérieures. Les autres couleurs sym- bolisent les chercheurs rattachés aux différentes équipes de l’unité (une couleur par équipe)

Exported date 2016-08-12.

InCites dataset updated 2016-07-14. Includes Web of Science content indexed through 2016-05-27.

Category Normalized Citation Impact = Indice de Citation Normé (ICN) Journal Normalized Citation Impact = Indice de citation normé par rapport au journal

Web of Science Documents

Category Normalized

Citation Impact

Journal Normalized

Citation Impact

Times Cited % Documents in Top 1%

Documents % in Top 10%

Monde 13 550 226 0,97 0,96 138 591 844 1,1 9,98

NIH - USA 80 302 2,02 1,16 2 387 571 4,26 23,72

Inserm 77 566 1,53 1,06 1 616 270 2,51 17,78

Karolinska Institutet 40 127 1,66 1,12 822 791 2,88 17,76

Quelques chiffres pour se repérer…..

(12)