Que mesurent les indi ateurs bibliométriques ?

HAL Id: hal-02989342

https://hal.inria.fr/hal-02989342

Submitted on 5 Nov 2020

HAL is a multi-disciplinary open access

archive for the deposit and dissemination of

sci-entific research documents, whether they are

pub-lished or not. The documents may come from

teaching and research institutions in France or

L’archive ouverte pluridisciplinaire HAL, est

destinée au dépôt et à la diffusion de documents

scientifiques de niveau recherche, publiés ou non,

émanant des établissements d’enseignement et de

recherche français ou étrangers, des laboratoires

Que mesurent les indi ateurs bibliométriques ?

Anne-Marie Kermarrec, Erwan Faou, Jean-Pierre Merlet, Philippe Robert,

Luc Segoufin

To cite this version:

Anne-Marie Kermarrec, Erwan Faou, Jean-Pierre Merlet, Philippe Robert, Luc Segoufin.

Que

mesurent les indi ateurs bibliométriques ?. [Autre] Commission d’evaluation INRIA. 2007.

�hal-02989342�

Que mesurent les indi ateurs bibliométriqu es?

Préparépar A-M. Kermarre , E. Faou, J-P. Merlet (rapporteur), P. Robert, L. Segoun Validé par la Commission d'Evaluation du 12 septembre 2007

Résumé

LaCommissiond'Évaluation(CE) del'INRIAasouhaitémeneruneréexionsur les indi a-teurs bibliométriques de façon à mieux omprendre e qu'ils mesurent, leur pertinen e et leur abilité,en parti ulierdans le ontexte de lare her he menéeàl'INRIA.Le présentdo ument est le résultat du travail d'un groupe de réexion animé par Jean-Pierre Merlet et omposé égalementde A-M.Kermarre ,E.Faou,P.RobertetL.Segoun.Cedo umentafaitl'objetde dis ussions lors de deux séan es de la Commission d'Evaluation en janvier et septembre 2007 etprend en ompte lesremarques des membres de la Commission.

1 Introdu tion 4

2 Plan du do ument 4

3 Bibliométrie 6

4 Les sour es de itations 7

4.1 Les sour es àa ès payants . . . 7

4.1.1 Thomson Institutefor S ienti Information(ISI) . . . 7

4.1.2 S opus . . . 9

4.1.3 Problèmes ommuns aux ressour es payantes . . . 10

4.2 Les sour es gratuites . . . 10

4.2.1 CiteSeer . . . 10

4.2.2 Google S holar . . . 10

4.2.3 Citebase . . . 12

4.2.4 Problèmes ommuns aux ressour es gratuites . . . 12

4.3 Comparaison des sour es . . . 13

4.4 Les problèmes d'attribution . . . 15

5 Les indi ateurs 15 5.1 Les indi ateurs pour journaux . . . 15

5.1.1 L'impa t fa tor d'un journal . . . 16

5.1.2 Indi e d'immédiateté, immedia y index . . . 17

5.1.3 Demi vie des itations,Cited half-life . . . 17

5.2 Les télé hargements . . . 18

5.3 Les indi ateurs quantitatifs. . . 18

5.4 Les indi ateurs individuels . . . 19

5.4.1 Le H-index . . . 19

5.4.2 Les variantes du H-index . . . 20

5.5 Les autres indi ateurs. . . 21

5.6 Complémentaritéet ohéren e des indi es . . . 22

5.7 Con lusions sur les indi ateurs . . . 22

6 Mauvais usages et eets pervers 23 6.1 Les manipulationsdu JIF . . . 23

6.2 Le "sau issonnage" ( salami-sli ing) . . . 24

6.3 Les auto- itations . . . 24

6.4 Le freinà la prise de risque. . . 24

7 Le oût des indi ateurs et son impli ation 24

9.1 Comparaison entre les sour es . . . 26 9.2 Re her he institutionnelle . . . 29 9.3 H-index . . . 30

10 Con lusion 30

11 Annexe 1 : les indi ateurs de la LOLF 31

12 Annexe 2 : L'Observatoire des S ien es et Te hniques (OST) 32

LaCommissiond'Evaluationdel'INRIA(CE)adé idéd'entameràpartirdeSeptembre2006 une réexionsur les élémentsintervenant dans l'évaluationde l'a tivités ientique. Parmi es élémentsgurentlesindi ateursbibliométriques

1

hirésquisontdeplusenplussouventutilisés pourévaluerl'a tivitéetlaqualités ientiquedes her heurs,deséquipes,desinstitutions,voire mêmed'une nation.

Lamentiond'indi ateursgarantitdans lemilieu s ientique mondialdesréa tions émotion-nelles de prin ipe qui vont probablement en ore augmenter dans les années à venir en raison de l'importan ea rue qu'ilsontdans lefon tionnementde lare her he , que e soitauniveau des stru tures, des orientations stratégiques ou des nan ements. C'est aussi le as en Fran e puisquelaLOLFindiquedemanièrerelativementpré iselesindi ateursquiserontutiliséspour évaluer les établissements (voir la liste en Annexe 1); ette utilisation se propage à tous les niveaux omme l'illustre un très ré ent rapport de l'Inspe tion Générale de l'Administration de l'Édu ation Nationale etde la Re her he (IGAENR)

2

qui examine dans le détail la nature etl'usaged'indi ateurs quiservirontà évaluer etgérer la ontra tualisationdes organismes de re her he ave l'État.

On ne peut ependant nier une inuen e parfois démesurée de ertains de es indi ateurs ommelejournalimpa tfa tor(JIF,se tion5)oulenombrede itations,dontsonttirés,jusque danslapresse nationale,des opinionstran hées sans qu'ilyaitexamen ritiquedes hires, de laméthodologieutiliséepour lesproduirenimêmeune parfaite onnaissan ede leurdénition. Onpeutaussi onstaterque esindi ateursjouentunrledanslefon tionnementdel'INRIA, enparti ulierauniveau delaCommissiond'Évaluation(CE). Parexemple ertainsindi ateurs ont été utilisés dans le rapport d'évaluation d'un thème par le panel de rapporteurs, tous extérieursàl'INRIA.LesmembresmêmedelaCommissionpeuventfaireappelà esindi ateurs lorsqu'ilssontamenésàévaluerdesa tivitésquisontàlamargedeleurdomainede ompéten e (retourd'évaluation,juryde on oursparexemple).LaCommissiond'Évaluationdel'INRIAa don souhaitéfaireunpointsur es indi ateursde façonàmieux omprendre equ'ilsmesurent (et e qu'ils ne mesurent pas), leur pertinen e et leur abilité, e i dans le but premier de fa iliter letravailinterne de la Commission.Pour ela ellea hargé un groupe de travailde la réda tion d'un do ument d'analyse qui a fait l'objet de dis ussions lors de deux séan es de la Commissiond'Evaluationen janvieretseptembre 2007.Le présentdo ument prenden ompte les remarques de la Commission qui l'a validé. Les analyses présentées prennent bien sûr en ompte les spé i ités de l'Institut et ne sauraient don être transposées à d'autres as sans une analyse appropriée.

2 Plan du do ument

Le plan de e do umentest lesuivant :

 les prin ipesde base de la bibliométriesont présentés dans lase tion 3 1

ilexistebiensûrd'autresindi ateurs,parexemple euxquisontutiliséspourévaluerletransfertoulavalorisation,quinefont pasl'objetde edo ument

2

Nous examinons quels sont les organismes, les so iétés et les moteurs de re her he Web qui fournissent es itations (4), livrons quelques éléments qui permettent d'estimer la abilité de la fourniture des itations (4.3) et mentionnons le problème de l'attribution des itationsà des institutions(4.4)

 lesindi ateurs établisà partirdes itationssont présentés dans lase tion (5). Ces indi a-teurs peuvent être établis pour des publi ations s ientiques (journaux prin ipalement), pour des institutionsoupour des individus.

 la ohéren e desindi ateurs utilisés ommemesuredequalité s ientique est examinéeen se tion (5.6) et des remarques de fond sur es indi ateurs sont présentée s dans la se tion (5.7)

 l'utilisation des indi ateurs dans la vie s ientique n'est pas neutre ar elle expose à des manipulationsetplusgénéralementàdes problèmeséthiquesquisontprésentés en se tion (6)

 les oûts d'établissementdes indi ateurssont abordés en se tion (7)

 attribuer des itations à une institution an de permettre des al uls d'indi ateurs pour ette institutionest un problème déli atmentionné en se tion (8)

 desexemplespratiquespourdes her heursdel'INRIAsontprésentés ense tion(9) :nous examinonspour4 her heursseniorsdel'INRIAtravaillantdansdesdomainesdiérentsles résultatsdelare her hede itationsparlestroismoteursdere her helesplus ouramment utilisés etl'inuen e sur lesindi ateursde ladisparitéde es résultats.On y montre aussi que lestravauxde es her heurs ne sont pas uniformémentattribués àl'INRIA

En on lusionnousindiquonsquesilesindi ateurspeuventdonnerdestendan essurunnombre réduitd'aspe tsdelavies ientique,il onvientd'êtretrès ir onspe tdansleurusageenraison delapossibilitéd'interprétationserronées,des erreursdemesure(souvent onsidérables)etdes biaisdont ilssontae tés. Unusage abusifdes indi ateursest fa ilitépar lanature hirée du résultat qui introduit la possibilité d'établir dans l'urgen e toutes sortes de statistiques, sans sepréo uperd'enanalyserlaqualitéetle ontenu,eteno ultantl'examend'autres éléments de la vies ientique omme,par exemple,l'innovationetle transfert intelle tuel etindustriel.

Les onstatationset lesre ommandations lesplus importantes sontles suivantes :

1. on pourra onstater que les erreurs de mesure dans la re her he de itations sont très importantes et ela est parti ulièrement vrai pour les travaux ee tués à l'INRIA. Nous re ommandons don fortementde multiplier lessour es, de faireune analyse ritique des résultats (en parti ulieren faisant appel à des experts des domaines) et de s'atta her, au plus, aux ordresde grandeur des indi ateurs

2. nous re ommandons d'utiliser la littérature bibliométrique pour erner la signi ation réelle des indi ateurs etleur biais

3. les indi ateurs ne donnent qu'une vue partielle et biaisée de ertains aspe ts de la vie s ientique,sans en re ouvrirl'ensemble.Ils doiventdon être omplétés, orrigéset om-mentés par des spé ialistesdu domaines ientique etinterprétéss'ilssont utilisés dans le adre d'une évaluationoud'une prise de dé ision

5. leprin ipedesindi ateursreposantsuruneanalysedes itationsestpeufavorableàlaprise de risques s ientiques et à l'innovation.Une utilisation abusive (voire pire, automatisée) serait un frein majeur àl'innovation

6. lesindi ateurs hirés sont très fa ilementmanipulablespar les individus,lesinstitutions etd'autresa teursdelavies ientique( ommelesjournaux).Lenombredemanipulations augmentent, e que l'on peut orréler àl'eet roissantde l'inuen e des indi ateurs 7. pour equi on ernelesdomainess ientiquestraitésparl'INRIAilaété onstatéunetrès

mauvaise ouverture des sour es de itation usuelles (Web of S ien e, S opus), pouvant aller jusqu'à l'absurde. Par voie de onséquen e les indi ateurs onstruits sur es sour es donnentuneinformationerronéesurlefon tionnementdel'Institut.Unea tionauprèsdes sour es pourrait éventuellement apporter des améliorations sur l'attribution de itations à l'INRIAmais ne hangerait rien au faitque lessour es restent insusantes pour e qui on erne l'informatiqueet lesmathématiques appliquées.

3 Bibliométri e

Les indi ateurs bibliométriques reposent sur l'analyse des itations , 'est-à-dire la partie Référen es d'un arti les ientiquequi faitmention destravauxee tuéspar la ommunauté s ientique (y ompris les auteurs de l'arti le) sur le sujet de l'arti le. Il faut d'ores et déjà indiquerquelesindi ateursnereposantquesurdes itationsne donnentqu'unevisionpartielle du travail s ientique puisque 90% des papiers publiés dans les journaux s ientiques ne sont jamais ités[9℄etqu'ilsembledi ilede roirequeseulement10%delaprodu tions ientique seraitsigni atif.

La première étape de la onstru tion d'un indi ateur est don le re ueil de es itations : étant donnée l'ampleur de la produ tion s ientique, il s'agit d'un travail olossal qu'il est impossible de mener à bien de manière omplète. Les professionnels ee tuant e travail se ontentent don de passer au rible une partie séle tionnée de la littérature mondiale (voir la se tion4).La se onde étape de la onstru tion d'un indi ateur onsisteà en dénirla formule mathématiquequi,àpartirdesdonnéesbrutesdes itations,permetd'enobteniruneévaluation hirée.Ilestaussipossiblede onstruiredesméta-indi ateursquivont ombinerlesévaluations hirées de divers indi ateurs pour obtenir d'autres indi ateurs ( 'est par exemple e qui est faitpour le lassement ditde Shangai des Universités).

Ces indi ateurs et la méthodologie utilisée pour les al uler soulèvent les mêmes questions quese pose un physi ien fa e auxrésultats d'un instrument de mesure :

1. quelle grandeur est ee tivement mesurée par l'instrument? 2. quel est lamarge d'erreur sur ette mesure?

3. quel est lerapport qualité/ oût de lamesure?

Comme le dit M. Zitt de l'INRA [18℄ : At the same time, more pre autions are needed, as "desktop"bibliometri s may reinfor e adanger already present in less rea tive s ientometri s:

lientstoeli itagureoradisplayandforget ru ialwarningsaboutstatisti aldistributionsand methodologyartifa ts.If s ientometri sisamirrorof s ien eina tion,thens ientometri ians' parti ular responsibility is to both polish the mirror and warn against opti al illusions.

Les itations étant au ÷ur de l'établissement des indi ateurs, il faut don examiner quels sontleurssour es,lesa teursdudomaine(quid'ailleurslaplupartdutempsnese ontententpas de re ueillir les itations mais proposent aussi les indi ateurs) et de faire une analyse ritique de la méthodologie employée pour re ueillir les itations. En Fran e le prin ipal pourvoyeur d'indi ateursest l'Observatoire des S ien es etdes Te hniques (OST)

3

, voir Annexe 2.

4 Les sour es de itations

4.1 Les sour es à a ès payants

Lesmoteursdere her hesurleWebpermettentdeuxtypesdere her hepour equi on erne lespubli ations s ientiques :

1. la ré upération d'arti les : des moteurs omme PubMed Central (PMC) pour le domaine médi alouS ien e Dire tpermettentde lo aliserdes arti lesetd'en ré upérerletexte, le plus souvent moyennantpaiement.

2. la re her he de itations : il s'agit prin ipalement de trouver dans une base de données quels sont les arti les qui mentionnent dans leur partie "Référen es" un auteur ou une institution donnée. C'est don e type de requête qui est utilisé pour établir la base de itationsqui sera ensuite utilisée pour le al ul des indi ateurs

Nousnous intéresserons i i seulementaux moteursdu deuxièmetype.

4.1.1 ThomsonInstitute for S ienti Information (ISI)

Una teurin ontournabledesindi ateurs,etleplusan ien,estlaso iété ommer iale Thom-son ISI fondée en 1960 qui publieannuellement son Journal Citation Report (JCR), qui in lut un ertain nombre d'indi ateurs, dont le journal impa t fa tor (JIF), et qui paraît 6 à 7 mois après lan de l'année.

Le Web of S ien e (WoS) est la sour e Web des itations utilisées par l'ISI pour le JCR (sa version papierest leS ien e CitationIndex ,SCI) et ontiendraitun total de 38millionsde itationsetremonterait jusqu'à1900 dans saversionétendue. LeWoSin lut l'analysede 8700 journaux en s ien es dures (80%) et s ien es so iales (20%), dont un petit nombre (190) en a èsouvert, ave une mise àjour haque semaine.À noterque lesdomaines sontinégalement ouverts : par exemple, les s ien es du vivant sont moins bien représentées que dans les bases biomédi ales ommeMedline. Ilest aussi re onnu quela ouverturedes domaines plus pro hes de la demande so iale ou de l'appli ation (s ien e de l'ingénieur notamment) n'est pas aussi bonne que pour la re her he fondamentale. La ouverture de WoS ne représente qu'une faible partiede lalittérature s ientique mondialepuisque on estimaiten 1999 qu'il y avaitun total

3

de 100 000 revues s ientiques dont 25 000 rien que dans le domaine biomédi al . Enn la plus grosse partie des a tes de onféren e ne sont pas traités dans le WoS. Il en est de même des arti les publiés dans des journaux en a ès ouvert, des ar hives ouvertes ou des pages personnelles.

LeWoSest souvent a uséd'un biais améri ain.Le WoSde 2005 ontient98.74%d'arti les en anglais,0.234% d'arti les en français, 0.205%d'arti les en hinois et0.09155% d'arti les en japonais [7℄. Ilest lair quel'on ite plus fa ilementdes arti les de son proprepays

5

et e biais aété onrmé pour des as parti uliers (voir lase tion 4.3).

Il est important de dénir i i le sens de itation adopté par l'ISI. Tout matériel publié par un journal et ité omme référen e ompte omme itation pour e journal. Il en est ainsi bien sûr des arti les mais aussi des éditoriaux, des revues de livres, des lettres aux éditeurs. Les indexeurs de l'ISI assignent don un type de do ument à haque matériel publié dans un journal, de manière parfois in ohérente

6

. Les journaux eux-mêmes sont lassés en atégories, ertains pouvant être assignés à deux atégories et ex eptionnellement à trois. Les indexeurs renseignent leWoSsur les hamps suivants, pour tous les auteursd'une publi ation donnée :

 Main Organization: un seul hamp;  Suborganizations: 3 hamps distin ts  Ville;

 Provin e;  Pays;  Code postal

Ce hoix d'une seule main organisationn'est pas neutre : 'est par exemple e hamp qui sert de base au lassement de Shangai.

Àl'opposé,lenombred'arti lespubliésdansuneannéeparunjournaldonnén'in lutqueles arti lesde re her he. Ilest aussi notableque l'ISIne ompte pas omme itationune référen e àun livre

7

(par défaut l'interrogationde la base de données ISI pour un auteur donné ne fera don pas référen e aux livres que et auteur pourra avoir publiés). L'ISI essaie d'éviter de ompter lesauto- itations d'auteurs ( 'est-à-direles itationsdu ou des auteursà leur propres papiers), en se ontentant toutefois d'éliminer les papiers ités dont le premier auteur est un des auteurs du papier itant(ainsi l'auto- itation entre les membres d'un groupe risque d'être très sous-évalué).

Les itationselles-mêmessontattribuéesàl'ensembledesauteurs.Lesadressessontsoumises àune normalisation, quiest ependant loin d'êtreparfaite.

On doit noter quelques phrases- léproposées par Thomson à proposdu JCR 8

: 4

G.Roelants,INFINewsletter,Dé embre1999 5

uneétudeamontréquelesauteursd'arti lesdebioméde ineaméri ainsne itentenmoyenneque12%deréféren esétrangères demoinsde2anset 30%demoinsde10ans(untauxtrèsinférieurau poidsréeldelalittératurenonaméri aine),N.Pinhas, InsermA tualités,154,Septembre1997

6

Itfurther ompli atesthesituationthatthesamegenreofitemarein onsistently lassied,Peter'sDigitalReferen eShelf 7

ISIlejustieparl'existen edelivresditéditésoù haque hapitreesté ritpardesauteursdiérents.Commeseulslesnoms deséditeurssontmentionnés dansles itations lesauteursdes hapitresseraientlésés:Forbooks,thebibliographi information presentedin anarti le'sreferen elistoften ontainsrstauthor only,ora partiallistof authors...Linkingtothesour eitem allows usto expand thereferen etoin ludethe ompletelistof authors. La king thisexpanded informationwould de reasethe a ura yofouranalysisbyunder-representingthe ontributionofadditionalauthors.Onpourrait ependa ntfaireremarquerque tousleslivresnesontpasdetypeédités.

8

ignore it and use it in a way it was not meant to be used, su h as fa ultytenure position, or used alone

 There are ex ellent edu ators who do not ne essarily publish in journals pro essed by ISI or do not resear h in a eld where itationsare profuse

 I just wish a better handling of the itable items, and plausibility he ks of the s ores by experts who know well the journals of a dis ipline to spot errors at a glan e.

Il faut aussi mentionner la di ulté de l'attribution des itations aux auteurs (en raison des diéren es de pratique entre les ommunautés) mais aussi auxinstitutions. Il est lair que des institutions partenariales omme l'INRIA où les auteurs peuvent se ré lamer de plusieurs institutionsvontêtrepénalisés.Unere her hedansleWoSmontreainsidesdiéren es onsidé-rablesdansl'intitulédel'institutiond'appartenan equinefa ilitentpasletravaildesindexeurs. Des arti les qui pourraient in ontestablement être attribués à l'INRIA vont être attribués au LORIA,à l'IRISA, à l'INRIASophia et ...Ce problème de la normalisationdes adresses pour laFran e est abordé dans la se tion 8.

Ilfautennnoterquel'ISIn'estpassimplementunpourvoyeurde itations: etteso iétéest àlasour ed'unetrèsgrandemajoritédesindi ateursbibliométriques ommeleJIF(se tion5).

4.1.2 S opus

S opus a été lan é à l'automne 2004 par Elsevier et ontiendrait 30 millions de itations, qui ne remontent ependant qu'à 1996 (1900 pour le WoS), provenant de 15 000 titres ave review,12850 journauxdont1000 en a èsouvert, 700pro eedings, 275 millionsde pagesWeb et125 séries de livres, misàjour de manière quotidienne,ave une ouverture plus exhaustive que le WoS pour l'ingénierie et apparemment une meilleure ergonomie que le WoS [1, 2℄. La distributiondes itationsserait lasuivante [2℄ :

 santé ets ien es de la vie: 25.3 millions de do uments  ingénierie : 8.5

 agri ulture et biologie: 3.6

 s ien es de la terre etenvironnement :1.9  himie: 1.3  physique : 0.59  s ien es so iales : 0.29  mathématiques :0.26  psy hologie : 0.23  é onomie : 0.22

La provenan e géographique des titres est plus variée que pour WoSave 60% des titres ne provenant pas des USA. Jusqu'en 2003 seule était utilisée l'aliation du premier auteurmais, à partir de ette date, les aliations de tous les auteurs sont utilisées. Un eort parti ulier a été porté pour mieux gérer les homonymies ave une prise en ompte des variantes des noms et une utilisation de données omme l'aliation et le sujet traité pour mieux erner l'auteur. D'unpointde vue bibliométrique, lesstatistiquesproposéessont plusri hesque ellesdu WoS mais il manque la possibilité de faire des analyses par institutions. S opus est un on urrent

4.1.3 Problèmes ommunsaux ressour es payantes

Leproblèmeestessentiellementliéau orpus,quin'estd'ailleurspastoujoursbien onnu.On avuque elui- inereprésentaitqu'une faibleproportionde laprodu tions ientique.Le hoix des journaux et des a tes de onféren es est don important et inuen era les indi ateurs de itations al ulésàpartirde es sour es. Celapeut favoriser unesous-thématiqueaudétriment d'une autre, voire fausser omplètement le résultat. Par exemple, il semble, au moment où e rapport est é rit, que le WoS ontienne tous les a tes publiés dans un LNCS mais au un a te édité par l'ACM. Dans un domaine où les bonnes onféren es ont un label ACM et les mauvaises sontpubliéesvialesLNCS, un indi ateur al uléàpartirde WoSdonneun résultat ontestable. Voir lase tion 4.3.

4.2 Les sour es gratuites

Laprédominan ede WoSetdeS opusetdespratiquesquileursontasso iéesontsus itédes réa tionsde la ommunautés ientique pourélaborerd'autres modesde re her he de itations etd'évaluation.

4.2.1 CiteSeer

CiteSeer est une base de données spé ialisée en informatique qui fournit des indexations sophistiquéesdes itationsmaisaussiun lassementdes onféren es,desjournauxetdesauteurs en informatique.

Une omparaison sur l'année 2003 entre le lassement ISI des journaux en informatique reposant sur le JIF et le lassement CiteSeer a été établie par la CE. La gure 1 montre le lassement hez CiteSeer des vingt meilleurs journaux selon ISI alors que la gure 2 présente le lassement ISI des vingt meilleurs journaux selon CiteSeer.

Cesguresmontrentdesdis ordan estrèsnettesetsurprenantesentreles lassements.Nous avons onsidéré les20journaux lasséspar l'ISI (qui en lasse200) ommeles plusimportants du domaine et avons examiné leur lassement selon CiteSeer (qui lasse 1200 journaux et onféren es).Lepremierjournalselonl'ISI,ACM Computer Surveys,est195èmeselonCiteSeer, le2èmeselonl'ISI,Bioinfor mati s,n'apparaîtpasdansCiteSeer,le6èmepourl'ISIest958ème pour CiteSeer ...Inversement le premier pour CiteSeer, ACM Trans. on Computer Systems, est 26ème pour l'ISI, le 4èmepour CiteSeer, Computer Networks , est 122èmepour l'ISI.

4.2.2 GoogleS holar

Lebut a hé de GoogleS holar est d'in lure peer-reviewed papers, theses, books, preprints, abstra ts and te hni al reports from ...a ademi publishers, professionalso ieties, preprint re-positories and universities ...available a ross the Web. Les sour es ne sont ependant pas af- hées, ni les dates de ouverture. Google propose diérents types d'indi ateurs dérivés des sour esS holar :

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 2020 1 61 121 181 241 301 361 421 481 541 601 661 721 781 841 901 958 ClassementISI

Fig.1Enordonnéele lassementCiteSeerdesvingtmeilleursjournauxeninformatiqueselonISI.Aremarquer que ertainsjournauxdu lassementISIn'apparaissentpasdansle lassementCiteSeer(etré iproquement).

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 2020 1 11 21 31 41 51 61 71 81 91 101 111 122 ClassementISI ClassementCiteSeer

Fig.2En ordonnéele lassementISIdesvingtmeilleurs journauxeninformatiqueselonCiteSeer.

 do uments Web  itation d'arti les  itation de livres

Les do uments Web sont des liens sur des pages Web qui soit dé rivent le do ument soit proposentun a èsaux do uments.Les itationssont omptées àpartir des bibliographiesdes do umentsWeb.

 la ouverture de Google S holar est très variable selon les domaines. Certaines études indiquentquelesrésultatssontbieninférieursà eux quel'on pourraitobtenirenutilisant des basesplusspé ialiséesmais elan'a pasétéle aspour notreétudedé riteense tion9  lesdo uments utilisés ommesour ede itationspar GoogleS holarsonten oreplus mal

onnusque les sour esdes bases ommer iales

 les indi ateurs obtenus, omme le ompte de itations, sont très impré is

 iln'y aqu'un formatde sortie (pars ore de itations) alorsqueWoSpropose uneanalyse plusne(nombredepubli ationsetde itationsparannées,éliminationdesauto- itations, ...)

 la basede données n'est pas souventmise à jour(les do uments ré ents ne seront trouvés que dans GoogleWeb)

La mauvaise gestion des homonymies de Google S holar a motivé Anne-Will Harzing à développerlelogi ielPublish or Perish

9

quiré upèrelesdonnées de GoogleS holarmais en faitune analyse plus ne, etpropose le al uld'un nombre importantd'indi ateurs :

 quantitatifs:nombre totaldepapiers,de itations,nombremoyende itationspar papier, par auteur, nombre d'auteurs par papier

 individuel : nombre G, nombre H (ave deux variantes), taux de itationpondérépar les dates de publi ation

4.2.3 Citebase

Dès 1999, Harnad et Brody proposent d'expérimenter un algorithme de itation diérent de elui de l'ISI qui se veut plus obje tif que les indi ateurs de l'ISI qui se on rétise par la réation de l'outil Citebase

10

. Dans e modèle en plus des itations sont omptabilisés le nombre de télé hargementsdes arti les (toutefoisuniquement àpartir des données disponibles sur un nombre limitéd'ar hives ouvertes omearXiv) ainsi quele tempsentre télé hargement et itationspour essayer de mieux ernerla qualité s ientique des arti les.

4.2.4 Problèmes ommunsaux ressour es gratuites

Ces ressour es gratuites ont des défauts ommuns liés au fait qu'elles ré upèrent (le plus souvent via internet) et traitent de manière automatique leurs données. Nous en itons i i quelques-uns.

1. Identi ationdespersonnes.Ilestsouventimpossibledediéren ierdespersonnesayantle même nom. Les homonymies sont très malgérées : une re her he de itationsur l'auteur D. Cohen retourne aussi des itations d'auteur du même nom et dont un des prénoms ommen e par D. À l'opposé, il arrive aussi parfois qu'un seul auteur voit ses papiers et ses itationsdivisés en deux entréesdistin tes

11

. Lesnomsa entuésoune respe tant pas 9

www.harz ing. om 10

www. ite base.org 11

Parexemple,sivotrenom ontient essayezvotrevrainomet votrenomsans le.Celamar heaussibienave Google S holaretCiteSeer.Ce is'explique parunemauvaisegestiondans ertainsdo umentsPDFde esdeux lettreslorsqu'ellessont a olées,lalettre"i"disparaissantdudo ument.

exa tement omme ils sont trouvés (en permettant toutefois le sto kage de variantes, en parti ulier pour les noms asiatiques). Ainsi l'absen e, fréquente, d'un a ent dans une itationva onduire à la pénalisation de l'auteur ité.

2. Identi ationdes arti les.Ceux- iétantsouvent ré upérés automatiquementviaInternet, il n'est pas toujours évident d'unier les diverses versions publiéespar tous les oauteurs d'un arti le sur leur page personnelle. Il n'est don pas rare de voir un même arti le donner deux entrées ou plus dans Google S holar et dans Cite-Seer, perturbant d'autant le dé ompte des itations.

3. Identi ation d'un journal. Il est théoriquement possible de fairedes re her hes par nom de journal mais 'est au demandeurde donnerle nom du journal. Étantdonné lenombre importantd'abréviations utilisées pour lesjournaux, ilest di ile d'a éder réellement à l'ensemble des volumes d'un journal donné.

Tous es défauts ont des o urren es très fréquentes . Ils rendent don peu rédible tout indi ateur al uléà partirde es sour es.

4.3 Comparaison des sour es

Un arti lede 2007 [9℄étudie les itationsobtenues pour 25 her heurs renommésen s ien e de l'informationen utilisantWoS, S opus et Google S holar. S opuspropose 35% de itations deplus queleWoSetGoogleS holar160%de plus( es diéren es pouvantvarierénormément selon les dis iplines). Le s ore de Google devrait être pondéré en raison de l'impré ision des sour eset des itationsmais il est aussi lair que le fait de re her he r lessour es Web permet de mieux prendre en ompteles nouvelles habitudes de publi ationdes her heurs.

Desétudesré entessesontintéressées aux itationsdes 25auteurslesplus itésen informa-tiqueetàleurre oupementdanslesbasesCiteSeer,S opusetWeb ofS ien e [10℄.Ilestapparu que seulement 44% des itations étaient ommunes aux trois bases. Unediéren e analogue a été observée par Burnham [1℄ dans ledomainemédi al

12 .

Nisonger (2004, voir l'arti le de Meho) a examiné ses propres itations dans le Web of S ien e : ette base ontenait 28.8% du total des itations de ses arti les, 42.2% des itations de ses arti les de journaux, 20.3% de ses itationsen dehors des USA et2.3% de ses itations quin'étaient pas en anglais.

Meho [10℄ a publié une omparaison exhaustive du WoS, de S opus et de Google S holar en re her hant l'ensemble des itationsdes 15 membres de son laboratoire(S hool of Library and Information S ien e), don d'un ensemble onnu à l'avan e. Une première omparaison on erne la fa ilité d'obtention de données ables. Clairement la palme revient au WoS dont lesdonnées sont plus ables etles outils plus performants,S opus requérant deux fois plus de temps et Google S holar 30 fois plus (ave en prime 12% de itations de son laboratoire non présentes). Uneautre onstatationa été l'utilitéd'avoirlaliste des itations onnue àl'avan e

12

nombrede itationstrouvé espourArthritisandenvironment,1992-date:405(WoS),395(S opus),pourTuber ularmeningitis, 1992-date:21(WoS),76(S opus),pourBarikS*,1992-date :93(WoS),126(S opus)etpourAmeri anJournalofCardiology, 1992-date:15619(WoS),21993(S opus)

avaient été attribuées à d'autres auteurs ayant le même nom ou des noms voisins. Pour les domaines onsidérés, S opus donne 13.7% de itations de plus que le WoS et l'ensemble des itationsdu WoSetde S opus représentait35.1% de itationsde plus queleWoSseul. En ore plus préo upant est que e pour entage est très variableselon ledomainede re her he, allant de4.9% à98.9%.Seules58.2%des itationsétaient ommunes entreleWoSetS opus,une des raisons majeures étant que S opus fournit onsidérablement plus de itations de onféren es quele WoS.

Google S holar quant à lui trouve 53% de itations de plus que WoS et S opus ombinés, permettantd'a roîtrelenombrede itationsdulaboratoirede93.4%.Mêmesi ertaines de es itationsviennent de journaux ave un JIF faible, une grande partie d'entre elles proviennent de onféren es (trouvées d'ailleurs prin ipalementsur lespages personnellesdes auteurs). Mais làaussi onobservede très fortes variationsde l'augmentationdu nombre de itationstrouvées selonlesdomaines(allantde 143.6%pour human- omputerintera tion à23.4%pour bibliome-tri s).L'interse tionentreGoogleS holaretl'unionduWoSetdeS opusesttrèsfaible(30.8%) etS holarnetrouvepas40.4%des itationsdu WoSetdeS opus. Par ontre l'introdu tiondes données de S holar ne modie pas sensiblement le lassement des her heurs que l'on obtient en onsidérantensemble leWoSet S opus.

FinalementMehoindiqueune bienmeilleure ouverturequeWoSouS opusde lalittérature nonanglo-saxonne par GoogleS holar ave 6.95%de itationstrouvées (respe tivement 1.14% et0.7%).

Pour e qui on erne l'informatiquele Centre for S ien e and Te hnology Studies (CWTS) de l'Université de Leiden a onstaté queles a tes de onféren es étaient un élément majeurde disséminationen informatiqueetadon entreprisde ompléterleWoSen in luantlesLe tures Notes in Computer S ien e (LNCS) de Springer, les onféren es d'ACM et les onféren es de laComputerSo iety d'IEEE, augmentantainsi de 66% lataillede labase de données [12℄.Il a été ependant onstaté que et ajoutné essitaitun grostravailen parti ulierpour l'extra tion desdonnées des  hiersPDF.Pour mesurer laqualitéde la ouverture de ette baseétendue le CWTSaexaminéles itationsdesarti lesdelabasequifontréféren e àdesarti lesde labase, e qui onstitue une mesurede la ouvertureinterne:un pour entagede 100% indiqueraitque l'ensembledes arti lesdelabasene fontréféren e qu'àdesarti lesde labase.Cette ouverture interne est de 51% (une augmentation substantielle puisque la ouverture interne du WoS en informatique est de 38%, bien moindre qu'en physique ou himie pour lesquelles elle ex éde 80%) mais reste en ore selon le propos des auteurs "modérée" et qu'il est improbable que l'ajout de onféren es pourraitfaire monter ette ouverture à plus de 80%.

Desresponsablesde laboratoireshollandaisontréagien mentionnantdes publi ationsqu'ils onsidéraient ommeimportantesetquine guraientpasdanslabaseétendue.Une re ommen-dation du rapport du CWTS est par onséquent qu'une étude bibliométriqueen informatique devraitreposer surune listede publi ationsqui seraitfourniepar les her heurseux-mêmes ou aumoins vériée par eux ( ettere ommendation rejoint d'ailleurs le travailen ours de la CE dont l'objet est d'identier les journaux et onféren es jugées importantes par les her heurs de l'Institut). Une se onde re ommendation est qu'en raison de la diversité des sour es de

i-di iled'automatiserle omptagedes itationsetqu'une analysemanuelleest né essaire : e i onstitueuntravailtrèslourd ommel'attestelase tion9quiprésentelesrésultatsd'uneétude préliminaire on ernantpourtantuniquementquatre her heurs del'INRIAetqui onrme,en pire, les on lusions de Meho.

Cette in ohéren e des sour es jette lairement un doute sur la valeur des indi ateurs qui sontpubliés àpartir d'elles. On peut se poser la questionde lavaliditéde publier un JIF ave 3dé imales à partir du moment où l'on est sus eptible d'avoir omis plus de 20% des itations desjournauxtraités(un hirepourtantprudentsil'onen roît l'arti lede Meho),etque ette in ertitudevajouer dès lapremière dé imaledu JIF.

4.4 Les problèmes d'attribution

Les indexeurssont onfrontés àdeux typesde problèmes lorsqu'ils examinentles arti les:  à quel organisme doit on attribuer l'arti le : le seul élément identiant est l'adresse des

auteurs dont la omplexité rend né essaire un dépouillement manuel (don peu ompa-tible ave letraitement automatisédes données proposé par les sour es de itations). Ce problème est traité dans lase tion 8

 pour les arti les à plusieurs auteurs omment attribuer le travail entre les auteurs : le plus simpleest de répartirlapubli ationàpart égaleentre lesauteurs( e quisemble être la méthode utilisée par le WoS

13

). Il est ependant très di ile d'obtenir les règles qui régissent les attributions de itations. On peut essayer de plus de prendre en ompte les pratiques de publi ation mais elles sont extrêmement diverses selon les domaines, e qui en rend letraitement automatiquetrès di ile.

5 Les indi ateurs

Il existe une multipli ité d'indi ateurs bibliométriques et leur nombre ne fait que roître (probablement un orollaire de leur utilisation a rue)

14

. Il n'est don pas question d'en faire i iun inventaire exhaustif mais plutt d'examiner lesplus utilisés, et qui ont don été soumis àdes analyses poussées, ainsi que de dé riredes tendan es pour lesnouveaux indi ateurs.

Tous es indi ateurs reposent sur une sour e de itation. Ils héritent bien évidemment des problèmes liésà leur sour e,mentionnés dans lase tion pré édente.

5.1 Les indi ateurs pour journaux

L'évaluation de la qualité s ientique d'un arti le est un problème déli at. Une appro he simple onsisteàrelier laqualitéd'unarti leàlaqualitédu support dans lequelilaété publié. On substitue ainsi une évaluation du support (le plus souvent un journal s ientique) à une

13

Citations toea harti lefromanyotherarti leinthedataset are ounted, andea hindexedauthoris reditedwith thefull tallyof itationstothatarti le.Thus,anarti lewithtenauthorswhi h hasbeen ited100 times,willattribute100 itationsto ea hof thetenindexedauthornames.

14

moins de supports que d'arti les. Cette appro he onstitue le modèle initial de l'ISI qui a ependantun peu évolué sous la pressiondes organismes lients.

5.1.1 L'impa tfa tor d'un journal

Lejournalimpa tfa tor(JIF)estunindi ateurproposéparl'ISIdanssonJCR.Ilest al ulé à partir du WoS. C'est au départ une notion inventée au début des années soixante par Gene Gareld,lefondateurdel'ISI.LeJIFd'unjournalàl'année

n

estdéni ommelerapportentre lenombrede itationsdans l'année

n

d'arti lesdu journal parusdans lesannées

n − 1

et

n − 2

(et uniquement elles- i), etle nombre total d'arti les publiéspendant es deux années :

J IF

n

=

C

n

−1

+

C

n

−2

P

n

−1

+

P

n

−2

La limitation à deux années semble mystérieuse 15

. Le JIF est souvent onsidéré omme un indi ateur de la qualité d'un journal et joue un rle onsidérabledans lemonde s ientique

16 . L'ISI indique ependant que le JIF ne doit pas être utilisé pour des domaines diérents. En parti ulier, le JIF dans un domaine impliquant des re her he s longues sera automatiquement plusfaibleque eluides journauxd'un domaineàévolutionrapide.Ilaété prouvépar exemple que efaitexpliquaitqu'enmoyennelesjournauxdebiologiemolé ulaire(domaineoùunarti le devient rapidement obsolète) avaient un JIF bien plus élevé que la moyenne des journaux de mathématiques [15℄. En 1999 le meilleur JIF en mathématiques orrespondait à elui du 51èmejournal en biologie ellulaireet lepapier d'Andrew Wiles sur le théorème de Fermat ne ontenaitque4référen essur84àdespubli ationsquiavaientétépubliéesdanslesdeuxannées pré édentes [16℄. Des analyses ré entes montrent que ette tendan e ne s'est pas inversée. Par exemplel'étudedu JIFde181 journauxen mathématiques etde 124journaux engénétiquesur la base du JCR 2005 a montré que si la distribution était omparable, la valeur moyenne du JIFvariait d'un fa teur 10 entre les deux dis iplines, auprot de lagénétique [7℄

17 .

Unautreargumentlogique ontre l'utilisationduJIFpour des omparaisonsinter-domaines est que des journaux d'un domaine à faible ontenu s ientique peuvent ependant avoir un JIF du même ordre que elui d'un autre domaine ave un haut niveau de re her he puisque le JIF ne dépend que des itations. Ré iproquement un domaine très a tif peut avoir des journauxave unJIFfaibleenraisondepratiquesde itationsdiérentes

18

ouune ommunauté réduite. À e proposilest souventindiqué quelataillede la ommunauté(mesurée en nombre d'arti lespubliés)inuen e largementleJIF. Ce in'est pas exa t pour touslesdomaines mais de nombreux autres fa teurs peuvent inuen er de manière arbitraire le JIF : par exemple l'augmentation du nombre d'arti les publiés dans un journal où la re her he est très a tive

15

ISIaproposéré emmentlemoded'emploipour al ulerunJIFutilisantunefenêtrede5ans 16

Editors gethired andred soonaftertheannual JIFdataarepublished,Peter'sDigitalReferen eShelf,Augustpublié hez ThomsonGalequiestune ompagniealiéeàThomsonInstituteforS ienti Information(ISI)

17

E. Gareldattire d'ailleursl'attentionsurl'absurditédes omparaisons reposantsurleJIF :it is absurd tomakeinvidious omparison sbetweenspe ialistjournalsandmulti-dis iplinar ygeneraljournalslikeNatureandNEJM.To omparejournalsyou shouldsti ktoaparti ular ategoryasisexplainedvery arefullyintheGuidetoJCR,DerUnfall hirurg,48(2)p.413,June1998

18

les papiers seront la plupart du temps ités en dehors de la fenêtre temporelle utilisée pour al ulerlenumérateurdu JIF[16℄.La nature mêmedu matériel publiédans un journal donné peut introduire un biais dans le JIF estiméde 5à 40%, voirse tion 6.1.

D'autrepartleJIFmesurelamoyennedes itationsd'unjournalmaisilfautsavoirquemême pour les journaux à fort JIF les itations proviennent d'au plus 15% des arti les publiés [15℄ : leJIF ne mesure don pas vraimentla qualité d'un arti leou d'un auteurspé ique.

Étantbasésur leWoS,leJIFestsouventa uséd'unbiaisaméri ain,mêmedansla ommu-nautéanglo-saxonne

19

.C'est dû aufait quel'on ite plus fa ilementdes arti lesde son propre pays

20

et e biais a été onrmé pour des as parti uliers (voirla se tion4.3).

À noter qu'en dépit d'une moins bonne ouverture par l'ISI des s ien es de la vie (voir se tion 4) elles- i tiennent une pla e à part pour le JIF : 12 des 15 journaux ave un JIF supérieur à 10 relèvent de ette dis ipline. Le ara tère relativement généraliste des journaux en s ien e de lavie leur donne un avantage ertainpar rapport aux bonnes revues spé ialisées quisont très peu itées en dehors de la ommunauté on ernée.

5.1.2 Indi e d'immédiateté, immedia yindex

Cet indi e est aussi proposé par l'ISI dans son JCR. Il est déni ommele rapport entre le nombre de itationsd'arti lesparus àl'année

n

(et uniquement elle- i)etlenombre d'arti les publiésdans le journal ette mêmeannée :

II =

C

n

P

n

Cet indi e est souvent onsidéré omme une mesure de l'impa t immédiat d'un journal. Il apparaît ependant que dans bien des as les journaux présentant des indi es d'immédiateté élevésobtiennent e hireen raisond'unnombreimportantde référen es àdes éditoriaux,qui n'apparaissentpas dans ledénominateur de et indi ateur.

5.1.3 Demi viedes itations, Cited half-life

Cet indi e est aussi proposé par l'ISI dans son JCR. Pour l'année

n

le ited half-life est le nombre d'années

j

tel que 50% des itations du journal de l'année

n

sont des itations antérieures à l'année

n − j

et 50% sont ultérieures. Ainsi Nature Geneti s avait un ited half-life de 4.7 en 2003 ar 46.38% des itations de l'année 2003 dataient d'années antérieures à 1999. Cet indi ateur fournit don une information sur la permanen e des re her hes dans un domainedonné.

Lesindi ateurs omme leJIFne prenanten omptequedes itationsrelativement ré entes, les journaux qui ont des ited half-life plutt petits vont avoir mé aniquement des JIF plus élevésque eux ave un ited half-life important.

19

guide Journal Impa t Fa tors, Juin 2004, The University of Au kland, New-Zealand, www.boul der.nist.gov/div853/Publi ation%20files/journalimpa tfa tors.pdf

20

uneétudeamontréquelesauteursd'arti lesdebioméde ineaméri ainsne itentenmoyenneque12%deréféren esétrangères demoinsde2anset 30%demoinsde10ans(untauxtrèsinférieurau poidsréeldelalittératurenonaméri aine),N.Pinhas, InsermA tualités,154,Septembre1997

Le mouvement des éditeurs vers l'a ès en ligne permet de mettre en ÷uvre un autre indi- ateur:lenombrede télé- hargements.Cetteinformational'avantage de pouvoirêtreobtenue en temps réel et d'après Meho une orrélation a pu être établie entre le nombre de télé har-gementset lenombre de itations, quoique e degréde orrélationvarie sensiblement selon les dis iplines.Dans es onditionslenombrede télé hargementsfourniraituneestiméeinitialedu nombre de itationsà venir des arti les.

Des restri tions s'appliquent ependant à et indi ateur :

 il est di ile à établir pour un auteur donné sus eptible de publier dans des revues très diverses arilseraittrès oûteuxd'examinerl'ensembledesjournauxd'unebasededonnées pour haque auteur

 il ne prend pas en ompte les nouveaux moyens de diusion utilisés par les her heurs (pages personnelles, ar hives ouvertes)

 la pratique de ertains éditeurs de mentionner les arti les les plus télé hargés favorise mé aniquement es arti les

 la abilité est relative. Ces indi ateurs sont al ulés par les éditeurs eux-mêmes, e qui onstitue un onitd'intérêt évident

5.3 Les indi ateurs quantitatifs

Ce sont les indi ateurs les plus fa iles à établir à partir des bases de données de itations. Mentionnons omme exemple:

 nombre de publi ationset de itationspour un groupede her heurs

 nombre de publi ationset de itationspar her heur pour un groupede her heurs  pour entage de la produ tionmondiale

 nombre de publi ationsintervenant dans lesindi ateurs ISI  nombre de publi ationsdans les journaux àfort JIF

Il va de soi que les trois premiers indi ateurs ne donnent au une information sur la qualité du travail s ientique : ils permettent tout au plus d'évaluer si le groupe a une a tivité de publi ation normale, e qu'il faut pla er bien sûr par rapport à la moyenne d'a tivité des autresgroupes travaillantdanslemême domaine. Lesdeux suivantsontune validité orrélée à elle des indi ateurs ISI pour le domaine onsidéré.

Une information intéressante pour l'informatique est fournie dans le rapport du CWTS de l'Université de Leiden [12℄ : l'évaluation par les pairs de 42 laboratoires en informatique hol-landais,telqu'établiepar leReview Committee for ComputerS ien e de la Quality Assuran e Nehterlands Universities (QANU) a une orrélation erte positive mais faible ave les indi a-teurs mentionnés i-dessus. Cette onstation impose don une réexion : l'évaluation par les pairs mesure t'elle mal l'impa t des laboratoires ou les indi ateurs sont t'ils peu appropriés à lamesure d'impa t?

Les organismes utilisant lesindi ateurs sont demandeurs de mesures qui permettraient une évaluation individualisée des her heurs, e qui n'est pas le but des indi ateurs de journaux

21 . Dans e ontexte les indi ateurs de journaux ne leur permettent qu'une vue indire te ne onduisant pas aux valeurs hirées qu'ils re her he nt. Les s ientiques obje tent aussi que les analyses en moyenne des indi ateurs de journaux ne peuvent pas reéter la qualité d'un élément parti ulier. Les exemples sont nombreux d'arti les publiés dans un journal ave un JIF faible et onstituant pourtant une ontribution majeure à la s ien e ontemporaine et, à l'inverse, d'arti les de mauvaise qualité, ou purement polémistes, publiés dans des journaux ave des JIF élevés. En onséquen e une tendan e a tuelle (souvent ritiquée d'ailleurs par les bibliométri iens professionnels) est de proposer des indi ateurs ensés évaluer la qualité s ientique du travaild'un individu.

5.4.1 Le H-index

Le nombre H d'un auteur a été déni par J.E. Hirs h [6℄ omme le nombre

h

d'arti les de l'auteurquiontété ités aumoins

h

fois ha un.Ila été proposé ommealternativeàd'autres indi ateurs(dont lesavantages etin onvénients sont repris du papier de Hirs h)

 nombre total de papier :qui mesure laprodu tivité mais pas l'impa t

 nombre total de itations: quimesure une formed'impa t total mais peut être fortement inuen é par lenombre de o-auteurs et par les arti lesde synthèse

 itationsparpapier:permetdes omparaisonsentres ientiquesd'âgesdiérents;di ile à estimer,ré ompense une produ tivitéfaibleet pénalise une forteprodu tivité

 nombre de publi ations signi atives: nombre de papiers ités plus de

y

fois, n'a pas les in onvénientsdes indi ateurspré édents maissoure del'arbitrairedans le hoixde

y

(on pourrait aussi mentionnerla di ulté de la mesure)

 nombre de itations aux

q

papiers les plus ités: n'a pas lesin onvénients des pré édents indi ateurs mais di ile àobtenir etdi ulté du hoix de

q

Hirs h indique que la mesure du nombre H peut être fa ilement obtenue à partir du Web of S ien eenutilisantl'ordretimes itedqueproposel'ISI.Mais elasupposeunebonne ouverture de l'ensemble des domaines s ientiques (ou au moins une ouverture homogène si l'on veut omparer des individus) par le Web of S ien e, e qui est loind'être le as pour lesdis iplines de l'INRIA. Hirs h va même plus loinen proposant des valeurs du nombre H pour obtenir la tenure, devenir full professor ou membre de l'A adémie des S ien es des USA. Ce n'est qu'à la n de son papier qu'il aborde brièvement le problème de la valeur du point H selon les dis iplines( h-indi esin biologi als ien es tendstobe higherthaninphysi s...moreresear hin understanding similarities and dieren es ...in dierent eld of s ien e would be of interest).

Parmi les nombreux problèmes que soulève et indi ateur mentionnons la abilité ave la-quelle ilpeut être mesuré. L'ISI ainitialementrefusé de mettre àdisposition et indi ateur, e

21

E.Gareldestd'ailleurstrès lairsur epoint:Thesour eofmu hanxietyaboutJournalImpa tFa tors omesfromtheir misuseinevaluatingindividuals,e.g.duringtheHabilitationpro ess.Inmany ountriesinEurope,Ihavefoundthatinorderto short utthework oflookingupa tual (real) itation ountsforinvestigatorsthejournalimpa tfa toris usedasa surrogateto estimatethe ount.Ihavealwayswarnedagainstthisuse.DerUnfall hirurg,48(2)p.413,Juin1998.

quioutrelefaitd'avoirdessour esmalidentiées,gèremalleshomonymiesetlesauto- itations. Pour des auteursayantdes nomsrelativement ommuns lesrésultatsobtenusviaGoogle S ho-larsont souventfantaisistes(sansfaireune re her he exhaustive onpeut ainsimontrer quedes auteurs initialement qualiés d'un H-index de 35, très élevé, voyaient e nombre ramené à 5 (moyen) dèsquel'on examinaitplusattentivementles itationstrouvées dansGoogle S holar). Mehoprétend quelenombreHest maintenantfa ilement al ulable àpartirdu Web ofS ien e (en O tobre 2006 l'ISI a hangé de politique et propose le nombre H dans son JCR), S opus et Google S holar. Ce n'est pas notre avis : la diversité des réponses dans es trois bases de donnéesné essitedes re oupementstrèsns etune analysemanuellede lavaliditédes données avant de pouvoirobtenir une valeurà peu près orre te de l'indi ateurausens de sadénition (sans présumer de sa validité).

De plus lessour es utilisées gèrent très mallesréféren es à des livresou hapitresde livres, e quipénalisefortementlesauteursde livresde référen e. On peut ainsi trouverdes exemples d'auteursayanté rittrès peu d'arti lesmaisdontleslivressontre onnusetquiontunnombre H très faible : seul l'indi ateur max itations qui est fourni en plus du nombre H peut alors indiquerladis ordan eentre lenombreH etl'inuen eréelle del'auteur, e quiné essitealors un examen très attentifdes itationsellemêmes.

Une analyse ritique du nombre H a été publiée par H.L. Roediger [14℄ qui a relevé les ara téristiquessuivantes :

 le nombre hest orréléave l'âge

 retard : le nombre h peut substantiellement augmenter même si le her heur n'est plus a tif depuislongtemps

 le nombre hest sous-estimé pour les her heurs ayantpublié des livres

 le nombre hne met pas en valeur les ontributions très importantes d'un auteur

 lefaitqueles itationssoientattribuéesàl'ensemble desauteursnepermetpas deprendre en omptelespratiquesdesdomaines,quisonttrèsvariées.L'ordredesauteursreète sou-ventl'importan edes ontributions.Mais,parexempleRoediger,psy hologue,indiqueque danssondomaineles ontributionsdupremieretdernierauteurssontlesplusimportantes. Dans d'autres domaines, l'ordre alphabétique est la règle, ou bien le premier auteur est elui qui a apporté la ontributionlaplus importante.

On peut mentionner d'autres in onvénients majeurs du nombre H : les itations négatives ( 'est-à-dire très ritiques vis-à-vis d'un papier) ne sont pas prises en ompte, il ne prend pas en ompteles travaux très ités et ilignore lenombre total de itations.

5.4.2 Les variantes duH-index

Pour ombler lesla unes du H-index, des variantes ontété proposées

 a-index : lenombre moyen de itationspour les arti lesretenus dans le al ul du nombre H

 g-index : proposé par Egghe [3℄, 'est le nombre

g

d'arti les dont la somme des nombres de itationsest aumoins

g

2

(un g-indexde 10indiqueque l'auteuraé rit 10papiersdont la sommedes itationsest au moins de 100)

estimer que la multipli ation des indi ateurs sans un minimum d'analyse ritique fait planer un large doute sur l'ee tivité de la relationentre qualité s ientique et indi ateurs.

5.5 Les autres indi ateurs

Des indi ateurs plus sophistiqués, reposant toujours sur les itations, ont été proposés pour prendre en ompte trois biais possibles :

 année de publi ation: lespubli ationsplus an iennes sont davantage itées

 le type de do ument : le nombre de itations varie onsidérablement selon e type, par exemple les arti lesde review sonten généralplus ités queles arti less ientiques  le domaine : les pratiques de publi ation dièrent onsidérablement selon les domaines

s ientiques.

Les indi ateurs avan és reposent sur un pro essus de normalisation qui tente de orriger es biais. Les indi ateurs avan és les plus onnus sont le eld normalized itation s ore dont une formeest le rown indi ator qui ompare lenombre moyen de itations attribuéàune unité (un her heur, un laboratoire)au nombre moyen de itationsdans les publi ations internatio-nales de la même année, dans le même domaine et sur le même type de do ument. Un rown indi atorde 0.9 indique que les publi ations analysées sont itées 10% moins que la moyenne mondiale.

Un autreindi ateur avan é est leTop5% qui al ule,pour un grouped'auteurs, lapart qui estdans les5% desarti leslesplus ités danslemondelamêmeannée,dans lemêmedomaine etpour lemême typede do ument. Unevaleur supérieure à1 indique que legroupe a plus de publi ationsdans le groupe des 5% des publi ationsles plus itées que lamoyenne mondiale.

Lavolontélouabledeprendredavantageen omptelesspé i itésdes domainess ientiques pour produire es indi ateurs avan ésse heurte àplusieurs di ultés :

 ladénitiondudomainefaitappelàbeau oupdesubje tivité(àquelniveaudegranularité est-il né essaire de des endre pour réellement reéter un domaine?)

 le traitement des données ne peut qu'être manuel (par exemple un journal peut ouvrir plusieurs domaines, ilest don né essaire d'en trier les itations)

 l'impré isionimportantedes sour esde itationintervientàdeuxniveaux,sur le al ulde la moyennemondiale etsur les itationsdu groupe onsidéré.

L'utilisationuniquedes itationspourévaluerlaqualités ientiqued'unarti leetsonimpa t sus ite beau oup d'interrogations dans la ommunauté s ientique, elle qui est évidemment le plus au ourant des biais que ette méthodologie peut réer. Cette interrogation a sus ité des initiatives pour proposer d'autres modèles. Par exemple en biologie et en méde ine dans leservi eFa ulty of 1000

22

proposé par BioMed Central l'analysed'un arti lerepose sur la le ture oopérative des arti les par un groupede spé ialistes oopté dans un domainepré is.

22

Uneétude[8℄(relativementan ienne ependant)desindi ateursduJCRsur19ansamontré quelesindi ateursdesjournauxpouvaientêtredistribuésenquatregroupes:bas, entral,haut, extrême(journauxave des indi ateurstrès diérentsdes autres). Lesgroupeshaut etextrême ne représentent que 10% du total alors que 50% sont dans le groupe entral. Ainsi, en 1994, 6.7%des journaux avaientun JIFsupérieur à3,27%un JIFentre 1 et3,leresteayant un JIF inférieur à 1. À noter que les journaux dans lesquels publient les her heurs de l'INRIA sont quasiment uniquement des journaux des 2ème et 3ème groupes, don ayant un JIF entre 1 et 3.Ilfautee tivement portertrès peu d'attention auxdé imalesindiquéesdans lesindi ateurs omme le JIF : d'un stri t point de vue méthodologique seul le premier hire peut avoir un sens vis-à-visdes erreursde mesure.

Pour e qui on erne la ohéren e on peut noter des dis ordan es entre les opinions des experts et les lassements que l'on pourrait établir à partir des indi ateurs ISI. Par exemple leséquipes de robotique de l'INRIA ont proposé en 2005 à la CE un lassement des journaux du domaine

23

. Ce lassement est assez sensiblement diérent de elui qui pourrait être établi à partir des indi ateurs fournis par le JCR. Une étude de 1995 [5℄ a omparé le lassement onstruit par 50 her heurs des NIH et le JIF de l'ISI. Les 10 premiers journaux pour les experts avaient un rang de lassement variant entre 3 et 160 dans le lassement JIF, e qui reètebienqueleJIF ara térisepluttlavisibilitédes travauxquelaqualité delaprodu tion s ientique. Une dis ordan e similaire entre lassement ISI et CiteSeer pour l'informatique a été présentée dans lase tion 4.2.1.

Des her heurs de renom ont même proposé un moratoire sur l'utilisation des indi ateurs dans lepro essus d'évaluationen attendant une révision etune réforme profonde[4℄.

5.7 Con lusions sur les indi ateurs

Pour haqueindi ateur,deuxproblèmesseposent.Lepremier on ernelesensdel'indi ateur lui-même et ommentil doit être interprété. Le se ond on erne lafaçon dont ilest al ulé et sile nombre obtenu reètebien le nombre attendu.

Répondreà lapremière questionné essiterait unere her he plus poussée que elle ee tuée dans le adre de e rapport. On peut se demander pourquoi le JIF se ontente des itations des deux années qui suivent la publi ation d'un arti le (ISI indique d'ailleurs une pro édure permettant le al ul sur une fenêtre de 5 ans). Pourquoi 2 est plus pertinent que 1,3 ou tout autre nombre? Le H-index est une fon tion qui peut paraître ad ho mais pourquoi ette fon tion serait-elle meilleure qu'une autre? On peut par exemple al uler l'importan e d'un papieren fon tion de l'importan e des papiers qui le itenten faisant un point xe, et obtenir l'importan e d'une personne en fon tion de l'importan e des papiers qu'il/elle é rit. On peut ainsi imaginer des milliers de fon tions et seule une étude approfondie permettrait, peut être, d'en faireémerger les plus pertinentes.

23

Ce lassementprend biensûren omptelesspé i ités desre her hes menéesàl'INRIAetl'onpourraittrès bien on evoir qu'unautre lassementsoitétablidansun adrediérent

sentés i i,sontdes fon tionssur le nombre de itationsd'un papier.Ils mesurentdon tous un fa teur d'impa t, quivaut e qu'il vaut et qui doit être utilisé auregard des réserves mention-néesdans erapport,maisquireste unfa teurd'impa tetenau un asun fa teurd'ex ellen e s ientique.

Lepointleplus inquiétant on erne le al ulde esindi ateurs. Onl'avu,lesbases àpartir desque lles il est al ulé ont des limitations importantes aussi bien sur le orpus que sur la pertinen e des résultats, en parti ulier pour Google S holar et tout autre logi iel faisant du traitement automatique à partir de do uments ré upérés via Internet. Les nombres obtenus sontdon desapproximations,souvent trèsgrossières, dunombreattendu. Lesindi ateurssont don des nombres àla abilitédouteuse.

6 Mauvais usages et eets pervers

L'importan e des indi ateurs a omme eet pervers que l'on peut être tenté de manipuler les indi ateurs pour les faire roître sans pour autant améliorer en quoi que e soit la qualité de lare her he. Nousmentionnonsi iquelques manipulationsfa iles etquiontété observées, sans prétendre àune quel onqueexhaustivité.

6.1 Les manipulations du JIF

Unepratique ourantedans ertainsdomaines,etqui ommen eàsepropagerauxjournaux quipublientdes arti les de her heurs de l'INRIA, onsiste à demander auxauteurs d'arti les a eptésdansunjournald'in luredes référen esd'arti les de emêmejournal( equi onstitue une formed'auto- itation), sans qu'ilexiste une relationvraiment laireentre lesréféren es et le sujet de l'arti le

24

. Une analyse exhaustive des référen es du WoS a montré un taux de référen e erroné (référen es n'ayant pas de lien ave le sujet du papier) d'environ 7%, e taux étant beau oup plus élevé dans ertaines situations spé iques [11℄. L'ISI est ons ient de e problème puisqu'il propose pour les journaux le Self-Citing rate qui est le rapport entre les itationspubliées dans le journal et le total des itations du journal : on se trouve alors dans la situation paradoxale où un journal devrait interdire aux auteurs de iter des arti les qu'il publie...

Une autre ta tique lassique onsiste à jouer sur la dénition même du JIF en publiant du matériel, omme des éditoriaux

25

qui pourront être omptabilisés dans le numérateur du JIF, mais quine leseront pas dans le dénominateur

26 . 24

Someauthorsneednoarm-twisting,theyvolunteertoin ludereferen etoarti lesinthetargetjournaleventhoughtheymay notberelevanttothesubmittedpapers ,Peter'sDigitalReferen eShelf,Augustpublié hezThomsonGale

25

quipeuventeux-mêmesfaireréféren eàdesarti lesdujournal:(àproposd'unéditorialdeDiagnosti a)Imustwarnyouthat thetextisaboutahalfpageandtherestisthelistingofallarti lespublishedinDiagnosti aintheprevioustwoyearsandusually nothingelse ,Peter'sDigitalReferen eShelf,Augustpublié hezThomsonGale

26

take forexample the paper aboutthea essibility of informationon theWeb(labeled aseditorial materialby ISI ( notedu groupedetravail:don non omptédansledénominateurduJIF))fromNature.Itwasalready itedby325arti le,Peter'sDigital Referen eShelf,Augustpublié hezThomsonGale

Fa e aux dénitions des indi ateurs ourants et à l'importan e qu'ils prennent, les her- heurs pourraient être tentés de diviser leurs publi ations pour une re her he donnée en plu-sieurs arti les ontenant un élément parti ulier de leur re her he , seul l'ensemble des arti les enquestion pouvantreéter l'importan edu travailmené,assurant ainsiun nombreimportant de itations

27 .

6.3 Les auto- itations

L'auto- itation fait référen e au fait qu'un auteur peut faire référen e à ses propres ar-ti les. Cette pratique n'est évidemment pas ondamnablea priori mais pourrait inuen er les indi ateurs si elle devenait mali ieuse. Diérentes études ont montré que l'auto- itation n'ap-portait pas de hangement majeur sur la valeur des indi ateurs si l'on regardait un domaine assez vaste et sur une période assez longue, à part dans des domaines parti uliers

28

. On peut toutefois raindre quelapressionde lagouvernan e par lesindi ateurs onduiseà des ompor-tementsquiviseraientàl'optimisationdesindi ateurs:ilseraitpar exemplefa iledemettreen pla e une stratégie de itations au sein d'un groupe, di ilement déte table, qui permettrait d'augmenter sensiblement lepoint h de ha un des membres du groupe.

6.4 Le frein à la prise de risque

Une prise en ompteexagérée des indi ateurs pour évaluer les re her he s individuellespeut pousser les jeunes her heurs à aller vers des domaines où il est possible d'obtenir des résul-tats rapidementau détrimentde re her hes de plus longue haleine

29

. De même lesindi ateurs peuvent êtreun freinà l'innovationpuisquesouvent lesinnovationsmajeures sontlefait d'une ommunauté réduite et que, de plus, les indi ateurs sont peu appropriés pour déte ter rapi-dement des re her hes innovantes

30

(par exemple un nouveau journal ne pourra avoir un JIF qu'au mieux trois ans après sa réation).

7 Le oût des indi ateurs et son impli ation

L'INRIA a a quis l'a ès au WoS dans le adre d'un groupement de ommande (GC) na-tional ave une inquantaine d'établissements (EPST, Universités, ANR, OST...) sur 3 ans :

27

While the pra ti e of "salami sli ing" is frowned upon, it is widely pra tised by those who think that the length of their urri ulumvitae measures its strength, moreoverit is inevitablein reporting major studies..,R G New ombeand J Stebbing, PostgraduateMedi alJournal2006;82:355-356

28

Self- itations thatappear inprestigioushigh-impa t e onomi sjournals havea statisti allypositive,butnumeri allysmall, ee tona subsequentarti le's total itation ountandonthequalityofthe itingjournal.,M.H.Medo,S ientometri s,2006, vol.69,no1,pp.69-84

29

lesmoyensvontsouvent hezlesmajoritaires equifavorisele onservatisme...Ilestdi ilededonnersa han eàunjeune talent,latendan eétantpluttàl'immersiondansl'existant,M.Vert,LettresdesS ien esChimiques,64,Janvier1998

30

Une onséquen edéplorable...pourraitêtrequeless ientiques,de manièreà améliorerleur statutet/ouleurnan ement, soient tentés de négliger ou d'abandonn erles thèmes de re her he moins populaires au prot des thèmes plus rentables. Cela mèneraità unappauvrissem entde la onnaissan es ientique dans biendesdomaines virtuellementintéressants ,G. Roelants, INFINewsletter,Dé embre1999

profondeur d'ar hives limitée à 1991; en 2007 le périmètre a été élargi au Journal of Citation Report.

De plus,une deuxième onvention aété passéeentre leCNRS (opérateurdu groupementde ommande)etl'INRIApourprendre àsa hargelamoitiédenotrefa ture:leGCnouspermet ependantde payer es ressour es à30% de leur tarifinstitutionnel.

Ledouble eetde ette é onomie etde la priseen hargedu CNRS ramèneàenviron6.000 euros par an la fa ture de l'INRIA pour le WoS (au lieude 40.200 USD). Il faut depuis 2007 ajouter environ1.000 euros par anpour leJCR, soitun total de 7.000euros par an.

L'INRIA n'est pas a tuellement abonné à S opus et il est don di ile d'estimer le oût d'unabonnement.Il est ependant généralementestimé que e oût s'établitàenviron85 à95 %de eluidu WoS [2℄.

L'a ès aux sour es payantes est don relativement onéreux alors que nous avons vu que le tauxde ouvertureimparfaitde esoutilsdevraitameneràmultiplierlessour espourétablirde manière raisonnable les indi ateurs demandés et/ou pour ontrler les biais méthodologiques des al uls des indi ateurs. De plus pour le as parti ulier de l'INRIA l'étude préliminaire présentée en se tion9 montre que lesrésultats obtenus via lessour es payantes sont bien plus médio res que eux obtenusà l'aide des outils gratuits.

Dans un autre domaineil serait afortioriperni ieux que lesindi ateurs soientutilisés pour guiderles hoix des abonnementsdans les entres de do umentation.

8 La normalisation des adresses

Unemesurequipermettraitaussiderendreplusjustes lesindi ateursfournisparl'ISIserait de signalerà ette so iété le ara tère spé ique de l'Institut et de normaliserles adresses des her heurs de l'INRIAde façon à pouvoir ompter ommepubli ationsINRIA lespubli ations des équipesprojetsINRIA du LORIA ou de l'IRISA. Le CNRS a pro édé de ette manièreen faisantentrer dans lesabréviations hoisiespar l'ISI leterme CNRS. Il onviendrait de vérier sil'on ne pourrait pas fairede mêmepour l'INRIA.

Ce problème est identique pour leCNRS qui a déni pour ses besoins propresla notion de publi ationdeslaboratoiresduCNRS ommetoutepubli ationdontl'undessignatairesadonné omme adresse une unité soutenue ou évaluée par le CNRS, que le signataire soit salarié du CNRS ou non

31

. Cette notion ne résout ependant en rien le problème des indi ateurs fournis par des organismes extérieurs ommel'ISI.

L'OST a d'ailleurs lan é le programme Normaddresses 32

dontle but est de proposer à l'ISI une nomen lature des laboratoiresfrançais. Nous itons lesite de ette initiative :

L'initiative de l'OST a pour obje tif d'améliorer la qualité des traitements appliqués aux adressesfrançaisesdu Web of S ien epar Thomson S ienti .Elledoit s'a ompagnerde deux types d'a tion : en amont, un travail de normalisation des adresses des manus rits qui sont envoyés par les her heurs aux éditeurs de revues et, en aval, une familiarisation des

utilisa-31

Lespubli ationsdeslaboratoiresduCNRSetleurimpa t,Unitéd'indi ateursdepolitiques ientique,Mars1999 32

les her heurs doivent être informés de l'importan e d'un libellé omplet des adresses dans les manus rits qu'ils soumettent aux éditeurs : 'est une étape primordiale, ar e sont es infor-mations, né essaires à un bon repérage de l'arti le, de ses auteurs et de leurs institutions de ratta hement, quiseronttrans ritesdans l'arti lepublié.L'attention des her heursdoit epen-dant être attirée sur le fait que les éditeurs limitent souvent le nombre de ara tères autorisés pourlibellerl'adresse. L'étape suivanteest elle dela réationde la noti e bibliographique. Lors de la mise en base des arti les dans le Web of S ien e, Thomson S ienti n'élimine a priori au une des institutions apparaissant dans les adresses, mais il en modie parfois le libellé par sou idestandardisation.Demême,ilarrivequel'éditeur hangel'ordredesinformations:entre institutions, et entre stru tures d'une même institution (institution, département, laboratoire, et ..). Le traitement des adresses "mixtes" (unités asso iées) pose des problèmes parti uliers, pas toujours bien résolus par l'éditeur. En aval, la produ tion d'indi ateurs bibliométriques né- essitedesméthodesrigoureuses.Ainsi,l'OSTtravailleligneàligne,ave haqueinstitution,au repéragede ses arti les,et iltient omptedes multi-aliations d'unitésmixtes, qu'ildiéren ie des o-signatures. Cependant, de nombreuses études dans le monde reposent sur des hoix de traitementsautomatiques quine repèrentque ertainesinstitutions ou ertaines o urren es de noms,ouqui limitentleursrepérages àla premièreinstitutionmentionnéedans haqueadresse. Selon l'obje tif poursuivi, es hoixsont ou non adaptés maisil est important, lorsqu'on utilise desindi ateurs, debien onnaîtreles ara téristiquesdes traitements quiontété employéspour leur al ul, an de permettre une bonne interprétation.

Auvudela omplémentaritédessour esilsembleraitné essaire dene passelimiterauWoS etproposer lamême pro édure àS opus età GoogleS holar.

9 Un exemple d'analyse pour des auteurs de l'INRIA

9.1 Comparaison entre les sour es

Nous avons ee tué un travail préliminaire de omparaison de re her he des itations sur WoS,S opusetGoogleS holar(GS)pourquatre her heursdel'INRIA(dansl'ordre,envision parordinateur,en réseaux,en mathématiquesnan ièreseten informatiquepure).Lesdonnées brutesontété orrigéesmanuellementpouréliminerlesdoublonset orrigerlestitres(unarti le donné a fréquemment un titre orthographié de manière diérente selon la base de données). Ce travail onsiste àré upérer les données de itations, à les sauver dans des  hiers età leur fairesubirun premiertraitementmanuel (pour uniformiserlestitres des arti les)pourpouvoir ee tuerensuite un traitement automatisé. Ce traitement est lourd (environ 1/2 journée pour 2 her heurs) mais né essaire ar les données brutes varient onsidérablement d'une base de donnéesàl'autre(nonseulementpour unarti ledonnémaisaussisur lesrésultats ommenous le verrons). Le Nombre total d'arti les trouvés indique le nombre total de papiers diérents trouvés dans l'union des trois bases de données, Arti les trouvées dans le nombre d'arti le trouvés dans une des bases de données et Nombre de itations le nombre total de itations