Le CV du chercheur. Évaluation et valeur comparative

Le CV du chercheur

évaluation et valeur comparative

Bibiane Fréché (ULB)

Objectifs généraux

 _{Présenter et décrypter les grandes}

catégories des CV types de

différentes institutions (universités et FNRS)

 _{Interroger ces catégories en rappelant}

Pourquoi une telle actualité autour

de l’évaluation?

 _{Travail scientifique, depuis toujours :}

évaluation par les pairs

 _{Mars 2000 : conseil européen de}

Lisbonne ; « stratégie de Lisbonne »

 _{« Chercheurs-entrepreneurs »,}

concurrence, « marché de la recherche »

 Multiplication des classements

Des classements pas évidents…

 _{Exemples du classement des revues en}

SHS

 _{ERIH (European Reference Index for the}

Humanities) de l’ESF (European Science Foundation)

 _{AERES (Agence d’évaluation de la}

ERIH

 _{Deux listes (2007 et 2011)}

 _{Mise en garde explicite contre l’usage}

de ces listes pour évaluer les chercheurs

 _{Élaboration de la première liste peu}

AERES

 _{Différences en fonction des disciplines}  _{Par exemple : pas de liste en études}

littéraires

 _{Question du classement et/ou du}

Depuis deux à trois ans, mouvement de défiance envers l’évaluation quantitative, même du côté de ceux qui la prônaient avant. Quelques exemples :

- EUA (European University Association) - DFG (Deutsche Forschungsgemeinschaft) - RAE (Research Assessment Exercise)

Un retour à l’évaluation qualitative

Voir aussi les travaux de Michèle Lamont, notamment How Professors Think.

L’European University Association a publié le 19 juin 2011 un rapport critiquant les classements des universités.

[…] There is clear evidence that attempts to measure

the quality of teaching and learning that involve the

use of proxies,  often with a very indirect link to teaching quality, are ‘rarely effective’, while the importance of links to external stakeholders and environments are largely ignored. […]

Pour l’évaluation qualitative 1 : L’EUA critique les classements des universités

With these regulations, the DFG wants to counteract the

quantitative factors that have been increasing for years in terms of research publications. “Whether in performance-based

funding allocations, postdoctoral qualifications, appointments, or reviewing funding proposals, increasing importance has been given to numerical indicators such as the H-index and the

impact factor. The focus has not been on what research

someone has done but rather how many papers have

been published and where. This puts extreme pressure upon

researchers to publish as much as possible and sometimes leads to cases of scientific misconduct in which incorrect statements are provided concerning the status of a publication. This is not

in the interest of science”. (Lettre d’information de la DFG -

Deutsche Forschungsgemeinschaft, 23/2/2010)

Pour l’évaluation qualitative 2 :

position de la Deutsche Forschungsgemeinschaft

Evaluations of research quality in universities are now widely used in the advanced economies. The UK’s Research Assessment

Exercise (RAE), which began in 1986, is the most highly developed

of these research evaluations. Based on peer review and involving some sixty-nine panels evaluating the research work of more than 50,000 academic staff, the exercise is expensive and time

consuming. In this article, we examine the possibility that a

quantitative, metrics-based approach can provide a low-cost alternative to expensive, qualitative peer review. […] Our results show that no single model will apply across science and

non-science disciplines. Any metrics approach to performance

evaluation has to use a discipline-specific suite of indicators.

Linda Butler et Ian Macallister, “Evaluating University Researche Performance using metrics”,European Political Science, vol. 10/1, 2011, pp. 44–5

Pour l’évaluation qualitative 3 :

retour sur les réformes de l’UK’s Research Assessment Exercise (RAE)

Pertinence des métriques pour les

SHS

 _{Article de Butler et Macallister (2011) sur}

RAE, qui pointe que la bibliométrie est peu pertinente pour les SHS

 _{Réserves de l’Académie des sciences}

française (voir note de Cl. Lemercier sur http://evaluation.hypotheses.org)

« Quant à l’utilisation de Google Scholar, souvent présentée comme la seule planche de salut pour les SHS (vu la faible couverture des bases de données mieux

construites), les membres du groupe osaient à peine me croire quand j’en parlais, vu

le manque de qualité des données… Cela veut dire, particulièrement pour nos

disciplines où les bases elles-mêmes sont à construire (si une telle chose est possible vu la multiplicité et la variété des supports de publication), que si l’on voulait faire

proprement de la bibliométrie, il faudrait y dédier de nombreux postes. »

Création de bases de données pour

la bibliométrie

 _{En cours, notamment du côté flamand}

(Ghent U., KUL, etc.)

 _{Conséquence : certains collègues ne}

souhaitent plus publier dans des

revues qui ne sont pas classées dans leur université

Exemple de l’UGhent

Soyons francs : nous savons tous faire cela,

découper un article en deux, trois, quatre articles et le faire traduire en deux, trois, quatre langues pour ajouter autant d’items à nos listes de publications. Productivité en hausse, créativité zéro. Notre

schizophrénie de chercheurs est là : nous renâclons — également sous la forme de la contestation infinie des « critères » — mais nous savons faire, et nous savons que ce n’est pas cela qu’il faut faire.

Philippe Büttgen et Barbara Cassin, « Les dégâts de l’évaluation. L’État schizophrène et l’évaluation de la recherche », La Vie de la recherche

scientifique, 378, 2009, p. 30-31.

L’usage des indicateurs bibliométriques incite à modifier ses comportements de publication

H index : qu’est-ce que c’est ?

 _{Indice h rend compte du nombre de}

publications et du nombre de citations par publication

 _{Ex. : un indice 10 équivaut à 10}

Le CV du chercheur



_{Les « nécessaires »}



_{Séjour de recherche à l’étranger}



_{Articles peer-reviewed}



_{Livre (thèse)}



_{Les « non suffisants » mais}

importants

Séjour de recherches à l’étranger

 _Durée

 _Bruxelles  _Liège

 _FNRS

 _{BAEF, Fullbright, accords Québec,}

Wiener-Anspach, post-doc out, bourse DRE out, etc.

Articles dans des revues

 _{Revues à comité de lecture}

 _{Prise en compte des classements}

 _{Dépend de l’université}  _{Dépend de la discipline}

 _{Articles en anglais ?}

 _{Articles comme chapitres de livres}  _{Article individuel / collectif ?}

Livres

Autres types de publications

 _{Comptes rendus}

Prises de parole

 _{Colloques internationaux}

 _{Sur invitation}

 _{Dans des gros congrès disciplinaires}

 _Conférences

 _{Organisation de colloque}

 _{Comité scientifique}  _{Président de séance}

Prix / bourses

 _{Distinctions scientifiques}  _{Telle diversité que semble}

Activité éditoriale

Sociétés savantes

 _{Réseaux internationaux}

 _{Informations sur la discipline}  _{Sociabilité de la recherche}

 _{Groupes liés à des projets de recherche}  _{Groupes de contact}

 _{Comité de rédaction de revues}  _Etc.

Expertise

 _{Peer-reviewing pour revues}

 _{Comité de lecture}  _{Expert externe}

 _{Évaluation de dossiers pour}

organismes finançant

 _{Fondation universitaire}  _{FNRS, CRSH, etc.}

Développements informatiques

 _{Bases de données}

 _{Logiciels (d’annotation par exemple)}  _{Différence avec un programmeur :}

nécessité de problématiser et de présenter les enjeux de ce type de travail dans des articles scientifiques

Vulgarisation

 _{Variable d’une université à l’autre}  _Publications

 _{Cartes blanches dans journaux}

 _{Dossier de vulgarisation dans revues}

généralistes

 _{Conférences grand public}

 _{Université senior}

 _{Intervention en milieu scolaire}

Enseignement

 _{Importance différente en fonction de}

la cible : chercheur / enseignant

 _{Participation à différents cours}

comme invité

 _{Missions d’enseignement}

Services à la communauté

 _{Administration universitaire interne}

 _{CA, conseil facultaire, conseil de}

département, commissions, etc.

 _{Promotion de l’enseignement}

Conclusion

 _{Sanction / progression}  _{Quantité /qualité}