tualisée
La littérature scientifique traitant de l’évaluation de la recherche est très abondante, il existe des dizaines voir des centaines d’articles qui s’interrogent sur la manière d’évaluer la recherche. De ce fait, dans ce mémoire, notre objectif n’est pas de réaliser un état de l’art complet du domaine, d’autres l’ayant déjà fait avant nous (voir notamment [Méndez, 2012]), mais plutôt d’exposer un point de vue (assez critique) des discussions et débats qui animent le monde de la recherche à ce sujet.
La grande majorité des articles liés à l’évaluation de la recherche peuvent se diviser selon nous en deux catégories, les articles méthodologiques qui représentent l’essentiel des travaux et les autres où les auteurs peuvent par exemple s’interroger
CHAPITRE 2. LA FONCTION EVALUATION
sur l’intérêt de l’évaluation, son histoire, ses évolutions voire sur ses impacts positifs et négatifs sur la recherche. Il est intéressant de noter que les articles méthodologiques sont pour la plupart dominés par un fond quantitatif issu du domaine de recherche de la scientométrie, tandis que les autres sont rédigés pour l’essentiel selon une base qualitative.
Les articles méthodologiques peuvent également se diviser en deux catégories, la présentation de nouvelles méthodes et la critique de méthodes existantes. Voir notamment [Henriksen et Traynor, 1999] et [Méndez, 2012] pour une présentation des différentes méthodes existantes. En particulier, cette dernière a identifié en plus des classiques évaluations par les pairs et analyse bibliométrique (pour ces deux méthodes nous reviendrons en détail dans la suite de cette partie), les méthodes suivantes pour évaluer l’excellence en recherche :
— L’autoévaluation (voir [Wooding et Grant, 2003] pour une définition de cette méthode)
— L’analyse sémantique informatisée (voir le projet EERQI du FP7)
— L’analyse comparative (voir [Aizenman et al., 2011] pour une application dans le cadre de l’évaluation de la qualité des travaux de recherche du FMI ou [Tijssen, 2003] pour une méthode fondée sur l’utilisation de tableaux de bord)
— L’étude de cas (méthode parmi les plus utilisées selon [Marjanovic et al., 2009] voir [Grant et al., 2010] pour le détail)
— Les indicateurs (voir [Grant et al., 2010] pour une étude de ce type qui évalue l’Artrtisis Research Campaign (ARC))
— Les méthodes combinées (voir [Grant et al., 2010] pour l’utilisation de ce type de méthode faite par les Pays-Bas)
— La délibération et la recherche d’un consensus (voir notam- ment [center for the Dissemination of Disability Research, 2005] et [Bridges, 2009])
Cet inventaire méthodologique n’a d’intérêt que s’il est contextualisé, c’est d’ailleurs ce qu’essaye de faire Mendez dans son article. En particulier, elle rappelle que la recherche n’est pas unique et qu’il faut se poser la question du type de recherche évaluée. Doit-on évaluer de la même manière la recherche appliquée et la recherche fondamentale ? Qu’en est-il de la recherche novatrice2 et des nouvelles
2. Pour [Andras, 2011] qui s’appuie sur l’idée de science révolutionnaire de [Kuhn, 1962] « On
peut considérer que la recherche novatrice vise à combler soit des lacunes relativement importantes sur le plan théorique (par un raisonnement déductif comportant de nombreuses étapes), soit des lacunes relativement importantes sur le plan de la collecte de données expérimentales (par la mise au point de techniques tout à fait nouvelles) » [traduction libre]
CHAPITRE 2. LA FONCTION EVALUATION
disciplines voir même de la recherche interdisciplinaire3?
Chez [Furlong et Oancea, 2005] par exemple, les critères servant à évaluer la qualité de la recherche appliquée doivent intégrer les dimensions de l’application et de l’utilisation de la recherche en plus de celle de la génération de connaissance, laquelle serait évaluée dans le cas de la recherche fondamentale. La recherche novatrice pose d’autres questions, notamment pour la compréhension, l’intérêt et la portée de celle-ci par et pour la communauté scientifique4. De ce fait, lorsque l’on parle de recherche novatrice, il apparait difficile voir impossible d’identifier des experts capables d’avoir un point de vue suffisamment éclairé. Ce problème se retrouve dans une moindre mesure dans le cadre de travaux interdisciplinaires, dans ce cas on pourra également ajouter la divergence de certains critères d’évaluation entre les disciplines.
En plus de cette problématique autour de la nature de la recherche, se pose la question de l’objet de l’évaluation. [Méndez, 2012] a ainsi réalisé une étude biblio- graphique d’un corpus très important de documents relatifs à l’évaluation de la recherche. Cette étude a permis de mettre en lumière une trentaine de critères que l’auteur a synthétisé en six groupes conceptuels : l’objectif, la pertinence, l’origi- nalité, le mérite scientifique, l’éthique et les retombées. Nous verrons dans la suite que les retombées ont pris ces dernières années une place très importante dans l’évaluation de la recherche. En outre, Mendez rappelle que son analyse a montré que l’évaluation et en particulier la pondération des critères doit être réalisée en fonction de l’unité d’analyse. L’auteur a ainsi identifié les unités suivantes : les résultats, les individus, les équipes de recherche, les laboratoires et établissements (comme les universités), les disciplines scientifiques, les programmes gouvernemen- taux, les organismes de financement et les effectifs de chercheurs. A ces unités, nous pouvons rajouter le projet de recherche. On ne compte ainsi plus les méthodes qui cherchent à identifier si un projet est bon ou mauvais en vue de son financement notamment. [Henriksen et Traynor, 1999] ont réalisé un état de l’art de ces mé- thodes de choix de projets de recherche et rappellent que choisir un projet de
3. Pour [Boix Mansilla et al., 2006], c’est « une forme de questionnement qui fait appel aux
connaissances et aux modes de pensée propres à au moins deux disciplines ou domaines d’études établis afin d’en arriver à une percée cognitive ou pratique » [traduction libre]
4. "C’est sans grande hésitation que je vous signale mon refus de recevoir quelque document
de votre part. Je crois cependant qu’après avoir réexaminé le sujet, vous conviendrez que je n’ai d’autre choix. Les sujets que vous proposez en vue d’une série d’essais sur les mathématiques et la métaphysique sont si pointus qu’aucun des abonnés de notre revue n’est probablement en mesure de les comprendre" [traduction libre] [Rodrik, 2011]. Ces phrases sont tirées du billet de
blog de Danni Rodrick intitulé « Lettre de refus que j’aimerais recevoir d’une revue scientifique un jour » [traduction libre]. Il s’agit d’un extrait d’une lettre envoyée en 1821 à Charles Babbage, reconnu comme le « père d’un ordinateur », par The Edinburgh Journal of Science, tel que cité dans le livre The Information : A History, a Theory, a Flood de James Gleick.
CHAPITRE 2. LA FONCTION EVALUATION
R&D est très compliqué, d’autant qu’il est presque impossible de savoir s’il va réussir et quel sera son impact global réel (voir notamment [Boschi et al., 1979] et [Rubenstein et Schroder, 1977]).
Cette notion d’unité d’analyse, essentielle dans l’évaluation de la recherche, est trop rarement traitée par les chercheurs qui souhaitent proposer "la bonne méthode" qui se doit naturellement d’être universelle. On comprend dès lors que cette méthode, ne peut exister tant il existe de différences entre les objets de l’évaluation et plus généralement entre les différents types de recherche. La contextualisation de l’évaluation de la recherche nous parait donc vitale pour crédibiliser les méthodes proposées du moins tant qu’une méthode "géniale" ne se sera pas imposée à tous (il est par ailleurs peut probable qu’une telle méthode existe un jour).
En ce qui concerne la critique des méthodes nous renvoyons le lecteur à [Zaccai et al., 2016] qui reprend l’ensemble des interventions d’un séminaire dont l’objet était l’évaluation de la recherche. Il existe par ailleurs une littérature très fournie qui revient en détail sur chaque méthode précitée, avec à chaque fois une critique plus ou moins détaillée d’une ou plusieurs méthodes associée généralement à la mise en avant d’une autre méthode comme étant "la bonne". L’évaluation de la recherche étant un problème très complexe, nous ne souhaitons pas prendre position dans ce débat méthodologique. Il nous semble cependant intéressant de revenir sur certaines questions à portée plus générale (en s’écartant des problèmes méthodologiques), soulevées par ce débat et surtout sur les récentes évolutions de l’évaluation de la recherche, dont l’intérêt s’est grandement déporté vers des méthodes quantitatives centrée sur les retombées et l’impact de la recherche.