La mesure des retombées en question

Selon [Marjanovic et al., 2009] la question des retombées alimente les discus- sions depuis les années 1960. Cependant la décision du Royaume-Unis de remplacer l’exercice de l"évaluation de la recherche (RAE) qui portait sur l’originalité, la ri- gueur et l’importance de la recherche par le cadre d’excellence en recherche (REF) (qui tient compte des retombées) a relancé le débat sur le sujet. En particulier, la communauté scientifique se pose trois questions :

1. En quoi consiste les retombées ? 2. Comment doit-on les mesurer ?

CHAPITRE 2. LA FONCTION EVALUATION

3. Représentent-elles réellement une dimension de l’évaluation des recherches ? Avant de développer ces questions, il nous semble intéressant de revenir sur les récentes évolutions de l’évaluation de la recherche qui l’on conduit à s’intéresser tout particulièrement aux retombées avec notamment une multiplication des indicateurs quantitatifs.

Selon B.Leclercq5 _{: "Tant sur le plan scientifique que sur le plan académique,}

les activités (des) universitaires font désormais l’objet d’évaluations nombreuses et à divers niveaux, dont le trait le plus saillant est l’articulation autour d’indica- teurs de performance, qui entendent d’une manière ou d’une autre « quantifier la qualité » de manière à « objectiver » l’évaluation et permettre des comparaisons (benchmarking) voire des classements (ranking)".

Ainsi selon B.Leclercq (voir notamment [Charlier et al., 2012]) la multiplica- tion des indicateurs, associés à l’intérêt croissant des retombées, s’inscrit dans un cadre d’exigence d’objectivation, de reddition des comptes et de transparence ges- tionnaire. Dans ce contexte, les indicateurs sont utilisés pour quantifier la qualité de la recherche et ainsi fournir une information standardisée nécessaire à l’éta- blissement de la nouvelle gestion publique (New public management) qui impose des exigences d’imputabilité et de reddition des comptes (accountability). Cette logique est par ailleurs poussée par le politique qui doit lui aussi de plus en plus rendre des comptes à son opinion mais également à diverses instances de contrôle. De ce fait, la multiplication des indicateurs s’inscrit dans un univers où toute notion d’arbitraire doit être bannie au profit de décisions publiques fondées sur des indices de performance qui offrent des éléments objectifs et standardisés. [Fallon et Leclercq, 2017] nomment cette situation : "le paradigme de la transpa- rence gestionnaire et de sa logique extensionnelle". La prise de décision proprement politique, avec ses positionnements axiologiques et ses choix de société, cède ainsi le pas à la gestion par les faits et en particulier par les nombres (voir notamment [Bardet et Jany-Catrice, 2010] et [Desrosières, 2008]).

Pour les évaluateurs, les indicateurs disposent ainsi de propriétés très confor- tables quant à la réalisation de leur mission d’évaluation. En effet, l’utilisation de cet outil comme unique moyen d’évaluation, revient à réaliser une applica- tion mécanique et automatique de critères sans laisser de place au jugement et à l’analyse. Par ailleurs le consensus autour de ces indicateurs (puisque chiffrés) permet à l’évaluateur un grand confort de travail ne s’exposant ainsi pas à une critique systématique de son travail. En outre, ce dernier qui sera également évalué selon ces même indicateurs n’a pas intéret à les remettre en

5. Dans son intervention intitulée "Evolutions récentes de l’évaluation de la recherche", pages 13 à 21 de [Zaccai et al., 2016]

CHAPITRE 2. LA FONCTION EVALUATION

question, du moins tant que ceux-ci vont dans son sens. Pour [Dale et al., 2014] qui écrit dans [Fallon et Leclercq, 2014], cette situation fonctionne selon une logique de réputation chiffrée, où une bonne réputation attire d’autres personnes réputées et du financement créant ainsi un cycle vertueux (voir également [Robertson et Olds, 2012]).

Ce fonctionnement est très ancien mais selon [Fallon et Leclercq, 2017], on est passé d’une logique intentionnelle (qui reposait sur une donation de sens et des prises d’attitudes) à une logique extensionnelle (qui dépend d’équivalences préétablies) : "le monde scientifique étant devenu tellement large que chacun ne

peut connaître de première main les travaux de tout le monde, la réputation s’est formalisée dans quelques indicateurs de performance standardisés qui permettent la comparaison et le classement"6

Le modèle d’évaluation ainsi présenté se basant majoritairement sur les in- dicateurs, repose sur une logique d’auto-alimentation fermant ainsi la porte aux nouveaux entrants dont la réputation reste à faire, ou aux chercheurs dont les indicateurs ne reflètent pas forcement la vérité de leurs travaux. De ce fait, les indicateurs deviennent normatifs et orientent la Recherche vers une forte standar- disation à tous les niveaux (voir notamment [Weingart, 2005]) caractérisée par une très grande difficulté à sortir des sentiers battus (fort risque de réputation).

En quoi consistent les retombées ?

Dans une revue de littérature [Nutley et al., 2003] ont relevé peu de théorie ou de discussions sur la nature des retombées. Ils ont par contre recensé les formes suivantes de retombées en recherche :

— Changements dans l’accès à la recherche

— Changements touchant la mesure dans laquelle les travaux de recherche sont étudiés, cités en référence ou consultés

— Citations dans les documents

— Changements dans les connaissances et la compréhension d’une question — Changements dans les attitudes et les croyances

— Changements dans les comportements

Les auteurs établissent ainsi une distinction entre l’utilisation conceptuelle des travaux de recherche (qui entrainent des changements dans le degré de compré- hension d’une question) et l’utilisation déterminante des travaux de recherche qui (qui amène des changements dans la pratique de l’élaboration des politiques). De- puis de nouvelles discussion ont été menées.

CHAPITRE 2. LA FONCTION EVALUATION

En particulier le groupe des politiques publiques de la LSE qui « vise à démon-

trer comment la recherche universitaire en sciences sociales génère des retombées sur les politiques publiques, contribue à la prospérité économique et informe le public des enjeux stratégiques et des changements économiques et sociaux » [tra-

duction libre par [Méndez, 2012]] a publié un manuel [Group, 2011] qui classe les retombées comme suit :

1. les retombées dans le monde universitaire, qui correspondent à l’influence exercée par les travaux de recherche sur les parties intéressées des établis- sements ou universités. Elles sont mesurées par un relevé des citations dans les travaux des autres chercheurs ;

2. les retombées externes, qui consistent en l’influence des travaux de recherche à l’extérieur du milieu de l’enseignement supérieur, par exemple les gens d’affaires, les gouvernements et la société civile. Elles sont mesurées par le recensement des références dans « la presse professionnelle, dans les docu- ments gouvernementaux ou par la couverture dans les médias de masse » [traduction libre par [Méndez, 2012]] (Groupe des politiques publiques du LSE, 2011, p. 5).

Enfin, [Saari et Kallio, 2011] avancent que la recherche de grande qualité doit gé- nérer des retombées sur 3 plans :

1. Collecte et combinaison des connaissances en recherche 2. Résolution des problèmes du client

3. Réponse à une question sociétale

Les différents travaux précités s’intéressent tous presque exclusivement à l’im- pact scientifique de la recherche, en particulier l’impact lié à la création de connais- sances. Or cette vision nous semble quelque peu réductrice. L’impact scientifique est très important mais il n’est pas exclusif. Qu’en est il de l’impact économique (emplois créés, chiffre d’affaires généré, compétitivité...), ou même des impacts so- cietaux (environnement, social...) ? En ce qui concerne ce dernier point les travaux de [Saari et Kallio, 2011] abordent cet aspect notamment dans la 3ème _dimension des retombées de la recherche. En revanche, on trouve très difficilement mention de l’impact économique de la recherche (voir remarque à la suite). Cette situation se- lon nous peut s’expliquer d’une part par la très grande complexité de l’évaluation de cet impact, en particulier sur sa dimension temporelle, l’impact économique d’un projet de recherche peut se mesurer sur un temps très long et, d’autre part, par le contexte scientifique des travaux qui s’inscrivent dans le cadre de l’évalua- tion de la recherche qui n’a pas pour tradition de prendre en compte la dimension économique.

Dans la suite de ce mémoire, nous reviendrons sur cette dimension temporelle en justifiant son importance notamment dans un contexte de conception de

CHAPITRE 2. LA FONCTION EVALUATION

politique publique. La proposition de modèle d’évaluation que nous faisons dans la suite de ce document nous semble être une réponse d’une part à la difficile prise en compte de la temporalité et d’autre part une solution pour mieux prendre en compte l’impact économique de la recherche.

Remarque sur la dimension économique de l’impact de la recherche

Dans ce qui précède, nous sommes restés dans le contexte scientifique de l’évaluation de la recherche qui n’a pas pour tradition d’intégrer la dimension éco- nomique dans ses travaux. Il existe cependant d’autres domaines de recherche, en particulier l’économétrie, qui s’intéressent depuis longtemps à l’impact économique de la recherche (on peut notamment citer [Lhuillerya et al., 2013] qui réalisent une étude qui nous intéresse directement sur l’impact des aides à la R&D en France ou encore [Salies, 2017] qui réalise un état de l’art des études d’impact sur le crédit d’impôt recherche). On peut par ailleurs aller plus loin en citant les récents travaux de Julia Lane (voir [Lane et Bertuzzi, 2011], [Largent et Lane, 2012] et [Weinberg et al., 2014]) qui a développé dans le cadre du projet Starmetrics une méthode pour évaluer l’impact économique de court terme de la recherche. Ces travaux initiés aux Etats-Unis sont déclinés toujours par Julia Lane depuis peu en Europe dans le cadre du projet Astral (voir [Legrand, 2014]). De même, [Blanchard et Sabuncu, 2015] reviennent sur une série d’initiatives publiques et privées dont l’objectif est de mieux évaluer l’impact de la recherche. En outre, nous pouvons citer la méthode ASIRPA de l’INRA (voir [INRA, 2016]) qui "vise

à qualifier et quantifier les impacts socio-économique des recherches à partir d’une méthode basée sur des études de cas", ainsi que la méthode d’évaluation proposée

par Rand Europe ([Guthrie et al., 2013]). Enfin, il est également important de citer le séminaire [Center for the Science and Innovation Policy (CSSIP), 2013], dont Julia Lane était l’une des invitées d’honneur ainsi qu’un workshop assez récent organisé par le ministère de la recherche [Ministère de l’enseignement supérieur et de la recherche, 2017].

A la lumière de ces différents travaux, on comprend que bien que l’impact économique de la recherche soit largement adressé par les chercheurs, la question de recherche reste toujours ouverte. En effet, il n’existe pas à notre connaissance de méthode permettant de couvrir tout le spectre de cette question. Les travaux de Julia Lane bien qu’étant très largement considérés par le milieu scientifique et même politique aux Etats-Unis, se limitent à l’impact de court terme alors que la recherche influe très largement l’économie également sur longue période. De même, l’impact économique de la recherche n’est selon nous adressé que dans le cadre d’une recherche appliquée ou proche de considérations sociales ou sociétales. Ainsi, il est plus facile de comprendre l’impact économique de projets agronomiques réalisés par l’INRA, avec des retombées plus ou moins directes sur notre façon de

CHAPITRE 2. LA FONCTION EVALUATION

produire, que sur des travaux beaucoup plus abstraits en sciences sociales par exemple.

Comment doit-on les mesurer ?

Selon [Yates, 2005] lorsque l’on mesure les retombées, il ne faut pas faire abstrac- tion des valeurs qui influent sur ce que l’on considère comme étant des retombées positives ou négatives. Il ajoute par ailleurs qu’il est parfois impossible de juger si l’impact est positif ou négatif. De même il peut exister des situations où les points de vue s’opposent. Cette réalité illustre la diversité et la complexité de l’évaluation qui peut être multiple et différer d’un individu à l’autre. C’est ce que Yates appelle la diversité des valeurs.

Le débat sur la manière de mesurer les retombées oppose en général parti- sans de l’analyse bibliométrique à ceux qui critiquent ces méthodes et cherchent d’autres solutions. En ce qui concerne l’analyse bibliométrique, qui est de loin la plus utilisée, nous y reviendrons en détail dans la suite de ce chapitre. Il existe aussi d’autres méthodes d’évaluation dont l’intérêt ne doit pas être négligé. De ce fait, dans le contexte de l’évolution de la méthode d’évaluation du Royaume- Uni, [Grant et al., 2010] se sont intéressés à quatre méthodes d’évaluation (nous renvoyons le lecteur à la source pour plus de précisions) :

1. le cadre d’accessibilité et de qualité en recherche (RQF) de l’Australie qui se fonde sur l’étude de cas

2. le système de cotation des retombées établi par RAND pour l’Arthritis Research Campaign au Royaume-Uni qui repose sur des indicateurs

3. l’outil de cotation pour l’évaluation des programmes (PART) des États-Unis qui s’appuie sur l’auto-évaluation

4. l’approche d’évaluation de la recherche en contexte (ERiC) des Pays-Bas qui combine plusieurs éléments des autres méthodes.

Comme précisé précédement, l’objectif ici n’est pas de faire une revue ou une critique des méthodes d’évaluation mais même sans se poser la question de la méthode, la problématique de l’intérêt de la mesure des retombées reste en- tière. En effet, en utilisant le concept de l’infiltration des connaissances (Know-

ledge creep en anglais) de Carol Weiss (voir [Weiss, 1997] et [Weiss, 1980]),

[Furlong et Oancea, 2005] indiquent qu’il faut parfois plus de 20 ans pour évaluer l’impact de travaux de recherche. Ainsi pour Carol Weiss, les travaux de recherche n’ont souvent pas des retombées directes. Les idées naissant de la recherche "s’in- filtrent" plutôt tranquillement dans l’environnement, où évoluent les politiques et la pratique, modifiant ainsi les principes admis et soulevant des questions sur une longue période.

Pour [Méndez, 2012] : "Bien que leurs travaux ne le mentionnent pas explicite-

CHAPITRE 2. LA FONCTION EVALUATION

phénomènes dans des environnements complexes, où existent différents systèmes et où de multiples causes engendrent des retombées, par de nombreuses voies."

Les débats autour de la manière de mesurer les retombées de la recherche s’ar- ticulent donc autour d’une part de problématiques méthodologiques et, d’autre part, de la complexité à identifier clairement les retombées spécifiques de la re- cherche, avec en particulier une difficulté centrée sur la temporalité de l’impact de la recherche. Comme précédemment, tout en laissant ces questions scientifiques ouvertes, le cadre de l’évaluation que nous proposons dans la suite de ce mémoire à travers sa définition par l’Orientation nous semble être une solution originale à ces problèmes notamment en fixant la temporalité.

Représentent-ils une dimension de l’évaluation des recherches ?

Les débats autour de l’évaluation des retombées de la recherche sous-tendent qu’il faut impacter l’évaluation de la recherche par ses retombées. Il existe ce- pendant des voix dissidentes avec en particulier [Hammersley, 2008] qui dénonce l’émergence d’un modèle influencé par l’investissement en recherche. Il s’agit d’un modèle dans lequel "on demande que les projets [de recherche] produisent un rende-

ment et que des preuves des résultats et de l’efficacité de la génération de connais- sances dans le secteur soient fournies" [traduction libre par [Méndez, 2012]]. Ce

modèle est contraire à ce qu’il nomme un "modèle de mécénat de l’état", selon lequel "la production de connaissances est traité comme un avantage en soi".

Le rendement incalculable sur l’investissement, les conséquences négatives sur la liberté des chercheurs et l’effet tardif des travaux de recherche sur les politiques comptent parmi les raisons pour lesquelles Hammersley s’oppose au modèle fondé sur les retombées de la recherche. Yates avance des arguments semblables et ajoute que, compte tenu des liens entre les processus d’évaluation et le financement, il n’est peut-être pas pertinent d’accorder de l’importance aux retombées en recherche, car cela peut amener les établissements de recherche à se concentrer sur des sujets qui produiront rapidement des résultats, ce qui entrave la liberté du monde universitaire.

Selon nous, le débat autour de la prise en compte des retombées de la recherche dans son évaluation est légitime si on se limite à l’évaluation de la recherche dont l’unique objectif est de créer des connaissances. Il ne faut cependant pas oublier que la Recherche s’inscrit dans un système global plus étendu avec des contraintes économiques et sociales. De ce fait, dans un contexte budgétaire en forte ten- sion, l’Orientation doit arbitrer entre toutes les fonctions. La Recherche est-elle ainsi plus importante que l’Education, la Santé ou l’Environnement ? Le chercheur conscient de l’impact de ses travaux pourra répondre que tout est lié, la Recherche

CHAPITRE 2. LA FONCTION EVALUATION

a sans aucun doute un impact positif de long terme sur l’Education, la Santé et l’Environnement. Mais qu’en est-il du court terme ? Devons-nous concentrer tout nos efforts sur la recherche de nouvelles méthodes d’apprentissage en sacrifiant la génération actuelle d’étudiants ? Devons-nous affecter l’ensemble du budget de la Santé à la recherche contre le cancer au risque de ne plus accompagner les malades en fin de vie ? Devons-nous enfin travailler exclusivement sur de nouvelles sources d’énergies non-polluantes sans prendre en compte l’impact des énergies fossiles utilisées actuellement ?

Ainsi, dans ce contexte, où l’Orientation doit sans cesse faire des arbitrages budgétaires entre ses différentes fonctions et la temporalité de l’impact de ses actions, nous ne voyons pas comment se passer de l’analyse des retombées dans le cadre de l’évaluation du système. En revanche, la question reste ouverte en ce qui concerne l’évaluation de la Recherche.

2.3.2 Bibliométrie et examen par les pairs un débat mé-

thodologique ancien

"Dans le champ de la recherche scientifique, l’évaluation relève aujourd’hui de l’évidence naturelle. Comment concevoir la science sans la transparence ? Comment imaginer de soustraire des chercheurs et des équipes à toute forme d’accountability ? Et comment allouer les crédits de recherche, les postes de chercheurs, les promotions sinon en évaluant les projets et les candidats ? Il n’y a pas le choix : plus rares les ressources publiques au regard des candidats en lice, plus âpre la compétition entre eux et plus impérieuse la nécessité de disposer de critères objectifs pour les départager"7_.

Ainsi depuis toujours les chercheurs subissent une triple évaluation : 1. Examen de la qualité de leurs travaux

2. Examen des projets de recherche qu’ils soumettent en vue d’un financement 3. Examen de leurs contributions plus générale aux 3 missions de l’Université (Enseignement, Recherche, Services à la société) lors des nominations et promotions

Alors pourquoi l’évaluation de la recherche suscite aujourd’hui tant de débats et controverses ? Cet état de fait s’explique selon nous notamment par le recours quasi-systématique à l’analyse quantitative, fondée sur la bibliométrie, la sciento- métrie ou l’infométrie à laquelle on associe généralement une analyse par les pairs,

7. Dans l’intervention de Alain Eraly intitulée "Evaluer la recherche", pages 57 à 66 de [Zaccai et al., 2016]

CHAPITRE 2. LA FONCTION EVALUATION

pour encore plus crédibiliser la démarche. Selon les défenseurs de l’analyse quan- titative, l’utilisation du chiffre comme critère exclusif d’évaluation est de nature à fournir un résultat plus rigoureux et de fait plus crédible. Or de nombreuses voix se lèvent pour dénoncer l’usage abusif du quantitatif au risque de perdre de vue l’objectif de l’évaluation.

Ainsi selon A. Eraly, "L’évaluation est un opérateur de légitimité : elle est prise

tout entière dans un imaginaire normatif qui lui donne son sens et confère au chercheur aussi bien qu’à l’institution universitaire leur justification sociale". De

ce fait, les fonctions théoriques de l’évaluation sont les suivantes : — allocation des ressources rares

— contrôle de leur bon usage

— arbitrage au sein de commissions — équité

— motivation et responsabilisation des chercheurs

La question reste toutefois de savoir dans quelle mesure l’évaluation à base d’indicateurs quantitatifs (presque exclusivement bibliométriques), telle qu’elle est généralement pratiquée, remplit effectivement ces fonctions et si, à côté des consé- quences attendues, on n’observe pas des conséquences inattendues qui finissent parfois par obérer l’utilité des dispositifs ?

Ainsi, les mesures sont considérés comme des solutions de rechange moins coû- teuses, moins lourdes et plus objectives et transparentes que l’examen par les pairs ([Wooding et Grant, 2003]). Cependant selon [Andras, 2011], beaucoup d’amélio- rations sont nécessaires en particulier en ce qui concerne :

— La validité des mesures ([Bridges, 2009] et [Boaz et Ashby, 2003])