Processus détaillé du financement d’un projet dans le cadre

Pour finir, nous avons réuni en Figure 3.10 les figures 3.7, 3.8 et 3.9 pour construire la carte détaillée du processus de financement d’un projet de recherche dans le cadre du SNFRI français7_.

7. Le lecteur qui souhaite retracer le trajet de l’argent pourra noter qu’il n’existe pas de lien graphique entre le budget et la DNRD, cette dernière pointant directement sur le programme de financement sans aucune source. Il est évident que la DNRD est alimentée par le budget. En outre, le parcours des fonds suit bien le schéma présenté précédemment (mission budgétaire, programme budgétaire, actions, fonds). Le choix de ne pas représenter ce parcours a cependant été fait pour ne pas alourdir la représentation du SNFRI.

CHAPITRE 3. CAR TOG RAPHIE DU SYSTÈME FRANÇAIS 96

CHAPITRE 3. CARTOGRAPHIE DU SYSTÈME FRANÇAIS

Pour illustrer cette dernière carte et surtout valider la pertinence de nos quatre fonctions pour expliquer la décision de financer un projet, prenons l’exemple (fictif) d’un programme qui vise à financer le développement d’une voiture volante. Nous considérerons ici comme acquis que l’Orientation a fait figurer dans ses priorités le développement des voitures volantes et y a dédié un budget. Dans ce cadre, il existe une action budgétaire qui vise à financer des projets permettant le développement de la voiture volante, et un fond "Voiture volante" a même été créé à cet effet. Associée à l’action budgétaire, l’Orientation a défini un certain nombre d’objectifs et d’indicateurs dont elle a laissé le soin à l’HCERES et à l’OST de les évaluer. Forte de cette politique "Voiture volante", la Programmation a construit un programme dédié au financement de projets devant permettre le développement de la voiture volante. Ce programme hérite ainsi d’un budget et d’une orientation scientifique et/ou technologique préalablement établie par l’Orientation. De même, ce programme dispose de règles de financement ainsi que d’une définition des rôles de chaque opérateur qui intervient dans le choix des projets à financer. Ces derniers étant évalués en fonction des objectifs et indicateurs inscrits dans l’action budgétaire, on peut considérer que le programme de financement hérite également de ces objectifs et indicateurs.

Les opérateurs de niveau 2 vont donc venir proposer des projets dans le cadre du programme de financement "Voiture volante" et des opérateurs de niveau 1 vont instruire cette demande pour ensuite décider ou non de les financer. Cette décision est établie en fonction de l’adéquation du projet aux attributs du programme de financement.

Les projets choisis seront ainsi financés dans le cadre de la DNRD et les dépenses réalisées dans le cadre de ce projet seront comptabilisées dans le cadre de la DIRD.

Enfin, les caractéristiques de l’ensemble des projets financés seront agrégées par l’Evaluation à travers les indicateurs et objectifs préalablement établis pour remonter à l’Orientation une vision la plus fidèle possible de l’atteinte ou non des objectifs qu’elle avait définis, cette évaluation pouvant servir à faire évoluer sa politique ou en construire une nouvelle.

La cartographie du système à travers les fonctions Orientations, Programma- tion, Recherche et Évaluation apporte ainsi des éléments objectifs permettant de comprendre les déterminants de la décision de financement d’un projet. Nous en déduisons que ces fonctions sont pertinentes.

Conclusion de la partie

cartographie

En partant du modèle de SNRI de Barré et de la théorie des systèmes d’inno- vation, nous avons proposé une carte du système français du financement de la recherche qui s’articule autour des trois fonctions de Barré (Orientation, Program- mation et Recherche) auxquelles nous avons ajouté une fonction Evaluation. Cette carte a été construite dans le cadre d’une observation participante opportuniste dont la principale limite est le possible manque d’exhaustivité. Bien que nous n’ayons pas identifié de dispositif de financement qui ne s’intégrerait pas dans cette carte, le nombre de dispositifs est tel qu’il est impossible de garantir l’exhaustivité. L’Evaluation a été construite pour informer l’Orientation de la direction prise par le système en agrégeant l’impact de tous les projets financés. Nous avons caractérisé l’impact d’un projet de recherche comme étant une notion relative à la politique dans laquelle elle s’inscrit. Dans notre modèle, pour simplifier la lecture du système, nous avons fait le choix de limiter l’Evaluation à la mesure de l’écart entre la direction souhaitée par l’Orientation et la direction réellement prise par le système. Notons cependant que, par nature, une politique publique de recherche peut être qualifiée de « multifonctionnelle », en ce sens que, au-delà des objectifs qu’elle s’était fixés, elle peut influer directement et indirectement sur toute la société à travers de multiples progrès technologiques, sociaux, environnementaux, économiques... Une Evaluation qui serait capable de prendre en compte cette «

multifonctionnalité » pourrait servir de guide à l’Orientation, non plus seulement

en mesurant l’écart entre les objectifs initialement fixés et les aboutissements réels, mais en suggérant de nouvelles directions, voire même en identifiant de nouveaux impacts positifs non-prévus lors de conception de la politique. Une telle Evaluation serait bien plus ambitieuse et, en un sens, ouverte, que la fonction Evaluation telle que nous l’avons définie. Elle ne se limiterait plus à analyser les impacts en fonction des objectifs initiaux de la politique publique dans laquelle elle s’inscrit : elle les analyserait au contraire également au prisme d’objectifs différents, que la politique aurait pu s’assigner. Une tentative de démarche de

Conclusion de la partie cartographie

ce type est proposée par [Meinard et al., 2015], qui analysent une politique sur la base d’un cadre d’enjeux génériques construit ex-post. L’élaboration d’une méthodologie solide pour ce type de démarche est une frontière de recherche importante pour les prolongements de notre travail.

Au travers de notre carte, nous avons attesté empiriquement du fait que les quatre fonctions définies précédemment existent bien dans le système et permettent d’éclairer une décision de financement d’un projet. Ce chapitre est ainsi la première étape d’un travail plus large dont l’objectif final est de construire un modèle de SNFRI capable de l’évaluer et d’appréhender sa dynamique.

Le modèle que nous allons construire dans le prochain chapitre repose sur la construction d’une fonction projet (qui fait le lien entre les caractéristiques d’un projet de recherche et son impact global) et s’articule autour d’une organisation circulaire de l’information dont le principal moteur est l’évaluation du système, une représentation graphique de cette dernière est proposée en Figure 4.2.

Figure 3.11 – Organisation circulaire du SNRI

Enfin, ce modèle reprendra le cadre de l’évaluation du système à travers un suivi d’indicateurs préalablement construits par l’Orientation et directement intégrés dans la politique.

Deuxième partie

Introduction de la partie

modélisation

En s’appuyant sur le modèle de système national de recherche et d’innova- tion (SNRI) construit par Barré ([Barré, 2007] et [Barré, 2011]) et la théorie des systèmes d’innovation ([Freeman, 1987], [Lundvall, 1992], [Edquist, 1997], [Malerba, 1999], [Carlsson et Stankiewicz, 1995] et [Hughes, 1990]), nous avons proposé dans le chapitre précédent une analyse du système français de financement de la recherche sur projet. Nous avons par ailleurs précisé qu’il n’existe pas de cadre pour approcher la dynamique d’évolution d’un système de recherche (voir également [Hekkert et al., 2007], [Bergek et al., 2008] et [Hekkert et Negro, 2009]) tout en montrant qu’en limitant le périmètre d’étude aux questions du finance- ment de la recherche sur projet, il est possible d’appréhender cette dynamique à travers l’identification des fonctions qui constituent le système. De là nous avons construit une cartographie du "système national du financement de la

recherche" (SNFRI) français qui s’articule autour des fonctions définies par

Barré (Orientation, Programmation, Recherche) auxquelles nous avons ajouté une fonction Evaluation. Cette dernière est décrite de manière informelle dans le chapitre précédent comme une fonction qui agrège l’impact (pris en son sens le plus large) de tous les projets financés dans le système, de sorte que l’Orientation ait connaissance de la direction prise par ce dernier à travers la réalisation de ces projets.

Nous avons en effet précédemment montré que l’évaluation de la recherche n’est qu’une composante de l’évaluation du système. Réduire cette dernière à l’évaluation de la recherche, reviendrait à ne pas considérer le système dans sa globalité et perdrait ainsi de son intérêt. Un travail terminologique doit ainsi être réalisé. Alors que l’on parle de scientométrie lorsque l’on évalue la recherche, il n’existe à notre connaissance aucun terme pour évoquer l’évaluation du système. Nous proposons ici d’utiliser le terme de systémérie, qui correspondrait à la science de la mesure et de l’analyse de l’état d’un système. La définition formelle de la systémétrie n’est pas l’objet de cet thèse, mais celle-ci doit correspondre

Introduction de la partie modélisation

à une généralisation de la définition que nous avons donné de l’évaluation du système. En revanche, nous introduisons ce terme pour l’opposer clairement à la scientométrie et éviter toute confusion.

Le chapitre précédent nous a par ailleurs permis d’attester empiriquement que les quatre fonctions existent bien dans le système et sont suffisantes pour expliquer la décision de financement ou non d’un projet de recherche publique. Il a également permis d’appréhender l’ensemble formé par le système de financement de la recherche et la politique dans laquelle il s’inscrit comme un ensemble dynamique, dont les caractéristiques évoluent, entre autres en réponse à des ajustements de structure qu’une méthode d’évaluation du système satisfaisante est capable de préconiser.

Dans ce chapitre, nous proposons de nous appuyer sur ce travail pour construire un modèle formel d’évaluation de système national du financement de la recherche et de l’innovation (SNFRI) permettant d’appréhender sa dy- namique. Plus précisément, l’ambition de ce modèle est de pouvoir percevoir la direction prise par le système, et surtout de pouvoir mesurer la différence entre cette direction et l’objectif qui avait été donné initialement par l’Orientation. Pour y parvenir, nous proposons de construire formellement une fonction projet, qui fait le lien entre les caractéristiques d’un projet de recherche et son impact global, puis de l’utiliser pour évaluer le système selon le cadre défini précédemment. Une fonction Evaluation sera ainsi également construite formel- lement. Ce cadre servira par ailleurs à présenter l’organisation circulaire du flux d’information à l’intérieur du système, principale responsable de sa dynamique, dont le moteur est l’Evaluation.

Notre démarche pour cela s’inscrit dans le prolongement de la critique des approches d’« Evidence-Based Policy Making » (EBPM) [De Marchi et al., 2016], qui dénonce la naïveté de l’idée selon laquelle il serait possible d’aiguiller une politique sur la seule base de données objectives [Tsoukiàs et al., 2013]. Cette critique ne nie pas qu’il existe une demande sociétale et politique pour l’utilisation de données objectives afin de soutenir l’élaboration et l’évaluation des politiques. Elle souligne cependant que les données objectives ne peuvent jamais à elles seules suffire à produire une évaluation [Daniell et al., 2016]. En particulier, [Tsoukiàs et al., 2013] et [Jeanmougin et al., 2017] soulignent l’importance de prendre en compte, dans toute évaluation de politique publique, la légitimité de la politique, considérée comme une dimension d’évaluation à part entière, irréductible à l’atteinte ou non des objectifs de la politique censément mesurable

Introduction de la partie modélisation

par des "données objectives". Dans la suite de ce chapitre, nous accorderons une attention toute particulière à cette notion de légitimité. L’analyse conceptuelle de cette notion philosophiquement complexe dépassant le cadre du présent tra- vail, nous utiliserons cette notion dans le sens qui lui est donné par [Meinard, 2017]. Dans ce qui suit, nous commençons par analyser, dans une approche descriptive, l’évaluation du système. Nous poursuivrons en montrant comment notre approche permet de rendre compte de la dynamique du système. Enfin, nous terminerons en adoptant une approche normative pour proposer une nouvelle organisation du système, qui pourrait être une réponse aux limites identifiées du système actuel.

Remarques préliminaires à la modélisation

Avant de proposer notre modèle du financement de la recherche et de l’innova- tion, il convient de prendre quelques précautions. Il est par ailleurs important de noter que ces remarques préliminaires à la modélisation sont inspirées du travail réalisé par [Schneider, 1996] dans sa thèse qui lui même utilise [Le Moigne, 1977] et Stachowiak 1965 (les références étant en langue allemande, nous faisons confiance à Schneider pour l’interprétation qu’il en a fait).

Ainsi selon Stachowiak un modèle en science sociale présente trois caractéris- tiques ou fonctions :

1. La fonction de représentation 2. La fonction de réduction 3. La fonction subjectivisante

A ces caractéristiques nous pouvons ajouter la définition de la modélisation que donne [Le Moigne, 1999] : "Action d’élaboration et de construction intentionnelle,

par composition de symboles, de modèles susceptibles de rendre intelligible un phé- nomène perçu complexe, et d’amplifier le raisonnement de l’acteur projetant une intervention délibérée au sein du phénomène ; raisonnement visant notamment à anticiper les conséquences de ces projets d’actions possibles".

Nous en déduisons qu’un modèle est une représentation simplifiée et compré- hensible d’une situation réelle plus complexe (Schneider parle du principe de simi- larité en lien avec les fonctions de représentation et de réduction de Stachowiak) réalisée pour comprendre ou expliquer un phénomène précis (Schneider parle du principe d’utilité en lien avec la fonction subjectivisante de Stachowiak).

Autant le principe de similarité d’un modèle est trivial autant celui d’utilité mérite quelques explications. En effet, le propre d’un modèle est de rendre intelli- gible quelque chose qui ne l’est pas à priori. Dans ce contexte, le modélisateur qui

Introduction de la partie modélisation

cherche à construire un modèle pour répondre à une question précise (principe d’utilité) doit généralement faire certains raccourcis et simplifications. Ceux-ci sont sans conséquence sur la problématique mais peuvent conduire un observateur extérieur à imaginer que la situation réelle n’a pas été modélisée dans son ensemble et ne répondrait ainsi pas au principe de similarité. La compréhension d’un modèle n’est donc pas dissociable de sa problématique.

Maintenant que ces remarques sur l’action de modéliser ont été faites, revenons au SNFRI. En l’espèce, pour construire notre modèle nous simplifions la réalité (principe de similarité) selon les hypothèses suivantes (principe d’utilité) :

— L’intégralité du financement de la recherche sur projet est réalisée selon une organisation séparée : nous avons souligné que c’est effectivement cette organisation qui est privilégiée mais rien n’indique qu’elle est exclusive. — Nous considérons les fonctions constitutives du système comme indépen-

dantes les unes des autres : nous avons précédemment mis en évidence que cette indépendance n’est que très partielle notamment vis à vis de la res- source humaine qui constitue chacune de ces fonctions. En particulier, les fonctions Orientation, Programmation et Evaluation sont constituées de personnels issus de la Recherche.

Chapitre 4

UN NOUVEAU MODÈLE

DYNAMIQUE D’ÉVALUATION

DU SYSTÈME DE

FINANCEMENT DE LA

RECHERCHE ET DE

L’INNOVATION (SNFRI)

"Dans le champ de la recherche scientifique, l’évaluation relève aujourd’hui de l’évidence naturelle. Comment concevoir la science sans la transparence ? Com- ment imaginer de soustraire des chercheurs et des équipes à toute forme d’accoun- tability ? Et comment allouer les crédits de recherche, les postes de chercheurs, les promotions sinon en évaluant les projets et les candidats ? Il n’y a pas le choix : plus rares les ressources publiques au regard des candidats en lice, plus âpre la com- pétition entre eux et plus impérieuse la nécessité de disposer de critères objectifs pour les départager"1_.

1. Dans l’intervention de Alain Eraly intitulée "Evaluer la recherche", pages 57 à 66 de [Zaccai et al., 2016]

CHAPITRE 4. UN NOUVEAU MODÈLE

Résumé du chapitre

Dans ce chapitre, nous proposons une version modifiée du schéma créé par Barré pour construire un SNFRI (système national du financement de la recherche et de l’innovation). Avec ce modèle nous souhaitons proposer une première approche de la dynamique du système pour comprendre sa gouvernance (scientifique et budgétaire) et ses évolutions. En outre l’objectif est de construire un modèle qui puisse être utilisé dans un cadre de politique publique et en particulier dans la définition d’une méthode d’évaluation politique. Ce modèle pourra ainsi être utilisé par l’Orientation pour l’aider dans la construction d’une politique de financement de la recherche et surtout dans la définition des outils qui permettent d’évaluer cette politique.

Ce nouveau système s’articule autour des trois fonctions définies par Barré auxquelles nous ajoutons une fonction d’Evaluation du système (pour Barré l’Eva- luation est une composante de l’Orientation). Dans cette partie, nous allons donc définir formellement l’Evaluation puis ses liens avec les autres fonctions du système en précisant notamment le rôle de la fonction Recherche. Enfin nous proposerons une nouvelle organisation fondée sur la circulation de l’information au sein du SNFRI

CHAPITRE 4. UN NOUVEAU MODÈLE

4.1 Le problème de la double évaluation de

système national du financement de la re-

cherche et de l’innovation (SNFRI)

Nous avons précédemment défini l’Evaluation comme une fonction qui agrège l’impact de tous les projets financés du système. Dans ce qui suit, nous allons formaliser cette définition à travers la conception d’une fonction mathématique qui modélise cette agrégation. Il convient ici de ne pas confondre cette fonction avec les fonctions constitutives du système. La première correspond à un objet mathématique formel, quand les secondes représentent des éléments organisation- nels du système définis dans le chapitre précédent.

Nous verrons que, pour un système donné, cette fonction n’est pas nécessaire- ment unique. En particulier, au moins deux fonctions existent et se distinguent selon les points de vue adoptés. D’un côté, il est possible d’évaluer le système du point de vue de la Recherche, et de l’autre, du point de vue de la Programmation. Ces points de vue disposent en effet d’objectifs et de modalités d’évaluation différents, selon les fonds reçus pour la Recherche et les fonds distribués pour la Programmation. Pour concevoir notre fonction nous choisissons de concevoir un modèle général de fonction que nous pourrons ensuite décliner selon les points de vue.

Pour y parvenir, nous allons dans un premier temps définir formellement ce qu’est un projet de recherche en concevant une fonction mathématique qui modélise le lien entre les attributs d’un projet et son impact lorsqu’il est réalisé.