Le développement des capacités en analyse critique de
publications scientifiques au sein de l’administration
publique québécoise
Thèse
Luc Lapointe
Doctorat en science politique
Philosophiae doctor (Ph. D.)
Québec, Canada
Le développement des capacités en analyse critique de
publications scientifiques au sein de l’administration
publique québécoise
Thèse
Luc Lapointe
Sous la direction de :
iii
Résumé
Cette thèse s’intéresse à l’institutionnalisation de la pratique informée par les données probantes (PIDP) au sein de l’administration publique québécoise, et plus précisément sur la réalisation d’analyses critiques des études scientifiques qui servent à informer la prise de décision. L’objectif de la PIDP est de favoriser une prise de décision éclairée en fournissant aux décideurs publics les meilleures connaissances scientifiques disponibles. Comme le démontre une revue systématique de la littérature récente, plusieurs études se sont intéressées aux facteurs inhérents à la fonction publique qui facilitent ou nuisent à la PIDP : l’accès aux bases de données bibliographiques, la disponibilité des ressources humaines et financières, etc. (Oliver, 2014). Or, peu d’études se sont penchées sur l’intérêt même des directeurs de la fonction publique à mobiliser les meilleures connaissances scientifiques disponibles afin d’éclairer la prise de décision et, plus encore, leurs capacités à former une équipe apte à effectuer cette tâche.
La présente thèse se fonde sur quatre études scientifiques empiriques imbriquées : 1) une revue systématique de la littérature scientifique de type revue de la portée (scoping review) qui répertorie les cours visant à enseigner les connaissances nécessaires pour identifier les meilleures études scientifiques disponibles aux étudiants universitaires inscrits dans un programme de science sociale, 2) un scan environnemental qui scrute tous les syllabus des programmes universitaires canadiens en science politique et en administration publique afin de déceler la présence de cours qui enseignent les techniques pour évaluer la qualité d’études scientifiques disponibles à l’aide d’outils systématiques et validés, 3) une étude quasi-expérimentale de type avant-après qui examine l’impact du cours POL-7061 offert depuis l'hiver 2012 aux étudiants de la Maîtrise en affaires publiques à l’Université Laval sur les connaissances acquises par ceux-ci concernant les techniques pour identifier et distinguer les forces et les faiblesses de différents types d’études scientifiques disponibles et, 4) une étude qualitative menée auprès de 35 directeurs de la fonction publique québécoise ayant sous leur supervision des professionnels dont la mission est de trouver, analyser, synthétiser et communiquer des informations de nature scientifique ou non-scientifique en guise d’aide à la décision.
iv
Les résultats de la dernière étude empirique suggèrent que les directeurs de la fonction publique que nous avons rencontrés désirent être en mesure d'accéder aux meilleures connaissances scientifiques disponibles, mais que peu de membres de leur équipe possèdent l'expertise nécessaire pour effectuer cette tâche. Les répondants croient également que c’est aux universités qu’incombe la responsabilité d'enseigner ces connaissances aux futures recrues de la fonction publique puisqu’une fois leur entrée en fonction, il leur devient difficile de les acquérir. Or, la revue systématique et le scan environnemental démontrent que peu de formations universitaires canadiennes offrent des cours qui enseignent les techniques pour identifier les meilleures études scientifiques aux étudiants inscrits dans un programme de science politique ou d’administration publique. L’étude quasi-expérimentale suggère qu’il est cependant possible de développer de tels cours et d’avoir un impact sur les connaissances acquises par les étudiants inscrits dans un programme de maîtrise en affaires publiques.
Ces quatre études suggèrent que les universités ont un rôle important à jouer si on désire favoriser l’institutionnalisation de la PIDP au sein de l’administration publique québécoise. En effet, il est possible que la création de cours en analyse critique d’études scientifiques offerts aux futures recrues de la fonction publique inscrites dans des programmes universitaires en science politique et en administration publique puisse favoriser l’institutionnalisation de la PIDP au sein de l’appareil public. Si on désire que ces connaissances soient maîtrisées par les employés de l’appareil public, et puisqu'il apparait difficile pour ceux-ci de développer cette expertise une fois leur arrivée en fonction, il serait idéal de leur enseigner ces connaissances avant qu’ils deviennent fonctionnaires.
v
Abstract
This thesis focuses on the institutionalization of the evidence-informed decision-making (EIDM) in the Quebec public services, and more specifically on the realisation of critical appraisal of scientific studies that inform the decision-making process. The objective of the EIDM is to promote informed decision-making by providing policymakers with the best available scientific evidence. As demonstrated by a recent systematic review, several studies have examined the factors inherent to the public services that help or hinder the EIDM practices: access to bibliographic databases, availability of human and financial resources, etc. (Oliver, 2014). However, few studies have examined the very own interest of the directors of the public services to mobilize the best scientific evidence to inform the decision-making process and their ability to form teams of professionals capable of performing this task.
This thesis is based on four interlocking empirical studies, 1) a systematic scoping review of scientific papers that report the presence of courses that teach the necessary knowledge to identify the best available scientific evidence to university students enrolled in a social science program, 2) an environmental scan that reviewed all the syllabi of Canadian university programs in political science and public administration in order to detect the presence of courses that teach the techniques to evaluate the quality of scientific studies with validated and systematic tools, 3) a before and after study which tests the impact of the course POL-7061 offered at Laval University on the knowledge acquired by students of the Master’s Program in Public Affairs concerning the techniques to identify and distinguish the strengths and weaknesses of different types of scientific studies and, 4) a qualitative study in which we interviewed 35 directors of divers ministries of the Quebec government that supervise professionals which have the mission to identify, analyse, synthesize and communicate scientific or non-scientific information in order to help the decision-making process.
The results of these studies suggest that the directors we met generally want to be able to access the best available scientific evidence to inform the decision-making process, but
vi
few of their team members have the necessary knowledge to perform this task. These same respondents believe that universities must ensure that future recruits of the public services may study the techniques to execute this task because once in office, it is very difficult for them to acquire such knowledge. Yet, the environmental scan and the scoping review suggest that few courses on the necessary techniques to identify the best available scientific evidence are offered to students enrolled in Canadian university programs in political science and public administration. The before and after study demonstrates that it is however possible to develop such a course and have a significant impact on the knowledge acquired by the students enrolled in a master’s program in public affairs.
These four studies indicate that universities have an important role to play if we wish to promote the institutionalization of EIDM in the Quebec public service. It is possible that the creation of courses in critical appraisal of scientific studies available to future recruits of the public service enrolled in a university program in political science and public administration can promote the institutionalization of EIDM in the public system. It appears difficult for employees of the public service to develop this knowledge once they are recruited. If we desire to ensure that public services’ employees master these skills, we must develop courses in order to teach them this knowledge before they join the ranks of the public system.
vii
Table des matières
RÉSUMÉ ... III ABSTRACT ... V TABLE DES MATIÈRES ... VII LISTE DES TABLEAUX ... IX LISTE DES FIGURES ... X LISTE DES ACRONYMES ... XI REMERCIEMENTS ... XII
CHAPITRE 1 : INTRODUCTION ... 1
1.1 MISE EN CONTEXTE ... 1
1.2 LES CRITIQUES ADRESSÉES À L’IDÉE DE LA PRATIQUE FONDÉE SUR LES DONNÉES PROBANTES ... 4
1.3 PROBLÉMATIQUE DE RECHERCHE ... 10
1.4 QU’EST-CE QUE L’ANALYSE CRITIQUE? ... 13
1.5 L’ATTITUDE, LES NORMES ET LA PERCEPTION DE LA CAPACITÉ À EFFECTUER UNE TÂCHE : DES DÉTERMINANTS DE LA PIDP? ... 16
1.6 QUESTIONS ET HYPOTHÈSE DE RECHERCHE ... 18
ARTICLE 1 ... 23
CHAPITRE 2 : DO CANADIAN UNIVERSITY STUDENTS IN POLITICAL SCIENCE AND PUBLIC ADMINISTRATION LEARN TO PERFORM CRITICAL APPRAISAL? ... 24
ABSTRACT ... 25
RÉSUMÉ ... 26
2.1 INTRODUCTION ... 27
2.2 RESEARCH EVIDENCE AND POLICY-MAKING ... 28
2.3 BARRIERS TO USING RESEARCH AND EVIDENCE IN POLICY-MAKING ... 31
2.4 CRITICAL APPRAISAL ACTIVITY AND TOOLS ... 33
2.5 METHODS ... 35
2.5.1 The environmental scan ... 35
2.5.2 The systematic scoping review ... 36
2.6 RESULTS ... 39
2.6.1 The environmental scan findings ... 39
2.6.2 The scoping review findings ... 40
CONCLUSION AND DISCUSSION ... 42
BIBLIOGRAPHY ... 45
APPENDIX 2.1: LIST OF THE 66 IDENTIFIED STUDIES ... 49
ARTICLE 2 ... 54
CHAPITRE 3: IMPACT OF A COURSE IN EVIDENCE-INFORMED POLICY-MAKING ON THE ACQUISITION OF METHODOLOGICAL KNOWLEDGE: FINDINGS FROM BEFORE-AND-AFTER STUDIES CONDUCTED ON THREE CONSECUTIVE COHORTS OF MASTER STUDENTS... 55
ABSTRACT ... 56
RÉSUMÉ ... 57
viii
3.2 CRITICAL APPRAISAL AS A FUNDAMENTAL STEP TO EFFECTIVE EVIDENCE-INFORMED POLICY-MAKING ... 60
3.3 BARRIERS TO CRITICAL APPRAISAL AND EVIDENCE-INFORMED POLICY-MAKING ... 62
3.4 CREATING A COURSE IN CRITICAL APPRAISAL AND EVALUATING ITS IMPACT ... 64
3.6 RESULTS ... 70
CONCLUSION ... 77
DISCUSSION ... 78
BIBLIOGRAPHY ... 81
ARTICLE 3 ... 83
CHAPITRE 4 : L’ANALYSE CRITIQUE DE LA QUALITÉ D’ÉTUDES SCIENTIFIQUES AU SEIN DE DIRECTIONS DE LA FONCTION PUBLIQUE QUÉBÉCOISE : UNE ACTIVITÉ VALORISÉE ? ... 84
RÉSUMÉ ... 85
ABSTRACT ... 86
4.1 INTRODUCTION ... 87
4.2 L’ANALYSE CRITIQUE DE PUBLICATIONS SCIENTIFIQUES ... 89
4.3 MÉTHODOLOGIE ... 91
4.3.1 Collecte de données ... 92
4.3.2 Codification des données ... 93
4.3.3 Analyse des données ... 94
4.4 RÉSULTATS ... 94
4.4.1 L’utilisation de données scientifiques parmi les répondants ... 94
4.4.2 L’analyse critique : un critère de recrutement? ... 97
4.4.3 L’importance d’enseigner les techniques d'analyse critique à l’université? ... 101
CONCLUSION ... 103
DISCUSSION ... 105
BIBLIOGRAPHIE ... 107
ANNEXE 4.1 : GUIDE D’ENTREVUE SEMI-DIRIGÉE... 109
ANNEXE 4.2 : GRILLE DE CODES POUR L’ANALYSE DES ENTREVUES SEMI-DIRIGÉES ... 111
CHAPITRE 5 : CONCLUSION ... 112
5.1 CONCLUSION ... 112
5.2 DISCUSSION ... 119
5.2.1 Limites des études et apports pour les futures recherches ... 125
LISTE DES OUVRAGES CITÉS ... 129
APPENDIX A : SEARCH STRATEGY ... 138
APPENDIX B : FICHE DE LECTURE CRITIQUE D’UNE ÉTUDE EXPÉRIMENTALE AVEC DEUX GROUPES OU PLUS ... 148
APPENDIX C : FICHE DE LECTURE CRITIQUE D’UNE ÉTUDE D’OBSERVATION QUALITATIVE ... 154
APPENDIX D : FICHE DE LECTURE CRITIQUE D’UNE REVUE DE LITTÉRATURE ... 160
APPENDIX E : FICHE DE LECTURE CRITIQUE D’UNE ÉTUDE D’OBSERVATION TRANSVERSALE ET QUANTITATIVE... 165
ix
Liste des tableaux
Tableau 2.1 : Le modèle PICOS……… p. 37 Tableau 3.1 : Sommaire du test Québec……… p. 65 - 66 Tableau 3.2 : Caractéristiques des interventions………..…. p. 67 - 69 Tableau 3.3 : Caractéristiques des participants dans les groupes de traitement… p. 70 Tableau 3.4 : Résultats statistiques de l’impact du cours POL-7061………. p. 72 Tableau 3.5 : Différences aux résultats pré-post test en 2013, 2014 et 2015……. p. 74 - 76
x
Liste des figure
sxi
Liste des acronymes
EIPM : Evidence-informed policy-making MAP : Maîtrise en affaires publiques
PFDP : Pratique fondée sur les données probantes PIDP : Pratique informée par les données probantes QCM : Questionnaire à choix multiples
À mon père
xii
Remerciements
Je dédie cet ouvrage à ma mère, Suzanne Pouliot. Ton amour et ton soutien sans borne ont grandement facilité l’accomplissement de ce rêve d’enfant. Il n’y a pas de mot pour exprimer toute l’importance que tu as eue dans ma vie, non seulement d’enfant, mais également d’adulte. Tu es un symbole de bonté, générosité, compassion et résilience à mes yeux. Je tiens à graver dans le plus important ouvrage que j’ai réalisé jusqu'à ce jour les mots que je ne t’ai pas assez prononcés : je t’aime de tout mon cœur!
À mon directeur, mentor et ami, tu fais partie des individus qui ont eu un des impacts les plus significatifs dans ma vie. Avec ton aide, j’ai découvert une avenue qui a révolutionné ma façon de voir le monde. Lorsque tu m’as approché la première fois pour me parler de transfert de connaissances, je ne comprenais pas l’importance du sujet. Au fil de nos discussions, j’ai finalement compris le fondement capital de ce sujet et j’ai entrepris la plus importante et intéressante aventure de mon existence à ce jour. Ce sujet est très porteur et je te remercie de m’en avoir enseigné les fondements. Passionné, visionnaire et animé par un intense désir de te surpasser et de faire avancer la science, tu es pour moi une source d’inspiration. J’ai grandement apprécié nos conversations portant sur d’innombrables sujets. Mais celles que j’ai le plus aimées portaient sur les fondements épistémologiques et méthodologiques de la science. L'étendue de tes connaissances sur ce sujet me fascine. Tu fais partie des rares individus qui peuvent rendre une discussion concernant les risques de biais méthodologiques palpitante. Bref, si je pouvais refaire mon choix de directeur a priori d’entamer mon doctorat, je n’hésiterais aucunement à refaire ce parcours sous ta supervision. Ce cheminement n’a pas toujours été des plus faciles et je tiens à te remercier pour ton support et ta compréhension durant ces cinq dernières années. Merci d’avoir marqué mon évolution personnelle d’une aussi belle façon. Je suis heureux et honoré d'avoir croisé ton chemin. Je clos cette aventure avec le sourire et des souvenirs impérissables. Je t'en serai éternellement reconnaissant!
Je tiens à remercier les membres du comité évaluateur d’avoir pris le temps de lire, analyser et commenter cette thèse. Vos apports ont permis de bonifier cet ouvrage qui me tient grandement à cœur. Je tiens également à remercier les nombreux professeurs dont j’ai eu la chance de rencontrer. Votre enseignement a été déterminant dans mon cheminement intellectuel.
Finalement, Clémence, merci d’avoir été là, à mes côtés et sans faille dans ce long et ardu processus. J’ai l’immense honneur de vivre avec une femme extraordinaire, douée de dévotion, de respect et d’empathie envers les autres. Tu représentes à mes yeux tout ce que l’humanité a de meilleur à offrir. Je t’aime de tout mon cœur!
1
Chapitre 1 : Introduction
1.1 Mise en contexte
L’utilisation des connaissances scientifiques pour informer la prise de décision publique n’est certes pas un phénomène nouveau. Déjà au 19e siècle, des chercheurs anglais et allemands utilisaient des méthodologies statistiques pour informer les décideurs publics au sujet de différentes réalités sociales comme le taux de chômage, la prévalence de maladies et d'accidents de travail, etc. (Rueschemeyer et Skocpol, 1996 : 133). L’idée d’alimenter les preneurs de décisions avec des données probantes s’est tranquillement répandue au début du 20e siècle dans divers pays occidentaux, notamment aux États-Unis et au Canada.
À cette époque, les connaissances scientifiques étaient mobilisées de façon sporadique. À partir des années 1960-1970, des chercheurs américains, britanniques et canadiens dans le domaine de la santé comme Alvan Feinstein, Iain Chalmers et Archie Cochrane se sont mis à militer en faveur de l’institutionnalisation de cette pratique (Smith et Rennie, 2014 : 265-267). Ils ont entrepris d’étudier le processus de transfert de connaissances scientifiques entre les institutions créatrices de savoir et l’administration publique et ont développé des outils afin de favoriser cette pratique. C’est notamment le cas de David Sackett qui est considéré comme le père fondateur du mouvement de la Pratique fondée sur les données probantes (PFDP) (Smith et Rennie, 2014 : 265-267). Sackett prônait une mobilisation plus systématique des données probantes afin que les soins octroyés aux patients soient fondés sur les meilleures connaissances scientifiques disponibles.
Dans les années 1980-1990, la PFDP a commencé à s’institutionnaliser dans différents secteurs de la santé au sein de plusieurs pays occidentaux, notamment au Royaume-Uni, aux États-Unis, en Australie, en Nouvelle-Zélande et au Canada (Nutley et Webb, 2000 : 16-20). Plusieurs centres de recherche et institutions académiques qui se spécialisent sur le
2
développement et la promotion de cette pratique ont vu le jour : au Royaume-Uni (Coalition for Evidence-Based Education, Social Care Institute for Excellence, National Institute for Health and Clinical Excellence, EPPI-Centre, etc.), aux États-Unis (Coalition for Evidence-Based Policy-Making, Evidence-Based Practice Centers et Social Programs That Work, etc.), en Australie (Joanna Briggs Institute, Australasian Cochrane Centre, etc.), au Canada (Centre canadien Cochrane, Knowledge Translation Canada, McMaster Health Forum, etc.), etc. La PFDP fut également valorisée par des organisations internationales comme l'OCDE, l'UNESCO, la Banque mondiale, etc.
Bien qu’elle se soit d’abord institutionnalisée dans le domaine de la médecine et de la santé publique, la PFDP s’est répandue au sein d’autres sphères d’activités dont l’éducation (Emmons et coll., 2009; Stanovich et Stanovich, 2003), les services sociaux (Howard, McMillen et Pollio, 2003), la psychologie (APA Presidential Task Force on Evidence-Based Practice, 2003), etc. (Smith et Rennie, 2014).
Au cœur de la PFDP s’inscrit une idée normativement orientée : la mobilisation des données probantes peut accroître l’efficacité des politiques publiques en informant les décideurs sur la nature du problème rencontré et les meilleures options envisageables pour pallier ce problème et atteindre un objectif prédéfini. Selon cette approche, il conviendrait donc d’encourager la mobilisation de ces connaissances scientifiques au sein des organisations publiques puisqu’elles favorisent une prise de décision éclairée (Howlett, 2009 : 154).
Pour les tenants de la PFDP, les données probantes renvoient à un type de connaissances bien précis : soit les connaissances scientifiques issues de la recherche empirique. En effet, ces derniers considèrent que les connaissances scientifiques, lorsque disponibles, représentent une source de connaissances plus fiable que d’autres types d’informations jugés plus subjectifs comme des idées préconçues, des rumeurs, des idéaux, des valeurs personnelles, des observations ponctuelles, etc. (Howlett, 2009 : 154; Oxman et coll., 2009). La logique qui se cache derrière ce raisonnement est que, contrairement aux informations plus subjectives, les connaissances scientifiques sont récoltées par l’entremise de méthodologies systématiques, validées et désintéressées ce qui devrait accroître leur
3
adéquation avec la réalité empirique (Duflo, 2010). En transférant des connaissances scientifiques aux décideurs, ceux-ci devraient ainsi être davantage outillés pour comprendre la réalité empirique et produire des politiques publiques mieux adaptées à cette réalité (Campbell, 2006; Lomas et Brown, 2009 : 919; Walsh et Rundall, 2001 : 436).
Selon les tenants de la PFDP, les connaissances scientifiques peuvent favoriser une gestion éclairée de l’État en informant la prise de décision à toutes les étapes du cycle des politiques (Campbell, 2006; Howlett, 2009; Lavis et coll., 2009). Ces connaissances peuvent donc éclairer plusieurs types de questionnements : quelle est la nature du problème? Quelles sont les options les plus efficaces pour résoudre ledit problème? Comment un instrument de politique (ex. un programme) peut-il être amélioré? Quelles sont les innovations les plus susceptibles d’accroître la productivité des organisations publiques et privées? En somme, qu’est-ce qui fonctionne (« what works »)? (Head, 2008 : 1).
Dans la tournure des grandes réformes du secteur public sous les années Thatcher et Reagan, différents gouvernements se sont intéressés au discours de la PFDP (Head, 2008 : 3). Car, si les connaissances scientifiques pouvaient informer les politiques en matière de santé, les savoirs issus des sciences sociales devaient pouvoir à leur tour accroître l’efficacité des politiques publiques à caractère social. À partir des années 1990, les gouvernements du Royaume-Uni (Cabinet Office, 1999), des États-Unis (Mecklin, 2009, cité dans Moore, 2011) et de l’Australie (Rudd, 2008) ont exprimé leur désir d’accroître l’utilisation des données probantes au sein de leur administration publique. Plus près de nous, le gouvernement québécois a également exprimé une déclaration d’intérêt similaire dans l’énoncé de la Politique québécoise de la science et de l’innovation de 2001 qui stipule que « l’activité gouvernementale doit pouvoir s’appuyer davantage sur la connaissance scientifique » (Gouvernement du Québec, 2001 : 122-123).
4
1.2 Les critiques adressées à l’idée de
la pratique fondée sur les données
probantes
Malgré l’engouement de différents chercheurs, d’autres ont exprimé des doutes envers l’applicabilité de la PFDP. Selon Rueschemeyer et Skocpol par exemple :
« Much recent research on the way the social sciences and public policy operate treats social science as rationally instrumental. But it is not valid to assume that social knowledge simply develops in its own terms and then operates as a mean for designing effective state interventions » (Rueschemeyer et Skocpol, 1996 : 209).
Selon ces chercheurs, la conception classique de la PFDP simplifie de façon abusive la complexité des processus du transfert de connaissances et de la production des politiques publiques (Majone, 1989 : 12-13). Les modèles classiques de transfert de connaissances dépeignent ce processus comme une activité rationnelle et linéaire (i. définir un problème, ii. rechercher des connaissances pertinentes pour documenter les pistes prometteuses pour résoudre le problème, iii. analyser les connaissances trouvées, iv. synthétiser les résultats et, v. communiquer les résultats de cette synthèse). Selon ces modèles, les décideurs suivraient les cinq étapes de la PFDP afin de trouver les meilleures connaissances scientifiques et choisir l’option optimale qui permettrait de maximiser l’intérêt de la collectivité (Rich et Oh, 2000).
Or, la production de politiques publiques n’est pas un phénomène purement linéaire et rationnel. Plusieurs facteurs sociologiques, psychologiques et politiques rendent ce processus diffus et subjectif (Nutley et Webb, 2000; Stone, 1988). Le processus de production de politiques publiques n’est pas apolitique. Les valeurs et les idéaux y occupent une place prépondérante. Car, ce n’est pas parce qu’une étude scientifique démontre l’efficacité d’une politique publique que celle-ci peut automatiquement être adoptée. Le choix d’adopter une politique publique repose fréquemment sur des valeurs et des
5
idéologies qui ne sauraient être commandées exclusivement par la science. Par exemple, bien qu’il soit possible qu’un jour une étude démontre l’efficacité de la peine de mort pour dissuader les potentiels criminels de poser des actes répréhensibles, l’instauration ou l’abolition de la peine de mort reste un choix fondamentalement moral. Il en relève des valeurs de la société concernant l’importance qu’elle accorde à la vie des individus et l’aspect moral et légitime d’octroyer ou non le droit à l’État d’enlever la vie à des individus reconnus coupables d’avoir commis certains crimes. La vie politique est parsemée de ce type de choix sociaux et moraux. À quel âge reconnaissons-nous un individu comme majeur et apte à voter? Acceptons-nous que les individus gravement malades puissent demander une aide médicale pour mourir? Accordons-nous aux couples homosexuels le droit de se marier et d’adopter des enfants? Etc. Ce type de questions est débattu au sein des organes décisionnels et politiques et les nombreuses parties en présence peuvent exprimer des points de vue différents sur ces sujets. Ces choix subjectifs qui ne sauraient être informés uniquement par la science sont au cœur de la vie politique et façonnent le processus de production de politiques publiques.
Cette critique a rapidement été comprise par les tenants de la PFDP; ceux-ci ont reformulé leur conception du transfert de connaissances. Au lieu d’exprimer la conception d’une pratique fondée sur les données probantes, ils parlent désormais de pratique informée par les données probantes (PIDP). Selon Fafard, cette conception serait loin d’être un simple changement de label :
« From the perspective of political science, this shift is critical. If nothing else, it allows for an account of policy-making and policy decisions that takes into account the efforts by decision-makers to account for the underlying values and value conflicts associated with a policy decision » (2008 : 7).
Le terme de pratique informée par les données probantes a donc été proposé afin de souligner que l’objectif des tenants de la PFDP n’a jamais été d’instaurer une forme de technocratie absolue. Le mouvement de la PIDP soutient que la prise de décisions publiques doit reposer sur au moins trois fondements : 1) les valeurs sociales, 2) l’expertise et, 3) les connaissances issues d’études empiriques. Il n’en demeure pas moins que ces chercheurs
6
estiment que la science peut s’avérer utile pour informer les décideurs en identifiant des problèmes méconnus, des solutions pour pallier des problèmes, des instruments pour mettre en œuvre ces solutions et des méthodologies pour évaluer l’efficacité des instruments (Majone, 1989 : 9). En somme, le mouvement de la PIDP reconnait « […] that research findings will assist but not determine policy directions and adjustments » (UK Cabinet Office, 1999, cité dans Head, 2008 : 7).
Une autre critique met en lumière l’impact de plusieurs facteurs cognitifs propres à l’humain qui limitent la capacité des décideurs publics à mobiliser les meilleures connaissances scientifiques disponibles pour informer la prise de décision. Différents aspects (psychologiques, politiques, organisationnels, etc.) peuvent effectivement miner le processus de transfert de connaissances. D’emblée, au point de vue de l’individu, les travaux de Simon (1972) suggèrent que les décideurs publics sont dotés d’une rationalité limitée et qu’il leur est difficile de prendre en compte l’ensemble des données disponibles afin de choisir celles qui seraient les mieux adaptées pour maximiser les intérêts de la collectivité. Ils chercheront plutôt à trouver une solution satisfaisante en posant des actions fondées sur l'analyse limitée qu'ils font de la situation en fonction des options limitées qu'ils sont capables de concevoir à partir des informations limitées qu'ils détiennent (Simon, 1972 : 162-164).
Aussi, les résultats de recherche scientifique ne forment qu’une infime partie des connaissances qui peuvent informer la prise de décision au sein des administrations publiques. En effet, les décideurs publics vont mobiliser différents types d’information, de données et de connaissances provenant autant de l’intérieur des administrations elles-mêmes (savoir-faire tacite, notes de service, rapports d’analyse et d’évaluation de programme, etc.) que de l’extérieur (informations journalistiques, avis d’expert, recherches scientifiques, etc.) (Ouimet et coll., 2010). Il est donc difficile pour le décideur public de déterminer lesquelles de ces multiples sources d’informations sont les mieux à même d'éclairer leur prise de décision.
7
Qui plus est, la disponibilité des ressources pour trouver, analyser et communiquer les connaissances scientifiques n’est pas infinie. Des contraintes de temps et de ressources limitent la capacité des administrations publiques à conduire des recherches incessantes afin d’effectuer des revues exhaustives des connaissances scientifiques portant sur un sujet donné (Knott et Wildavsky, 1980 : 537-538). Une récente revue systématique de la littérature scientifique recense plusieurs facteurs techniques qui limitent les activités de transfert de connaissances au sein de l’administration publique : manque de temps, de moyens, d’accès aux bases de données bibliographiques scientifiques, de connaissances à l’interne pour effectuer cette activité, etc. (Oliver, 2014).
Sans oublier que March et Olsen (1989) ont depuis longtemps démontré que les administrations publiques sont surchargées d'incertitudes face au monde qui les entoure et qu’elles sont tout autant surchargées d'informations diverses concernant les innombrables solutions applicables à une infinité de problèmes existants et potentiels. Dans ce monde d'incertitudes, les décideurs n’agissent pas toujours de façon rationnelle et la prise de décision est rarement effectuée de façon linéaire. Au lieu de commencer par identifier des problèmes pour ensuite trouver une solution en se fondant sur des études scientifiques, il n’est pas rare que les décideurs publics identifient une solution à des problèmes potentiels pour ensuite se mettre à la recherche de problèmes pouvant bénéficier de la solution (March et Olsen, 1989 : 13-14; Stone, 1988).
Pour toutes ces raisons, plusieurs auteurs tels que Knott et Wildavsky (1980), Majone (1989) et Sanderson (2002) soutiennent que les connaissances scientifiques n’ont peut-être pas un rôle majeur à jouer dans le processus de production de politiques publiques. Selon eux, ce processus serait avant tout une joute politique rythmée par d’innombrables débats et jeux d’influence entre des acteurs qui cherchent à promouvoir des politiques qui correspondent à leurs idéologies et leurs intérêts. Différents auteurs comme Sabatier (2000) et Kingdon (1995) ont reconnu ce fait depuis longtemps. Selon eux, la production de politiques publiques est animée par des groupes d’individus qui élaborent des discours afin de convaincre l’opinion publique et les décideurs d’instaurer des politiques publiques qui serviront leurs intérêts (Kingdon, 1995 : 196; Sabatier et Schlager, 2000 : 227). C’est donc
8
dire que ce processus est parsemé de conflits et de dialogues entre des acteurs qui promeuvent différents intérêts, idéologies, croyances, etc.
De fait, la production des politiques publiques ne se cantonne pas forcément à une activité rationnelle. Selon Majone (1989 : 4), elle est avant tout façonnée par des débats d’idées qui visent à convaincre les décideurs d’adopter une option parmi d’autres. Dans cette arène de débats, l’utilisation des connaissances scientifiques peut tout de même s’avérer utile. Or, dans ce contexte, la mobilisation de connaissances scientifiques viserait moins à décrire ou expliquer une réalité empirique qu’à conférer de la crédibilité à une argumentation (Jacobson et Goering, 2006 : 160; Nutley et Webb, 2000 : 35). Les connaissances scientifiques sont effectivement marquées d’un symbole de crédibilité accrue puisqu’elles sont réputées neutres et objectives comparativement à d’autres types d’informations jugées plus subjectives comme les idéologies, les valeurs, les idées préconçues, etc.
Cela dit, les études scientifiques ne représentent jamais totalement et directement la réalité empirique. En plus d’appréhender la réalité indirectement par l’intermédiaire de constructions conceptuelles, la majorité d’entre elles contiennent également des biais méthodologiques importants qui minent la véracité de leurs conclusions (Ioannidis, 2005); sans compter celles dont les conclusions sont délibérément manipulées par les chercheurs afin de promouvoir leurs idées (Fanelli, 2009; Policy Horizons Canada, 2013). Sachant qu’il existe une multitude d’études portant sur des sujets similaires qui génèrent des conclusions distinctes, les acteurs aux idéologies ou intérêts divergents peuvent choisir les études qui soutiennent leurs dires et occulter celles qui les contredisent. Selon Policy Horizons Canada (2013), il existe de nombreux acteurs, dont des groupes de recherche, qui jouent un rôle important pour informer la prise de décision. Alors que plusieurs de ces acteurs offrent des avis politiques fondés sur des résultats de recherche générés à partir de standards méthodologiques éprouvés et reconnus, d’autres font la promotion d’études biaisées afin de favoriser des intérêts privés dissimulés. Dans ce contexte, les différentes contributions de ces groupes de recherche « can make it difficult to distinguish between information and advice that is based on sound objective research versus that which reflects a vested interest » (Policy Horizons Canada, 2013).
9
L’instrumentalisation de la science à des fins rhétoriques peut engendrer une zone d’incertitude qui érode la capacité des décideurs publics à classer les études en fonction de leurs risques de biais méthodologiques respectifs (Policy Horizons Canada, 2013). Autrement dit, il existerait une forme d’asymétrie d’information entre les pourvoyeurs et les utilisateurs des connaissances (Landry, Amara et Ouimet, 2007 : 569). Quand bien même les décideurs désireraient avoir accès aux meilleures connaissances scientifiques disponibles afin d’adopter une politique publique qui maximiserait l’intérêt public, l’asymétrie d’information entre les pourvoyeurs et les utilisateurs de connaissances scientifiques entourant la qualité de ces dernières minerait la capacité d’identifier les meilleures études scientifiques disponibles pour favoriser une prise de décision éclairée. La boucle est désormais bouclée. Les aspects plus subjectifs comme la capacité de convaincre reprendraient ainsi une place primordiale au sein du processus de prise de décision (Majone, 1989 : 15).
Cette dernière critique est des plus importantes puisque la pierre angulaire de la PIDP repose sur la mobilisation des meilleures études scientifiques disponibles pour éclairer la prise de décision. Car si la prise de décision est guidée par des données scientifiques erronées, l’impact des politiques publiques qui s’en inspirent risque de ne pas avoir l'effet escompté, voir même l’effet inverse (Grimshaw et coll., 2012; Howlett, 2009; Mhaskar et coll., 2009).
En somme, une des principales critiques adressées à la PIDP a trait à la complexité du processus de production des politiques publiques. Dans ce processus, une grande quantité d’informations variées est véhiculée et il devient alors difficile pour les décideurs de trier ces informations afin d’identifier les meilleures connaissances scientifiques pour favoriser une prise de décision éclairée (Sanderson, 2002 : 69). Tant qu’il existera une asymétrie d’information entre les pourvoyeurs et les utilisateurs des connaissances scientifiques, les débats et la rhétorique demeureront des facteurs primordiaux dans le processus de production de politiques publiques. Au vu des conclusions des travaux scientifiques préalablement cités, il apparait légitime de croire que cette asymétrie n’est peut-être pas
10
prête de s’estomper considérablement puisque les principaux facteurs explicatifs avancés relèvent majoritairement de contraintes structurelles, institutionnelles et cognitives.
1.3 Problématique de recherche
Les chercheurs en transfert de connaissances ne sont pas sans connaître ces critiques, bien au contraire. Sachant qu’une des principales barrières au transfert de connaissances repose sur la difficulté pour les décideurs et de leurs analystes à identifier et comprendre l’ensemble des connaissances scientifiques disponibles sur un sujet donné (Knott et Wildavsky, 1980) – difficulté en partie liée au manque de connaissances en méthodologie de la recherche (Oliver et coll., 2014) – certains chercheurs ont élaboré des techniques visant à surpasser ces barrières, dont les méthodes d’examen systématique de littérature et des outils d’analyse critique servant à documenter les risques de biais présents dans les publications scientifiques (en anglais, critical apparaisal tools).
Les revues systématiques de la littérature représentent le cheval de bataille des praticiens du transfert de connaissances. Ces revues de littérature conduites de façon systématique et transparente ne visent ni plus ni moins qu’à synthétiser l’ensemble des meilleures connaissances scientifiques disponibles sur une question précise (Hemingway et Brereton, 2009). En offrant une synthèse des meilleures connaissances scientifiques disponibles, ces revues de littérature d’un genre nouveau auraient le potentiel de réduire l’asymétrie d’information entre les pourvoyeurs et les utilisateurs d’études scientifiques. La production d’une revue systématique de la littérature s’effectue en cinq étapes (Khan et coll., 2003 : 118) :
1) Définition de question : formulation d’une question claire, sans ambiguïté et structurée avant le début des travaux.
2) Identification des études pertinentes : recherche exhaustive d'études. De multiples ressources (à la fois informatiques et imprimées) sont consultées. Les critères de
11
sélection des études sont définis en lien avec la question de recherche et sont spécifiés a priori. Les raisons d'inclusion ou d'exclusion des études identifiées sont présentées.
3) Analyse critique des études retenues : réalisation d’une évaluation des risques de biais méthodologiques afin de sélectionner les études qui comportent un risque de biais jugé acceptable.
4) Synthèse des résultats des études incluses : préparation de tableaux rapportant les caractéristiques des études incluses, leur qualité et les conclusions rapportées dans celles-ci. Cette étape peut inclure des tableaux présentant les résultats quantitatifs agrégés sous la forme de méta-analyses.
5) Communication des résultats : les conclusions des études incluses et les recommandations issues de la revue systématique de la littérature sont présentées en pondérant en fonction de la force des devis de recherche mobilisés et des risques de biais identifiés dans les études incluses dans la revue.
Produire ce type de revue de la littérature scientifique encourt des coûts importants. Selon Moher (2012), mener une revue systématique de littérature peut prendre d’une à deux années et, lorsque la question posée a fait l’objet d’un grand nombre d’écrits, peut couter plusieurs centaines de milliers de dollars canadiens. Par conséquent, bien qu’il existe des centres de recherche comme le Campbell Collaboration qui produisent des revues systématiques portant sur différentes questions, il n’existe pas de revue systématique pour tous les sujets qui intéressent les décideurs publics. Même si les décideurs et leurs analystes désireraient mobiliser des revues systématiques pour s’informer sur un sujet précis, il y a de fortes chances pour qu’il n’en existe pas sur la question qu’ils se posent au moment opportun ou que plusieurs des revues existantes ne soient pas à jour.
C’est pour cette raison que les chercheurs en transfert de connaissances ont développé une approche visant à abréger les revues systématiques de la littérature : les synthèses accélérées des connaissances (Rapid Reviews) (Watt et coll., 2008). L’objectif des synthèses accélérées des connaissances est d’effectuer des synthèses de connaissances dans un laps
12
de temps plus court afin d’informer les décideurs au moment opportun, car le manque de synchronisation temporelle entre l’agenda des chercheurs et celui des décideurs est l’un des principaux obstacles à la mobilisation des connaissances scientifiques au sein de l’appareil politico-administratif (Lavis et coll., 2005; Innvaer et coll., 2002; Oliver et coll., 2014). Une synthèse accélérée suit généralement les cinq étapes d’une revue systématique, mais en abrège certaines d’entre elles afin d’en accélérer le processus. Malgré le fait qu’on puisse conduire des synthèses accélérées en quelques mois, voire quelques semaines, il n’existe pas de synthèses accélérées sur l’ensemble des sujets pouvant intéresser la fonction publique. Bien qu’il existe différentes approches pour mener ces revues (Thomas, Newman et Oliver, 2013), il n’existe pas non plus de méthodologie unanimement acceptée et appliquée par tout un chacun pour conduire ce type de synthèses. C’est donc dire que certaines synthèses accélérées auront tendance à tronquer les stratégies de recherche afin de réduire le nombre d’études incluses, d’autres vont imposer des limitations en fonction de la langue ou de la date de publication des études, d’autres encore vont omettre l’étape de l’analyse critique des études scientifiques incluses dans la revue de littérature.
Or, selon Watt et coll. (2008), cette dernière option n’est pas la plus souhaitable. En effet, en tronquant l’étape de l’analyse critique, le décideur public éprouvera de la difficulté à identifier les meilleures connaissances disponibles puisque la synthèse accélérée intégrera une grande quantité d’études de qualité variée dans un rapport synthétique sans mentionner les risques de biais respectifs des diverses études incluses. Partant, il devient difficile pour le décideur de séparer les résultats émanant d’études considérées comme étant de meilleure qualité de ceux provenant d’études comportant des risques de biais jugés trop importants. Dans pareilles circonstances, l’asymétrie de l’information entre les pourvoyeurs et les utilisateurs des connaissances scientifiques revient en avant-plan, ramenant du coup l’influence potentielle de la rhétorique et la capacité de convaincre dans le processus de prise de décision.
C’est précisément pour contrer la persistance de l’asymétrie de l’information que des chercheurs en transfert de connaissances ont développé des outils systématiques et validés pour effectuer des analyses critiques d’études scientifiques. Ces outils visent à faciliter
13
l’identification de risques de biais méthodologiques, permettant ainsi aux décideurs de sélectionner les meilleures études scientifiques disponibles en fonction de leur propre niveau d’aversion au risque.
1.4 Qu’est-ce que l’analyse critique?
L'analyse critique se définit comme suit : “[it is] the process of carefully and systematically examining research to judge its trustworthiness, and its value and relevance in a particular context” (Burls,2009 : 1). L’analyse critique cherche donc à identifier la présence de risques de biais qui pourraient miner la véracité des conclusions émanant d’études scientifiques : biais de sélection, biais de performance, biais de notification, biais de désirabilité sociale, etc. Bien que l’identification de risques de biais par l’analyse critique d’études scientifiques ne permette pas d’affirmer que les biais sont réellement présents, cette pratique offre la possibilité de discriminer entre les études qui contiennent de hauts risques de biais de celles dont les risques de biais sont moindres. Les décideurs et leurs analystes peuvent donc porter leur attention sur les conclusions des études qui contiennent un risque de biais qu’ils jugent acceptable.
Évidemment, il est difficile, voire impossible, de mener une étude scientifique exempte de risques de biais et il convient donc de ne pas rejeter toutes les études sous prétexte qu’elles sont potentiellement biaisées (Cochrane Bias Methods Group, 2014). Or, certains risques de biais peuvent avoir un impact plus important que d’autres sur les conclusions d’une étude. Par exemple, un biais de sélection dans une étude qualitative engendre certes un impact quant à la généralisation des conclusions qui en découlent, mais cet impact peut être mineur puisque la généralisation n’est habituellement pas le but premier des études qualitatives dû à la faible taille de l’échantillon et à la logique non probabiliste dans laquelle elles s'inscrivent généralement. En revanche, une étude expérimentale délibérément manipulée par les chercheurs afin d’orienter les conclusions serait considérée comme étant fortement biaisée et non généralisable, ce qui anéantirait ipso facto la crédibilité des conclusions qui en découlent (Lundh et coll., 2012). En effet, certains décideurs ne semblent
14
pas apprécier que les chercheurs fassent preuve de partialité ou qu’ils manipulent les résultats de leurs études (Jacobson et Goering, 2006). Dans cette optique, l’analyse critique est une étape fondamentale du transfert de connaissances puisqu’elle permet de trier les études en fonction du niveau de risque de biais méthodologiques qu’elles comportent.
Des chercheurs et centres de recherche – tels que le Critical Appraisal Skills Programme (CASP) basé au Royaume-Uni, le Scottish Intercollegiate Guidelines Network (SIGN) en Écosse, le Joanna Briggs Institute en Australie, la Collaboration Cochrane à l’international, etc. – ont élaboré des outils afin de faciliter la réalisation d’analyses critiques. Ces outils prennent la forme de listes de questions qui visent à guider l’évaluation de la rigueur méthodologique des études. Il existe désormais des outils pour évaluer plusieurs types de devis de recherche allant des revues de littérature, en passant par les études expérimentales, les études quasi-expérimentales, les études quantitatives d’observation (longitudinales ou transversales), les études qualitatives, les évaluations économiques, les essais et les textes d'opinion, etc. Afin d'analyser les risques de biais, l'évaluateur doit lire le texte qui décrit l’étude (c.-à-d., l’article, le chapitre de livre, le rapport de recherche, etc.) et répondre aux questions figurant sur la grille d’analyse critique. Les questions varient en fonction des devis de recherche. Par exemple, lorsqu’on évalue un essai aléatoire contrôlé, certaines questions portent sur les techniques mobilisées pour répartir les participants entre le ou les groupes de traitement et le groupe témoin. D'autres questions portent plus spécifiquement sur les techniques de masquage (blinding). Si on évalue une étude qualitative, les questions ne seront pas les mêmes. Elles vont davantage porter sur les méthodes de recrutement, de collecte et d’analyse des données (divers exemples de ces outils sont offerts dans le chapitre 3 de cette thèse).
Même si ces outils facilitent l’analyse critique des études scientifiques, les analystes doivent nécessairement posséder certaines connaissances pour effectuer cette tâche. Minimalement, ils doivent être en mesure de distinguer entre les différents devis de recherche afin de choisir l’outil adéquat en fonction du devis de recherche utilisé pour mener l’étude. Les analystes doivent donc reconnaître les caractéristiques des différents devis de recherche : expérimentaux (essai aléatoire contrôlé parallèle, essai aléatoire contrôlé factoriel, etc.),
15
quasi-expérimentaux (avant-après avec groupe témoin, avant-après sans groupe témoin, séries chronologiques interrompues, etc.), observationnels et quantitatifs (cohorte prospective, cohorte rétrospective, étude de cas témoins, étude transversale, série chronologique, etc.), qualitatifs (étude de cas, étude phénoménologique, étude ethnographique, étude biographique, théorisation ancrée, etc.) ou revues de littérature (revue systématique avec ou sans méta-analyse, revue narrative, etc.). De plus, l’analyste doit posséder les connaissances méthodologiques de base pour comprendre les questions incluses dans chaque grille d’analyse critique. Par exemple, pour répondre à la question concernant l'adéquation d'une méthode d'échantillonnage spécifique, l'évaluateur doit comprendre le concept d'échantillonnage, les différentes techniques d'échantillonnage et les principaux risques de biais qui peuvent s’introduire au cours de ce processus. Ultimement, une fois que l’analyste a identifié un risque de biais, il doit être en mesure d’estimer l’impact de ce biais potentiel sur les conclusions de l’étude. Par exemple, une assignation mal effectuée entre un groupe expérimental et un groupe témoin peut ne pas avoir les mêmes conséquences sur les résultats d’une étude qu’une collecte de données effectuée sans critères d’inclusion explicites.
C’est précisément dû à la complexité de cette pratique que des professeurs-chercheurs ont développé des cours universitaires qui visent à enseigner les connaissances nécessaires pour effectuer ce type d’analyses critiques. Ces cours sont majoritairement offerts aux étudiants inscrits dans des programmes de médecine ou de santé publique. Appliquant les fondements de la PIDP à leur propre pratique, plusieurs chercheurs ont évalué l’impact de ces cours sur les connaissances acquises par les étudiants (Norma et Shannon, 1998; Taylor et coll., 2000; Parkes et coll., 2001; Coomarasamy, Taylor et Khan, 2003; Coomarasamy et Khan, 2004). Une revue systématique de la littérature portant sur ce sujet conclue que ces cours peuvent certainement avoir un impact positif sur les connaissances acquises par les étudiants, mais que l’ampleur de cet impact dépend de l’approche pédagogique utilisée et du bagage personnel des étudiants (Coomarasamy et Khan, 2004).
En somme, si nous adoptons de bonnes techniques pédagogiques, il est possible d’enseigner ces techniques aux futures analystes des politiques afin de favoriser une prise de décision
16
éclairée par les meilleures études scientifiques au sein de la fonction publique. Or, si on désire favoriser l’adoption de la PIDP au sein de l’administration publique, il apparait fondamental que les universités enseignent ces techniques. Plus important peut-être encore, il convient que les directeurs en poste au sein de l’administration publique désirent adopter la pratique de la PIDP et qu’ils soient en mesure d’intégrer à leur équipe des individus qui possèdent les connaissances nécessaires pour identifier les meilleures études scientifiques disponibles.
1.5 L’attitude, les normes et la
perception de la capacité à effectuer
une tâche : des déterminants de la
PIDP?
L’adoption et l’application concrète d’une pratique par des individus, comme la PIDP, ne reposent pas uniquement sur leurs capacités à effectuer les différentes étapes de cette pratique. D’autres facteurs influencent leurs comportements. Selon la théorie du comportement planifié (TCP), trois facteurs fondamentaux sont à l’œuvre dans pareille situation :
« beliefs about the likely consequences or other attributes of the behavior (behavioral beliefs), beliefs about the normative expectations of other people (normative beliefs), and beliefs about the presence of factors that may further or hinder performance of the behavior (control beliefs). » (Ajzen, 2002: 665).
Cette théorie est utilisée pour étudier différents comportements humains : le respect des normes professionnelles (Jha, 2016), le changement d’habitudes de consommation alimentaire (Plotnikoff, 2010), l’adoption de nouvelles pratiques d’exercices physiques (Hager, 2002), etc.
17
La TCP est intéressante lorsqu’on cherche à mieux comprendre les raisons liées à l’adoption ou non de certaines pratiques. Cette théorie articule les trois facteurs préalablement cités (c.-à-d. l’attitude, les normes subjectives et la perception du contrôle sur le comportement) afin d’expliquer les comportements humains. Sommairement, l'attitude personnelle favorable ou défavorable envers un comportement influence évidemment les chances que l'individu exécute ledit comportement. De plus, les normes subjectives existant dans l’environnement dans lequel les individus évoluent génèrent de la pression sociale concernant la désirabilité d’un comportement, ce qui influence donc les chances qu’un acteur se conforme en agissant ou non en fonction desdites normes. Ultimement, la perception de l’acteur sur son niveau de contrôle et sur sa capacité de poser les actions nécessaires pour exécuter le comportement favorise ou mine son intention même de poser lesdites actions.
La théorie du comportement planifié est inspirée par la théorie de l’action raisonnée. Or, cette dernière n’apportait pas autant d’importance à la perception des individus d’être en mesure ou non de réaliser les actions envisagées (Ajzen, 1985). Cette dernière subtilité est fondamentale puisque les individus ne croient pas toujours être en mesure de réaliser un comportement et cela, peu importe leurs désirs et les pressions sociales qui s’exercent sur eux. La réalité quotidienne foisonne de cas concrets permettant d'exemplifier ce phénomène. Par exemple, un individu peut bien vouloir améliorer sa demeure afin qu’elle soit davantage conforme aux normes sociales, mais s’il croit ne pas disposer des ressources ou des compétences pour le faire, il est fort probable qu’il n’agisse pas afin de combler ses désirs et respecter les normes sociales. Autrement dit, peu importe les désirs de l’acteur et la pression sociale qui s’exerce sur lui, s’il croit être incapable d’effectuer une action, il y a de fortes chances qu’il ne l’effectue tout simplement pas.
Cette approche théorique est pertinente au sens où elle permet d’exemplifier et de catégoriser conceptuellement les conclusions qui découlent de la présente thèse. En effet, afin que la PIDP soit adoptée au sein de la fonction publique, il convient que les décideurs de l’administration publique voient un intérêt quelconque dans cette pratique, que la culture organisationnelle soit également favorable à son adoption et, ultimement, que les
18
fonctionnaires croient être en mesure d’effectuer les différentes étapes de la PIDP afin de concrétiser sa réalisation.
Toujours dans cette logique, la revue systématique de Langer et coll. (2016) identifie, entre autres, un certain nombre de facteurs qui sont intimement liés à ceux de la TCP. Selon cette étude, afin de favoriser l’adoption de la PIDP, il serait pertinent de familiariser les équipes et les membres de la fonction publique à la PIDP tout en s’assurant que les fonctionnaires aient les ressources et les connaissances nécessaires pour consulter et utiliser les évidences scientifiques (2016 : 8-9). Encore une fois, l’attitude individuelle, la présence de normes subjectives favorables à la PIPD et la perception de la capacité à réaliser les étapes de cette pratique reviennent en avant-plan.
Bien que cette thèse n’entende pas tester la validité de la TCP, les facteurs identifiés dans le cadre de cette théorie serviront à en illustrer et conceptualiser les conclusions. De la sorte, il sera potentiellement plus facile d’imaginer et d’orienter les recherches futures en fonction de cette catégorisation théorique.
1.6 Questions et hypothèse de
recherche
Au meilleur de nos connaissances, et après avoir consulté plusieurs revues systématiques de la littérature scientifique existantes sur le transfert et l’utilisation des connaissances scientifiques au sein de l’administration publique (Innvaer et coll., 2002; Lavis et coll., 2005; Oliver et coll., 2014; Langer et coll., 2016), aucune recherche n’a étudié le niveau d’institutionnalisation actuel de l’analyse critique dans une fonction publique. Aussi, peu d’études se sont intéressées à l’intérêt accordé et aux efforts déployés par les organisations publiques pour adopter cette étape fondamentale de la PIDP. Si ces organisations n’accordent pas une importance particulière à cette pratique et aux connaissances nécessaires pour la réaliser, « the natural question is to explore why policymakers do not
19
prioritize overcoming barriers [to knowledge transfer] relating to themselves » (Oliver, 2014 : 9).
Comme le stipulent Oliver et ses collaborateurs (2014 : 9), les recherches empiriques sur le sujet ont majoritairement été produites par et pour les chercheurs, omettant ainsi l’intérêt et les efforts déployés par les administrations publiques pour surpasser les principales barrières au transfert de connaissances scientifiques. En d’autres termes, on pourrait à juste titre se demander si la PIDP, à laquelle se rattache l’analyse critique de publications scientifiques, est connue et valorisée au sein de l’administration publique, ou s’il s’agit d’une construction mentale émanant de chercheurs qui, de leur tour d’ivoire, imaginent des moyens de rendre plus rationnel le processus de production des politiques publiques?
Une autre revue systématique récente sur l’efficacité des interventions visant à améliorer l’usage des résultats de recherche dans des organisations du secteur public suggère que les universités ont un rôle majeur à jouer pour favoriser l’adoption et l’institutionnalisation de cette pratique. Selon les résultats de cette étude,
« overall, there is reliable evidence that educational interventions, for example critical appraisal programmes, can lead to an increased use of evidence, providing the intervention design simultaneously tries to enhance both decision-makers’ capability and motivation to use research evidence » (Langer et coll., 2016 : 17).
Au meilleur de nos connaissances, il n’existe aucune étude qui se soit penchée sur les efforts déployés par les universités canadiennes pour favoriser la diffusion de la PIDP par l’entremise de cours en analyse critique d’études scientifiques.
La présente étude vise à combler les lacunes de nos connaissances actuelles sur la mise en pratique effective de l’un des principes fondamentaux de la philosophie de la PIDP, c’est-à-dire la sélection des meilleures connaissances scientifiques disponibles dans le but d’éclairer les décideurs publics sur la nature plus ou moins probante de ces savoirs (Gambrill, 2006). Plus précisément, cette thèse de doctorat entend explorer le sujet de l’institutionnalisation de la pratique de l’analyse critique de la littérature scientifique au sein
20
de l’administration publique québécoise. Également, puisque l’analyse critique d’études scientifiques nécessite l’acquisition de connaissances spécifiques et que l’enseignement de ces connaissances semble représenter une porte d’entrée intéressante pour favoriser l’institutionnalisation de la PIDP au sein de la fonction publique, nous examinerons l’importance accordée par les institutions universitaires canadiennes à enseigner cette pratique aux futures recrues de l’administration publique afin qu'elles soient en mesure d’effectuer cette tâche lorsqu'elles auront intégré leurs fonctions professionnelles.
Afin d’étudier le niveau actuel d’institutionnalisation de la pratique de l’analyse critique d’études scientifiques ainsi que l’importance accordée par les universités canadiennes à enseigner les connaissances nécessaires pour effectuer cette tâche, nous avons élaboré un protocole méthodologique permettant de répondre aux quatre questions de recherche suivantes :
1. Dans quelle mesure les programmes de formation universitaire en science politique ou en administration publique au Canada offrent-ils une formation en analyse critique de la littérature scientifique à leurs étudiants?1
2. Dans quelle mesure un cours universitaire en analyse critique de la littérature scientifique peut-il contribuer à améliorer les connaissances méthodologiques de base des étudiants?
3. Est-il important pour un directeur de la fonction publique québécoise que les analystes de son unité soient capables d’effectuer des analyses critiques d’études scientifiques?
4. Est-il important pour un directeur de la fonction publique québécoise d’améliorer les connaissances et les capacités de son unité pour effectuer des analyses critiques de la littérature scientifique?
1 Bien que nous sachions que les analystes des politiques proviennent de disciplines variées, la recherche proposée ne permettrait pas de faire un survol de l’ensemble des programmes universitaires. Nous avons donc restreint notre analyse à des programmes typiques de ce champ d’études, soit la science politique et l’administration publique, puisque plusieurs étudiants inscrits dans ces programmes entendent trouver un emploi dans la fonction publique.
21
Sur le plan théorique, il nous est possible de formuler une réponse anticipée (hypothèse) aux questions relatives au degré d’institutionnalisation de la pratique de l’analyse critique au sein de l’administration publique (questions 3 et 4); les autres questions étant davantage de nature exploratoire, aucune hypothèse n’a guidé nos recherches.
Les résultats d’une étude canadienne sur les techniques d’analyse mobilisées dans les cercles d’élaboration de politiques publiques au Canada (étude quantitative, transversale et dotée d’un grand échantillon) montrent que le remue-méninges (brainstorming) est la formule d’analyse la plus souvent utilisée et que l’analyse critique d’études scientifiques ne fait pas partie des techniques mobilisées (Howlett et coll., 2014 : 9). Ce constat s'explique peut-être par le fait que les techniques d’analyse critique d’études scientifiques sont relativement récentes et qu'il existe plusieurs obstacles reconnus à l’adoption des innovations dans le secteur public (Bason, 2010). Qui plus est, une étude récente qui sera exposée dans le chapitre 2 de cette thèse en réponse à notre première question de recherche démontre qu’il existe peu de cours en analyse critique d’études scientifiques offerts aux étudiants inscrits dans des programmes universitaires canadiens en science politique et en administration publique (Lapointe et coll., 2015).
Les données de l’enquête de Ouimet et coll. (2010) montrant que la littérature scientifique est consultée de façon routinière par plusieurs analystes au sein des ministères québécois combinés aux résultats de l’étude que nous avons réalisée pour répondre à notre première question de recherche nous ont amené à formuler l’hypothèse de recherche suivante :
L’analyse critique formelle d’études scientifiques est peu connue par les gestionnaires publics et cette pratique ne fait pas partie de l’arsenal analytique couramment mobilisé au sein des ministères québécois puisqu’elle n’est pas intégrée au cursus des programmes universitaires dédiés à la formation des futurs analystes de la fonction publique.
En d’autres termes, l’idée centrale de cette thèse est que, jusqu’à maintenant, la pratique informée par les données probantes n’est pas encore devenue routine au sein de
22
l’administration publique québécoise pour des raisons liées aux trois concepts mis de l’avant par la TCP (l’attitude, les normes subjectives et la perception du contrôle sur le comportement). Qui plus est, nous postulons que les universités ont un rôle fondamental à jouer si on désire changer cet état de fait.
Les prochaines sections de la thèse présentent la programmation de recherche qui fut déployée pour répondre aux questions de recherche et mettre à l’épreuve notre hypothèse. Cette programmation de recherche se fonde sur six collectes de données empiriques indépendantes qui ont généré trois articles scientifiques et qui forment le cœur de la présente thèse. Premièrement, nous présentons une étude mixte comportant un scan environnemental et une revue systématique de la littérature scientifique de type revue de la portée (scoping review) dont l’objectif était de documenter les initiatives mises en œuvre par les universités canadiennes afin d’enseigner les techniques d'analyse critique d’études scientifiques à l'aide d'outils validés aux étudiants inscrits dans un cursus de science politique ou d'administration publique (première question de recherche). Deuxièmement, les résultats d’une étude de type avant-après menée sur trois années consécutives visant à mesurer l'impact d'un cours offert à la Maîtrise en affaires publiques (MAP) de l’Université Laval sur les connaissances acquises par les étudiants en analyse critique d’études scientifiques sont présentés (deuxième question de recherche). Troisièmement, nous exposons la méthodologie et les résultats d’une étude qualitative réalisée auprès de 35 directions de la fonction publique québécoise et qui avait pour but d’interroger les directeurs de ces unités sur l’importance qu’ils accordent à ce que les employés de leur équipe possèdent les connaissances nécessaires pour évaluer la validité des études scientifiques (troisième et quatrième questions de recherche). Finalement, nous concluons la thèse avec des suggestions concernant les implications pratiques et théoriques qui découlent des résultats de ces trois études imbriquées.
23
Article 1
Cet article a été publié dans le revue scientifique Administration publique du Canada (Canadian Public Administration).
Lapointe, L., Ouimet, M., Charbonneau, M., et Beorofei, É. T. 2015. Do Canadian University Students in Political Science and Public Administration Learn to Perform Critical Appraisal?. Canadian Public Administration, 58(3), pp. 487-503.
24
Chapitre 2 : Do Canadian University
Students in Political Science and
Public Administration Learn to
Perform Critical Appraisal?
Luc Lapointe
Mathieu Ouimet
Marissa Charbonneau
25
Abstract
The ability to critically appraise empirical studies of any type is a prerequisite to evidence-informed policy-making. We scanned the syllabi of all Canadian university undergraduate and graduate programs in public affairs, public administration, public policy and political science. Our findings suggest that evidence-informed policy is not yet institutionalized in most public administration and political science training curricula. We conducted a systematic review of prospective experimental and quasi-experimental studies examining the effect of university courses aimed at training social sciences students in critical appraisal, but did not find such a study.
