Il est difficile d’amener un homme à comprendre quelque chose, quand son salaire dépend de son incompréhension.
- Upton Sinclair
Il y a une dernière chose que je pense devoir mentionner. En lisant ce que les manuels ont souvent à dire sur l’évaluation de la validité d’une étude, je n’ai pas pu m’empêcher de remarquer qu’ils semblent supposer que le chercheur est honnête. Je trouve ça hilarant. Bien que la grande majorité des scientifiques soient honnêtes, du moins d’après mon expérience, certains ne le sont pas.13 De plus, comme je l’ai mentionné plus tôt, les
scientifiques ne sont pas à l’abri des préjugés. Il est facile pour un chercheur de se tromper en fin de compte et d’avoir des croyances erronées, ce qui peut l’amener à mener des recherches subtilement imparfaites, puis à cacher ces défauts lorsqu’il les écrit. Il faut donc tenir compte non seulement de la possibilité (probablement peu probable) de fraude pure et simple, mais aussi de la possibilité (probablement assez courante) que la recherche soit involontairement « orientée ». J’ai ouvert quelques manuels standard et je n’ai pas trouvé beaucoup de discussion sur ce problème, alors voici ma propre tentative pour énumérer quelques façons dont ces questions peuvent se poser :
• Fabrication de données. Parfois, les gens se contentent d’inventer les données. Cela se fait parfois avec de « bonnes » intentions. Par exemple, le chercheur croit que les données fabriquées reflètent la vérité et qu’elles peuvent en fait refléter des versions « légèrement nettoyées » de données réelles. Dans d’autres cas, la fraude est délibérée et malveillante. Cyril Burt (un psychologue qui aurait fabriqué certaines de ses données), Andrew Wakefield (accusé d’avoir fabriqué ses données reliant le vaccin ROR à
l’autisme) et Hwang Woo-suk (qui a falsifié beaucoup de ses données sur les cellules souches) sont des exemples très médiatisés où la fabrication de données a été alléguée ou présentée.
• Des canulars. Les canulars ont beaucoup de similitudes avec la fabrication de données, mais ils diffèrent quant à l’usage auquel ils sont destinés. Un canular est souvent une blague, et beaucoup d’entre eux sont destinés à être (éventuellement) découverts. Souvent, le but d’un canular est de discréditer quelqu’un ou un domaine. Il y a eu pas mal de canulars scientifiques bien connus au fil des ans (p. ex., l’homme de Piltdown) et certains étaient des tentatives délibérées de discréditer certains domaines de
recherche (p. ex., l’affaire Sokal).
• Représentation erronée des données. Bien que la fraude fasse les manchettes, il est beaucoup plus courant, d’après mon expérience, de voir des données déformées.
13 Certains diront que si vous n’êtes pas honnête, vous n’êtes pas un vrai scientifique. Ce qui
est vrai en partie, je suppose, mais c’est malhonnête (regardez l’erreur “No true Scotsman”). Le fait est qu’il y a beaucoup de gens qui sont ostensiblement employés en tant que
scientifiques, et dont le travail a tous les attributs de la science, mais qui sont carrément frauduleux. Prétendre qu’ils n’existent pas en disant qu’ils ne sont pas des scientifiques, c’est un raisonnement confus.
Quand je dis cela, je ne parle pas des journaux qui se trompent (ce qu’ils font, presque toujours). Je fais allusion au fait que, souvent, les données ne disent pas ce que les chercheurs pensent qu’ils disent. Je pense que, presque toujours, ce n’est pas le résultat d’une malhonnêteté délibérée, mais plutôt d’un manque de sophistication dans
l’analyse des données. Repensez, par exemple, au paradoxe de Simpson dont j’ai parlé au début de ce livre. Il est très courant de voir des gens présenter des données
« agrégées » d’une sorte ou d’une autre et parfois, lorsque vous creusez plus
profondément et que vous trouvez les données brutes, vous constatez que les données agrégées racontent une histoire différente des données désagrégées. Par ailleurs, il se peut que vous découvriez qu’un aspect des données est caché parce qu’il raconte une histoire gênante (p. ex. le chercheur peut choisir de ne pas faire référence à une variable particulière). Il y a beaucoup de variantes à ce sujet, dont beaucoup sont très difficiles à détecter.
• Erreur de conception. D’accord, celle-ci est subtile. Le problème ici, c’est
essentiellement qu’un chercheur conçoit une étude qui comporte des lacunes et que ces lacunes ne sont jamais signalées dans la revue. Les données qui sont rapportées sont tout à fait réelles et correctement analysées, mais elles sont produites par une étude qui est en fait très mal faite. Le chercheur veut vraiment trouver un effet particulier et c’est pourquoi l’étude est conçue de manière à ce qu’il soit « facile » d’observer (artefactuellement) cet effet. Une façon sournoise de le faire, au cas où vous auriez envie de vous lancer dans un peu de fraude, est de concevoir une expérience dans laquelle il est évident pour les participants de faire ce qu’ils sont « censés » faire, puis de laisser la réactivité faire son effet magique pour vous. Si vous le souhaitez, vous pouvez ajouter tous les pièges de l’expérimentation en double aveugle, mais cela ne changera rien puisque le matériel d’étude lui-même dit subtilement aux gens ce que vous voulez qu’ils fassent. Lorsque vous rédigez les résultats, la fraude n’est pas évidente pour le lecteur. Ce qui est évident pour le participant lorsqu’il est dans le contexte expérimental ne l’est pas toujours pour la personne qui lit l’article. Bien sûr, la façon dont je l’ai décrit donne l’impression que c’est toujours de la fraude. Il y a
probablement des cas où cela est fait délibérément, mais d’après mon expérience, il est plus probable que cela relève d’une mauvaise conception non intentionnelle. Le
chercheur y croit et il se trouve que l’étude finit par présenter un défaut qui s’efface comme par magie lorsque l’étude est rédigée en vue de sa publication.
• Exploration de données et hypothèses post hoc. Une autre façon dont les auteurs d’une étude peuvent plus ou moins déformer les données est de s’engager dans ce qu’on appelle le « data mining » (voir Gelman and Loken 2014 pour une discussion plus large à ce sujet dans le cadre du « jardin aux sentiers qui bifurquent » en analyse
statistique). Comme nous le verrons plus loin, si vous continuez à essayer d’analyser vos données de différentes manières, vous finirez par trouver quelque chose qui « ressemble » à un effet réel mais ne l’est pas. C’est ce qu’on appelle le « data mining ». Auparavant, c’était assez rare parce que l’analyse des données prenait des semaines, mais maintenant que tout le monde a un logiciel statistique très puissant sur son ordinateur, c’est devenu très courant. L’exploration de données en soi n’est pas
va pas, et je soupçonne que c’est très courant, c’est l’exploration de données non
reconnue. C’est-à-dire que le chercheur effectue toutes les analyses possibles connues
de l’humanité, trouve celle qui fonctionne et prétend ensuite que c’est la seule analyse qu’il ait jamais faite. Pire encore, ils « inventent » souvent une hypothèse après avoir examiné les données pour masquer le data mining. Pour être clair. Il n’y a pas de mal à changer de croyance après avoir regardé les données et à réanalyser vos données à l’aide de vos nouvelles hypothèses « post hoc ». Ce qui ne va pas (et je soupçonne que c’est courant), c’est de ne pas reconnaître que vous l’avez fait. Si vous reconnaissez que vous l’avez fait, d’autres chercheurs pourront tenir compte de votre comportement. Si vous ne le faites pas, ils ne peuvent pas. Cela rend votre comportement trompeur. • Biais de publication et autocensure. Enfin, un biais omniprésent est le fait de « ne
pas rapporter « les résultats négatifs. C’est presque impossible à prévenir. Les revues ne publient pas tous les articles qui leur sont soumis. Ils préfèrent publier des articles qui trouvent « quelque chose ». Donc, si 20 personnes font une expérience pour savoir si la lecture de Finnegans Wake cause de la folie chez les humains, et que 19 d’entre elles découvrent que ce n’est pas le cas, laquelle d’entre elles sera publiée selon vous ? Évidemment, c’est la seule étude qui a trouvé que Finnegans Wake cause la folie. Il s’agit d’un14 exemple de biais de publication. Comme personne n’a jamais publié les 19
études qui n’ont pas trouvé d’effet, un lecteur naïf ne saurait jamais qu’elles existent. Pire encore, la plupart des chercheurs « internalisent » ce biais et finissent par
autocensurer leurs recherches. Sachant que les résultats négatifs ne seront pas
acceptés pour publication, ils n’essaient même pas de les rapporter. Comme le dit un de mes amis « pour chaque expérience publiée, vous avez aussi 10 échecs ». Et elle a raison. Le piège, c’est que si certaines (peut-être la plupart) de ces études sont des échecs pour des raisons sans intérêt (par exemple, vous avez fait une erreur), d’autres peuvent être de véritables résultats « nuls » que vous devriez reconnaître lorsque vous rédigez la « bonne » expérience. Et dire quoi est ce qui est souvent difficile à faire. Un bon point de départ est un article de Ioannidis (2005) intitulé « Why most published research findings are false ». Je suggère également de jeter un coup d’œil aux travaux de Kühberger, Fritz et Scherndl (2014) qui ont montré statistiquement que cela se produit effectivement en psychologie.
Il y a probablement beaucoup d’autres questions de ce genre auxquelles il faut penser, mais cela fera l’affaire pour commencer. Ce que je veux vraiment souligner, c’est la vérité
aveuglante et évidente que la science du monde réel est menée par de vrais humains, et que seuls les plus crédules d’entre nous supposent automatiquement que tout le monde est honnête et impartial. Les scientifiques actuels ne sont généralement pas si naïfs que ça, mais pour une raison quelconque, le monde aime faire semblant de l’être, et les manuels
scolaires que nous écrivons habituellement semblent renforcer ce stéréotype.
14 De toute évidence, l’effet réel est que seuls les fous essaieraient même de lire Finnegans Wake.
Résumé
Ce chapitre n’a pas vraiment pour but de fournir une discussion exhaustive des méthodes de recherche en psychologie. Il faudrait un autre volume aussi long que celui-ci pour rendre justice au sujet. Cependant, dans la vie réelle, les statistiques et la conception des études sont si étroitement liées qu’il est très important de discuter de certains des sujets clés. Dans ce chapitre, j’ai abordé brièvement les sujets suivants :
• Introduction à la mesure psychologique (Section 2.1). Que signifie opérationnaliser une construction théorique ? Que signifie avoir des variables et faire des mesures ?
• Échelles de mesure et types de variables (section 2.2). Rappelez-vous qu’il y a ici deux distinctions différentes. Il y a la différence entre les données discrètes et continues, et il y a la différence entre les quatre différents types d’échelle (nominale, ordinale,
intervalle et ratio).
• Fiabilité d’une mesure (section 2.3). Si je mesure deux fois la même chose, dois-je m’attendre à voir le même résultat ? Seulement si ma mesure est fiable. Mais qu’est-ce que cela signifie de parler de faire la « même chose » ? C’est pourquoi nous avons différents types de fiabilité. Ne l’oubliez pas.
• Terminologie : prédicteurs et résultats (Section 2.4). Quels rôles les variables jouent- elles dans une analyse ? Pouvez-vous vous rappeler la différence entre les prédicteurs et les résultats ? Variables dépendantes et indépendantes ? Etc.
• Plans de recherche expérimentaux et non expérimentaux (section 2.5). Qu’est-ce qui fait qu’une expérience est une expérience ? S’agit-il d’une belle blouse blanche ou est-ce que cela a quelque chose à voir avec le contrôle des variables par les chercheurs ? • Validité et menaces (section 2.6). Votre étude mesure-t-elle ce que vous voulez qu’elle
fasse ? Comment les choses peuvent-elles mal tourner ? Et est-ce mon imagination, ou était-ce une très longue liste de façons possibles dont les choses peuvent mal tourner ? Tout cela devrait vous indiquer clairement que la conception de l’étude est un élément essentiel de la méthodologie de recherche. J’ai construit ce chapitre à partir du petit livre classique de Campbell et al (1963), mais il y a bien sûr un grand nombre de manuels sur la conception de la recherche. Passez quelques minutes avec votre moteur de recherche préféré et vous en trouverez des dizaines.