Il n’est pas surprenant que les scientifiques soient assez obsédés par la maximisation de la puissance de leurs expériences. Nous voulons que nos expériences fonctionnent et nous voulons donc maximiser les chances de rejeter l’hypothèse nulle si elle est fausse (et bien sûr nous voulons généralement croire qu’elle est fausse !). Comme nous l’avons vu, l’un des facteurs qui influencent la puissance est la taille de l’effet. La première chose que vous pouvez faire pour augmenter votre puissance est donc d’augmenter la taille de l’effet. Dans la pratique, cela signifie que vous voulez concevoir votre étude de manière à ce que la taille de l’effet soit agrandie. Par exemple, dans mon étude sur la PES, je pourrais croire que les pouvoirs psychiques fonctionnent mieux dans une pièce calme et sombre avec moins de distractions pour perturber l’esprit. C’est pourquoi j’essaierais de mener mes expériences dans un tel environnement. Si je peux renforcer les capacités de PES des gens d’une manière ou d’une autre, alors la vraie valeur de 𝜃 augmentera62 et donc ma taille d’effet sera plus
grande. En bref, un design expérimental intelligent est un moyen d’augmenter la puissance, car il peut modifier la taille de l’effet.
Malheureusement, il arrive souvent que même avec les meilleures conceptions expérimentales, vous n’ayez qu’un effet minime. Peut-être, par exemple, l’ESP existe vraiment, mais même dans les meilleures conditions, elle est très très faible. Dans ces circonstances, le meilleur moyen d’augmenter la puissance est d’augmenter la taille de l’échantillon. En général, plus vous avez d’observations disponibles, plus il est probable que vous puissiez faire la distinction entre deux hypothèses. Si j’avais fait mon expérience sur la PES avec 10 participants et que 7 d’entre eux avaient deviné correctement la couleur de la carte cachée, vous ne seriez pas terriblement impressionné. Mais si je l’avais fait avec 10 000 participants, et que 7 000 d’entre eux avaient obtenu la bonne réponse, vous auriez beaucoup plus tendance à penser que j’avais découvert quelque chose. En d’autres termes, la puissance augmente avec la taille de l’échantillon. Ceci est illustré dans la Figure 9‑8, qui montre la puissance du test pour un paramètre vrai de 𝜃 = 0.7 pour toutes les tailles d’échantillon N de 1 à 100, où je suppose que l’hypothèse nulle prédit que 𝜃0 = 0.5.
62 Notez que le vrai paramètre de population 𝜃 ne correspond pas nécessairement à un fait
immuable de la nature. Dans ce contexte, 𝜃 n’est que la véritable probabilité que les gens devinent correctement la couleur de la carte dans l’autre pièce. En tant que tel, le paramètre de population peut être influencé par toutes sortes de choses. Bien sûr, tout ceci est basé sur l’hypothèse que la PES existe réellement !
Parce que la puissance est importante, chaque fois que vous envisagez de faire une expérience, il serait très utile de savoir quel niveau de puissance vous êtes susceptible d’avoir. Il n’est jamais possible d’en être sûr car il est impossible de connaître la taille réelle de votre effet. Cependant, il est souvent (enfin, parfois) possible de deviner sa taille. Si oui, vous pouvez deviner la taille de l’échantillon dont vous avez besoin ! Cette idée s’appelle l’analyse de puissance, et si c’est faisable, alors c’est très utile. Il peut vous dire si vous avez assez de temps ou d’argent pour mener à bien l’expérience. Il est de plus en plus courant de voir des gens affirmer que l’analyse de puissance devrait faire partie intégrante de la conception expérimentale, alors cela vaut la peine d’en savoir plus. Je ne parle pas de l’analyse de puissance dans ce livre, cependant. C’est en partie pour une raison ennuyeuse et en partie pour une raison de fond. La raison ennuyeuse est que je n’ai pas encore eu le temps d’écrire sur l’analyse de puissance. Le plus important, c’est que je me méfie encore un peu de l’analyse de puissance. En tant que chercheur, je me suis très rarement trouvé en mesure de le faire. Soit (a) mon expérience est une expérience un peu non standard et je ne sais pas comment définir correctement la taille de l’effet, ou (b) j’ai littéralement si peu d’idée sur la taille de l’effet que je ne saurais pas comment interpréter les réponses.
Figure 9‑8 : La puissance de notre test tracée en fonction de la taille de l’échantillon N. Dans ce cas, la valeur réelle de 𝜃 est 0,7 mais l’hypothèse nulle est que 𝜃 = 0,5. Dans l’ensemble, plus N est grand, plus la puissance est grande. (Les petits zig-zags dans cette fonction se produisent à cause de quelques interactions étranges entre 𝑡ℎ𝑒𝑡𝑎, 𝛼 et le fait que la distribution binomiale est discrète, cela ne pose pas de problème pour notre propos). En plus de cela, après de longues conversations avec quelqu’un qui est consultant en statistiques pour gagner sa vie (ma femme, en l’occurrence), je ne peux m’empêcher de
remarquer qu’en pratique, le seul moment où quelqu’un lui demande de faire une analyse de puissance c’est quand elle aide quelqu’un à rédiger une demande de subvention. En d’autres termes, le seul moment où un scientifique semble vouloir une analyse de puissance dans la vraie vie, c’est lorsqu’il est forcé de le faire par un processus bureaucratique. Ça ne fait partie du travail quotidien de personne. Bref, j’ai toujours été d’avis que même si la puissance est un concept important, l’analyse de puissance n’est pas aussi utile que les gens le disent, sauf dans les rares cas où (a) quelqu’un a trouvé comment calculer la puissance pour votre plan expérimental réel et (b) vous avez une assez bonne idée de la taille de l’effet probable.63 Peut-être que d’autres personnes ont eu de meilleures expériences que moi,
mais personnellement je n’ai jamais été dans une situation où les deux (a) et (b) étaient vrais. Peut-être que je serai convaincu du contraire à l’avenir, et probablement qu’une prochaine version de ce livre inclurait une discussion plus détaillée de l’analyse de puissance, mais pour l’instant, c’est à peu près tout ce que je suis capable de dire sur le sujet.