Lorsque vous rédigez les résultats d’un test d’hypothèse, il y a habituellement plusieurs éléments d’information que vous devez rapporter, mais cela varie beaucoup d’un test à l’autre. Tout au long du reste du livre, je vais passer un peu de temps à parler de la façon de rapporter les résultats des différents tests (voir la Section 10.1.9 pour un exemple
particulièrement détaillé), afin que vous puissiez vous faire une idée de la façon dont cela se fait habituellement. Cependant, peu importe le test que vous faites, la seule chose que vous devez toujours faire est de dire quelque chose sur la valeur p et si le résultat est significatif ou non.
Le fait que vous deviez le faire n’est pas surprenant, c’est tout l’intérêt de faire le test. Ce qui peut surprendre, c’est le fait qu’il y a une certaine controverse sur la façon exacte de faire les choses. Si l’on laisse de côté les personnes qui ne sont pas du tout d’accord avec
l’ensemble du cadre qui sous-tend les tests d’hypothèse nulle, il existe une certaine tension quant à savoir s’il faut déclarer ou non la valeur exacte de p que vous avez obtenue, ou si vous devez déclarer seulement ce 𝑝 < 𝛼 pour un niveau de signification que vous avez préalablement choisi (p. ex., p<.05).
La question
Pour comprendre pourquoi il s’agit d’un problème, le point clé à comprendre est que les valeurs p sont terriblement pratiques. En pratique, le fait que nous puissions calculer une valeur p signifie que nous n’avons pas besoin du tout de spécifier un niveau 𝛼 pour exécuter le test. A la place, vous pouvez calculer votre valeur p et l’interpréter directement. Si vous obtenez p = 0,062, cela signifie que vous devez être prêt à tolérer un taux d’erreur de type I de 6,2 % pour justifier le rejet de la valeur nulle. Si vous trouvez personnellement 6,2 % intolérable, vous conservez l’hypothèse nulle. Par conséquent, l’argument est le suivant : pourquoi ne pas simplement déclarer la valeur réelle de p et laisser au lecteur le soin de se faire sa propre opinion sur ce qu’est un taux d’erreur de type I acceptable ? Cette approche a le grand avantage « d’adoucir » le processus de prise de décision. En fait, si vous acceptez la définition de Neyman de p, c’est le sens même de la valeur de p. Nous n’avons plus un niveau de signification fixe de 𝛼 = .05 comme la limite qui sépare les décisions « accepter » et « rejeter », ce qui élimine le problème plutôt pathologique de devoir traiter p=.051 d’une manière fondamentalement différente de p =.049.
Cette flexibilité est à la fois l’avantage et l’inconvénient de la valeur p. La raison pour
laquelle beaucoup de gens n’aiment pas l’idée de rapporter une valeur p exacte est que cela donne un peu trop de liberté au chercheur. En particulier, il vous permet de changer d’avis sur la tolérance aux erreurs que vous êtes prêt à tolérer après avoir examiné les données. Prenons, par exemple, mon expérience sur la PES. Supposons que j’ai fait mon test et que j’ai obtenu une valeur p de 0,09. Dois-je accepter ou rejeter ? Maintenant, pour être honnête, je n’ai pas encore pris la peine de penser au niveau d’erreur de type I que je suis
« vraiment » prêt à accepter. Je n’ai pas d’opinion à ce sujet. Mais j’ai une opinion sur l’existence ou non de la PES, et j’ai certainement une opinion sur le fait que mes recherches devraient être publiées dans une revue scientifique réputée. Et étonnamment, maintenant que j’ai examiné les données, je commence à penser qu’un taux d’erreur de 9 % n’est pas si
mauvais, surtout si on le compare au fait qu’il serait ennuyeux d’avoir à reconnaitre publiquement que mon expérience a échoué. Donc, pour ne pas avoir l’air d’avoir tout inventé après coup, je dis maintenant que mon 𝛼 est .1, avec l’argument qu’un taux d’erreur de type I de 10% n’est pas trop mauvais et à ce niveau mon test est significatif ! J’ai gagné. En d’autres termes, ce qui m’inquiète ici, c’est qu’ayant les meilleures intentions et étant la plus honnête des personnes, la tentation de cacher un peu les choses ici et là est vraiment, vraiment forte. Comme tous ceux qui ont déjà fait une expérience peuvent en témoigner, c’est un processus long et difficile et on s’attache souvent beaucoup à ses hypothèses. C’est difficile de laisser aller et d’admettre que l’expérience n’a pas permis de trouver ce que vous vouliez trouver. Et c’est là que réside le danger. Si nous utilisons la valeur p « brute », les gens commenceront à interpréter les données en fonction de ce qu’ils veulent croire, et non de ce que les données disent réellement et, si nous le permettons, pourquoi nous donnons- nous la peine de faire de la science ? Pourquoi ne pas laisser tout le monde croire ce qu’il veut de n’importe quoi, quels que soient les faits ? C’est un peu extrême, mais c’est de là que vient l’inquiétude. Selon ce point de vue, vous devez vraiment spécifier votre valeur 𝛼 à l’avance et ensuite seulement indiquer si le test était significatif ou non. C’est le seul moyen de rester honnête.
Tableau 9‑1 : Une convention communément adoptée pour la déclaration des valeurs p : dans de nombreuses publications, il est conventionnel de déclarer un de quatre résultats différents (par exemple, p < .05) comme indiqué ci-dessous. J’ai inclus la notation des « étoiles » (i.e., un * indique p < .05) parce que vous voyez parfois cette notation produite par un logiciel statistique. Il convient également de noter que certaines personnes écrivent ns. (non significatif) plutôt que p > .05.
Notation usuelle Signif. étoiles En langage courant HO est…. 𝑝 > .05 ns Le test n’était pas significatif Retenue 𝑝 < .05 * Le test était significatif sur 𝛼 = .05 mais pas sur
𝛼 = .01 ou 𝛼 = .001.
Rejetée 𝑝 < .01 ** Le test était significatif sur 𝛼 = .05 et 𝛼 = .01
mais pas sur 𝛼 = .001. Rejetée
𝑝 < .001 *** Le test était significatif à tous les niveaux Rejetée
Deux solutions proposées
Dans la pratique, il est assez rare qu’un chercheur spécifie un seul niveau 𝛼 à l’avance. La convention veut plutôt que les scientifiques se fondent sur trois niveaux de signification standard : .05,.01 et.001. Lorsque vous rapportez vos résultats, vous indiquez lesquels (le cas échéant) de ces niveaux de signification vous permettent de rejeter l’hypothèse nulle. Ce point est résumé dans le Tableau 9‑1. Cela nous permet d’assouplir un peu la règle de
stricte que 𝑝 < .05 le ferait. Néanmoins, comme ces niveaux sont fixés à l’avance par
convention, cela empêche les gens de choisir leur niveau 𝛼 après avoir examiné les données. Néanmoins, un grand nombre de personnes préfèrent encore communiquer des valeurs p exactes. Pour beaucoup, l’avantage de permettre au lecteur de se faire sa propre opinion sur la façon d’interpréter p = .06 l’emporte sur les inconvénients éventuels. Dans la pratique, cependant, même parmi les chercheurs qui préfèrent des valeurs p exactes, il est assez courant d’écrire simplement p < .001 au lieu de rapporter une valeur exacte pour un petit p. C’est en partie parce que beaucoup de logiciels n’impriment pas réellement la valeur de p quand elle est si petite (par exemple, SPSS écrit simplement p = .000 chaque fois que
p < .001), et en partie parce qu’une très petite valeur p peut être un peu trompeuse. L’esprit
humain voit un nombre comme .00000000000001 et il est difficile de supprimer le sentiment instinctif que la preuve en faveur de l’hypothèse alternative est une quasi- certitude. Dans la pratique, cependant, ce n’est généralement pas le cas. La vie est une activité importante, désordonnée et compliquée, et tous les tests statistiques jamais inventés reposent sur des simplifications, des approximations et des hypothèses. Par conséquent, il n’est probablement pas raisonnable de s’éloigner d’une analyse statistique avec un sentiment de confiance plus fort que p < .001. En d’autres termes, p<.001 est vraiment un véritable indice de ce que sont “les preuves convaincantes pour le test concerné”.
À la lumière de tout cela, vous vous demandez peut-être ce que vous devriez faire exactement. Il y a pas mal de conseils contradictoires sur le sujet, certaines personnes soutenant que vous devriez déclarer la valeur exacte de p, et d’autres que vous devriez utiliser l’approche par paliers illustrée dans le Tableau 9‑1. Par conséquent, le meilleur conseil que je puisse donner est de vous suggérer de consulter les documents/rapports écrits dans votre domaine et de voir ce que semble être la convention. S’il ne semble pas y avoir de tendance constante, utilisez la méthode que vous préférez.