Supposons que nous sachions que le taux de réussite à une épreuve cognitive dans la population est de 60%. On dira : la probabilité de réussir cette épreuve est de 0.6 dans la population générale.
Appelons π0 cette probabilité de réussite de référence, avec π0 = 0.6. En fai-sant passer cette épreuve à quatre sujets cérébrolésés (de lésions comparables), un psychologue découvre qu’aucun d’entre eux n’a réussi l’épreuve. La fréquence empirique de réussite pour cet échantillon est doncf = 04 = 0. Peut-on dire qu’on a là affaire à un groupe de sujets particulièrement défaillants dans cette épreuve ? Autrement dit : ce type de lésion est-il la source d’une moindre performance à l’épreuve ?
Cette question a une double pertinence clinique et scientifique :
– scientifiquement, il est important pour comprendre le fonctionnement du cer-veau d’être capable de repérer que certaines lésions localisées se soldent par des déficits cognitifs identifiables ;
– cliniquement, il est important de pouvoir utiliser certains résultats de tests psychologiques comme des outils de soutien au diagnostic.
6.3.1 Modélisation
Pour répondre à cette question, il nous faut construire un modèle de la perfor-mance de nos sujets. Dans le cas présent cela revient à dire : il nous faut faire une hypothèse sur la probabilité πde réussite du groupe auquel ils appartiennent.
Cette probabilité est inconnue (et ne doit pas être confondue avec la fréquence observée de réussitef = 0) mais nous pouvons poser une hypothèse sur elle.
On note que le raisonnement nous conduit à manipuler trois quantités bien dis-tinctes :
1. laprobabilité connueπ0 de réussite dans la population générale non patho-logique (π0= 0.6) ;
2. la probabilité inconnue π de réussite dans la population des patients qui souffrent de cette lésion ;
3. la fréquence connue f de réussite dans l’échantillon clinique de quatre pa-tients dont nous disposons (f = 0).
On note que la question posée ne porte pas sur les quatre patients particuliers que nous avons testés, mais porte bien sur la population pathologique correspondante.
Fig. 6.1– Echantillonnage et inférence
Autrement dit, nous cherchons à dire d’un point de vuethéorique, quelque chose de cettepopulation à travers la connaissanceempirique que nous avons des résultats obtenus par cet échantillon. Ce type de raisonnement qui va du particulier au général s’appelleinférenceou induction.
Dans ce contexte, nous pouvons envisager deux hypothèses :
1. Une hypothèse H0 qui pose que la probabilité de réussite des patients est du même ordre que celle de la population générale non pathologique. On peut écrire :H0:π=π0.
2. Une hypothèseH1qui pose que la lésion se traduit par une moindre probabilité de réussite des patients à cette épreuve. On écrit :H1:π < π0.
Fig. 6.2– Hypothèses nulle et alternative
La première hypothèse est simple, au sens où elle fixe la probabilité inconnue à une valeur précise. Elle conduit donc à un modèle de probabilité bien défini.
La seconde est composée, au sens où elle prend en compte pourπ une infinité de valeurs possibles sur [0;π0[.
Il est donc naturel de chercher à construire le raisonnement surH0, qui mène à un modèle exact si elle est vraie.
Si cette hypothèse est correcte la probabilité πde réussir à cette épreuve devrait être la même que dans la population générale, soit π=π0. On écrit parfois une telle hypothèse sous la forme équivalente π−π0 = 0 et pour cette raison on l’appellehypothèse nulle(notéeH0). Une hypothèse nulle affirme, comme son nom l’indique, que quelque chose vaut 0 dans une population.
6.3.2 La valeur p
Nous jugerons que ce modèle décrit bien ce qui se passe si la probabilité d’obtenir un résultat aussi extrême que 4 échecs sur 4 passations (soit une fréquence de réussite def = 0) est assez élevée selon ce modèle. L’événement « 4 échecs » est un événement composé des 4 échecs élémentaires de chacun des sujets, de probabilité 1−π0 chacun, selon l’hypothèse nulle. En admettant que les performances des sujets sont indépendantes (les passations étaient séparées), on applique la loi du produit (cf. section 4.3.2) et on calcule cette probabilité conjointeL0en multipliant simplement les probabilités (selonH0) de chaque événement élémentaire :
L0 = P(f = 0|H0)
= (1−π0)(1−π0)(1−π0)(1−π0)
= (1−π0)4
= 0.44= 0.0256.
On appellevraisemblancedu modèle cette probabilité d’observer les données telles qu’elles sont, d’après notre modèle1. On voit en effet qu’elle sera d’autant plus élevée que notre modèle décrit bien ce qui se passe. Selon notre modèle, ce que nous avons observé (0 réussite sur 4) avait 2.5% de chances de se produire.
D’un point de vue pratique, on s’intéresse en général à une probabilité un peu étendue, nomméevaleur p(notéep), soit celle d’observer un niveau de réussiteau moins aussi improbableque celui qu’on obtient (et non pas seulement la probabilité du résultat expérimental obtenu) dans le sens de l’alternative. Dans le cas présent, ces deux probabilités sont les mêmes car nous ne pouvons pas obtenir moins que 0 réussite, mais ce ne sera pas le cas en général.
6.3.3 Seuil de décision et erreur de type I
Cette probabilité est-elle faible ou élevée ? Nous ne pouvons en décider qu’en dé-finissant unseuil de décision ou risque (nomméα), en deça duquel nous jugerons
1. Conformément à l’usage, nous utilisons pour cette probabilité conjointe le symbole L, initiale du mot anglaislikelihood (vraisemblance).
qu’une valeur p est trop faible pour accepter un modèle. Les statisticiens et les psychologues utilisent souvent la valeur α = 0.05 pour leurs décisions. Il n’y a pas d’autre justification à ce choix que la nécessité d’en faire un, arbitraire. A ce seuil de décision, la valeur p est ici trop faible et nous jugerons le modèle peu vraisemblable. On choisira ici de conclure que le niveau de réussite de ces patients cérébrolésés à l’épreuve n’est pas comparable à ce qu’il est dans la population générale.
Cette conclusion est néanmoins risquée, car strictement parlant, la probabilité d’observer 4 échecs sur 4 observations selon notre modèle n’est pas nulle, mais simplement très faible. On dira qu’on rejette l’hypothèse nulle H0 avec une pro-babilité de se tromper de 0.0256.
On appelle erreur de type I (ou erreur de type α) l’erreur qui consiste à rejeter un modèle nul alors qu’il est vrai (il se peut après tout que nos sujets en tant que représentants de leur groupe ne soient pas spécialement défaillants dans cette épreuve). Les statistiques ne permettent donc pas d’amener des conclusions plus définitives que n’importe quelle autre approche plus intuitive. Elles permettent cependant de quantifier la probabilité de se tromper en rejetant un modèle, et de la fixer à une valeur arbitrairement petite. Et c’est un avantage de taille. En prenant toujours pour seuil de décision la valeur α = 0.05 je sais que je ne me tromperai au maximum que dans 5% des cas en rejetant le modèle nul que j’ai posé au départ.
On appellepuissancestatistique la capacité d’une procédure de décision à correc-tement rejeter un modèle faux.
6.3.4 Erreur de type II
Quand on trouve p > α, on accepte l’hypothèse nulle. Dans ces cas, nous n’avons pas néanmoins de preuve que ce modèle est correct. Simplement nous n’avons pas trouvé d’élément qui nous amène à le rejeter. En ce sens, nous pouvons nous tromper en acceptant H0 alors qu’elle est fausse : c’est ce qu’on appellel’erreur de type II(ou erreur de typeβ).
Dans le choix d’un modèle, on cherche toujours à rendre aussi petites que possibles les erreurs de type I et II. Je peux amener à 0 l’erreur de type I en acceptant toujoursH0 quels que soient les problèmes étudiés ou amener à 0 l’erreur de type II en rejetant toujoursH0, mais je ne peux pas les amener toutes les deux à zéro.
Elles sont inversement liées et la démarche statistique cherche à minimiser les deux en même temps.
La démarche statistique en psychologie vise à formaliser la construction de mo-dèle, inhérente à la méthode scientifique, pour se donner les moyens de mesurer la probabilité de se tromper en rejetant ce modèle. En construisant un modèle de la situation formulé de façon probabiliste, le psychologue ne propose pas seulement un modèle théorique du phénomène qu’il observe, mais se donne aussi les moyens d’évaluer la probabilité d’obtenir les résultats d’expérience qui sont les siens, sa-chant ce modèle (la vraisemblance de ce modèle), ainsi que la probabilité de se
tromper en le rejetant, le cas échéant. Si les résultats d’expérience (ou d’observa-tion) apparaissent peu probables selon le modèle, c’est que le modèle n’est sans doute pas bon. Mais cette conclusion n’est pas non plus certaine : il nous faudra décider de l’inadéquation d’un modèle en reconnaissant une certaine probabilité de se tromper.
A l’inverse, il n’y a jamais de « bon » ou de « vrai » modèle de la situation non plus : juste un modèle dont nous n’avons pas pu montrer qu’il donnait des prédictions aberrantes sur la situation. Un modèle ne vaut que tant qu’on n’a pas de raison de le rejeter. En tant que tel, il n’est donc jamais possible de prouver qu’un modèle est correct (en statistique comme dans la démarche scientifique en général). Le modèle est le point de départ supposé vrai d’un raisonnement, dont on essaie de voir s’il mène à des prédictions que la réalité met en défaut. Nous apprenons donc plus du rejet de nos hypothèses que de leur non-rejet par l’expérience.