Test statistique

Test statistique

David NERINI, oct. 2018

1 Introduction

Le problème d'eectuer un test statistique se pose dès lors l'on cherche à décider si une valeur arbitrairement choisie d'un paramètre populationnel (la moyenne, la médiane, l'écart-type,. . .) peut être valide au regard d'un nombre limité d'observations réalisées dans la population. Par exemple, on peut examiner la diérence entre les moyennes de deux populations gaussiennes (disons des tailles). Notre première interrogation est de savoir si, à partir d'un échantillon de chacune des deux populations, les observations indiquent une vraie diérence entre les moyennes des populations et non pas uniquement des uctuations liées au hasard de l'échantillonnage.

Le type d'hypothèse que l'on teste en statistique est plus restreint que les hypothèses scientiques en général. Supposer qu'il y a de la vie sur d'autres planètes de l'univers, que chaque particule de matière est composée d'un ensemble d'anneaux vibrants d'énergie sont des hypothèses scientiques. Les hypothèses statistiques qui vont nous intéresser concernent le comportement d'un ensemble de k variables aléatoires X¹,· · ·, X^k(la taille, le poids,· · ·) que l'on peut observer, ce qui n'est pas le cas des hypothèses précédentes.

On peut voir ces variables comme les coordonnées d'un vecteurX ∈Ω⊂R^k dans un espaceΩ dit espace échantillon de dimension k dont les axes correspondent à chacune des variables. Les coordonnées de X sont aléatoires : on peut donc associer une densité de probabilité àX ainsi que la possibilité de construire un échantillon de taille n noté E = {X₁,· · · ,X_n}. Si l'on sélectionne une région ω ⊂ Ω dans l'espace échantillon on peut en principe calculer la probabilité que le point X appartienne à ω en utilisant cette densité. Voici quelques exemples d'hypothèses dites statistiques :

• Une distribution gaussienne a une moyenne et une variance connues

• Une distribution gaussienne a une moyenne connue et une variance non spéciée

• Une distribution est gaussienne de paramètres inconnus

• Deux distributions quelconques sont identiques.

Chacun de ces exemples implique des propriétés particulières de l'espace échantillonΩ. En d'autres termes, à chacune de ces hypothèses va correspondre un sous-espace de R^k particulier. On notera également que les trois premiers exemples supposent que la distribution des observations est connue a priori (loi normale), c'est à dire que leur forme est déterminée algébriquement et contrôlée par la connaissance de paramètres (moyennes et variances, covariances dans le cas gaussien). De telles hypothèses sont dites paramétriques.

La quatrième hypothèse est de nature diérente et nous n'en parlerons pas ici.

2 Région critique et hypothèse alternative

La première étape du test d'une hypothèse privilégiée (appelée aussi hypothèse nulle et notéeH0) se construit à partir d'un échantillon observé et consiste à partitionner l'espace échantillonΩen deux régionsRH₀ and RH0 telles que RH0∩RH0 = ∅ et RH0∪RH0 = Ω (ces deux régions ne sont pas vides et leur réunion constitue l'espace échantillon).

0 20 40 60 80

020406080

Taille

Poids

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

● ●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

● ●

●

●

● ●

●

●

●

●

●

●

●

●

●

● ●

●

●

●

●

●

●

●

●

●

● ●

●

●

●

●

●

●

●

● ●

●

●

●

●

●●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

A

B

C

Q P

D

Figure 1: Zone de non rejet de H0 (blanc) et deux zones critiques de forme diérente (gris et hachuré). Dans ce cas, ces zones sont des surfaces.

Si une observation deX tombe dans la régionRH₀ appelée région de non-rejet, on dira que l'hypothèse nulle n'est pas rejetée. Si au contraire une observation deXtombe dans la zoneRH0, on dira que l'hypothèse nulle est rejetée. Cette zone RH0 est appelée région critique ou zone de rejet. Si l'on connait la densité de probabilité du vecteurX sousH₀, on peut déterminer la région critiqueRH₀ telle que la probabilité de de rejeter l'hypothèse nulle (c'est à dire la probabilité queXtombe dans RH0) soit identique à une valeur xéeα telle que

P(X∈RH₀)|H₀) =α.

Cette valeurα, qui est une probabilité, est appelée niveau de signicativité du test : elle est volontairement choisie petite car on va toujours privilégier l'hypothèse nulle en évitant de la rejeter trop facilement. La construction d'un test, c'est à dire la forme de la région critiqueRH0, va dépendre fortement du choix d'une autre hypothèse, celle dite hypothèse alternative notéeH₁. Nous proposons ici de montrer comment un test est construit et comment on en mesure sa qualité. Une façon de procéder est de calculer la puissance du test. Nous allons proposer une démarche de calcul de cette quantité. Nous terminerons par une méthode permettant de choisir la taille adéquate n d'un échantillon de manière à construire un test de puissance désirée.

3 Elaboration d'un test

Nous allons placer la suite de cet exposé dans le cas où l'on travaille avec une variable réelle X ∈ R. On suppose que l'on dispose d'un échantillon i.i.d E ={X₁, . . . , Xn} de cette variable X de loi xée dont la forme dépend d'un paramètreθ. A partir d'une observation de l'échantillonE, notée E_obs ={x₁, . . . , x_n}, on souhaite eectuer un test sur ce paramètre permettant de confronter une hypothèse nulle H0 à une hypothèse alternativeH1.

On choisit d'abord les deux hypothèsesH₀ etH₁ de la manière suivante.

Dénition 3.1 Soit une hypothèse nulleH0:θ=θ0 que l'on souhaite tester contre une hypothèse alterna- tive H₁. Cette dernière peut prendre les formes suivantes :

• H1 :θ > θ0 ou bien θ < θ0 (tests unilatéraux)

• H1 :θ=θ1 ou bien θ6=θ0 (test unilatéral et test bilatéral pour le second cas) Le choix deH₁ est guidé par l'énoncé du problème à traiter.

3.2 Etape 2

En se plaçant sous H0, on va chercher à construire une statistique de test, c'est à dire une variable aléa- toire dont la densité dépend de l'échantillon E = {X₁,· · · , X_n} des n variables aléatoires X_i supposées indépendantes et identiquement distribuées (i.i.d.), de loi mère celle deX , tel que

Z =g(X1,· · ·, Xn).

Le choix de cette variable décisionnelle est une étape délicate car il s'agit dans le meilleur des cas d'utiliser les théorèmes des probabilités et des statistiques pour déterminer la loi de Z, ce qui n'est pas toujours possible! En général cette statistique de test sera dépendante du paramètreθ. On va ensuite déterminer le comportement de Z quand on s'éloigne de l'hypothèse nulle pour déterminer une zone de rejet. L'idée d'un test est de considérer faible la probabilité d'observer une valeur deZ notée z_obs = g(x₁,· · ·, x_n) (et calculée avecEobs) qui s'éloigne trop de son espérance, si l'hypothèse nulle est la bonne.

Dénition 3.2 On appelle zone de rejet de l'hypothèse nulleH₀, notée RH₀ un intervalle ouvert deR. La forme de cet intervalle dépend de l'hypothèse H1 :

• SiH₁ :θ < θ₀ ou siH₁:θ=θ₁, θ₁ ≤θ₀, alors nous sommes dans le cas d'un test unilatéral avec zone de rejet à gauche et RH₀=]− ∞;z_α[est la première demi droite ouverte.

• SiH1 :θ > θ0 ou siH1:θ=θ1, θ1 ≥θ0, alors nous sommes dans le cas d'un test unilatéral avec zone de rejet à droite etRH0 =]z1−α; +∞[ est la seconde demi droite ouverte.

• Si H₁ : θ 6= θ₀, alors nous sommes dans le cas d'un test bilatéral avec zone de rejet à droite et à gauche et RH0 =]− ∞;z_α/2[∪]z_1−α/2; +∞[ est l'union de deux intervalles disjoints.

Les zones de rejet ou de non rejet de ces hypothèses seront des intervalles de la droite des réels. La taille de la zone de rejetRH₀dépend du niveau de signicativité0≤α≤1, choisit arbitrairement petit et signiant que le résultat observé à une probabilité faible d'être le fruit du hasard. Les valeurs zα et z1−α sont les quantiles d'ordreα et d'ordre1−α de la variable aléatoireZ que l'on est en train de tester.

3.3 Etape 3

Grâce à l'échantillon observé Eobs, on établit une règle de décision qui permet, après calcul de la valeur observéez_obs de Z, de savoir si l'on rejette où si l'on ne rejette pas l'hypothèse privilégiée H0.

Dénition 3.3 A l'issu d'un test statistique, on prendra la décision de rejeterH₀, notéeD(RH₀)siz_obs ∈ RH0 ou la décision de ne pas rejeter H0, notée D(RH0) sinon.

La conclusion du test s'énonce ensuite de manière littérale, en n'oubliant pas de faire apparaître son niveau de signicativité. Dans le cas d'un test unilatéral, on peut calculer sa p-value notéeα^? qui correspond à la probabilité de rejeterH0 en prenant comme quantilez_obs

α^? =P(X∈]−∞;zobs[|H₀) pour une zone de rejet à gauche, pour une zone de rejet à droite.

3.4 Etape 4

La procédure décisionnelle peut être complétée en calculant la puissance du test eectué. C'est l'objet de la section suivante.

4 Puissance de test

Rejeter une hypothèse ne signie pas qu'elle soit fausse. En eet, en supposantH0 vraie, la probabilité que la valeur observée deZ ne se situe pas dans l'intervalleRH₀ existe.

Dénition 4.1 • On appelle erreur de première espèce (ou erreur de type I) le fait de rejeter l'hypothèse nulleH₀ en faveur d'une hypothèse alternativeH₁ quand cette hypothèseH₀ est vraie. On notera par la suite α=P(Z ∈RH₀|H₀) la probabilité de cette erreur.

• On appelle erreur de deuxième espèce ou erreur de typeIIle fait de ne pas rejeter l'hypothèse nulle H0 alors qu'une hypothèse alternative H1 est vraie. On notera β=P(Z ∈RH0|H₁) la probabilité de cette erreur.

Nous allons considérer l'exemple suivant pour illustrer ces notions. Supposons que l'on souhaite tester l'eet d'un régime alimentaire sur une population de bars juvéniles dans une pisciculture. NotonsX (mm) la taille des bars et nous savons qu'elle est distribuée normalement avec une moyenne µ= 170mm et un écart-typeσ = 10 mm. A partir d'un échantillon de taille n= 25, l'ingénieur en charge de l'étude décide de rejeter l'hypothèse nulle (H0 :µ= 170 mm) si la moyenne de son échantillonx est supérieure ou égale à172mm: c'est l'hypothèse alternative H₁ :µ≥172mm. Nous sommes dans le cas d'un test unilatéral avec zone de rejet à droite. SiH0 est rejetée (H1 acceptée), l'ingénieur conclura alors en faveur du régime alimentaire. Quelle est alors la probabilité que l'ingénieur commette une erreur de typeI?

Une erreur de première espèce est commise si l'ingénieur observe une valeur de X qui tombe dans la région RH0 de rejet de H0 et qui correspond à la demi droite sous la zone rouge de la gure 1, graphe du haut. En vertu du théorème central limite, la statistique de test X suit une loi normale de moyenne µ= 170 mm et de variance σ²/nsous H₀. La probabilité α peut donc être déduite en utilisant la version centrée-réduite deX

Z = X−µ₀ σ/√

n (1)

que l'on sait suivre une gaussienne de moyenneµ = 0 et de variance σ² = 1 sous H0. De cette manière, on en déduit que α =P(X ≥ 172|H₀) = P(Z ≥1.00) = 0.1587. On note x_seuil =x1−α = 172 la borne inférieure de RH₀. Or, une probabilité de α = 0.1587 est élevée pour prendre une décision. Nous allons voir comment procéder pour réduire cette probabilité.

Imaginons maintenant que la vraie moyenne de la population soit µ = 173 mm sans que l'ingénieur n'en sache rien : c'est l'hypothèseH₁ qui est vraie dans ce cas. On suppose que l'écart type est toujours le même. Cette information supplémentaire ne change pas la nature unilatérale du test avec zone de rejet de H0 à droite. Quelle est dans ce cas la probabilité que l'ingénieur commette une erreur de typeII?

Une erreur de deuxième espèce est commise si celui-ci observe une valeur moyenne de l'échantillonXqui tombe dans la région de non-rejet deH0, notéeRH0 (ou zone de rejet deH1,RH1) et qui correspond à la demi droite qui supporte la zone bleue sur la gure 1, c'est à dire à l'intervallex≤172mm. Graphiquement, la probabilitéβ de commettre une erreur de typeII peut être calculée en utilisant, comme précédemment, la distribution normale centrée-réduite mais sousH1:µ= 173mm. De cette manière, on obtient

β =P(X <172|H₁) =P(Z <−0.50) = 0.3085. (2)

160 165 170 175 180 x

●

x_seuil=x_1−α

α =P(^RH0H0)

β =P(^RH0H₁) κ =P(^RH0H1)

H₁: µ = µ1

µ0=170

µ1=173

Figure 2: Représentation des distributions gaussiennes sous H0 et sous H1. Les zones colorées représentent les probabilités notées de la même couleur. La variable étudiée est iciX, la moyenne empirique de l'échantillon.

Cette probabilité de commettre une erreur de typeII est également élévée. Comment faire pour la réduire?

Au lieu de considérer que l'ingénieur commette une erreur, nous allons considérer la probabilité qu'il prenne la bonne décision. C'est de cette manière qu'on peut évaluer la puissance du test.

Dénition 4.2 La puissance d'un test est la probabilité de prendre une décision correcte si l'hypothèse alternativeH1 est vraie. De la même manière, la puissance d'un test est la probabilité de rejeter l'hypothèse nulle H₀ quand H₁ est vraie. On note cette puissance :

κ= 1−β =P(Z ∈RH₀|H1)

Reformulons la question de notre problème de la manière suivante : quelle est la probabilité que l'ingénieur prenne la bonne décision de rejeter l'hypothèse nulle en faveur de l'alternativeH₁ :µ= 173mm que nous savons vraie?

Dans ce cas, la bonne décision est prise si X≥172mm ce qui nous donne la puissance du test

κ=P(X ≥172|µ= 173) =P(Z ≥ −0.5) = 0.6915 (3) probabilité évidemment proportionnelle à ce que l'on a déjà calculé :

κ= 1−β= 1−0.3085 = 0.6915. (4)

Ce résultat pose des questions. La puissance du test est légèrement meilleure (69.15%) que ce que l'ingénieur aurait obtenu en tirant une pièce au hasard, soit50%de chance de choisir la bonne hypothèse.

Ceci nous amène à rééchir à ce qu'il faudrait faire lorsqu'on élabore un test :

1. Minimiser la probabilité de commettre une erreur de type I, c'est à dire minimiser α = P(Z ∈RH0|H₀). Classiquement, un niveau de signicativité α≤0.1est requit.

2. Maximiser la puissance du test, ce qui revient à minimiser

β=P(Z ∈RH₁|H₁) =P(Z ∈RH₀|H₁).

Typiquement, on souhaiterait une puissance de testκ≥0.8 soit β≤0.2. Le tableau 1 permet de synthétiser l'ensemble des probabilités calculées.

hhhhhh

hhhhhh

hhhhh

Zone de rejet Hyp. vraie H0 H1

RH₀ (RH1) 1−α β

RH0 (RH1) α κ= 1−β

Table 1: Tableau de probabilités conditionnelles

Or, le plus souvent, on se contente juste de la première étape, sans se soucier de valider la décision prise en s'intéressant à la puissance du test. Un autre problème apparaît également lorsque l'hypothèse alternative s'énonce sous la forme d'un intervalle. Ceci veut dire qu'il y a une innité de valeur pouvant être prise sousH1, ce qui implique que la valeur de β n'est pas unique. Nous allons construire dans ce cas une généralisation de la puissance d'un test.

5 Fonction de puissance

Reprenons l'exemple précédent. On suppose que l'on souhaite tester l'hypothèse H₀ :µ= 170 mm contre l'hypothèse alternative H1 : µ > 170mm. Après avoir xé une valeur raisonnable pour la probabilité de faire une erreur de typeI, disonsα= 0.05, on prend un échantillon aléatoire{X₁,· · ·, Xn}de taillen= 25 et on en calcule la moyenne empirique X. Quelle serait la puissance de ce test d'hypothèse si la vraie moyenne de la population étaitµ= 175 mm sous H1? Et µ= 180 mm? Qu'en serait-il pour toute autre valeur deµ >170mm?

On voit bien dans ce cas la nécessité de quantier l'évolution de la puissance κ= 1−β en fonction de µ1 (Fig. 3). Nous constatons que la puissance de test dépend de cette valeur populationnelle µ1 que l'on xe sousH1 et que lorsque cette valeur s'éloigne deH0 :µ=µ0, la puissance du test augmente. Mais cette fonction dépend également du risqueα de rejeter H₀ à tort. La fonction puissance est donc donnée par :

K(µ1;α) =P(X ≥x1−α|µ=µ1) = 1−F_(µ1,σ²_/n)(x1−α)

oùx1−αest le quantile (valeur seuil) au risqueαde rejet deH0etF_(µ1,σ²_/n) est la fonction de répartition de la loi normale de moyenneµ=µ₁ et de varianceσ²/n. On peut donc tracer cette fonction pour diérentes valeurs de µ₁ mais également lorsque l'on change le risque α. Dans notre cas. la taille de l'échantillon est xe àn= 25.

6 Taille de l'échantillon

Comme on le voit ci-dessus, une autre manière de contrôler la puissance du test consiste à modier la taille de l'échantillon. En eet, on sait que X N(µ,^σ_n²) en vertu du théorème central limite. Il peut donc être intéressant dans certaines études d'augmenter la puissance du test en imposant une valeur de

170 175 180 185

0.00.20.40.60.8

µ1

power:K(µ1)=1−β(µ1)

α =0.001 α =0.01 α =0.05 α =0.1

Figure 3: Tracé de la fonction de puissance. Cette fonction dépend deµ1mais également deα. Pour chaque valeur deµ1on peut lire la probabilité de rejeter l'hypothèse nulle alors que l'alternative est la bonne.

κ et en cherchant l'eectif nde l'échantillon qui permette d'atteindre cette puissance pour une hypothèse alternativeH1:µ=µ1.

On peut tracer

K(µ₁;n) =P(X≥x1−α|µ=µ₁) = 1−F_(µ1,σ²_/n)(x1−α)

pour une valeur xée de α mais en augmentant le nombre d'observations n, ce qui aura pour eet de resserrer la fonction de répartitionF_(µ1,σ²_/n) autour de µ1 (Fig. 4). L'examen de la gure 4 montre qu'un échantillon de taille n = 36 est nécessaire si l'on veut atteindre une valeur de puissance κ = 0.9, sous l'hypothèse alternativeH₁ :µ₁= 175 mm.

170 175 180 185

0.00.20.40.60.81.0

µ1(α =0.05) power:K(µ1)=1−β(µ1)

n= 4 n= 9 n= 16 n= 25 n= 36 n= 100

Figure 4: Tracé de la fonction de puissance pourα= 0.05. Cette fonction dépend deµ1 mais également den. Pour une valeurµ1 xée, on peut lire la puissance associée à diverses valeurs de l'eectifn.