Statistiques math´ematiques : Cours 6

(1)

Statistiques math´ ematiques : Cours 6

Guillaume Lecu´e

4 septembre 2018

(2)

Aujourd’hui

Introduction aux tests

Hypoth`ese simple contre alternative simple

Lemme de Neyman-Pearson

Tests gaussiens

Tests sur la moyenne Tests sur la variance

(3)

Exemple introductif

I On observe 10 lancers d’une pi`ece de monnaie et on obtient le r´esultat suivant :

(P,P,F,F,P,F,P,P,F,P) Question : La pièce est-elle équilibrée?

I Répondreà cette question revient àprendre une décision : ϕ=ϕ(P,P,F,F,P,F,P,P,F,P)

=

on acceptel’hypothèsela pièce est équilibrée on rejettel’hypothèsela pièce est équilibrée

(4)

Exemple introductif : modèlisation et définition des hypothèses

I Modélisation : On modélise ces observations par l’expérience statistique

E¹⁰= {0,1}¹⁰,P({0,1}¹⁰),{P¹⁰θ, θ∈[0,1]}

,

avec (P= 1, F = 0)

P¹⁰θ = θδ₁+ (1−θ)δ₀⊗10

I et on ”traduit” la question en termes mathématiques : résoudre le problème de test suivant

H₀:θ=1

2 contre H₁:θ6= 1 2

D´ efinition

L’hypothèse H est appeléehypothèse nulle.

(5)

D´ efinitions

D´ efinition

1. Soit Z une observation de l’exp´erience statistique E = (Z,Z,{Pθ:θ∈Θ}).

2. SoitΘ = Θ₀∪Θ₁une partition de l’espace des param`etres.

3. Soit le probl`eme de test

H0:θ∈Θ0 contre H1:θ∈Θ1

Untest our´egle de d´ecision est une statistique de la forme ϕ(Z) =I(Z ∈ R) =

H₀ ”on accepte”

H₁ ”on rejette”

R ⊂Zest appel´eezone de rejet our´egion critique.

(6)

Exemple introductif : construction d’un test (1/2)

I Z = (X1, . . . ,X10) : observation dans le modèle d’échantillonnage de Bernoulli {Pθ: 0< θ <1}oùPθ=θδ1+ (1−θ)δ0

I on regarde le probl`eme de test suivant : H0:θ=1

2 contre H1:θ6= 1 2

I on construit un test`a partir de l’EMVθb_n^mv= ¯Xn= ¯X10(n= 10) et d’un seuilt0 donn´e :

ϕ(Z) =I(Z ∈ R) =

H₀ quand

bθ_n^mv−¹₂ ≤t₀ H₁ sinon

I lazone de rejet est ici R=

z ∈ {0,1}¹⁰:

bθ_n^mv(z)−¹₂ >t₀

(7)

Exemple introductif : construction d’un test (2/2)

I Dans le test pr´ec´edent ϕ(Z) =I(Z ∈ R) =

H0 quand

bθ_n^mv−¹₂ ≤t0

H1 sinon

l’EMVθb_n^mva été utilisé pour construire le test. C’est une approche classique : ici l’EMV joue le rôle destatistique de test

I On peut calculer l’EMV sur les données :θb_n^mvêxemple= 0,6 et donc prendre une décision.

Question : comment choisir le seuil t0?

I y-a-t’il un meilleur choix de test ? une meilleure statistique de test ?

(8)

Les deux types d’erreurs de d´ ecision

Z une observation, Θ = Θ0∪Θ1 une partition et le probl`eme de test H0:θ∈Θ0 contre H1:θ∈Θ1

D´ efinition

Soitϕun test de zone de rejetR(c`adϕ(z) =I(z ∈ R))

I L’erreur de première espèce(rejeter à tort) sup

θ∈Θ0

Pθ[Z ∈ R]

I La fonction d’erreur de seconde espèce(accepter à tort) θ∈Θ17→Pθ[Z ∈ R] = 1/ −πϕ(θ) oùπϕ(θ) =Pθ[Z ∈ R]est la fonction puissancedu test

(9)

Exemple introductif : les deux types d’erreurs

Le testϕ(z) =I(|θb_n^mv(z)−0.5|>t0) peut faire deux types d’erreurs :

I rejeter `a tort :

Rejeter (ϕ(Z) =H₁) alors que θ= ¹₂∈Θ₀={¹₂} dans ce cas, l’erreur de premi`ere esp`eceest

P^0.5[|θb_n^mv(Z)−0.5|>t0]

I accepter `a tort :

Accepter (ϕ(Z) =H0) alors que θ6= ¹₂ dans ce cas, la fonction d’erreur de seconde esp`eceest

θ6= 1/27→Pθ[|θb_n^mv(Z)−0.5| ≤t0]

et lafonction puissanceestθ6= 1/27→Pθ[|θb_n^mv(Z)−0.5|>t0] (rejeter `a raison).

(10)

Niveau asymptotique d’un test

D´ efinition

Dans le modèle d’échantillonnage, on construit une suite de test(ϕn)(où n est le nombre d’observations). Soitα∈(0,1). On dit que(ϕn)est de niveau asymptotiqueαquand

∀θ∈Θ₀, lim sup

n→∞ Pθ[ϕ_n=H₁]≤α

1. on veut s’assurer qu’asymptotiquement la probabilit´e de rejeter `a tort est moins que α

2. idéalement, on aimerait pouvoir fixer un niveau pour les deux types d’erreurs (1ère et 2-ième) mais ce n’est pas possible en général. On va donc privilégier un contrôle de l’erreur de 1ère espèce en

construisant des tests de niveau asymptotique donn´e :introduction d’une dissym´etrie

(11)

Exemple introductif : ´ etude asymptotique du test

SousH0 (c`adθ= 1/2) :

√n θb_n^mv−0.5 d

−→ N(0,1/4) en particulier, pourg ∼ N(0,1),

P0.5[

bθ_n^mv−0.5

>tn,α]−→P[|g|>q_1−α/2] =α o`u, pour le quantileq_1−α/2 d’ordre 1−α/2 deg

t_n,α=q_1−α/2 2√

n

SousH1 (c`adθ6= 1/2) : pour toutθ∈Θ^c₀= Θ1= (0,1)− {0.5},

√n

bθ_n^mv−0.5

p.s.→ +∞

(la puissance tend vers 1)

(12)

Exemple introductif : prise de d´ ecision

Les donn´ees d’origines ´etaient :

z = (P,P,F,F,P,F,P,P,F,P)

l’EMV vaut doncθb₁₀^mv(z) = 0.6 et, pour un α∈(0,1) donn´e le test est

ϕ(Z) = (

H0 quand

bθ₁₀^mv(Z)−¹₂

≤t10,α= ^q^1−α/2

2√ 10

H₁ sinon Par exemple :

1. pour α= 5%, on a q_1−α/2≈1.96ett10,α≈0.31 alors comme

bθ₁₀^mv(z)−¹₂

= 0.1≤t10,5%, onaccepte

2. pour α= 10%, on aq_1−α/2≈1.64, alorst10,α≈0.26 alors comme

bθ₁₀^mv(z)−¹₂

= 0.1≤t10,10%, on accepte

(13)

Exemple introductif : introduction de la p-value

Le choix du niveauαest arbitraire. Dans l’exemple pr´ec´edent, on va

I accepter tant queq_1−α/2≥2√ 10∗

bθ₁₀^mv−¹₂

I rejeter d`es queq_1−α/2≤2√ 10∗

Lavaleur limite deαpour laquelle la d´ecision basculec`ad leαtel que q_1−α/2= 2√

10∗

est appel´ee lap-value.

Ici la p-value est donn´ee par l’´equation (enα) q_1−α/2= 2√

10∗0.1≈0.63 c`adα= p-value≈0.525.

(14)

p-value : introduction formelle

D´ efinition

Soitϕα un test de niveau asymptotiqueαet de zone de rejetRα. On appellep-valuedu test la statistique

p−value(Z) = inf(α∈(0,1) :Z ∈ Rα)

I c’est le seuil critique o`u la d´ecision bascule : ϕα(Z) =

H0 quandα≤p−value(Z) H1 quandα >p−value(Z)

I lap-valuequantifie le niveau de confiance sur l’acceptation (deH0)

(15)

p-value : interpr´ etation

p-value niveau de confiance

sur l’acceptation d´ecision

p<0.01 tr`es faible rejet (avec

confiance) 0.01≤p<0.05 faible rejet

0.05≤p<0.1 fort acceptation

0.1≤p tr`es fort acceptation (avec

confiance)

I forte p-value : le test ne permet pas de rejeter H0

I petite p-value : même si on prend un niveau de test très petit, le test rejeteraH0(alors qu’on a une forte aversion au risque de 1ère espèce, càd de rejeter à tort)

I dans l’exemple, on a p-value ≈0.525, on va donc accepter (avec confiance)

(16)

Signification de l’acceptation

AccepterH0ne signifie pas queH0 est vraie

1. par d´efaut, on accepteH0`a moins qu’on apporte une ”preuve” que H0n’est pas acceptable

2. Accepter signifie seulement qu’on n’a pas pu apporter une preuve queH0n’est pas acceptable : on pr´ef´erera dire que

le test ne permet pas de rejeter plutˆot que ”on accepte”.

3. unepreuve est l’observation d’un événement ”rare” sousH₀ : ”sous H₀, la statistique de test prend une valeur qui peut être considérée comme rare” est une preuve de rejet

4. la ”rareté” d’un événement est fixée par le niveau (asymptotique)α 5. si dans l’exemple, le vrai θ= 0.5 + 10⁻¹⁰, il est fort probable qu’on

ne rejette pas alors que H0 est fausse.

(17)

Signification du rejet

Seul le rejet est informatif

1. rejeter signifie qu’on a apporté la preuve queH0ne peut pas être acceptée

2. à un niveau αfixé, on rejette quand la valeur prise par la statistique de test est rare étant connue sa loi sous H0(déclarer un événement rare dépend du niveauα)

3. en g´en´eral,sousH₀, on connaˆıt la loi asymptotique de la statistique de test (ex. : bθ_n^mv∼ N(0.5,(4n)⁻¹)) donc si la valeur prise par cette statistique en les observations :θb_n^mv(z) est peu vraisemblable pour sa loi limite (ex. :θb_n^mv= 0.9) alors on rejettera =

on aura apporté une preuve queH0n’est pas acceptable 4. lap-value mesure le niveau de rareté de la valeur observée de la

statistique de test pour la loi de la statistique de test sousH₀.

(18)

Choix des hypoth` eses : dissym´ etrie

le choix des hypoth`eses est important

1. Pour une partition Θ =A∪B, il n’y a pas ´equivalence entre les deux probl`emes de test

H0:θ∈AcontreH1:θ∈B et

H₀:θ∈B contreH₁:θ∈A

2. on choisit les hypothèses en fonction de l’intérêt qu’on porte au problème : l’hypothèseH₀ est privilégiée

3. l’hypothèseH0est privilégiée car on a décidé de se

couvrir contre le risque de 1ère espèce avant le risque de 2-ième espèce : càd, on souhaite éviter avant tout de rejeter à tort et par conséquent, on a tendance à ”trop accepter”

4. il est plus facile d’accepter que de rejeter car le rejet n´ecessite une

(19)

M´ ethodologie pour les tests asymptotiques (1/2)

a) trouver une statistique de test(souvent un estimateur)θbn

b) telle que sousH₀ (c`ad ici pourθ=θ₀), on a une normalit´e asymptotique

s n

v(bθn) bθn−θ0 d

−→V

(ouv(θ₀) `a la place dev(bθ_n))

c) et tel que sous H1 (c`ad ici pourθ > θ0) : s n

v(bθn) θbn−θ0

p.s.

−→+∞

(avec ou sans valeurs absolues selon la forme deH₁)

(20)

M´ ethodologie pour les tests asymptotiques (2/2)

d) on utilise cette statistique pour construire un test de niveau asymptotique α∈(0,1) en posant

ϕ(Z) = (

H₀ quand (bθ_n−θ0)≤ ^q

V 1−α

√

v(bθn)

√n :=t_n,α H1 sinon

La forme du test (iciθbn−θ0 plus petit que quelque chose) est donn´ee par le comportement deθbn−θ0sousH1.

e) on a, sous H0, Pθ0[rejet] =Pθ0

h

θb_n−θ0>t_n,αi

−→P[V >q^V_1−α] =α C’est donc un test de niveau asymptotiqueα.

f) La puissance tend vers 1 car, sous H₁,Pθ[bθ_n−θ₀>t_n,α]→1.

(21)

Choix de tests : notion d’optimalit´ e pour les tests

(22)

Hypoth` ese simple contre alternative simple

I Cas o`u Θ ={θ0, θ1} avecθ06=θ1 et

Θ₀={θ0} contre Θ₁={θ1}

I Existe-t-il un test ϕ^? optimal, au sens où :∀ϕtest, on a simultanémentun meilleur contrôle sur les deux erreurs (1ère et 2-ième espèce)

Pθ₀

ϕ^?=H1

≤Pθ₀

ϕ=H1

”proba de rejet `a tort”

Pθ₁

ϕ^?=H0

≤Pθ₁

ϕ=H0

”proba d’accepter `a tort”

I SiPθ₀ etPθ₁ ne sont pas´etrang`eres(cf. Cours 5) un tel testϕ^?ne peut pas exister.

(23)

Riposte : principe de Neyman (1/2)

I Ondissymétriseles hypothèsesH0etH1 :H0 estplus importante queH1 dans le sens suivant : onimpose uneerreur de première espèce prescrite:

on souhaite ´eviter avant tout de rejeter `a tort

D´ efinition

Pourα∈(0,1), un testϕ=ϕ_α de l’hypoth`ese nulle H₀:θ∈Θ₀contre une alternative H₁ est deniveauαsi

sup

θ∈Θ0

P^θ

ϕα=H1

≤α

I Un test de niveau αne ditriensur la fonction erreur de seconde esp`ece (ou la puissance).

(24)

Riposte : principe de Neyman (2/2)

D´ efinition

Soitϕun test de zone de rejetR. Lapuissancedu testϕest la fonction πϕ:θ∈Θ17→Pθ[Z ∈ R](proba de rejeter `a raison)

I Principe de Neyman :α∈(0,1), parmi les tests de niveau α, chercher celui (ou ceux) qui sont les plus puissants

D´ efinition

Un test de niveauαest dit Uniform´ement Plus Puissant(UPP) si sa puissance est maximale parmi celles de tous les tests de niveauα:

1. sup_θ∈Θ

0Pθ

ϕ^?=H₁

≤α 2. et si ϕest tel que sup_θ∈Θ

0Pθ

ϕ=H₁

≤αalors

∀θ∈Θ₁, π_ϕ?(θ)≥π_ϕ(θ)

(25)

Test de Neyman-Pearson

(test du rapport de vraisemblance) Pour le cas d’unehypothèse nulle simple(càdΘ0={θ0}) contre une hypothèse alternative simple(càdΘ1={θ1}) , un test UPP existe : c’est le test de Neyman-Pearson (ou test du rapport de vraisemblance) dont la construction est comme suit :

I f(θ,z) =^d_dµ^P^θ(z), z ∈Z, θ∈ {θ0, θ1},µmesure dominante

I On choisit uner´egion critique de la forme R(c) =

z ∈Z:f(θ1,z)>cf(θ0,z) , c>0 et on calibrec=cα de sorte que

Pθ₀

Z ∈ R(cα)

=α

I Le test ainsi construit (si cette ´equation admet une solution)est de niveauα. Onmontrequ’il est UPP.

(26)

Lemme de Neyman-Pearson

Proposition

Soitα∈[0,1]. S’il existe c_αsolution de P^θ0

f(θ1,Z)>cαf(θ0,Z)

=α alors le test de r´egion critique

Rα=

z :f(θ1,z)>cαf(θ0,z)

est de niveauαetUPPpour tester H0:θ=θ0 contre H1:θ=θ1.

I Rem. : Si U=f(θ1,Z)/f(θ0,Z) est bien d´efinie etPU<< λ(sous Pθ₀), alorsPθ₀

U >cα

=αadmet une solution.

(27)

Exemple de test de Neyman-Pearson (1/4)

On observeZ = (X₁, . . . ,X_n) oùX₁, . . . ,X_nî.i.d.∼ N(θ,1). Pourθ₀< θ₁, on considère le problème de test

H0:θ=θ0 contreH1:θ=θ1

La vraisemblance enθest f(θ,Z) =_(2π)¹_n/2exp

−1 2

n

X

i=1

X_i²+nθX_n−nθ² 2

Le rapport de vraisemblanceest f(θ1,Z)

f(θ₀,Z)= exp

n(θ1−θ0)Xn−n

2(θ²₁−θ²₀)

(28)

Exemple de test de Neyman-Pearson (2/4)

I Zone de rejetdu test de N-P. : R(c) =

z ∈Rⁿ:f(θ1,z)>cf(θ0,z)

=

(x1, . . . ,xn)^>∈Rⁿ:n(θ1−θ0)xn−n

2(θ²₁−θ²₀)>logc

=

(x1, . . . ,xn)^>∈Rⁿ:xn> θ₀+θ₁

2 +_n(θ^log^c

1−θ0)

I Choix dec : on r´esout Pθ0

Xn> ¹₂(θ0+θ1) +_n(θ^log^c

1−θ0)

=α Sous P^θ0 :

Xn∼ N θ0,¹_n

(29)

Exemple de test de Neyman-Pearson (3/4)

R´esoudre en c: pourg ∼ N(0,1), P

hθ₀+ 1

√ng >1

2(θ₀+θ₁) + logc n(θ1−θ0)

i=α

c`adP g >

√n

2 (θ₁−θ₀) +^√¹_n_θ^log^c

1−θ0

=α,soit

√n

2 (θ1−θ0) + 1

√n logc

θ₁−θ₀ =q_1−α, o`uq_1−α est le quantile d’ordre 1−αd’uneN(0,1)

I Conclusion : le test de NP de niveauαa pour zone de rejetR(cα) o`u

cα= exp√

n(θ1−θ0)q1−α−n(θ1−θ0)² 2

qui peut s’´ecrire plus simplement par

R(cα) ={(x1, . . . ,xn)^>∈Rⁿ:xn> θ0+tn,α}o`utn,α= q1−α

√n .

(30)

Exemple de test de Neyman-Pearson (4/4)

On voit que le test de NP s’´ecrit sous la forme : ϕ(Z) =

H0 quandXn≤θ0+tn,α

H1 sinon o`ut_n,α= q_1−α

√n

rem. : la valeurθ1 n’intervient pas dans le test de NP.

I lapuissancedu test est ici :

πϕ(θ1) =Pθ₁[Xn> θ0+tn,α] =P[g >√

n(θ0−θ1) +q_1−α] car sous Pθ₁,Xn∼ N(θ1,1/n).

rem. : La puissance augmente quandnaugmente et quand|θ₀−θ₁| augmente. L’alternative n’intervient que dans la puissance.

(31)

Tests classiques dans le mod` ele d’´ echantillonnage

gaussien

(32)

Test sur la moyenne ` a variance connue

On observeZ = (X₁, . . . ,X_n)∼ N(µ, σ²Id_n) oùσest connue. On considère le problème de test

H0:µ≤µ0 contre H1:µ > µ0

Principeon estimeµet on rejetteH0si l’estimateur estplus grandqueµ0. On consid`ere des tests de la forme

ϕ_α(Z) =

H0 siXn≤µ0+tn,α

H1 sinon

On choisit leseuil tn,α tel que sup

µ≤µ0

Pµ

ϕα(Z) =H1

=α

Rem. : On verra pourquoiX_n est la statistique de test naturelle pour ce problème lors de l’étude des problèmes de test à rapport de vraisemblance

(33)

D´ etermination de t

n,α

Majoration de l’erreur de premi`ere esp`ece. Soitµ≤µ0. SousPµ, X_n∼ N(µ, σ²/n), alors pourg ∼ N(0,1)

Pµ

X_n−µ₀≥t_n,α

=P

(µ+^√^σ_ng)−µ₀≥t_n,α

=P√σ

ng ≥tn,α+ (µ0−µ)

≤P _σ

√ng ≥tn,α

on veut

= α

On prend

tn,α= σq_1−α

√n En particulier, on a :

sup

µ≤µ0

Pµ

ϕα(Z) =H1

=Pµ₀

ϕα(Z) =H1

(34)

Calcul de la puissance du test

Soitµ > µ0. Sous P^µ, la loi deXnestN(µ, σ²/n) alors lafonction de puissancedu test est

µ∈(µ0,+∞)7→Pµ

Xn−µ0≥tα,n

=P hg ≥

√n(µ₀−µ)

σ +q_1−αi

Rem. :

I la puissance tend vers 1 quandntend vers +∞,

I c’est un test UPP ; il fautd’autres outils pour le montrer.

(35)

Test sur la moyenne ` a variance inconnue

I Ingr´edient principal: s_n²:= 1

n−1

n

X

i=1

(X_i−X_n)²= n

n−1 bσ²_nmv

alors

(n−1)s_n²

σ² ∼χ²(n−1)

et √

n(X_n−µ) sn

∼Student(n−1)

et ces variables sont pivotales: leur loi ne d´epend pas deµ, σ² sous Pµ,σ².

I Les lois du χ²et de Student(àk degrés de liberté) sont classiques et s’étudient indépendamment.

(36)

Tests sur la moyenne

I On testeH0:µ≤µ0contreH1:µ > µ0. Un test de niveauα: donn´e par la zone de rejet

Rα=

z ∈Rⁿ:T(z)>q_1−α,n−1^T o`u

T(Z) =

√n(X_n−µ₀) sn

etq_1−α,n−1^T = quantile d’ordre 1−αde la loi de Student àn−1 degrés de liberté :

P

Student_n−1>q_1−α,n−1^T

=α

I Rem. : Pour le test H0:µ=µ0contreH1:µ6=µ0, un test de niveauαest donn´e parRα=

z ∈Rⁿ: T(z)

>q_{1−α/2,n−1}^T .

(37)

Test sur la variance

I On testeH₀:σ²≤σ₀²contreH₁:σ²> σ₀². Un test de niveauα: donn´e par la zone de rejet

Rα=

z ∈Rⁿ:V(z)>q_1−α,n−1^χ² , o`u

V(Z) = 1 σ₀²

n

X

i=1

(X_i−X)² et

P

Chi-deuxn−1>q_1−α,n−1^χ²

=α.

I Mêmes remarques méthodologiquessur l’optimalité de ces tests que précédemment.