Statistiques math´ematiques : cours 7

(1)

Statistiques math´ ematiques : cours 7

Guillaume Lecu´e

6 septembre 2018

(2)

Cours pr´ ec´ edent (rappels)

1. vocabulaire : accepter, rejeter, zone de rejet, erreur de 1ère et 2-ième espèces, niveau d’un test, fonction puissance, p-value, test UPP

2. résultat : construction du test de Neyman-Pearson grâce au rapport de vraisemblance pour les problèmes de tests à hypothèses simples – propriété UPP des tests de Neyman-Pearson

2/37

(3)

Test UPP dans une famille ` a rapport de

(4)

Rappels sur Neyman-Pearson

On a montr´e que le test de Neyman-Pearson est UPP pour un test de la forme :

H0:θ=θ0 contreH1:θ=θ1

ce test est de la forme ϕα(Z) =

H0 sif(θ1,Z)≤cαf(θ0,Z)

H1 sinon

o`ucα est tel que (quand il y a une solution) Pθ0

f(θ₁,Z)>c_αf(θ₀,Z)

=α Alors :

1. ϕα est de niveauα

2. ϕ_α est le test le plus puissant parmi tous les tests de niveauα

4/37

(5)

Famille ` a rapport de vraisemblance monotone (1/2)

On va construire un test UPP pour les probl`emes de test de la forme : H0:θ≤θ0 contreH1:θ > θ0

quand le rapport de vraisemblance a une structure particuli`ere.

On consid`ere le cadre suivant :

I E = (Z,Z,{Pθ:θ∈Θ}) : une exp´erience statistique

I Z : une observation dans cette exp´erience

I on suppose que Θ⊂Rest un intervalle ouvert

I le mod`ele est domin´e parµtel quef(θ,z) = dPθ

dµ (z)>0, pour µ-presque toutz ∈Z.

(6)

Famille ` a rapport de vraisemblance monotone (2/2)

D´ efinition

On dit que la famille de densit´es{f(θ,·) :θ∈Θ}est`a rapport de vraisemblance monotones’il existe une statistique T(Z)telle que

∀θ1< θ2, f(θ2,Z)

f(θ₁,Z) est une fonction monotone de T(Z) ex. : quandZ = (X1, . . . ,Xn) o`uXi

i.i.d.

∼ N(θ,1), le rapport de vraisemblance pourθ₁< θ₂

f(θ2,Z)

f(θ₁,Z)= expn

σ²(θ₂−θ₁)X_n

exp−n

2σ²(θ₂²−θ₁²) est une fonction croissante deT(Z) =Xn.

6/37

(7)

Test UPP – th´ eor` eme de Lehmann

Soit{f(θ,·) :θ∈R} une famille vérifiant les hypothèses précédentes et à rapport de vraisemblance monotone, par exemple croissant enT(Z). Soit α∈(0,1). On suppose que pourθ0∈Θ, il existeρ(θ0, α) tel que

Pθ₀

T(Z)> ρ(θ0, α)

=α alors le test de r´egion de rejet

R^?={z ∈Z:T(z)> ρ(θ₀, α)}

est :

1. de niveauα

2. UPP (le plus puissant parmi tous les tests de niveauα) pour le probl`eme de test

H₀:θ≤θ₀ contreH₁:θ > θ₀

(8)

Exemple de test UPP

PourZ = (X1, . . . ,Xn) o`uXi i.i.d.

∼ N(θ,1), le rapport de vraisemblance f(θ₂,Z)

f(θ1,Z)= expn

σ²(θ₂−θ₁)X_n

exp−n

2σ²(θ₂²−θ₁²) est une fonction croissante deT(Z) =X_n.

Alors pour le probl`eme de test

H0:θ≤θ0 contreH1:θ > θ0

le test de r´egion de rejet

R^?={(x1, . . . ,xn)^> ∈Rⁿ: ¯xn> θ0+tn,α} o`utn,α est tel quePθ₀[Xn> θ0+tn,α] =α(c`adtn,α=q_1−α/√

n), est un test de niveauα, UPP.

8/37

(9)

objectifs : niveau asymptotique et consistance

idée : Les tests UPP sont très rares. En général, on se contentera de construire des testsϕsatisfaisant deux propriétés quand le nombren d’observations tend vers +∞:

1. on dit qu’un test est de niveau asymptotiqueαquand

∀θ∈Θ0, lim sup

n→∞ Pθ[ϕ=H1]≤α 2. on dit qu’un test estconsistantouconvergeantquand

∀θ∈Θ1, lim

n→∞Pθ[ϕ=H1] = 1

(10)

Test de Wald

(11)

Le test de Wald :

^hypoth`ese nulle simple

On consid`ere le probl`eme de test

H0:θ=θ0 contreH1:θ6=θ0

Hypoth`ese : on dispose d’un estimateurbθn asymptotiquement normal

√n(bθ_n−θ)→ N^d 0,v(θ)

etθ7→v(θ)>0 estcontinue.

SousH₀ (c`ad quandZ ∼Pθ0) : on ala convergence s n

v(bθ_n) θb_n−θ0

d

−→ N(0,1)

Rem. : on peut prendrev(θ0) `a la place dev(bθn) (carH0est une hypoth`ese simple).

(12)

Test de Wald :

comportement sousH0 etH1

sousH0:

Tn=n(bθn−θ0)² v(bθn)

−→d χ²(1)

sousH₁:∀θ∈Θ₁(c`adθ6=θ₀),

T_n−→^P^θ +∞

On va utiliserTncomme statistique de test et, au vue du comportement deTn sousH1, on consid`ere des tests de la forme

ϕ_α=

H₀ quandT_n≤t_n,α

H₁ sinon

Pour d´eterminer le seuilt_n,α, on regarde le comportement sousH₀: soit q_1−α^χ²⁽¹⁾, le quantile d’ordre 1−αd’uneχ²(1), on choisit

t_n,α=q^χ_1−α²⁽¹⁾

12/37

(13)

Propri´ et´ es du test de Wald

Proposition

Le test de Wald de l’hypoth`ese simpleθ=θ₀contre l’alternativeθ6=θ₀ bas´e sur l’estimateur a.n.θb_n est

I de niveau asymptotique α: Pθ0

ϕ_α=H₁

−→α

I convergeant(ouconsistant) : pour toutθ6=θ₀ Pθ

ϕ_α=H₁

−→1

(14)

Preuve

I niveau asymptotiqueα:par construction

I Contrˆole de la puissance : Soitθ6=θ0. On a, sousPθ, (bθn−θ0)

v(bθn)

Pθ

−→ (θ−θ0)² v(θ₀) >0 et comme

Tn=n(bθn−θ0) v(bθ_n) alorsTn Pθ

−→+∞et donc, quandntends vers +∞

Pθ

ϕ_α=H₁

=Pθ

T_n>q^χ_1−α²⁽¹⁾

−→1

14/37

(15)

Test de Wald :

^hypoth`ese nulle composite

I Mˆeme contexte : Θ⊂R^d et on dispose d’un estimateurθbn

asymptotiquement normal :

√n θbn−θ d

−→ N 0,V(θ) o`uV(θ) estd´efinie positiveet continue en θ.

I But : TesterH0:θ∈Θ0contreH1:θ /∈Θ0, o`u Θ0=

θ∈Θ, g(θ) = 0 et

g :R^d→R^m est r´eguli`ere.

(16)

Test de Wald :

comportement sousH0

I Hypoth`ese : le gradient∇g(θ) de g est tel que θ∈Θ7→Σg(θ) =∇g(θ)^>V(θ)∇g(θ) est continue et inversible en tout point θ.

Proposition

Pour toutθ∈Θ0 (i.e.sous H0), on a :

I √

ng(bθn)−→ N^d 0,Σg(θ)

I

Tn=ng(bθn)^TΣg(bθn)⁻¹g(bθn)−→^d χ²(m)

I Preuve : m´ethodedeltamultidimensionnelle.

16/37

(17)

Test de Wald : propri´ et´ es

Proposition

Sous les hypothèses précédentes, le test ϕα=

(

H0 si Tn≤q^χ_1−α²^(m) H1 sinon pour q^χ_1−α²^(m), quantile d’ordre1−αd’uneχ²(m), est

I de niveau asymptotiqueα:∀θ∈Θ0, Pθ

ϕ_α=H₁

→α

I Convergeant:∀θ /∈Θ₀, Pθ

ϕ_α=H₁

→1

(18)

Tests d’ad´ equation

(19)

Probl` eme de test d’ad´ equation

Situation : On observe unn-´echantillon de loi (cdf)F inconnue X1, . . . ,Xn

i.i.d.

∼ F

et on se donne une loi (cdf)F0(ex. :F0 cdf d’uneN(0,1))

But : Tester

H₀:F =F₀ contre H₁:F 6=F₀

Ce type de problème de test est appelé :problème de test d’adéquation

(20)

Test (d’ad´ equation) de Kolmogorov-Smirnov

(21)

Test de Kolmogorov-Smirnov

I Rappel : Si la fonction de r´epartitionF est continue alors

√n Fbn−F

∞

−→d K o`u la loi deK ne d´epend pas deF (cf. cours1)

Proposition (Test de Kolmogorov-Smirnov)

Soit q_1−α^K tel queP

K >q^K_1−α

=α. Le test d´efini par ϕα=

H0 si Tn≤q_1−α^K

H1 sinon pour Tn=√

n||bFn−F0||∞

estde niveau asymptotique α:P^F0

ϕα=H1

→αetconsistant:

∀F 6=F₀:PF

ϕ_α=H₁

→1

(22)

Tests d’ad´ equation du χ

²

(23)

Test du Chi-deux

I X variable qualitative:X ∈ {1, . . . ,d}

P X =`

=p`, `= 1, . . .d.

I La loi de X est carat´eris´ee parp= (p1, . . . ,pd)^T

I Notation Md=

p= (p1, . . . ,pd)^T:p`≥0,

d

X

`=1

p`= 1

I Objectif: A partir d’unn-´echantillonX1, . . . ,Xn i.i.d.

∼ p,et d’une loi q∈ Md donn´ee on veut tester

H0:p=q contreH1:p6=q

(24)

Construction

naturelle

d’un test

I Comparaison des fr´equences empiriques

bpn,`= 1 n

n

X

i=1

I(Xi=`) proche de q`, `= 1, . . . ,d?

I Loi forte des grands nombres : sous H0, bp_n,1, . . . ,bp_n,d ^p.s.

−→(p₁, . . . ,p_d) =p.

I Th´eor`eme central-limite Un(p) =√

n

bpn,1−p1

√p1

, . . . ,bpn,d−pd

√pd

_d

−→?

I Composante par composante : oui. Convergence globale plus délicate (coordonnées dépendantes) :TCL multidimensionel

24/37

(25)

Statistique du Chi-deux

Proposition

Si les composantes depsont toute non-nulles

I On a laconvergence en loisousPp

Un(p)−→ N^d 0,V(p) avec V(p) =Id_d−√

p √ pT

et√ p= (√

p₁, . . . ,√ p_d)^T

I De plus

kUn(p)k²₂=n

d

X

`=1

(bpn,`−p`)² p`

−→d χ²(d−1)

(26)

Preuve de la normalit´ e asymptotique

I Pour i= 1, . . . ,net 1≤`≤d, on pose Y_`ⁱ= 1

√p_` I(Xi =`)−p`

I Les vecteurs Y_i = (Y₁ⁱ, . . . ,Y_dⁱ) sonti.i.d.et Un(p) = 1

√n

n

X

i=1

Yi,

E Y_`ⁱ

= 0, E (Y_`ⁱ)²

= 1−p`,E Y_`ⁱY_`ⁱ0

=−(p`p`⁰)^1/2

I On applique le TCL vectoriel

26/37

(27)

Convergence de la norme au carr´ e

I On a donc, sous H₀, U_n(p)−→ N^d 0,V(p)

I et aussi, parCochran,

kU_n(p)k²₂−→ kN^d 0,V(p)

k²₂∼χ² d−1 V(p) =Idd−√

p √ p^T

est la projection orthogonale sur vect{√

p}^⊥ qui est de dimensiond−1

(28)

Test d’ad´ equation du χ

²

I distancedu χ²:

χ²(p,q) =

d

X

`=1

(p`−q`)² q_` .

I Avec ces notationskU_n(q)k²₂=nχ²(bp_n,q).

Proposition

Pourq∈ Md le test d´efini par ϕ_α=

(

H0 si nχ²(bp_n,q)≤q_1−α^χ²^(d−1)

H1 sinon

est deniveau asymptotiqueαetconsistantpour tester H0:p=q contre H1:p6=q

28/37

(29)

Exemple de mise en oeuvre : exp´ erience de Mendel

I Soitd= 4 et

q= 9 16, 3

16, 3 16, 1

16

.

I fr´equence empirique:n= 556 bp₅₅₆= 1

556(315,101,108,32).

I Calcul de la statistique duχ²

556×χ²(bp₅₅₆,q) = 0,47.

I On aq_95%^χ²⁽³⁾= 7.815.

I Conclusion : Puisque 0.47<7.815, on accepte l’hypoth`esep=q au niveauα= 5%. De plus, la p-value vaut 0.93 : tr`es grand niveau de confiance en l’acceptation.

(30)

Test d’ind´ ependance du χ

²

(31)

Probl` ematique

données/modèle : on observe unn-échantillon de couples de variables aléatoiresqualitatives

(X₁,Y₁), . . . ,(X_n,Y_n)^i.i.d.∼ (X,Y)∈ {1, . . . ,d₁} × {1, . . . ,d₂} La loip de (X,Y) appartient `a

Md₁,d₂=

p= (p`,`⁰)_1≤`≤d₁

1≤`⁰≤d2

: 0≤p`,`⁰,X

`,`⁰

p`,`⁰ = 1

On consid`ere le probl`eme de test suivant :

H₀:P(X,Y)=PX⊗PY contreH₁:P(X,Y)6=PX⊗PY

(32)

principe du test d’ind´ ependance du χ

²

(1/2)

On a l’´equivalence :

P(X,Y)=PX⊗PY ⇔ ∀`, `⁰,p`,`⁰ =p_`,•×p_•,`⁰ o`u

p`,`⁰ =P[(X,Y) = (`, `⁰)], p`,•=P[X =`], p•,`⁰ =P[Y =`⁰] On estime ces quantit´es par leurs fr´equences empiriques :

ˆ p_`,`⁽ⁿ⁾0 = 1

n

X

i=1

I[(Xi,Yi) = (`, `⁰)]

ˆ p_`,•⁽ⁿ⁾ =1

n

X

i=1

I[Xi=`] ˆp_•,`⁽ⁿ⁾0 = 1 n

n

X

i=1

I[Yi =`⁰]

32/37

(33)

principe du test d’ind´ ependance du χ

²

(2/2)

Id´ee :

1. On aimerait pouvoir tester si la loi du couple (X,Y) est égale à PX⊗PY, on ferait alors un test d’adéquation.

2. Mais, on ne connaˆıt pas la loiPX⊗PY, on va doncl’estimerpar ˆ

p_`,•⁽ⁿ⁾×pˆ⁽ⁿ⁾_•,`0

1≤`≤d1

1≤`⁰≤d₂

3. on peut alors faire un test d’adéquation duχ² par rapport à cette loi estimée. La statistique de test est

nχ²

(ˆp⁽ⁿ⁾_`,`0)`,`⁰,(ˆp_`,•⁽ⁿ⁾×pˆ_•,`⁽ⁿ⁾0)`,`⁰

(34)

Comportement de la statistique de test sousH0 et sousH1

On utilise la statistique de test T_n=nχ²

(ˆp_`,`⁽ⁿ⁾0)_`,`⁰,(ˆp⁽ⁿ⁾_`,•×ˆp⁽ⁿ⁾_•,`0)_`,`⁰

pour construire le test d’indépendance duχ². Son comportement sous les deux hypothèses est donné par :

SousH0 :

Tn

−→d χ² (d1−1)(d2−1) SousH1 :

Tn

−→p.s. +∞

On regarde donc des tests de la forme ϕα=

H₀ siT_n≤t_n,α H₁ sinon

et le seuiltn,α est donn´e par la loi limite deTn sousH0

34/37

(35)

test d’ind´ ependance du χ

²

Theorem

Pour toutα∈(0,1), le test ϕα=

(

H0 si Tn≤q_1−α^χ²^((d¹^−1)(d²⁻¹⁾⁾

H1 sinon

o`u q_1−α^χ²^((d¹^−1)(d²⁻¹⁾⁾ est le quantile d’ordre1−αd’une

χ²((d1−1)(d2−1)), est deniveau asymptotiqueαetconsistant

(36)

Exemple :

test d’indépendance entre revenus et nombre d’enfants Catégories de revenus : I (faible) à IV (élevé)

nb. enfants I II III IV total ligne

0 2161 3577 2184 1636 9558

1 2755 5081 2222 1052 11110

2 936 1753 640 306 3635

3 225 419 96 38 778

≥4 39 98 31 14 182 tot. col. 6116 10928 5173 3016 25263 On obtient :

Tn=nχ²

(ˆp_`,`⁽ⁿ⁾0)`,`⁰,(ˆp_`,•⁽ⁿ⁾×pˆ⁽ⁿ⁾_•,`0)`,`⁰

=n X

`∈{0,1,2,3,”≥4”}

`⁰∈{I,II,III,IV}

ˆ

p_`,`⁽ⁿ⁾0−ˆp⁽ⁿ⁾_`,•ˆp_•,`⁽ⁿ⁾0

²

ˆ p⁽ⁿ⁾_`,•ˆp_•,`⁽ⁿ⁾0

= 568.5

36/37

(37)

Table des quantiles d’une χ

²

(12)

On a ici (d1−1)(d2−1) = (5−1)(4−1) = 12. On regarde alors les quantiles

q_1−α^χ²⁽¹²⁾

α 0,2 0,1 0,05 0,02 0,01 0,005 0,001 q_1−α^χ²⁽¹²⁾ 15,8 18,5 21,0 24,0 26,2 28,2 32,9 Python :

> from scipy.stats import chi2

> 1-chi2.cdf(100, 12) 5.5e-16

Ici la statistique du test vautT_n= 568.5donc la p-value est plus petite que 5.5.10⁻¹⁶. Alors on rejete avec confiance. Il y a donc une tr`es forte d´ependance entre le nombre d’enfants et les revenus.