MAP 433 : Introduction aux méthodes. statistiques. Cours 8. Marc Ho mann. Notion de test et d erreur de test

(1)

MAP 433 : Introduction aux m´ethodes

statistiques.

Cours 8 Marc Ho↵mann Notion de test et d’erreur de test Construction d’un test : hypothèses générales Tests asymptotiques Tests d’adéquation

MAP 433 : Introduction aux m´ethodes statistiques. Cours 8

Marc Ho↵mann

4 avril 2014

statistiques.

Aujourd’hui (et la semaine prochaine...)

1 Notion de test et d’erreur de test

Hypoth`ese simple contre alternative simple Lemme de Neyman-Pearson

2 Construction d’un test : hypothèses générales Retour sur un exemple

Principe de construction 3 Tests asymptotiques

4 Tests d’ad´equation

Tests de Kolmogorov-Smirnov Tests du ²

statistiques.

Cours 8 Marc Ho↵mann

Notion de test et d’erreur de test

Hypothèse simple contre alternative simple Lemme de Neyman-Pearson Construction d’un test : hypothèses générales Tests asymptotiques Tests d’adéquation

Exemple introductif

On observe 10 lancers d’une pi`ece de monnaie et on obtient le r´esultat suivant :

(P,P,F,F,P,F,P,P,F,P).

La pièce est-elle équilibrée?

Répondre à cette question revient àconstruire une procédure de décision :

'='(P,P,F,F,P,F,P,P,F,P)

=

⇢ 0 on accepte l’hypothèse^⌧la pièce est équilibrée 1 on rejettel’hypothèse^⌧la pièce est équilibrée

statistiques.

R´esolution

On associe l’exp´erience statistique (par exemple) E¹⁰ = {0,1}¹⁰,parties de({0,1}¹⁰),{P¹⁰# ,#2[0,1]} , avec (P = 0,F = 1)

P¹⁰# = # ₀(dx) + (1 #) ₁(dx) ^⌦10. Hypothèse nulle :^⌧la pièce est équilibrée

H₀:#= 1 2

Hypothèse alternative :^⌧la pièce est truquée H1:#6= 1

2

(2)

statistiques.

R´esolution (cont.)

On note Z l’observation.

Onconstruitune r`egle de d´ecision simple: '= 1

Z2R} =

⇢ 0 on accepte l’hypoth`ese 1 on rejette l’hypoth`ese.

R⇢Z(espace des observables) : zone de rejetour´egion critique.

Exemple¹

R= #(Zb ) ¹₂ >t₀ , #(Zb ) =#b_n^mv êxemple= 0,6 où t₀ est un seuil à choisir...Comment ?

1. l´eger abus de notation...

statistiques.

Erreur de d´ecision

Lorsque l’on prend la d´ecision', on peut se tromper de deux mani`eres:

RejeterH0 ('= 1) alors que #= 1 2 ou encore

AccepterH₀ ('= 0) alors que #6= 1 2. Erreur de première espèce(=rejeter à tort)

P¹⁰1 2

⇥'= 1⇤

Erreur de seconde esp`ece (=accepter `a tort) P¹⁰#

⇥'= 0⇤

, #6= 1

2 .

statistiques.

Conclusion provisoire

Un ^⌧bon test 'doit garantir simultanémentdes erreurs de première et seconde espèce petites.

Un test optimal existe-t-il ?

Si non, comment aborder la notion d’optimalit´e et comment construire un test optimal ?

statistiques.

D´efinition formelle

Situation :E = Z,Z,{P#,#2⇥} engendr´ee par l’observationZ.

Hypoth`ese nulle et alternative: ⇥0⇢⇥et⇥1 ⇢⇥ t.q.

⇥₀\⇥₁=;. D´efinition (Test simple)

Un test (simple) de l’hypothèse nulle H₀:#2⇥₀ contre l’alternative H₁ :#2⇥₁ est une statistique'='(Z)2{0,1}. (Fonction d’)erreur de première espèce:

#2⇥₀ P^#⇥ '= 1⇤ (Fonction d’)erreur de seconde esp`ece

#2⇥1 P#

⇥'= 0⇤

= 1 puissance_'(#).

(3)

statistiques.

Cours 8 Marc Ho↵mann Notion de test et d’erreur de test

Hypoth`ese simple contre alternative simple

Cas o`u⇥={#0,#1}avec#06=#1.

Existe-t-il un test'^? optimal, au sens o`u :8' test simple, on asimultan´ement

P^#0

⇥'^?= 1⇤

P^#0

⇥'= 1⇤ et

P^#1

⇥'^?= 0⇤

P^#1

⇥'= 0⇤

?

Si P#₀ etP#₁ ne sont pas´etrang`eres(cf. Cours 6) un tel test '^? ne peut pas exister.

statistiques.

Absence d’optimalit´e stricte

Equivalencetests simples!estimateurs#bde #via la repr´esentation:

#b=#₀1_R^c +#₁1_R!'= 1_R. Fonction de risque

P(',#) =E^#⇥ 1_#_b₆_=#⇤

, #=#₀,#₁.

La fonction de perte`(#,b #) = 1_#_b₆_=# joue le mˆeme rˆole que la perte quadratique (#b #)² dans le Cours 6.

Test optimal '^? !estimateur optimal#^? pour P.

Comme pour le cas du risque quadratique, dès que P^#0 et P#1 ne sont pas étrangères, un estimateur optimaln’existe pas(cf. Cours 6).

statistiques.

Riposte : principe de Neyman

On^⌧disym´etrise les hypoth`eses H₀ etH₁ : H₀ est

⌧plus importante queH1 dans le sens suivant : on imposeune erreur de premi`ere esp`ece prescrite.

D´efinition

Pour↵2[0,1], un test '='↵ de l’hypoth`ese nulle H0:#2⇥0 contre une alternative H1 est de niveau ↵si

sup

#2⇥0

P#

⇥'↵= 1⇤

↵.

Un test de niveau↵ ne ditriensur l’erreur de seconde esp`ece (comportement sur l’alternative).

statistiques.

Principe de Neyman (cont.)

Choix de la^⌧disym´etrisation = choix de mod´elisation.

Principe de Neyman:↵2(0,1), parmi les test de niveau

↵, chercher celui (ou ceux) ayantune erreur de seconde esp`ece minimale.

D´efinition

Un test de niveau↵est dit Uniform´ement Plus Puissant(UPP) si son erreur de seconde esp`ece est minimale parmi celles des tests de niveau↵.

Pour le cas d’unehypoth`ese simplecontre unealternative simple, un test UPP existe.

(4)

statistiques.

Principe de construction

f(#,z) = ^d_d^P_µ^#(z), z 2Z, #=#0,#1, µ mesure dominante. L’EMV–si bien d´efini– s’´ecrit

#b_n^mv=#₀1_{f_(#₁_,Z)<f_(#₀_,Z)}+#₁1_{f_(#₀_,Z_)<f_(#₁_,Z_)}. On choisit une r´egion critiquede la forme

R(c) = f(#1,Z)>cf(#0,Z) , c >0 et on calibrec=c↵ de sorte que

P#₀

⇥Z 2R(c↵)⇤

=↵.

Le test ainsi construit (si cette ´equation admet une solution) est de niveau↵. On montrequ’il est UPP.

statistiques.

Lemme de Neyman-Pearson

Proposition

Soit↵2[0,1]. S’il existe c↵ solution de P^#0

⇥f(#₁,Z)>c↵f(#₀,Z)⇤

=↵

alors le test de r´egion critiqueR↵= f(#₁,Z)>c↵f(#₀,Z) est de niveau↵etUPPpour tester H0:#=#0 contre H₁:#=#1.

SiU =f(#₁,Z)/f(#₀,Z) bien d´efinie etL(U)⌧dx (sous P#0), alorsP#0

⇥U>c↵

⇤=↵admet une solution.

statistiques.

Exemple de mise en oeuvre

On observe

Z = (X1, . . . ,Xn)⇠i.i.d.N(#,1).

Construction du test de N-P. de H₀:#=#₀ contre H1:#=#1, avec#0<#1.

Mesure dominante µⁿ = mesure de Lebesgue surRⁿ et f(#,Z) =_(2⇡)¹_n/2exp 1

2 Xn i=1

X_i²+n#Xn n#² 2 . Rapport de vraisemblance

f(#1,Z)

f(#₀,Z) = exp n(#₁ #₀)X_n n

2(#²₁ #²₀) .

statistiques.

Exemple (cont.)

Zone de rejetdu test de N-P. : f(#1,Z)>cf(#0,Z)

= n(#₁ #₀)X_n n

2(#²₁ #²₀)>logc

= X_n > #0+#1

2 +_n(#^log^c

0 #₁) . Choix dec. On r´esout

P^#0

⇥Xn> ¹₂(#0+#1) +_n(#^log₀ ^c_#₁₎⇤

=↵.

Approche standard: on raisonne sousP#₀. On a Xn =#0+ 1

pn⇠^n,#⁰,

o`u⇠^n,#⁰ est une gaussienne standardN(0,1) sous P^#0

mais pas sous une autre probabilit´eP# si#6=#0!

(5)

statistiques.

Exemple (fin)

R´esolution de P#₀

⇥#₀+ 1

pn⇠^n,#⁰ > 1

2(#₀+#₁) + logc n(#0 #1)

⇤=↵.

Equivalent `aP^#0

⇥⇠^n#⁰ > ^p₂ⁿ(#₁ #₀) +p¹ n

logc

#₀ #₁

⇤=↵, soit

pn

2 (#1 #0) + 1 pn

logc

#₀ #₁ = ¹(1 ↵), o`u (x) =R_x

1e ^u²^/2p^du 2⇡. Conclusion

c↵= exp n(#₁ #₀)²

2 +p

n(#0 #1) ¹(1 ↵)

statistiques.

Bilan provisoire

Si l’on acceptele principe de Neyman, on sait résoudre le problème à deux points.

Que faire si l’hypoth`ese nulleH₀ ou l’alternative H₁ sont composites?

On peut proposer des extensions si l’on dispose de structures particuli`eres sur la vraisemblance du mod`ele (Poly. Ch. 7.3, hors programme).

On sait direbeaucoup de chosesdans le cas gaussien.

Critique m´ethodologique de l’approche de Neyman notion dep-valeur.

statistiques.

Cours 8 Marc Ho↵mann Notion de test et d’erreur de test Construction d’un test : hypothèses générales

Retour sur un exemple Principe de construction Tests asymptotiques Tests d’ad´equation

Situation

Situation : on part d’une exp´erience statistique Z,Z,{P#,#2⇥} engendr´ee par l’observationZ. On souhaite tester :

H0 : #2⇥0 ⇢⇥ contre H1:#2⇥1

avec⇥₀\⇥₁=;.

Si ⇥0 ={#0}et⇥1={#1}, on a Neyman-Pearson.Et sinon ?

statistiques.

Principe de construction

⌧Trouver unestatistique libre sous l’hypothèse : toute quantité (Z)observable dont on connait la loi sous l’hypothèse, c’est-à-dire la loi de (Z) sous P# avec

#2⇥₀.

On^⌧regarde si le comportement de (Z) esttypique d’un comportement sous l’hypoth`ese.

Si oui, onaccepte H₀, si non onrejetteH₀. On quantifie^⌧oui/non par le niveau ↵du test.

(6)

statistiques.

Exemple : test sur la variance

On observe Z = (Y1, . . . ,Yn),

Y₁, . . . ,Y_n⇠i.i.d.N(µ, ²) avec#= (µ, ²)2⇥=R⇥(0,+1).

Premier cas: on teste

H0: ²= ₀² contre H1: ²> ₀².

Sous l’hypoth`ese (c’est-`a-dire sous P^# avec#= (µ, ₀) et µ2R quelconque), on a

(n 1)s_n²

02

⇠ ²(n 1) avecs_n²:=_n¹₁P_n

i=1(Y_i Y_n)².

statistiques.

Test sur la variance (cont.)

Donc,sous l’hypoth`ese, le comportement^⌧typique de (Z) = (n 1)s_n²

02

est celui d’une variable aléatoire de loi du ² àn 1 degrés de liberté.

Soitq₁²_↵,n ₁>0 tel que siU⇠ ²(n 1), alors P⇥

U>q₁²_↵,n ₁⇤

=↵.

Sous l’hypothèse (Z)=^d U et donc la probabilité pour que (Z) dépasse q₁²_↵,n ₁ est inférieure (égale) à↵ (comportement atypique si↵petit).

statistiques.

Test sur la variance (cont.)

Règle de décision : On accepte l’hypothèse si (Z)q₁²_↵,n ₁. On la rejette sinon.

Par construction, on a untest de niveau↵.

On ne sait rien dire sur l’erreur de seconde esp`ece, mis `a part qu’elle est minimale parmi les tests de zone de rejet de la forme de { (Z)>c},c >0...

statistiques.

Test sur la variance (fin)

Deuxi`eme cas :On teste

H₀: ² ²0 contre H₁: ²> ²₀.

Pas de statistique libre ´evidente...Mais, pour ² ₀², on a

P ⇥

(n 1)^sⁿ²2

0 >q₁²_↵,n ₁⇤

=P ⇥

(n 1)^s²ⁿ2 > ²⁰2q₁²_↵,n ₁⇤

P ⇥

(n 1)^s²ⁿ2 >q₁²_↵,n ₁⇤

=↵.

La même statistique de test convient pour contrôler l’erreur de première espèce que pour l’hypohèse nulle simple. On choisitici lamêmerègle de décision.

(7)

statistiques.

Conclusion provisoire

Pour contruire un test de l’hypoth`ese H0:#2⇥0 contre H₁:#2⇥₁, on chercheune statistique libre sous

l’hypoth`ese et on rejette pour un seuil qui d´epend de la loi de la statistique sous H₀, de sorte de fournir une zone de rejet maximale.

Le plus souvent, la statistique est obtenue via un estimateur. Sauf exception (comme la cas gaussien) une telle statistique est difficile à trouver en général.

Simplification cadre asymptotique (où la gaussianité réapparaˆıt le plus souvent...).

statistiques.

Le test de Wald : hypoth`ese nulle simple

Situation la suite d’exp´eriences Zⁿ,Zⁿ,{Pⁿ#,#2⇥} est engendr´ee par l’observationZⁿ, #2⇥⇢R

Objectif: Tester

H₀:#=#₀ contre #6=#₀. Hyopth`ese: on dispose d’un estimateur#bn

asymptotiquement normal

pn(#bn #)!^d N 0,v(#)

en loi sousPⁿ#,8#2⇥, o`u# v(#)>0 est continue.

Sous l’hypoth`ese (ici sousPⁿ#₀) on ala convergence pn#bn #0

q v(#bn)

d!N(0,1)

en loi sousPⁿ#₀.

statistiques.

Test de Wald (cont.)

Remarque q

v(#bn)$p

v(#₀) ou d’autres choix encore...

On a aussi

T_n=n(#bn #0)² v(#bn)

d! ²(1) sous Pⁿ#0.

Soit q₁²_↵,1>0 tel que siU ⇠ ²(1), on a P⇥

U >q₁²_↵,1⇤

=↵. On choisit la zone de rejet Rn,↵= Tn q₁²_↵,1 .

Le test de zone de rejet Rn,↵ s’appelleTest de Wald de l’hypoth`ese simple #=#₀ contre l’alternative#6=#₀ bas´e sur #bn.

statistiques.

Propri´et´es du test de Wald

Proposition

Le test Wald de l’hypoth`ese simple#=#0 contre l’alternative

#6=#₀ bas´e sur #bn est

asymptotiquementde niveau↵ : Pⁿ#₀

⇥T_n 2Rn,↵

⇤!↵.

convergent ou (consistant). Pour tout point #6=#0

Pⁿ#

⇥Tn2/Rn,↵⇤

!0.

(8)

statistiques.

Preuve

Test asymptotiquement de niveau ↵par construction.

Contrˆole de l’erreur de seconde esp`ece : Soit #6=#0. On a T_n=⇣p

n #bn # q

v(#bn) +p

n # #₀ q

v(#bn)

⌘₂

=:Tn,1+Tn,2. On a Tn,1 d

!N(0,1) sousPⁿ# et T_n,2 ^P

n#

!±1 car #6=#0

Donc Tn Pⁿ_#

!+1, d’o`u le r´esultat.

Remarque : si #6=#₀ mais|# #₀|.1/p n, le

raisonnement ne s’applique pas. R´esultatnon uniforme en le param`etre.

statistiques.

Test de Wald : hypoth`ese nulle composite

Mˆeme contexte : ⇥⇢R^d eton dispose d’un estimateur

#bn asymptotiquement normal :

pn #bn # ^d!N 0,V(#) o`uV(#) estd´efinie positiveet continue en#.

ButTester H₀:#2⇥₀ contreH₁:#2/⇥₀, o`u

⇥0= #2⇥, g(#) = 0 et

g :R^d !R^m (md) est r´eguli`ere.

statistiques.

Test de Wald cont.

Hypothèse : la di↵érentielle (de matriceJ_g(#)) deg est de rang maximal m en tout point de (l’intérieur) de⇥0. Proposition

En tout point# de l’int´erieur de⇥0 (i.e.sous l’hypoth`ese), on a, en loi sousPⁿ# :

png(#bn) ^d!N 0,J_g(#)V(#)J_g(#)^T ,

Tn=ng(#bn)^T⌃g(#bn) ¹g(#bn) ^d! ²(m) o`u ⌃_g(#) =J_g(#)V(#)J_g(#)^T.

Preuve : m´ethode ^⌧delta multidimensionnelle.

statistiques.

Test de Wald (fin)

Proposition

Sous les hypothèses précédentes, le test de zone de rejet R↵= Tn q₁²_↵,m

avecP⇥

U >q₁²_↵,m⇤

=↵ si U⇠ ²(m)est

Asymptotiquement de niveau↵en tout point# de (l’int´erieur) de⇥₀ :

Pⁿ#

⇥Tn2Rn,↵⇤

!↵.

Convergent: pour tout #2/⇥0 on a Pⁿ#

⇥T_n2/Rn,↵

⇤!0.

C’est la^⌧mˆeme preuve qu’en dimension 1.

(9)

statistiques.

Tests de Kolmogorov- Smirnov Tests du 2

Tests d’ad´equation

Situation On observe (pour simplifier) un n-´echantillon de loi F inconnu

X₁, . . . ,X_n ⇠i.i.d.F Objectif Tester

H₀:F =F₀ contre F 6=F₀

où F0 distribution donnée. Par exemple :F0 gaussienne centrée réduite.

Il esttr`es facile de construire un test asymptotiquement de niveau↵.Il suffit de trouver une statistique (X₁, . . . ,X_n) de loi connue sous l’hypoth`ese.

statistiques.

Test d’ad´equation : situation

Exemples : sous l’hypoth`ese

1(X1. . . ,Xn) =p

nXn ⇠N(0,1)

2(X₁, . . . ,X_n) =p nX_n

sn ⇠Student(n 1)

3(X1, . . . ,Xn) = (n 1)s_n² ⇠ ²(n 1).

Le probl`eme est que ces testsont une faible puissance: ils ne sont pas consistants.

Pas exemple, siF 6= gaussienne maisR

RxdF(x) = 0, R

Rx²dF(x) = 1, alors PF

⇥

1(X₁, . . . ,X_n)x⇤

! Z _x

1

e ^u²^/2 du

p2⇡, x 2R. (r´esultats analogues pour ₂ et ₃).

La statistique de test i ne caract´erise pasla loiF0.

statistiques.

Test de Kolmogorov-Smirnov

Rappel Si la fonction de r´epartition F est continue, pnsup

x2R

Fbn(x) F(x) ^d!B o`u la loi deB ne d´epend pas deF.

Proposition (Test de Kolmogorov-Smirnov) Soit q₁^B _↵ tel queP⇥

B>q₁^B _↵⇤

=↵. Le test d´efini par la zone de rejet

Rn,↵= p nsup

x2R

Fbn(x) F0(x) q₁^B _↵

estasymptotiquement de niveau↵ :PF0⇥bF_n2Rn,↵

⇤!↵et consistant:

8F 6=F₀:PF⇥bF_n 2/Rn,↵

⇤!0.

statistiques.

Test du Chi-deux

X variablesqualitative: X 2{1, . . . ,d}. P⇥

X =`⇤

=p`, `= 1, . . .d. La loi deX est carat´eris´ee par p= (p₁, . . . ,p_d)^T. Notation

Md = p= (p₁, . . . ,p_d)^T, 0p`, Xd

`=1

p`= 1 . Objectifq2Md donn´ee. A partir d’unn-´echantillon

X₁, . . . ,X_n⇠i.i.d.p, testerH0:p=qcontreH1:p6=q.

(10)

statistiques.

Construction

^⌧

naturelle d’un test

Comparaison des fr´equences empiriques b

p_n,`= 1 n

Xn i=1

1_X_i_=` proche de q`, `= 1, . . . ,d ? Loi des grands nombres :

b

pn,1, . . . ,bpn,d Pp

!(p1, . . . ,pd) =p.

Th´eor`eme central-limite ? U_n(p) =p

n⇣bpn,1 p1

pp₁ , . . . ,bpn,d pd

pp_d

⌘ _d

!? Composante par composante oui. Convergence globale plus d´elicate.

statistiques.

Statistique du Chi-deux

Proposition

Si les composantes depsont toute non-nulles On a laconvergence en loi sousPp

U_n(p) ^d!N 0,V(p) avec V(p) =Idd pp pp ^T etpp= (p

p1, . . . ,p pd)^T. De plus

kUn(p)k²=n Xd

`=1

(bp_n,` p`)² p`

d! ²(d 1).

statistiques.

Preuve de la normalit´e asymptotique

Pour i= 1, . . . ,net 1`d, on pose Y_`ⁱ = 1

pp`

1_{_X_i_=`_} p` .

Les vecteurs Y_i = (Y₁ⁱ, . . . ,Y_dⁱ) sontind´ependants et identiquement distribu´es et

U_n(p) = 1 pn

Xn i=1

Y_i, E⇥

Y_`ⁱ⇤

= 0,E⇥ (Y_`ⁱ)²⇤

= 1 p`,E⇥ Y_`ⁱY_`ⁱ0

⇤= (p`p`⁰)^1/2. On applique le TCL vectoriel.

statistiques.

Convergence de la norme au carr´e

On a doncU_n(p) ^d!N 0,V(p) . On a aussi

kU_n(p)k² ^d! kN 0,V(p) k²

⇠ ² Rang V(p)

parCochran: V(p) =Id_d pp pp ^T est la projection orthogonale survect{pp}^? qui est de dimensiond 1.

(11)

statistiques.

Test d’ad´equation du

²

⌧distance du ² :

2(p,q) = Xd

`=1

(p` q`)² q`

.

Avec ces notationskUn(p)k²=n ²(bp_n,p).

Proposition

Pourq2Md le test simple d´efini par la zone de rejet Rn,↵= n ²(bp_n,q) q₁²_↵,d ₁ o`uP⇥

U>q₁²_↵,d ₁⇤

=↵si U ⇠ ²(d 1)est

asymptotiquement de niveau↵ et consistantpour tester H0:p=q contre H1:p6=q.

statistiques.

Exemple de mise en oeuvre : exp´erience de Mendel

Soitd = 4 et

q=⇣ 9 16, 3

16, 3 16, 1

16

⌘ .

R´epartition observ´ee: n= 556 b

p₅₅₆= 1

556(315,101,108,32).

Calcul de la statistique du ²

556⇥ ²(bp₅₅₆,q) = 0,47.

On a q_95%,3 = 0,7815.

Conclusion :Puisque 0,47<0,7815, on accepte l’hypoth`esep=qau niveau↵= 5%.