1 Mod` ele statistique

Cours de Statistiques Inf´erentielles

P. Ribereau

I Echantillonage

1 Mod` ele statistique

On suppose que les variables al´ eatoires X

, . . . , X

sont ind´ ependantes et identi- quement distribu´ ees (i.i.d.). tq X

∼ P

On note le mod ‘ele statistique

( R , B

, (P

, θ ∈ Θ ⊂ R

))

.

En dehors de ce cadre, on parle de mod` ele non param´ etrique ou semi-param´ etrique si Θ ⊂ R

× U o` u U est non param´ etrique.

a. Mod` ele domin´ e, vraisemblance

Consid´ erons un mod` ele statistique ( R

, B

, Q ∈ Q ). Le mod` ele est domin´ e par une mesure σ-finie µ sur ( R

, B

) si pour tout Q ∈ Q , Q est absolument continue par rapport ` a µ. Alors il existe une fonction de densit´ e f

telle que Q = f

µ (i.e Q(A) =

Z

A

f

(x)dµ(x) pour tout A ∈ C). La fonction f

est la vraisemblance (Li- kelihood en anglais) du mod` ele not´ ee L

(x) = f

(x). On note `

(x) = log L

(x) la log vraisemblance.

Dans le cas d’un mod` ele d’´ echantillonage r´ eel, la vraisemblance vaut L

(x

, . . . , x

) = f

(x

) × · · · × f

(x

).

2 D´ efinition d’une statistique

— On appelle statistique toute variable al´ eatoire d´ efinie sur ( R

, B

) ` a valeurs dans ( R

, B

).

— On utilisera la notation T

pour une statistique. Elle ne d´ epend pas de la

famille de lois de probabilit´ e Q . En particulier, dans un mod` ele param´ etrique,

une statistique T

ne d´ epend pas de θ. C’est la loi de probabilit´ e de T

qui

d´ epend de θ.

Remarque.

On distingue :

— la statistique T

qui est une variable al´ eatoire sur ( R

, B, Q ). Dans l’exemple pr´ ec´ edent, c’est l’application moyenne empirique (on est ici au niveau concep- tuel, math´ ematique).

— la variable al´ eatoire T

(X

, . . . , X

) qui est une variable al´ eatoire sur (Ω, B).

Dans l’exemple pr´ ec´ edent, c’est la variable al´ eatoire X

(on est ici au niveau de la statistique inf´ erentielle).

— la valeur observ´ ee de cette variable al´ eatoire : T

(x

, . . . , x

) ∈ R

. Dans l’exemple pr´ ec´ edent, c’est le nombre r´ eel ¯ x

, moyenne empirique de la s´ erie statistique x

, . . . , x

(on est au niveau de la statistique descriptive).

3 Quelques notions de base sur les estimateurs

On consid` ere dans cette section un mod` ele param´ etrique r´ eel d’´ echantillonage ind´ ependant :

( R , B, (P

, θ ∈ Θ ⊂ R

))

. a. D´ efinition d’un estimateur

Soit g une fonction d´ efinite sur Θ, ` a valeur dans R

.

— On appelle estimateur d’un param` etre g(θ) toute statistique ` a valeur dans ( R

, B

), il sera g´ en´ eralement not´ e T

.

— On appelle estimation la valeur observ´ ee de T

sur l’´ echantillon, elle sera not´ ee T

(x

, . . . , x

).

b. Notion de biais

— On appelle biais de l’estimateur T

pour le param` etre g(θ) la quantit´ e B

(T

) = IE

[T

] − g(θ).

— On appelle estimateur sans biais de g(θ) un estimateur T

tel que B(T

) = 0.

— Si B(T

) → 0 quand n → +∞, on dit que T

est asymptotiquement sans biais pour g(θ).

c. Convergence d’un estimateur

On dit que T

est convergent pour g(θ) s’il converge en probabilit´ e vers g(θ) :

∀ε > 0, P (|T

− g(θ)| < ε) −→ 1 quand n → +∞.

Crit` eres de convergence d’un estimateur

(i) Si T

est un estimateur (asympt.) sans biais de g(θ) et si V (T

) −→ 0 quand n → +∞, alors

T

est un estimateur convergent pour g(θ).

d. Comparaisons des estimateurs

On utilise le risque quadratique pour comparer deux estimateurs du mˆ eme para- m` etre g(θ). Pour l’estimateur T

de g(θ), il est d´ efini par :

R(T

, g(θ)) = IE[(T

− g(θ))

].

Propri´ et´ e. R(T

, g(θ)) = (B(T

))

+ V (T

).

e. Moyenne al´ eatoire, variance al´ eatoire Soit un mod` ele param´ etrique r´ eel d’´ echantillonage

( R , B

, (P

, θ ∈ Θ ⊂ R

))

tel que la loi de probabilit´ e P

admette pour esp´ erance µ < ∞ et pour variance 0 < σ

< ∞.

Soit X = (X

, . . . , X

) un vecteur al´ eatoire associ´ e de ce mod` ele.

On appelle moyenne al´ eatoire la statistique X

= 1

n

n

X

i=1

X

. On appelle variance al´ eatoire la statistique

V

= 1 n

n

X

i=1

(X

− X

)

,

on verra ci-dessous que cet estimateur de la variance est biais´ e, on lui pr´ ef´ erera la variance estim´ ee :

S

= 1 n − 1

n

X

i=1

(X

− X

)

.

Proposition I.1 1. X

est un estimateur sans biais et convergent pour µ.

2. V

est un estimateur biais´ e mais asymptotiquement sans biais de σ

. 3. S

= 1

n − 1

n

X

i=1

(X

− X

)

est un estimateur sans biais de σ

. 4. V

et S

sont des estimateurs convergent de σ

.

II Estimation

— On reste dans le cadre du mod` ele :

( R , B

, (P

, θ ∈ Θ ⊂ R ))

.

— Soit f(x, θ) la densit´ e de la loi des X

.

— Soit L la vraisemblance. On a : L(x

, . . . , x

, θ) = Q

i=1

f (x

, θ).

— Soit X ⊂ R le support de f (x, θ) o` u

X = {x ∈ R | f(x, θ) > 0}.

1 Hypoth` eses fondamentales sur la densit´ e f (x, θ)

(H1) X est ind´ ependant de θ.

(H2) Θ est un ouvert.

(H3)

f(x, θ) et

f (x, θ) sont d´ efinies ∀(x, θ) ∈ X × Θ.

(H4) On suppose que les d´ eriv´ es et d´ eriv´ es secondes de f par rapport ` a θ sont domin´ ees par des fonctions µ-int´ egrables sur tout compact inclu dans Θ : pour tout compact K ⊂ Θ, il existe deux fonctions positive µ-int´ egrables φ(x) et ψ (x) telles que pour tout θ ∈ K et presque tout x ∈ X ,

∂

∂θ f (x, θ)

≤ φ(x) et

∂

∂θ

f (x, θ)

≤ ψ(x).

2 Information

a. Information de Fisher

D´ efinition II.1 On appelle fonction score ou score la fonction S d´ efinie par : S : X × Θ −→ R

(x, θ) 7−→ S(x, θ) =

ln(f (x, θ)) Remarques.

— Le score n’est d´ efini que si (H1), (H2) et (H3) sont vraies.

— On peut d´ efinir de mˆ eme le score ` a partir de la vraisemblance.

S

(x, θ) = ∂

∂θ ln(L(x, θ)) avec ici x ∈ R

. Dans le mod` ele d’´ echantillonage, on a : S

(x, θ) = P

i=1

S(x

, θ).

Propri´ et´ es.

Supposons (H4) vraie, on a alors :

IE[S(X, θ)] = 0 et IE[S

(X, θ)] = 0.

Information au sens de Fisher

D´ efinition II.2 On appelle information de Fisher la fonction I d´ efinie par : I : Θ −→ R

θ 7−→ I(θ) = IE

(S(X, θ))

Remarques. On peut aussi poser (en terme de vraisemblance) : I

(θ) = IE

(S

(X, θ))

. b. Propri´ et´ es.

Si (H4) est vraie, alors

I(θ) = V (S(X, θ)) = −IE ∂

∂θ

ln(f (X, θ))

et I

(θ) = V (S

(X, θ)) = −IE ∂

∂θ

ln(L(X, θ))

. Dans le mod` ele d’´ echantillonage, on a donc :

I

(θ) = nI (θ).

3 In´ egalit´ e de Cramer-Rao

a. Hypoth` eses suppl´ ementaires

(H5) 0 < I

(θ) < +∞ ou 0 < I(θ) < +∞.

Soit T

un estimateur. Posons IE

[T

] = g(θ).

Th´ eor` eme II.1 (In´ egalit´ e de Cramer-Rao.) Si les hypoth` eses (H1), (H2), (H3), (H4) et (H5) sont v´ erifi´ ees, si de plus la fonction g est d´ erivable, alors on a :

V (T

) ≥ [g

(θ)]

I

(θ) .

La partie de droite est appel´ ee borne inf´ erieure de l’in´ egalit´ e de Cramer-Rao.

Nous la noterons K

(θ).

D´ efinition II.3 — On dit que l’estimateur T

est efficace s’il v´ erifie V (T

) = K

(θ).

— Si T

n’est pas efficace mais que K

(θ)

V (T

) → 1 quand n → +∞, on dit que l’estimateur T

est asymptotiquement efficace.

b. Relation entre estimateurs efficaces

Propri´ et´ es.

(P1) Si T

est un estimateur efficace de θ, alors kT

+ b est aussi un estimateur efficace de θ, ∀k ∈ R

, ∀b ∈ R .

(P2) Soient T

et T

deux estimateurs sans biais du param` etre θ. S’ils sont

tous les deux efficaces, alors T

= T

presque sˆ urement.

c. D´ egradation de l’information

Si h(t, θ) est la vraissemblance de T , on note I

(θ) l’information relative ` a T : I

(θ) = IE(S(T , θ)

) o` u S(T , θ) = ∂ ln h(t, θ)

∂θ .

I

(θ) v´ erifie les mˆ emes propri´ et´ es (centr´ ee, relation avec

h, in´ egalit´ e de Cramer- Rao) que I(θ).

Proposition II.1 Soit T une statistique, on a I

(θ) ≤ I

(θ) avec ´ egalit´ e si et seulement si la statistique T est exhaustive pour le param` etre θ.

4 Notion d’exhaustivit´ e

D´ efinition II.4 (Principe de factorisation) La statistique T

est ici une variable al´ eatoire d´ efinie sur (X , B

, (P

, θ ∈ Θ ⊂ R ))

` a valeurs dans (Θ, B

).

On consid` ere :

— la vraisemblance (fonction de densit´ e ou probabilit´ e) de T

que l’on va noter h(t, θ),

— la densit´ e conjointe de l’´ echantillon (X

, . . . , X

) not´ ee L(x

, . . . , x

, θ), On dira que la statistique T

est exhaustive pour θ s’il existe une fonction k sur X

telle que

L(x

, . . . , x

, θ) = h(t, θ)k(x

, . . . , x

).

Th´ eor` eme II.2 (de factorisation) Pour qu’une statistique T soit exhaustive, il suffit que la vraissemblance s’´ ecrive :

L(x

, . . . , x

, θ) = φ(t, θ)ψ(x

, . . . , x

).

5 Exhaustivit´ e et estimateurs efficaces ; la famille exponen- tielle

a. Le mod` ele exponentiel

D´ efinition II.5 On appelle famille exponentielle ` a param` etre unidimensionnel θ toute loi de probabilit´ e (discr` ete ou continue) dont la vraissemblance peut se mettre sous la forme :

f(x, θ) =

exp[α(θ)β(x) + γ(θ) + δ(x)] si x ∈ X

0 si x 6∈ X ,

avec, α et γ des fonctions deux fois diff´ erentiables.

Proposition II.2 Dans la famille exponentielle, toute statistique de la forme T

= k P

i=1

β(X

) est exhaustive pour θ.

Th´ eor` eme II.3 (Th´ eor` eme de Darmois) Lorsque X est ind´ ependant de θ, le

mod` ele admet une statistique exhaustive ssi le mod` ele est exponentiel.

b. Th´ eor` eme sur l’efficacit´ e

Th´ eor` eme II.4 Si X ne d´ epend pas de θ et que le mod` ele admette un estimateur efficace alors le mod` ele est exponentiel car l’estimateur est n´ ecessairement exhaustif.

Dans un mod` ele exponentiel, alors ` a une transformation lin´ eaire pr` es, il existe un unique estimateur efficace qui v´ erifie :

T = 1 n

n

X

i=1

β(X

), g(θ) = − γ

(θ)

α

(θ) , g(θ) = IE

(T ), et V

(T ) =

.

6 Quelques m´ ethodes usuelles d’estimation

a. M´ ethode empirique

Si le param` etre θ consid´ er´ e repr´ esente une quantit´ e particuli` ere pour le mod` ele (par exemple, l’esp´ erance ou la variance), on peut naturellement choisir comme es- timateur la quantit´ e empirique correspondante pour l’´ echantillon X

, . . . , X

. b. M´ ethode des moindres carr´ es

D´ efinition II.6 On appelle estimateur des moindres carr´ es de θ la statistique θ ˆ

= arg min

θ∈Θ n

X

i=1

(X

− h(θ))

.

c. M´ ethode des moments On note

— Soit X une variable al´ eatoire r´ eelle.

On appelle moment (th´ eorique) d’ordre r : M

= IE[X

].

On appelle moment (th´ eorique) centr´ e d’ordre r : M

= IE[(X − IE[X])

].

— Soit (x

, . . . , x

) les valeurs observ´ ees d’un ´ echantillon de taille n.

On appelle moment empirique d’ordre r : m

=

P

i=1

(x

)

. On appelle moment empirique centr´ e d’ordre r : m

=

P

i=1

(x

− x ¯

)

.

Principe. Supposons le param` etre θ de dimension p. La m´ ethode consiste ` a poser

un syst` eme d’´ equations en ´ egalant moments th´ eoriques (centr´ es ou non) et moments

empiriques :



 

 

M

(θ) = m

.. . M

(θ) = m

d. M´ ethode du maximum de vraisemblance : principe

D´ efinition II.7 On appelle estimateur du maximum de vraisemblance (EMV) du param` etre θ la statistique θ ˆ

rendant maximale, selon θ, la fonction de vraisemblance du mod` ele L(X

, . . . , X

, θ), soit :

θ ˆ

= arg max

θ∈Θ

L(X, θ).

Propri´ et´ e.

Si le mod` ele v´ erifie les propri´ et´ es (H1), (H2) et (H3), alors pour que ˆ θ

soit un EMV de θ il est n´ ecessaire que

• ∂ ln L(X, θ)

∂θ

n

= 0 soit S

(X, θ ˆ

) = 0 (´ equation de vraisemblance),

• ∂

ln L(X, θ)

∂θ

< 0.

Propri´ et´ e (lien avec l’exhaustivit´ e).

S’il existe une statistique exhaustive T

pour θ, alors l’EMV de θ ne d´ epend que de T

.

7 Exercices

Exercice 1. On consid` ere la loi normale N (µ, σ

).

a) On suppose σ

connue et l’on consid` ere le mod` ele param´ etrique r´ eel d’´ echan- tillonnage suivant

R , B

, (N (µ, σ

), µ ∈ Θ = R )

. L’estimateur X

est-il un estimateur efficace de µ ?

b) Sans supposer µ connue, on pose θ = σ

et l’on consid` ere le mod` ele param´ e- trique r´ eel d’´ echantillonnage suivant

R , B

, (N (µ, σ

), σ

∈ Θ = R

)

. L’estimateur S

est-il un estimateur efficace de σ

? Exercice 2.

a) Montrer que la loi de Poisson appartient ` a la famille exponentielle.

b) Montrer que la loi de Cauchy n’appartient pas ` a la famille exponentielle.

Exercice 3. D´ eterminer l’EMV du param` etre λ d’une loi de Poisson. En ´ etudier les propri´ et´ es (biais, convergence, efficacit´ e, exhaustivit´ e).

Exercice 4. Ecrire la vraisemblance d’une loi de Bernoulli de param` etre p ∈]0, 1[.

D´ eterminer l’EMV de p. Etudier ses propri´ et´ es (biais, convergence, efficacit´ e, exhaustivit´ e).

Exercice 5.

a) D´ eterminer l’EMV ˆ θ

du param` etre θ de la loi uniforme sur [0, θ] avec θ ∈ R

. b) D´ eterminer la densit´ e de probabilit´ e de ˆ θ

.

c) Calculer IE[ˆ θ

] et V (ˆ θ

).

d) Etudier les propri´ et´ es de ˆ θ

(biais, convergence, efficacit´ e).

e) Proposer un estimateur T

de θ sans biais et convergent.

f) Choisir entre ˆ θ

et T

au moyen du risque quadratique.

g) Montrer que l’estimateur de θ obtenu par la m´ ethode des moindres carr´ es est identique ` a l’estimateur des moments. On notera U

cet estimateur.

h) Etudier les propri´ et´ es de U

(biais et convergence) et le comparer ` a T

. i) Commenter.

8 G´ en´ eralisation au cas d’un param` etre multidimensionnel

On consid` ere dans ce chapitre un mod` ele param´ etrique r´ eel d’´ echantillonnage : ( R , B

, (P

, θ ∈ Θ ⊂ R

))

, avec p ≥ 2.

a. G´ en´ eralisation des d´ efinitions sur les estimateurs Estimateurs

Un estimateur est une statistique T

d´ efinie sur ( R , B

, (P

, θ ∈ Θ ⊂ R

))

` a va- leurs dans (Θ, B

). C’est donc un vecteur al´ eatoire de dimension p : T

= (T

, . . . , T

).

Estimateur sans biais.

— Biais de T

: B(T

) = IE(T

) − θ ∈ R

.

— On dit que T

est sans biais pour θ si B(T

) = 0

,

— On dit que T

est asymptotiquement sans biais pour θ si B(T

) −→ 0

pour n → +∞,

autrement dit si ∀j = 1, . . . , p, IE[T

] −→ θ

pour n → +∞.

Estimateur convergent.

— T

est convergent pour θ si et seulement si T

−→

θ pour n → +∞, c’est ` a dire : ∀j = 1, . . . , p, T

−→

θ

.

— Conditions n´ ecessaires et suffisantes de convergence :

||T

− θ|| −→

0 pour n → +∞ ⇐⇒ T

est convergent pour θ o` u ||.|| d´ esigne toute norme de R

.

Risque quadratique.

— Il est d´ efini par : R(T

, θ) = IE [(T

− θ)

(T

− θ)] =

p

X

j=1

IE

(T

− θ

)

.

— Propri´ et´ e :

R(T

, θ) = B(T

)

B(T

) +

p

X

j=1

V (T

).

On peut r´ e´ ecrire ceci sous la forme : R(T

, θ) =

p

X

j=1

(IE[T

] − θ

)

+

p

X

j=1

V (T

).

b. G´ en´ eralisation de l’in´ egalit´ e de Cramer-Rao On continue ` a noter

— f (x, θ) la vraisemblance du mod` ele de dimension 1, ici x ∈ R et θ ∈ R

;

— L(x, θ) la vraisemblance du mod` ele de dimension n, ici x ∈ R

et θ ∈ R

;

— X le support de f et X

celui de L.

G´ en´ eralisation des hypoth` eses de r´ egularit´ e

Les hypoth` eses (H1) et (H2) ne sont pas modifi´ ees mais seront ici not´ ee (H1

) et (H2

).

(H1

) X est ind´ ependant de θ.

(H2

) Θ est un ouvert.

On a f (x, θ) > 0, ∀(x, θ) ∈ X × Θ.

(H3

) ∀j = 1, . . . , p, ∂

∂θ

f(x, θ) est d´ efinie ∀(x, θ) ∈ X × Θ.

∀(j, k) ∈ {1, . . . , p}, ∂

∂θ

∂θ

f (x, θ) est d´ efinie ∀(x, θ) ∈ X × Θ.

(H4

) ∀(j, k) ∈ {1, . . . , p}

∂

∂θ

f(x, θ) et ∂

∂θ

∂θ

f (x, θ)

v´ erifient la propri´ et´ e de domination sur tout compact de Θ (par des fonctions de x µ-int´ egrables).

Fonction de score (ou score)

On suppose les hypoth` eses (H1

), (H2

) et (H3

) v´ erifi´ ees.

D´ efinition. La fonction score est d´ efinie par :

S : X × Θ −→ R

(x, θ) 7−→ S(x, θ) = grad

ln(f(x, θ) =







∂

∂θ1

ln(f (x, θ)) .. .

∂

∂θp

ln(f (x, θ))







Remarques et propri´ et´ es.

— On peut aussi d´ efinir le score du mod` ele de dimension n : S

(x, θ) = grad

ln(L(x, θ)).

— Sous (H4

), on peut montrer que : IE[S(X, θ)] = 0

= IE[S

(x, θ)].

Matrice d’information de Fisher

D´ efinition. La matrice d’information de Fisher est une matrice carr´ ee p×p d´ efinie par :

I(θ) = IE [S(X, θ)(S(X, θ))

] , l’´ el´ ement (j, k) de la matrice I(θ) est donn´ ee par IE

h

∂θj

ln(f (x, θ))

k

ln(f(x, θ)) i

. Remarques et propri´ et´ es.

— On peut aussi d´ efinir la matrice d’information de Fisher par rapport du mo- d` ele de dimension n :

I

(x, θ) = IE [S

(X, θ)(S

(X, θ))

] .

— Dans un mod` ele d’´ echantillonnage, on a : I

(x, θ) = nI (θ).

G´ en´ eralisation de l’in´ egalit´ e de Cramer-Rao

— Soit T

un estimateur de θ. On pose IE[T

] = g(θ).

La fonction g d´ efinie sur Θ est ` a valeurs dans R

, sa j` eme coordonn´ ee est g

(θ) = IE[T

].

— Soit D

(θ) la matrice jacobienne de g.

— Notons V

(θ) la matrice de variances-covariances de T

. Consid´ erons l’hypoth` ese suppl´ ementaire suivante :

(H5

) I

(θ) est une matrice d´ efinie positive.

In´ egalit´ e de Cramer-Rao. Sous les hypoth` eses (H1

) ` a (H5

), la matrice V

(θ) − D

(θ) [I

(θ)]

(D

(θ))

est semi-d´ efinie positive.

D´ efinitions.

— La matrice D

(θ) [I

(θ)]

(D

(θ))

s’appelle la borne inf´ erieure de l’in´ egalit´ e de Cramer-Rao.

— On dit que T

est efficace pour θ s’il v´ erifie V

(θ) = D

(θ) [I

(θ)]

(D

(θ))

. Forme g´ en´ erale de la famille exponentielle

D´ efinition. On dit qu’une loi de probabilit´ e appartient ` a la famille exponentielle (` a param` etre multidimensionnel) si sa vraisemblance peut s’´ ecrire sous la forme :

f(x, θ) =



 

  exp

"

X

j=1

α

(θ)β

(x) + γ(θ) + δ(x)

#

si x ∈ X ,

0 sinon,

avec X ind´ ependant de θ. Les applications α

et γ vont de R

dans R .

Les applications β

et δ vont de R dans R .

c. G´ en´ eralisation de la m´ ethode du maximum de vraisemblance

D´ efinition. L’estimateur du maximum de vraisemblance (EMV) de θ est d´ efinie par :

θ ˆ

= arg max

θ∈Θ

L(X

, . . . , X

, θ).

Caract´ erisation de l’EMV ˆ θ

. Si les hypoth` eses (H1

), (H2

) et (H3

) sont v´ e- rifi´ ees, alors pour d´ eterminer ˆ θ

,

i) on r´ esoud S

(X, θ ˆ

) = 0 (´ equations de vraisemblance),

ii)) on v´ erifie que la matrice hessienne de ln L (matrice carr´ ee d’ordre p de terme g´ en´ eral

j∂θ_k

ln(L(x, θ)) calcul´ ee en ˆ θ

est d´ efinie n´ egative, iii) on v´ erifie que le maximum local est un maximum.

III Comportement asymptotique des estimateurs

1 Propri´ et´ es asymptotiques de l’EMV

a. En dimension 1

Deux hypoth` eses suppl´ ementaires sont n´ ecessaires : (H6) θ 6= θ

= ⇒ P

6= P

.

(H7) ∂

∂θ

ln f(x, θ) est continue en θ, uniform´ ement en x.

Th´ eor` eme III.1 Si les hypoth` eses (H1), (H2), (H3), (H4) et (H6)sont v´ erifi´ ees, alors il existe une suite θ ˆ

d’estimateurs du maximum de vraissemblance qui converge presque sˆ urement vers θ.

Th´ eor` eme III.2 Sous les hypoth` eses (H1) ` a (H7), on a :

√ n

θ ˆ

− θ

−→

N (0, I

(θ)) quand n → +∞.

b. En dimension sup´ erieure

Les r´ esultats de convergence pour l’EMV en dimension sup´ erieure restent va- lables :

Th´ eor` eme III.3 Si les hypoth` eses (H1

) ` a (H7

) sont toutes v´ erifi´ ees, alors on a :

√ n(ˆ θ

− θ) −→

N

(0

, I

(θ)).

2 D´ efinitions / outils

a. Normalit´ e et efficacit´ e asymptotique Soit T

un estimateur de θ.

— Si √

n(T

− θ) −→

N

(0

, Σ),

alors on dit que T

est asymptotiquement normal. La matrice Σ est appel´ ee matrice de variances-covariances aymptotique de T

. (Cela n’implique pas que n V (T

) → Σ.)

— Si √

n(T

− θ) −→

N

(0

, I

(θ)),

alors on dit que T

est asymptotiquement efficace.

— L’EMV est asymptotiquement normal et efficace.

b. M´ ethode Delta

Soit g une fonction C

. On suppose que T

est un estimateur de θ tel que a

(T

− θ) −→ N

(0, σ

(θ))

avec a

→ ∞. Alors, g(T

) converge en probabilit´ e vers g(θ) et a

(g(T

) − g(θ)) −→ N

(0, g

(θ)

σ

(θ)).

En dimension sup´ erieure, on consid` ere T

un vecteur al´ eatoire de R

, Σ une matrice de covariance. On suppose que

a

(T

− θ) −→ N

(0, Σ)

avec a

→ ∞. Alors, pour toute fonction g de classe C

, g(T

) converge en probabilit´ e vers g(θ) et

a

(g(T

) − g(θ)) −→ N

(0, D

ΣD

) o` u D

est la matrice Jacobienne de g calcul´ ee en θ.

3 Exercices

Exercice 1. On consid` ere le mod` ele d’´ echantillonnage normal avec P

= N (µ, σ

).

a) D´ eterminer l’EMV de θ = (µ, σ

).

b) Etudier ses propri´ et´ es (biais, convergence, efficacit´ e).

c) Quelle fonction h(θ) peut-on estimer par un estimateur sans biais et efficace ? Exercice 2. On consid` ere le mod` ele d’´ echantillonnage multinomial ` a k ≥ 3 cat´ e- gories :

R , B( R ), B(p

, . . . , p

), p

∈ [0, 1],

k

X

i=1

p

= 1

!

avec X B(p

, . . . , p

), P (X = a

) = p

. a) D´ eterminer l’EMV de θ = (p

, . . . , p

).

b) Montrer qu’il est sans biais, convergent et efficace.

IV Estimation par intervalle de confiance

1 Introduction

On va consid´ erer dans ce chapitre un mod` ele statistique r´ eel param´ etrique (avec un param` etre unidimensionnel) :

( R , B

, (P

, θ ∈ Θ ⊂ R ))

. D´ efinition.

Soit α ∈ [0, 1]. On appelle intervalle de confiance du param` etre θ de niveau (de confiance) 1 − α la donn´ ee de deux statistiques A

et B

v´ erifiant

P (A

≤ θ ≤ B

) = 1 − α.

2 Intervalles de confiance pour les param` etres de la loi nor- male

On suppose ici que l’on dispose d’un ´ echantillon (X

, . . . , X

) o` u les X

sont ind´ ependants et identiquement distribu´ es selon la loi N (µ, σ

).

Intervalle de confiance pour µ lorsque σ

est connue

L’intervalle de confiance pour µ de niveau de confiance 1−α lorsque σ

est connue est :

X

− z

σ

√ n ≤ µ ≤ X

+ z

σ

√ n

o` u z

est le fractile d’ordre 1 − α/2 de la loi normale centr´ ee r´ eduite N (0, 1).

Intervalle de confiance pour µ lorsque σ

est inconnue

L’intervalle de confiance pour µ de niveau de confiance 1 − α lorsque σ

est inconnue est :

X

− t

S

√ n ≤ µ ≤ X

+ t

S

√ n

o` u t

est le fractile d’ordre 1− α/2 de la loi de Student T (n −1) et S

= p S

. Intervalle de confiance pour σ

lorsque µ est connue

On se donne ici α

> 0 et α

> 0 v´ erifiant α

+ α

= α.

L’intervalle de confiance pour σ

de niveau de confiance 1−α lorsque µ est connue est :

P

i=1

(X

− µ)

˜ k

≤ σ

≤ P

i=1

(X

− µ)

k ˜

o` u ˜ k

(resp. ˜ k

) est le fractile d’ordre α

(resp. 1− α

) de la loi du chi-deux χ

(n).

Intervalle de confiance pour σ

lorsque µ est inconnue

On se donne ici ` a nouveau α

> 0 et α

> 0 v´ erifiant α

+ α

= α.

L’intervalle de confiance pour σ

de niveau de confiance 1 − α lorsque µ est

inconnue est :

P

i=1

(X

− X

)

k

≤ σ

≤

P

i=1

(X

− X

)

k

o` u k

(resp. k

) est le fractile d’ordre α

(resp. 1 − α

) de la loi du chi-deux χ

(n − 1).

3 Construction d’intervalles de confiance asymptotiques

D´ efinition IV.1 Un intervalle de confiance [A

, B

] est de niveau asymptotique 1 − α si

P (A

≤ θ ≤ B

)

−→ 1 − α.

a. Utilisation de la convergence de l’EMV

Supposons v´ erifi´ ees les hypoth` eses de r´ egularit´ e (H1) ` a (H7).

Soit I

(θ) l’information de Fisher du mod` ele consid´ er´ e. Soit θ b

l’EMV de θ. On a vu que :

p I

(θ)

θ b

− θ

−→

N (0, 1) pour n → +∞.

donc

P

−z

≤ p

I

(θ)

θ b

− θ

≤ z

' 1 − α.

4 Exercices

Exercice 1. Soient X

, . . . , X

dix variables al´ eatoires i.i.d. de loi N (µ, σ

). On dispose des observations suivantes :

6 8 1 5 6 7 6 6 5 9

Calculer les intervalles de confiance de niveau 95% suivants : - pour µ, sachant que σ

= 4 ;

- pour µ, ne connaissant pas σ

;

- pour σ

, puis pour σ, ne connaissant pas µ.

Exercice 2.

Dans une fabrication en s´ erie, on cherche ` a estimer le taux de pi` eces d´ efectueuses.

Pour cela, on a r´ ealis´ e, ` a quatre p´ eriodes diff´ erentes, quatre pr´ el` evements. Les r´ esul- tats sont les suivants :

6 pi` eces d´ efectueuses sur 30, 10 pi` eces d´ efectueuses sur 50, 20 pi` eces d´ efectueuses sur 100, 40 pi` eces d´ efectueuses sur 200.

D´ eterminer, dans chaque cas, l’intervalle de confiance de niveau 95% de ce taux.

Exercice 3.

D´ eterminer l’intervalle de confiance de niveau 95% de la proportion p d’un ´ ev´ e- nement E , lorsque sur 80 exp´ eriences (ind´ ependantes), l’´ ev´ enement s’est produit 45 fois.

Exercice 4.

En utilisant le th´ eor` eme central limite, construire un intervalle de confiance de niveau asymptotiquement ´ egal ` a 1 − α pour le param` etre λ d’une loi de Poisson.

Application num´ erique : On compte le nombre de parasites par fruit dans un lot de fruits parasit´ es et on obtient :

x

: nombre de parasites par fruit 0 1 2 3 4 5 n

: nombre de fruits contenant x

parasites 11 29 27 19 10 4 Si l’on suppose que le nombre de parasites suit une loi de Poisson de param` etre λ,

donner l’intervalle de confiance de niveau asymptotiquement ´ egal ` a 99% pour le param` etre λ.

Exercice 5.

On consid` ere une variable al´ eatoire r´ eelle continue de densit´ e : f(x) =

0 si x < 2,

θ exp(−θ(x − 2)) si x ≥ 2, avec θ > 0.

1. V´ erifier que cette loi appartient ` a la famille exponentielle.

2. En utilisant les propri´ et´ es de l’EMV de θ, construire un intervalle de confiance pour θ de niveau asymptotiquement ´ egal ` a 1 − α.

3. Application num´ erique : Calculer cet intervalle de confiance pour n = 200, ¯ x

= 6, 68 et α = 5%.

Exercice 6.

On consid` ere n

variables al´ eatoires r´ eelles X

, . . . , X

i.i.d. de loi N (µ

, σ

) et

n

variables al´ eatoires r´ eelles X

, . . . , X

i.i.d. de loi N (µ

, σ

). On suppose de plus les variables X

(k = 1, 2 et i = 1, . . . , n

) mutuellement ind´ ependantes.

1. Soient X

= 1 n

n1

X

i=1

X

et X

= 1

n

n2

X

i=1

X

. Quelle est la loi de X

− X

?

2. Soit S

= 1 n

+ n

− 2

"

X

i=1

(X

− X

)

+

n2

X

i=1

(X

− X

)

# . Quelle est la loi de (n

+ n

− 2) S

σ

?

3. En d´ eduire un intervalle de confiance de niveau 1 − α pour le param` etre

µ

− µ

.

4. Application num´ erique : On a observ´ e n

= 10 et n

= 8 observations dans chacune des deux populations consid´ er´ ees. Les donn´ ees obtenues sont les suivantes :

x

: 1,36 2,66 2,05 1,85 2,28 1,71 0,75 1,97 1,70 1,68 x

: 1,91 2,03 1,31 1,33 2,68 2,04 0,40 3,31

Calculer l’intervalle de confiance de niveau 95% pour le param` etre µ

− µ

.

V G´ en´ eralit´ es sur les tests

1 Probl` emes de test

Le but d’un test statistique est de donner un crit` ere permettant de retenir l’hy- poth` ese H

: θ ∈ Θ

ou de retenir une hypoth` ese alternative H

: θ ∈ Θ

, avec Θ

⊂ Θ

.

La mise en œuvre du crit` ere du test d´ etermine une zone de rejet ou zone critique W , W

est la zone d’acceptation ou zone de confiance. On appelle risque de premi` ere esp` ece, not´ ee α, la probabilit´ e de rejeter l’hypoth` ese H

alors qu’elle est vraie, α = P (W |H

). La probabilit´ e, not´ ee 1 − β, de retenir l’hypoth` ese H

alors qu’elle est fausse s’appelle risque de deuxi` eme esp` ece, 1 − β = P (W

|H

). La probabilit´ e β s’appelle puissance du test.

D´ efinition V.1 Un test est donn´ e par une fonction Φ : E

−→ {0, 1}, on retiendra H

si Φ(X

, . . . , X

) = 0, on rejette H

si Φ(X

, . . . , X

) = 1. On appelle zone de rejet l’ensemble R = {Φ(X

, . . . , X

) = 1}. ´ Evidemment, ´ etant donn´ ee une zone de rejet R ⊂ E

, on d´ efinit un test en posant Φ = 1I

.

Lorsque Θ

= {θ

} et Θ

= {θ

}, on parle d’hypoth` eses simples.

D´ efinition V.2 Le niveau du test - ou sa sensibilit´ e - est la probabilit´ e de rejeter H

` a tort :

α = sup

θ∈Θ₀

P

((X

, . . . , X

) ∈ R)).

La puissance du test est la fonction β : Θ

−→ [0, 1] d´ efinie par β(θ) = P

((X

, . . . , X

) ∈ R). Le test est dit sans biais si β(θ) ≥ α ∀θ ∈ Θ

.

2 Tests uniform´ ement plus puissants

D´ efinition V.3 Etant donn´ ´ es deux tests Φ

et Φ

de niveau ≤ α pour tester l’hy-

poth` ese H

: θ ∈ Θ

contre H

: θ ∈ Θ

. Le test Φ

est uniform´ ement plus puissant

(u.p.p.) que Φ

ssi ∀θ ∈ Θ

, β

(θ) ≥ β

(θ). Dans le cas o` u Θ

= {θ

} et Θ

= {θ

},

on parle de test plus puissant (p.p.).

Dans un premier temps, on supposera que H

et H

sont des hypoth` eses simples : H

: θ = θ

, H

: θ = θ

.

Soit L(x

, . . . , x

, θ) la fonction de vraisemblance de (X

, . . . , X

).

D´ efinition V.4 On consid` ere des hypoth` eses simples Θ

= {θ

} et Θ

= {θ

}. Soit V

(x) = L(x, θ

)

L(x, θ

)

le rapport de vraissemblance. On consid` ere la famille de tests Φ

dont la r´ egion critique R

est de la forme :

V

(x) > k.

On appellera test de Neyman et Pearson tout test de cette forme.

Th´ eor` eme V.1 (Lemme de Neyman-Pearson)

1. Soit α > 0, si Φ

est un test de niveau α alors il est p.p. que tout autre test de niveau ≤ α, de plus il est sans biais.

2. Si α ∈]0, 1[,si les lois P

sont absoluement continues, il existe k

∈ R tel que Φ

est de niveau α. Si les lois P

sont discr` etes alors il existe un plus petit k

tel que Φ

est de niveau ≤ α.

3. Soit Φ un test p.p. de niveau α alors ∀θ ∈ {θ

, θ

},

P

(Φ(X) 6= Φ

(X) et V (X) 6= k) = 0.

Ce r´ esultat permet de construire des tests optimisant la puissance dans le cas d’hypoth` eses simples. Le point 3. montre que les tests de Neymann et Pearson sont les seuls tests p.p. (dans le cas absoluement continu). Dans le cas d’hypoth` eses composites (par exemple H

n’est pas r´ eduite ` a un point), le lemme de Neyman et Pearson permet d’obtenir des tests u.p.p., si les rapports de vraisemblance sont monotones.

Proposition V.1 Si T est une statistique exhautive dont la fonction de vraissem- blance g(t, θ) v´ erifie : pour θ > θ

,

g(t, θ)

g(t, θ

) est une fonction croissante de t.

Alors le test de zone de rejet R f

= {T > k} est u.p.p. pour tester θ = θ

contre

θ > θ

.

3 Tests fond´ es sur le rapport du maximum de vraisemblance

D´ efinition V.5 On appellera test du maximum de vraisemblance tout test fond´ e sur la r´ egion critique

W =

x ∈ R

/ sup

L(x, θ) sup

L(x, θ) > k

, o` u k

est choisit tel que sup

θ∈Θ0

P

(W ) = α.

Dans le cas o` u Θ

= Θ

, on consid` erera le test de r´ egion critique : R =

x ∈ R

/ λ(x) = sup

L(x, θ) sup

L(x, θ) > k

.

D´ ecision et “p-value”

Lorsqu’on proc` ede ` a un test, on fixe l’hypoth` ese H

, par exemple θ = θ

, on choisit une hypoth` ese alternative H

:

H

: θ 6= θ

hypoth` ese bilat´ erale

H

: θ < θ

ou H

: θ > θ

hyoth` eses unilat´ erale.

On se fixe un risque de premi` ere esp` ece α, on d´ etermine la r´ egion critique (i.e.

pour un test bas´ e sur le rapport de vraissemblance, la valeur de k

), on calcule la valeur exp´ erimentale de la statistique du test Z

, si Z

est dans la r´ egion critique, on rejette H

(et on retient H

), sinon on retient H

.

La plupart des logiciels de statistique permettent de calculer la valeur de k

mais fournissent aussi un autre renseignement : la “p-value” p. Si le test est de r´ egion critique f(Z ) > k o` u Z est la statistique du test (f(x) = x ou f(x) = |x|), la p-value est la probabilit´ e : p value = sup

P

(f (T ) > Z exp), on remarque que Z exp ≥ k ⇔ p value ≤ α.

Si p < α, on rejette H

(et on retient H

), sinon, on retient H

. On prendra garde que certains logiciels ne fournissent la valeur de p que pour des hypoth` eses alternatives bilat´ erales. Dans le cas de distributions sym´ etriques (normale, Student), on passe du p bilat´ eral au p unilat´ eral en divisant par 2.

4 Tests asymptotiques

D´ efinition V.6 On consid´ ere une suite (E

, B

, ( P

)

) de mod` eles d’´ echan- tillonages param´ etriques ayant le mˆ eme espace de param` etres Θ. On note X

le vecteur al´ eatoire correspondant.

Le niveau asymptotique d’une suite de tests de Θ

contre Θ

, de r´ egion de rejet

R

est la limite (lorsqu’elle existe)

α = lim

N→∞

sup

θ∈Θ₀

P

(X

∈ R

).

On dit que la suite de tests est convergente si

∀θ ∈ Θ

lim

N→∞

P

(X

∈ R

) = 1.

a. Propri´ et´ es asymptotiques des tests du maximum de vraissemblance On se place dans le cas o` u Θ

= {θ

} et Θ

= {θ 6= θ

}. On consid` ere alors

λ

(X) = sup

L

(X, θ) L

(X, θ

) .

Th´ eor` eme V.2 On suppose que les hypoth` eses de r´ egularit´ e du mod` ele (H1)−(H7) sont satisfaites et que Θ ⊂ R (param` etre de dimension 1). La suite de test de r´ egion critique :

R

= {2 ln λ

> K},

o` u K est le 1 − α quantile d’une loi χ

(1) est de sensibilit´ e asymptotique α et convergente.

b. Tests de Wald et du score

Proposition V.2 On consid` ere θ e

une suite d’estimateurs asymptotiquement effi- cace d’un param` etre θ ∈ R

, on suppose de plus que I(e θ

) −→

I(θ). Soit g : Θ −→ R

une fonction C

de matrice jacobienne D(θ) de rang k. On consid` ere Θ

= {θ ∈ Θ / g(θ) = 0}. Le test de Wald de r´ egion de rejet :

R

: ξ

> χ

(k) avec ξ

= ng(e θ

)

D(e θ

)I(e θ

)

D(e θ

)

g (e θ

).

est de sensibilit´ e asymptotique α et convergent pour Θ

= {θ ∈ Θ / g(θ) 6= 0}.

Lemme V.3 Soit X un vecteur al´ eatoire gaussien de R

, d’esp´ erance µ et de ma- trice de covariance Σ. On suppose que Σ est inversible. Alors

D

= (X − µ)

Σ

(X − µ) suit une loi du χ

(d).

Lemme V.4 Soit X

une suite de vecteurs al´ eatoires de R

telle que X

−→

X et

A une matrice d × k. Alors la suite de vecteurs al´ eatoires de R

AX

converge en

loi vers AX.

Les tests du score sont bas´ es sur la r´ egion de rejet : ξ

> χ

(k) avec ξ

= 1

n DL

(b θ

)

I(b θ

)

DL

(b θ

), o` u DL

est le gradient de la vraisemblance et θ b

l’EMV de θ sur Θ

.

VI Tests param´ etriques classiques

Notations :

P : proportion sur un ´ echantillon al´ eatoire pour une variable de Bernouilli : X prend les valeurs 0 ou 1 avec probabilit´ e 1 − π et π,

P =

.

X : moyenne sur un ´ echantillon al´ eatoire de taille d’esp´ erance µ.

S

est la variance estim´ ee d´ efinie par : S

= 1

n − 1

n

X

i=1

(X

− X)

. Lorsque IE(X) = µ est connue, on utilise aussi :

D

= 1 n

n

X

i=1

(X

− µ)

.