2.1 Propriétés d’un estimateur

Aide Mémoire de Statistique

(E,E,P)modèle statistique6= (E,E,P)modèle probabiliste En probabilité, on connaît la loiPet on fait des calculs

En statistique, on ne connaît pas la loi (seulement une famille de probabilitésP) mais on connaît des observations et on tente de retrouver la loi.

(E,E,P)modèle statistique paramétrique ⇒ P = {Pθ, θ ∈ Θ} famille de loi de probabilité dépendant d’un paramètreθ.

1 Échantillonnage

• (X1, .., Xn)échantillon aléatoirei.i.d. de même loi que la v.a. parenteX.

(X1, .., Xn)est un vecteur aléatoire i.i.d. particulier.

• (x1, .., xn)échantillon de données,réalisation/observationsde échantillon aléa- toire(X1, .., Xn).

(x₁, .., x_n)est un vecteurs de données (réelles...)

• Moyenne empiriquede l’échantillon :Xn= ¹_nPn i=1Xi

E(Xn) =E(X) V ar(Xn) =V ar(X)/n TCL :√

n^X√^n−E(X)

V ar(X)

−L→ N(0,1) Xn

−−→p.s. E(X)

SiX∼ N(µ, σ²)alorsXn∼ N(µ, σ²/n)

• Variance empiriquede l’échantillon :S_n² = 1 n

n

X

i=1

(X_i−X_n)²= 1 n

n

X

i=1

X_i²−(X_n)² E(S_n²) =ⁿ⁻¹_n V ar(X)

• Variance empirique sans biaisde l’échantillon :S_n⁰²= _n−1ⁿ S²_n E(S_n⁰²) =V ar(X)

X_n,S²_n,S_n⁰²sont des variables aléatoires.

• Rappel :

(X1, ..., Xn)vecteur aléatoire i.i.d. de loiN(0,1) =⇒Z=Pn

i=1X_i²∼χ²_n Loi du Chi-deux :

X ∼χ²_n Y ∼χ²_m

XetY indépendants







=⇒X+Y ∼χ²_n+m

Loi de Student :

U ∼ N(0,1) Z ∼χ²_n

U etZindépendants







=⇒ √^U

Z n

∼St(n): loi de Student dendegré de liberté (d.d.l.)

• Théorème de Fisher:

(X₁, ..., X_n)échantillon aléatoire i.i.d. de loi parenteN(µ, σ²)

=⇒







1) (n−1)^S_σⁿ⁰²₂ ∼χ²_n−1

2)XnetS_n⁰²sont 2 v.a. indépendantes.

3)√ n^Xn_S^−µ0

n ∼St(n−1)

2 Estimation ponctuelle

(E,E,P)modèle statistique paramétrique ⇒ P = {Pθ, θ ∈ Θ} famille de loi de probabilité dont on ne connaît pas le paramètreθ.

• Un estimateur deθest une variable aléatoire qui tente d’estimer le paramètreθ de la loi inconnueP_θ, il est notéθb=T_n=T(X₁, ..., X_n)

• Une estimation deθest une réalisation/observation de l’estimateurTn : tn = T(x1, ..., xn).

2.1 Propriétés d’un estimateur

• Biais d’un estimateur

– Estimateur sans biais :E(bθ) =θ

– Estimateur avec biais :E(bθ) =θ+bθ(bθ)c-à-d : biais=bθ(bθ) – Estimateur asymptotiquement sans biais :E(bθ)−−−−→^n→∞ θ

– Erreur quadratique moyenne :EQMθ(bθ) =E((bθ−θ)²) =V ar(bθ) + (bθ(bθ))² Une erreur liée au biais et une erreur liée à la précision.

• Précision d’un estimateur :V ar(bθ)

Estimateur optimal : estimateur sans biais de variance minimale (ESBVM)

• Convergence (en loi) d’un estimateur vers le paramètre estimé : E(Tn)−−−−→^n→∞ θ

V ar(Tn)−−−−→^n→∞ 0

⇒Tn L²

−−→θ⇒Tn

−→L θ

Remarque :

bθestimateur sans biais deθ;g(bθ)estimateur sans biais deg(θ)

2.2 Information de Fisher

(X1, .., Xn)échantillon aléatoire i.i.d. de même loi que la v.a. parenteX

• Fonction de vraisemblancede l’échantillon observé(x1, ..., xn)pour le paramètreθ: – cas discret :L(θ;x₁, ..., x_n) =

n

Y

i=1

P_θ(X =x_i)

– cas continu :L(θ;x1, ..., xn) =

n

Y

i=1

fθ(xi) avecfθla fonction de répartition deX

Les(x₁, ..., x_n) sont connus (résultat d’une expérience) et le paramètreθ est inconnu.

• Lalog-vraisemblancede l’échantillon observé(x1, ..., xn)pour le paramètreθ: l(θ;x₁, ..., x_n) =lnL(θ;x₁, ..., x_n)

• Condition de régularité(HR) sur la vraisemblance 1. L’information de Fisher existe∀θ∈Θ

2. La loi parente deXest deux fois dérivable par rapport àθ 3. _∂θ^∂22

R L(θ;x1, ..., xn)dx1...dxn=R _∂²

∂θ²L(θ;x1, ..., xn)dx1...dxn

En pratique, les (HR) sont vérifiées si le support de la loi parente ne dépend pas du paramètreθet la vraisemblance est suffisamment régulière.

Support(L(X)) =f(θ) =⇒(HR) ne sont pas vérifiées

• Information de Fisher apportée par l’échantillon(X1, ..., Xn)sur le paramètre inconnuθ:

In(θ) =E ∂

∂θlnL(θ;X1, ..., Xn) 2!

oùL(θ;X₁, ..., X_n)est un v.a. et sa réalisation estL(θ;x₁, ..., x_n) (HR) =⇒ In(θ) =V ar

∂

∂θlnL(θ;X1, .., Xn)

=−E ∂²

∂θ²lnL(θ;X1, .., Xn)

=nI(θ) =nI₁(θ) =nE ∂

∂θlnL(θ;X) ²!

Information de Fisher apportée par la statistiqueTn sur le paramètre in- connuθ:

IT_n(θ) =E ∂

∂θlnL(θ;Tn) 2!

Tnestimateur deθ⇒06IT_n(θ)6In(θ)

• Borne de Cramer-Rao(BCR) est la précision maximale auquel peut prétendre un estimateur

Théorème de Fréchet-Darmois-Cramer-Rao (FDCR) : (H_R)vérifiées

I_n(θ)6= 0

Tnestimateur sans biais deθ

E(Tn)est dérivable sous le signe somme











⇒V ar(T_n)> 1

In(θ) =BCR De plus, siV ar(Tn) =BCRalorsTnest unestimateur efficace.

Si ^{V ar(T}_BCRⁿ⁾→1alorsTnest unestimateur asymptotiquement efficace.

• StatistiqueT_nestexhaustivesiL(θ;x₁, ..., x_n) =φ(t_n, θ)×h(x₁, ..., x_n), c-à-d si on peut décomposer la vraisemblance en une fonctionφdépendant de la réalisation de l’estimateurTnet du paramètreθet d’une fonctionhne dépendant que de la réalisation de l’échantillon(X1, ..., Xn).

2.3 Comment trouver un estimateur ?

– Estimateur de maximum de vraisemblance à compléter

– Estimateur des moments à compléter

3 Intervalles de confiance

à compléter

4 Tests d’hypothèses

Tests paramétriques : test sur un paramètreθd’un loiPθ, θ∈Θ

• Hypothèses statistiques :

– L’hypothèse nulleH₀ :θ∈Θ₀contre l’hypothèse alternativeH₁:θ ∈ Θ₁

test :H₀à rejeter (pourH₁) ou non ?

– Hypothèse simple siΘ = {θ₀}: singleton (sinonhypothèse composite oucomposée)

– Hypothèses maintenues,Hm, hypothèses que l’on considère toujours vraies – Test bilatéral:H0:θ=θ0contreH1:θ6=θ0

– Test unilatéral:H1composé et test non bilatéral Rôle des hypothèses est non symétrique

• Deux types d’erreur et risques associés – Erreur de première espèceεI :

DéciderH1(rejet deH0) alors queH0est vrai

⇒ Risque de première espèce: α: Θ0 → [0,1]

θ 7→ α(θ) =P_H0(rejet deH₀) =P_H0((X₁, ..., X_n)∈W) siH0est simple (H0:θ=θ0) alorsα(θ) =α(θ0) =αest une constante (siH₀: innocent alorsαest la proba de condamner un innocent)

– Erreur de deuxième espèceε_II :

DéciderH₀(non rejet deH₀) alors queH₁est vrai

⇒ Risque de deuxième espèce: β: Θ₁ → [0,1]

θ 7→ β(θ) =P_H1(non rejet deH₀) =P_H1((X₁, ..., X_n)∈/W) siH₁est simple (H₀:θ=θ₁) alorsβ(θ) =β(θ₁) =βest une constante (siH₀: innocent alorsβest la proba de libérer un coupable)

– Puissance d’un test:∀θ∈Θ1, γ(θ) =PH₁(rejet deH0)= 1−β(θ) – Niveauouseuil d’un test:α= sup

H0:θ∈Θ0

α(θ)

• Règle de décisionΨ⇔Région critiqueW ⇔Statistique de testT_n – Fonction de testoutest d’hypothèseourègle de décision:

Ψ : χⁿ → {0,1}

(x₁, ...., x_n) 7→ Ψ(x₁, ...., x_n) =

1si on rejetteH0au profit deH1

0si on ne rejette pasH0

= 1^W(x1, ...., xn) =

1si(x1, ...., xn)∈W 0si(x1, ...., xn)∈/W avecχⁿensemble des réalisations de l’échantillon aléatoire(X1, ...., Xn).

– Région critique (RC) du testΨ: région de rejet deH0 c-à-d ensemble des observations qui conduisent à rejeterH0:

W ={(x1, ...., xn)∈χⁿ: Ψ(x1, ...., xn) = 1}= Ψ⁻¹(1) Région d’acceptation deH0=W = Ψ⁻¹(0)

– Statistique de testouvariable de décision est une fonction de l’échantillon T_n =f(X₁, ..., X_n)c-à-d une v.a. particulière dont la loi est connue sous H₀supposé vrai

∗ Très souvent la statistique de testT_nest un estimateur du paramètre à éprouver

∗ On peut réécrireW à l’aide detn(une réalisation deTn) : W ={(x1, ...., xn)∈χⁿ :tn ∈ D}

avecDà déterminer

Donner une région critiqueW ⇐⇒Donner une règle de décisionΨ

⇐⇒Donner une statistique du testTnet son domaineD

4.1 Test d’hypothèse à seuil : principe de Neyman

Contrôle du risque de premier espèce via le seuil du test :α= sup

H₀:θ∈Θ0

α(θ).

Étapes de construction d’un test

1. Choix des hypothèses de testH0etH1

2. Choix de la statistique de test (et donc de la forme de la RC) 3. Fixer le seuil du testα= sup

H0:θ∈Θ0

α(θ)(⇒limite le risque de première espèce) et déterminer alors la RC :W_α

4. Vérifier si les observations(x₁, ..., x_n)se trouvent ou pas dans la RC 5. Conclusion : rejet ou non rejet deH0au seuilα

6. Si non rejet de H0 : évaluer si possible de risque de deuxième espèce ou la puissance du test (difficile si (H1) est composée carβ est alors une fonction de θet non une constante)

4.2 p-valeur

Lap-valeurouprobabilité critiqueouseuil critiqueest le plus petit risqueαpour lequel les observations conduisent au rejet deH₀:

αc(tn) = inf{α: (x1, ..., xn)∈Wα} On inverse les points 3. et 4. dans le cas précédant.

4.3 Test optimaux et Test UPP

• entre 2 hypothèses simples Définition

Théorème de Neyman-Pearson

• entre une hypothèse simple et une composée Thm

Pas de test UPP pour les tests bilatéraux

• entre 2 hypothèses composées Thm

Test du rapport de vraisemblances maximales Propriété