• Aucun résultat trouvé

Principes de grandes d´eviations

Pour une suite(Xn)de variables al´eatoires i.i.d. r´eelles int´egrables, le th´eor`eme central limite implique que la moyenne empiriqueX¯nconverge p.s. versm=E[X1].

Les principes de grandes d´eviations ont pour objectif d’´evaluer la probabilit´e d’´ev´enements rares, du type{X¯n∈A}o`uA⊂Rne contient pasm.

Exercice 42 On consid`ere la partieA= [x,+∞)o`ux > m.

1. Soitt >0Montrer en utilisant une in´egalit´e de Markov surexp(tSn)que P( ¯Xn≥x)≤exp (−n(xt−φ(t)))

o`uφ:R→]− ∞,∞]est la log-Laplace deX1: φ(t) = logE[exp(tX1)].

2. En d´eduire que

3. Dans le cas suivants, expliciter la fonctionφpuis la fonctionI (attention aux valeurs potentiellement infinies qu’elles peuvent prendre) :

(a) X1∼ B(p), (b) X1∼ P(λ), (c) X1∼ E(λ).

L’exercice pr´ec´edent montre qu’on peut s’attendre `a ce que ces probabilit´es d’´ev´enements rares soient major´ees par une exponentielle d´ecroissante enn. Le th´eor`eme suivant2, tr`es g´en´eral et s’appliquant mˆeme quandX1n’est pas int´egrable, montre que c’est le cas et fournit ´egalement une borne inf´erieure.

Th´eor`eme 3.4.1 (Cram´er-Chernov) Soient(Xn)des variables r´eelles i.i.d, etX¯n=

1

Remarque 3.4.2 La fonctionIs’appellefonction de tauxoutransform´ee de Cram´er associ´ee `aX1. Elle est positive, semi-continue inf´erieurement, convexe.

Exercice 43 Soient (Xn) des variables i.i.d r´eelles int´egrables, de moyenne m = E[X1]. D´eduire du Th´eor`eme 3.4.1 que pour toutx > m, entrepet1. Rappelons dans ce cas la fonctionI(x)calcul´ee dans l’exercice 42 :

I(x) =xlog

2. Pour une preuve, voir par exemple le livreLarge deviations techniques and applicationsde Dembo et Zeitouni

Grands th´eor`emes de convergence

pourx∈ [0,1], et+∞ailleurs. Combien d’essais faut-il effectuer pour estimer cor-rectement la probabilit´eP( ¯Xn ≥x)? Tracer la fonctionIet dire pourquoi cette pro-babilit´e est difficile `a estimer empiriquement, `a part pour desxtr`es proches dep.

Universit´e Paris-Saclay Master 1 math´ematiques et applications

Chapitre 4

Tests et estimateurs classiques

4.1 Estimateurs

Nous commenc¸ons par rappeler les d´efinitions g´en´erales. Tout au long du chapitre on garde la notationX¯npour la moyenne empirique X1+···+Xn nd’une suite de variables al´eatoires.

4.1.1 D´efinitions

D´efinition 4.1.1 Un mod`ele param´etrique est une famille de probabilit´es index´ees par un param`etreθ∈Θ, o`uΘ⊂Rd:P ={Pθ, θ∈Θ}. Le mod`ele est dit identifiable si θ7→Pθest injective.

SiXest une variable al´eatoire dont la loi appartient `a un tel mod`ele param´etriqueP, unestatistiqueZest une variableX-mesurable (donc de la formeϕ(X)) ; cette statis-tique est unestimateurd’un param`etreg(θ)si presque-sˆurementZ ∈g(Θ).

Souvent, le mod`ele d´ependra d’un param`etren: il s’agira souvent d’un mod`ele den r´ealisations i.i.d. (il sera alors not´eP⊗n car ses ´elements sont de la formeP⊗nθ ) mais pas forc´ement, voir l’exemple ci-apr`es.

Exemple 1

• SiX1, . . . , Xnest unn-´echantillon de loi normaleN(m, σ2)avecm,σ2 incon-nus, alors le mod`ele naturel associ´e est

P⊗n={P⊗nm,σ2|(m, σ2)∈R×R+} o`uPm,σ2est la loi normaleN(m, σ2)surR.

• On consid`ere lesn+ 1premiers pas(Xk)nk=0d’une chaˆıne de Markov sur un espace d’´etat finiE, de loi initialeµet de matrice de transitionP. Le mod`ele associ´e est l’ensemble des loisP(n)µ,P :

P(n)µ,P(x0, . . . , xn) =µ(x0)Px0,x1. . . Pxn−1,xn, qui n’est pas de la formeP⊗n.

Etre un estimateur n’est pas une propri´et´e int´eressante : par exemple, n’importeˆ quelle constante deΘest un estimateur. On va donc d´efinir plusieurs qualit´es possibles pour un estimateur. On commence par d´efinir le biais et le risque quadratique :

D´efinition 4.1.2 SoitP un mod`ele param´etrique, etZun estimateur deg(θ). On sup-pose que pour toutθ∈Θ,Eθ(kZk)<∞. On d´efinit

b(θ) =Eθ(Z)−g(θ) r(θ) =Eθ (Z−g(θ))2

(o`u, dans les deux cas,Eθest l’esp´erance par rapport `aPθ) qui sont appel´es respecti-vement lebiaisdeZet sonrisque quadratique.

Diff´erentes qualit´es ´eventuelles d’un estimateurZ deg(θ), ouZn(lorsque le mod`ele d´epend d’un param`etrenmais queΘest fixe) seront les suivantes :

• ˆetresans biais, c’est-`a-dire avoir un biaisb(θ)nul pour toutθ;

• avoir un risque quadratique faible (mais toute comparaison du risque de deux estimateurs n’a de sens que si elle est vraie pour toutθ) ;

• ˆetreasymptotiquement sans biais, c’est-`a-dire v´erifier,limn→∞bn(θ) = 0,

• ˆetrefortement consistantc’est-`a-dire v´erifier que pour toutθon aZnp.s.→g(θ),

• ˆetre(faiblement) consistant, c’est-`a-dire v´erifier que pour toutθon aZn P

→g(θ).

Une autre qualit´e recherch´ee d’une suite d’estimateurs est l’existence d’une loi asymptotique, c’est-`a-dire le fait qu’il existe une suite(an)navecan → ∞, telle que an Zn−g(θ)

converge en loi, vers une loi non triviale. On dit dans ce cas que la suite d’estimateurs(Zn)nest devitesse(an)n. Lorsquean=√

net que la loi limite est une normale centr´ee, on parle denormalit´e asymptotique.

Exercice 44 Soitθ >0. On consid`ereU1, . . . , Ununn-´echantillon de loiU([0, θ]).

1. Montrez queZ1= 2 ¯Unest un estimateur sans biais, consistant et asymptotique-ment normal deθ.

2. Montrez queZ2= max(U1, . . . , Un)est un estimateur consistant deθet quen(Z2− θ)converge en loi vers une loi que l’on identifiera.

3. Pour unθ quelconque, simulez un100-´echantillonU1, . . . , Unet d´efinissez les estimateursZ1etZ2correspondant aux100valeurs den. Tracez les trajectoires deZ1etZ2. Lequel des deux estimateurs semble converger le plus vite versθ? Exercice 45 Soit(X1, . . . , Xn)un ´echantillon de loi admettant un moment d’ordre deux. On propose l’estimateur suivant pour la variance :

ˆ

Montrer qu’il est fortement consistant mais biais´e. Montrer que n−1n2nest sans biais.

4.1.2 M´ethode des moments

Une mani`ere de construire des estimateurs est la m´ethode des moments. Si g(θ) est une fonction des moments, on l’estime par la mˆeme fonction mais ´evalu´ee en les moments empiriques.

Tests et estimateurs classiques

La m´ethode des moments sugg`ere donc comme estimateurs

ˆ

Ces estimateurs sont fortement consistants d’apr`es la loi des grands nombres.

Exercice 46

• Montrez queZ1dans l’exercice 44 ci-dessus aurait pu ˆetre trouv´e par la m´ethode des moments.

• SoitP1, . . . , Pnunn-´echantillon de loi de Poisson de param`etreλ. En utilisant les formules pour l’esp´erance et la variance de cette loi, proposer deux esti-mateurs deλdiff´erents. Ces estimateurs sont-ils biais´es ? Sont-ils consistants ? Tenter de les comparer par simulation (on pourra se limiter `aλ∈Λ = [1,3]).

4.1.3 M´ethode par insertion

La m´ethode par insertion est similaire : sig(θ)s’´ecrit comme une fonction d’un autre param`etreh(θ), par exempleg(θ) =ψ h(θ)

, et que l’on connaˆıt un estimateur Zhdeh(θ), on proposeψ(Zh)pour estimateur deg(θ).

4.1.4 M´ethode du maximum de vraisemblance

La m´ethode du maximum de vraisemblance est la plus complexe math´ematiquement mais aussi la plus universelle, et elle poss`ede souvent de bonnes propri´et´es. On suppose que toutes les loisPθsont absolument continues par rapport `a une mesure commune µ. On note alorsfθla densit´e dePθpar rapport `aµ; une r´ealisationX de loiPθ ´etant donn´ee, on propose comme estimation deθla valeur (si elle est unique) deθqui maxi-mise lavraisemblanceV :θ7→fθ(X).

En g´en´eral on travaillera avec unn-´echantillonX1, . . . , Xn, de sorte que la densit´e

`a consid´erer sera

Vn:θ7→fθ(X1). . . fθ(Xn),

Exemple 4 On consid`ere le mod`ele{P⊗nm,σ2|(m, σ2)∈R×R+}. La fonction `a maxi-miser est

θ7→

n

Y

i=1

√ 1

2πσ2e

(Xi−m)2 2 .

En passant au log, on obtient

logVn(θ) =−nX2−2mX+m2

2 + logσ

+ constante.

Quel que soitσ2, lemmaximiseur estX. En r´einjectant ce r´esultat dans l’expression on trouve que leσ2maximiseur estX2−X2.

Exercice 47 Dans le mod`ele de l’exercice 44, quel est l’estimateur du maximum de vraisemblance ?

Documents relatifs