Pour une suite(Xn)de variables al´eatoires i.i.d. r´eelles int´egrables, le th´eor`eme central limite implique que la moyenne empiriqueX¯nconverge p.s. versm=E[X1].
Les principes de grandes d´eviations ont pour objectif d’´evaluer la probabilit´e d’´ev´enements rares, du type{X¯n∈A}o`uA⊂Rne contient pasm.
Exercice 42 On consid`ere la partieA= [x,+∞)o`ux > m.
1. Soitt >0Montrer en utilisant une in´egalit´e de Markov surexp(tSn)que P( ¯Xn≥x)≤exp (−n(xt−φ(t)))
o`uφ:R→]− ∞,∞]est la log-Laplace deX1: φ(t) = logE[exp(tX1)].
2. En d´eduire que
3. Dans le cas suivants, expliciter la fonctionφpuis la fonctionI (attention aux valeurs potentiellement infinies qu’elles peuvent prendre) :
(a) X1∼ B(p), (b) X1∼ P(λ), (c) X1∼ E(λ).
L’exercice pr´ec´edent montre qu’on peut s’attendre `a ce que ces probabilit´es d’´ev´enements rares soient major´ees par une exponentielle d´ecroissante enn. Le th´eor`eme suivant2, tr`es g´en´eral et s’appliquant mˆeme quandX1n’est pas int´egrable, montre que c’est le cas et fournit ´egalement une borne inf´erieure.
Th´eor`eme 3.4.1 (Cram´er-Chernov) Soient(Xn)des variables r´eelles i.i.d, etX¯n=
1
Remarque 3.4.2 La fonctionIs’appellefonction de tauxoutransform´ee de Cram´er associ´ee `aX1. Elle est positive, semi-continue inf´erieurement, convexe.
Exercice 43 Soient (Xn) des variables i.i.d r´eelles int´egrables, de moyenne m = E[X1]. D´eduire du Th´eor`eme 3.4.1 que pour toutx > m, entrepet1. Rappelons dans ce cas la fonctionI(x)calcul´ee dans l’exercice 42 :
I(x) =xlog
2. Pour une preuve, voir par exemple le livreLarge deviations techniques and applicationsde Dembo et Zeitouni
Grands th´eor`emes de convergence
pourx∈ [0,1], et+∞ailleurs. Combien d’essais faut-il effectuer pour estimer cor-rectement la probabilit´eP( ¯Xn ≥x)? Tracer la fonctionIet dire pourquoi cette pro-babilit´e est difficile `a estimer empiriquement, `a part pour desxtr`es proches dep.
Universit´e Paris-Saclay Master 1 math´ematiques et applications
Chapitre 4
Tests et estimateurs classiques
4.1 Estimateurs
Nous commenc¸ons par rappeler les d´efinitions g´en´erales. Tout au long du chapitre on garde la notationX¯npour la moyenne empirique X1+···+Xn nd’une suite de variables al´eatoires.
4.1.1 D´efinitions
D´efinition 4.1.1 Un mod`ele param´etrique est une famille de probabilit´es index´ees par un param`etreθ∈Θ, o`uΘ⊂Rd:P ={Pθ, θ∈Θ}. Le mod`ele est dit identifiable si θ7→Pθest injective.
SiXest une variable al´eatoire dont la loi appartient `a un tel mod`ele param´etriqueP, unestatistiqueZest une variableX-mesurable (donc de la formeϕ(X)) ; cette statis-tique est unestimateurd’un param`etreg(θ)si presque-sˆurementZ ∈g(Θ).
Souvent, le mod`ele d´ependra d’un param`etren: il s’agira souvent d’un mod`ele den r´ealisations i.i.d. (il sera alors not´eP⊗n car ses ´elements sont de la formeP⊗nθ ) mais pas forc´ement, voir l’exemple ci-apr`es.
Exemple 1
• SiX1, . . . , Xnest unn-´echantillon de loi normaleN(m, σ2)avecm,σ2 incon-nus, alors le mod`ele naturel associ´e est
P⊗n={P⊗nm,σ2|(m, σ2)∈R×R+} o`uPm,σ2est la loi normaleN(m, σ2)surR.
• On consid`ere lesn+ 1premiers pas(Xk)nk=0d’une chaˆıne de Markov sur un espace d’´etat finiE, de loi initialeµet de matrice de transitionP. Le mod`ele associ´e est l’ensemble des loisP(n)µ,P :
P(n)µ,P(x0, . . . , xn) =µ(x0)Px0,x1. . . Pxn−1,xn, qui n’est pas de la formeP⊗n.
Etre un estimateur n’est pas une propri´et´e int´eressante : par exemple, n’importeˆ quelle constante deΘest un estimateur. On va donc d´efinir plusieurs qualit´es possibles pour un estimateur. On commence par d´efinir le biais et le risque quadratique :
D´efinition 4.1.2 SoitP un mod`ele param´etrique, etZun estimateur deg(θ). On sup-pose que pour toutθ∈Θ,Eθ(kZk)<∞. On d´efinit
b(θ) =Eθ(Z)−g(θ) r(θ) =Eθ (Z−g(θ))2
(o`u, dans les deux cas,Eθest l’esp´erance par rapport `aPθ) qui sont appel´es respecti-vement lebiaisdeZet sonrisque quadratique.
Diff´erentes qualit´es ´eventuelles d’un estimateurZ deg(θ), ouZn(lorsque le mod`ele d´epend d’un param`etrenmais queΘest fixe) seront les suivantes :
• ˆetresans biais, c’est-`a-dire avoir un biaisb(θ)nul pour toutθ;
• avoir un risque quadratique faible (mais toute comparaison du risque de deux estimateurs n’a de sens que si elle est vraie pour toutθ) ;
• ˆetreasymptotiquement sans biais, c’est-`a-dire v´erifier,limn→∞bn(θ) = 0,
• ˆetrefortement consistantc’est-`a-dire v´erifier que pour toutθon aZnp.s.→g(θ),
• ˆetre(faiblement) consistant, c’est-`a-dire v´erifier que pour toutθon aZn P
→g(θ).
Une autre qualit´e recherch´ee d’une suite d’estimateurs est l’existence d’une loi asymptotique, c’est-`a-dire le fait qu’il existe une suite(an)navecan → ∞, telle que an Zn−g(θ)
converge en loi, vers une loi non triviale. On dit dans ce cas que la suite d’estimateurs(Zn)nest devitesse(an)n. Lorsquean=√
net que la loi limite est une normale centr´ee, on parle denormalit´e asymptotique.
Exercice 44 Soitθ >0. On consid`ereU1, . . . , Ununn-´echantillon de loiU([0, θ]).
1. Montrez queZ1= 2 ¯Unest un estimateur sans biais, consistant et asymptotique-ment normal deθ.
2. Montrez queZ2= max(U1, . . . , Un)est un estimateur consistant deθet quen(Z2− θ)converge en loi vers une loi que l’on identifiera.
3. Pour unθ quelconque, simulez un100-´echantillonU1, . . . , Unet d´efinissez les estimateursZ1etZ2correspondant aux100valeurs den. Tracez les trajectoires deZ1etZ2. Lequel des deux estimateurs semble converger le plus vite versθ? Exercice 45 Soit(X1, . . . , Xn)un ´echantillon de loi admettant un moment d’ordre deux. On propose l’estimateur suivant pour la variance :
ˆ
Montrer qu’il est fortement consistant mais biais´e. Montrer que n−1n sˆ2nest sans biais.
4.1.2 M´ethode des moments
Une mani`ere de construire des estimateurs est la m´ethode des moments. Si g(θ) est une fonction des moments, on l’estime par la mˆeme fonction mais ´evalu´ee en les moments empiriques.
Tests et estimateurs classiques
La m´ethode des moments sugg`ere donc comme estimateurs
ˆ
Ces estimateurs sont fortement consistants d’apr`es la loi des grands nombres.
Exercice 46
• Montrez queZ1dans l’exercice 44 ci-dessus aurait pu ˆetre trouv´e par la m´ethode des moments.
• SoitP1, . . . , Pnunn-´echantillon de loi de Poisson de param`etreλ. En utilisant les formules pour l’esp´erance et la variance de cette loi, proposer deux esti-mateurs deλdiff´erents. Ces estimateurs sont-ils biais´es ? Sont-ils consistants ? Tenter de les comparer par simulation (on pourra se limiter `aλ∈Λ = [1,3]).
4.1.3 M´ethode par insertion
La m´ethode par insertion est similaire : sig(θ)s’´ecrit comme une fonction d’un autre param`etreh(θ), par exempleg(θ) =ψ h(θ)
, et que l’on connaˆıt un estimateur Zhdeh(θ), on proposeψ(Zh)pour estimateur deg(θ).
4.1.4 M´ethode du maximum de vraisemblance
La m´ethode du maximum de vraisemblance est la plus complexe math´ematiquement mais aussi la plus universelle, et elle poss`ede souvent de bonnes propri´et´es. On suppose que toutes les loisPθsont absolument continues par rapport `a une mesure commune µ. On note alorsfθla densit´e dePθpar rapport `aµ; une r´ealisationX de loiPθ ´etant donn´ee, on propose comme estimation deθla valeur (si elle est unique) deθqui maxi-mise lavraisemblanceV :θ7→fθ(X).
En g´en´eral on travaillera avec unn-´echantillonX1, . . . , Xn, de sorte que la densit´e
`a consid´erer sera
Vn:θ7→fθ(X1). . . fθ(Xn),
Exemple 4 On consid`ere le mod`ele{P⊗nm,σ2|(m, σ2)∈R×R+}. La fonction `a maxi-miser est
θ7→
n
Y
i=1
√ 1
2πσ2e−
(Xi−m)2 2σ2 .
En passant au log, on obtient
logVn(θ) =−nX2−2mX+m2
2σ2 + logσ
+ constante.
Quel que soitσ2, lemmaximiseur estX. En r´einjectant ce r´esultat dans l’expression on trouve que leσ2maximiseur estX2−X2.
Exercice 47 Dans le mod`ele de l’exercice 44, quel est l’estimateur du maximum de vraisemblance ?