Inégalité de Hoeffding et application

DÉVELOPPEMENTS POUR L’AGRÉGATION EXTERNE

Inégalité de Hoeffding et application

Leçons : 253, 260, 261, 262,229

[Ouv2], exercice 10.11 Théorème

Soit(X_n)_n∈N∗ une suite de variables aléatoires réelles, indépendantes et centrées.

De plus, on suppose que∀n∈_N^∗_,X_nest ps bornée parc_n, oùc_n>_0.

On note :∀n∈_N^∗,Sn=

∑

X_jetan=

∑

c²_j.

Alors∀ε>0,∀n∈_N^∗,P(|Sn|> ε)6^{2 exp}

− ^ε

2

2a_n

.

Démonstration :

→ Il va s’agir de démontrer le lemme qui suit.

Lemme

SoitXune variable aléatoire réelle, centrée, et ps bornée par 1.

On noteLXsa transformée de Laplace.

On a :∀t∈R,LX(t)6exp t²

2

.

Démonstration :

Soitt∈_{R, on a :}∀x∈[−1, 1],tx= ¹−x

2 (−t) +¹+x 2 t.

Donc, par convexité de l’exponentielle, on en déduit :∀x∈[−1, 1], e^tx6 ¹−x

2 e^−t+¹+x 2 e^t. Mais on sait que|X|61 ps ; en particulier, e^tXest bornée ps donc admet un moment d’ordre 1.

Ainsi,LXest bien définie entet : LX(t)6 ^E[1−X]

2 e^−t+^E[1+X] 2 e^t= ¹

2 e^−t+e^t

=cht=

∑

t²ⁿ (2n)! 6

∑

t²ⁿ

n!2ⁿ =exp t²

2

.

→ Fixonsn∈N^∗.

On applique le lemme aux variables Xj

c_j, oùj∈[[1,n]]:∀t∈R,LX_j(t) =L_Xj

cj

(tcj)6exp t²

2c²_j

. Mais par indépendance des exp tX_j

pourj∈[[1,n]], il vient :

∀t∈R,LS_n(t) =

∏

LX_j(t)6exp t²

2an

.

→ Soientt>0 etε>0 ; on a :Sn >ε⇔e^tSn >e^tε. Ainsi, par l’inégalité de Markov, on obtient :

P(Sn >ε) =_Pe^tSn >e^tε 6 ^E

e^tSn

e^tε =e^−tεL_Sn(t)6exp

−tε+^t

2

2an

.

Cette inégalité est vraie pour toutt >0, donc en particulier pourt= ^ε

an, où−tε+^t

2

2anréalise son minimum, d’où :P(Sn>ε)6exp

ε² a²_n

an

2 − ^ε anε

=exp

− ^ε

2

2an

.

→ Soitε>0 quelconque.

On a :P(|Sn|>ε) =P(Sn>ε) +P(Sn <−ε).

Mais on aurait pu appliquer tout ce qu’on vient de faire aux variables−Xj, oùj ∈ [[1,n]], et donc : P(Sn<−ε) =P(−Sn >ε)6exp

− ^ε

2

2an

. Et finalement,P(|Sn|>ε)62 exp

− ^ε

2

2an

.

Florian LEMONNIER 1

Diffusion à titre gratuit uniquement. ENS Rennes – Université Rennes 1

DÉVELOPPEMENTS POUR L’AGRÉGATION EXTERNE

Corollaire

Soitα>0 ; on ajoute l’hypothèse supplémentaire :∃β>0,∀n ∈_N^∗,a_n6^n2α−β. Alors : Sn

n^α

−→ps n→_∞0.

Démonstration :

Soitε>0, on a, par Hoeffding :∀n∈_N^∗,P(|Sn|>n^αε)62 exp

−ⁿ

2αε² 2an

62 exp

−^nβε

2

2

. Mais la série

∑

n>1

exp

−^nβε

2

2

converge (par le critère de Riemann), car∃N ∈_N^∗,∀n6N,ε²

2n^β >2 lnn et donc∃N∈N^∗,∀n6N, 06exp

−ⁿ

βε² 2

> ¹ n². Ainsi, la série

∑

n>1

P(|Sn|>n^αε)converge, d’où, par Borel-Cantelli :

∀ε>0,P lim sup

n→∞ {|Sn|>n^αε}

=0, ieP lim inf

n→∞ {|Sn|6n^αε}=1.

En particulier,∀p∈_N^∗,P ^[

n∈N^∗

\ k>n

S_k k^α 6 ¹

p !

=1.

C’est-à-dire :∀p∈_N^∗,∃Npnégligeable,∀ω∈ N_p^c,∃n∈_N,∀k>n,

S_k(ω) k^α

6 ¹

p. On pose alorsN= ^[

p∈N^∗

Np, alorsNest négligeable et :

∀ω∈N^c,∀p∈_N^∗,∃n∈_N,∀k>n,

S_k(ω) k^α

6 ¹

p. Ou, en d’autres termes : Sn

n^α

−→ps n→∞0.

Références

[Ouv2] J.-Y. OUVRARD–Probabilités 2, 3^eéd., Cassini, 2009.

1. Allez, une autre application, si vous aimez les statistiques ; elle provient de la partie 3.2 du livreStatistique mathématique, de B. CADRE et C. VIAL, paru en 2012 aux éditions Ellipses. Plaçons-nous dans un modèle statistique Hⁿ,{P_θ}_θ∈Θavec H ⊂_RetΘ⊂ _R^d. Le paramètre d’intérêt estg(θ)avecg : Θ→ _Rune fonction continue On suppose queX₁, . . . ,Xnsont indépendantes et identiquement distribuées, de loiP_θ, bornéesP_θ-ps et avecE_θ[X1] =g(θ). Soitcune borneP_θ-presque sûre deX₁−g(θ). On veut un intervalle de confiance pourg(θ).

Par Hoeffding,P_θ

Xn−g(θ)>ε

= P_θ





∑n j=1

X_j−g(θ)

>nε



6^{2 exp}

−ⁿ

2ε² 2nc²

=2 exp

−^nε

2

2c²

. Soitα∈]0, 1[,

on choisitεde sorte queα=2 exp

−^nε

2

2c²

, ie :ε=c r2

nln2

α. Dès lors, on obtient l’intervalle de confiance par excès au niveau 1−α, pourg(_θ):I_α=

"

X_n−c r2

nln2 α,X_n+c

r2 nln2

α

# .

Florian LEMONNIER 2

Diffusion à titre gratuit uniquement. ENS Rennes – Université Rennes 1