Inégalité de Hoeffding

Inégalité de Hoeffding

Leçons : 253, 260, 262

On se place dans(Ω,F,P)un espace probabilisé.

Théorème 1

Soit (X_n)n suite de variables aléatoires centrées telles que |X_n|¶c_n presque sûrement.

Soita_n=Pⁿ

j=1

c²_j etS_n=Pⁿ

j=1

X_j. Alors si" >0,

P(|S_n|> ")¶2 exp

−"² 2a_n

‹ .

Lemme 2

Soit X variable aléatoire centrée telle que |X| ¶ 1 presque sûrement. Alors L_X(t) = E[e^{t X}]¶e^t

2 2.

Démonstration.Si t ∈ R et x ∈ [−1, 1] alors t x = 1−x

2 ×(−t) + 1+x

2 ×t donc par convexité de la fonction exp,e^{t x}¶ 1−x

2 e^−t+1+x 2 e^t.

Appliquant ce résultat à e^{t X}, on obtient, comme |X| ¶ 1 presque sûrement, L_X(t) ¶ E

•1−X 2

˜

e^−t+E

•1+X 2

˜

e^t =ch(t)carX est centrée.

Enfin, ch(t) =^+∞P

n=0

t²ⁿ (2n)!¶

+∞P

n=0

t²ⁿ 2ⁿn!=e^t

2

2 car(2n)!=n!×(n+1)× · · · ×(2n)¾2ⁿn!

Démonstration (du théorème).Soit n∈N^∗. Par indépendance des X_j, on a en remarquant que pour tout 1¶ j¶n, X_j

c_j vérifie les conditions du lemme,

∀t∈R,L_Sn(t) = Yn

j=1

L_Xj(t) = Yn

j=1

LX j

c j(t c_j)¶ Yn

i=1

exp

‚t²c²_j 2

Œ

=exp t²a_n

2

.

Soit" >0. Selon l’inégalité de Markov,

P(S_n> ") =P(e^tSn >e^t")¶ E

e^tSn e^t" ¶exp

t²a_n

2 −t"

. Orϕ : t 7→ t²a_n

2 −t" est une fonction polynômiale de degré 2 de coefficient dominant

positif etϕ⁰(t) = t a_n−" donc ϕatteint son minimum en "

a_n. Ainsi,

P(S_n> ")¶exp

"² a²_n

a_n

2 −"²

a_n

=exp

−"² 2a_n

‹ . En appliquant ce résultat à−S_n, on obtient

P(|S_n|> ")¶ P(S_n> ") +P(S_n<−")¶2 exp

−"² 2a_n

‹ , ce qu’il fallait démontrer.

Gabriel L^EPETIT 1 ENS Rennes - Université Rennes 1

Proposition 3

On suppose de plus qu’il existe α,β > 0tels que 2α−β >0 et a_n ¶n^2α−β pour tout n∈N. Alors presque sûrement S_n

n^α tend vers 0.

Démonstration.Selon le théorème précédent,P(|S_n|¾"n^α)¶exp

−"²n^2α 2a_n

‹

¶exp

−"²n^β 2

, ce dernier terme étant le terme général positif d’une série convergente (par exemple parce que il est négligeable devant 1

n²).

Donc, selon le lemme de Borel-Cantelli, S_n

n^α converge presque sûrement.

Référence :Jean-Yves OUVRARD(2009).Probabilités (Master Agrégation). T. 2. Cassini, p. 210

Gabriel L^EPETIT 2 ENS Rennes - Université Rennes 1