Sommes de variables al´eatoires ind´ependantes

Les sommes de variables aléatoires indépendantes jouent un rôle important en théorie des probabilités, et seront étudiées dans le chapitre suivant. Nous regroupons d’abord quelques propriétés importantes sous la forme d’une proposition. Si µ et ν sont deux mesures de probabilité sur Rd_{, on note µ}_{∗ ν la mesure-image de µ ⊗ ν par l’application (x, y) −→ x + y :}

pour toute fonction mesurable positive ϕ sur Rd_,

Z Rd ϕ(z) µ∗ ν(dz) = Z Rd Z Rd ϕ(x + y) µ(dx)ν(dy).

Proposition 9.4.1 Soient X et Y deux variables aléatoires indépendantes à valeurs dans Rd_.

(i) La loi de X + Y est PX ∗ PY. En particulier, si X a une densit´e not´ee pX et Y a une

densité notée pY, X + Y a pour densité pX ∗ pY.

(ii) La fonction caractéristique de X+Y est ΦX+Y(ξ) = ΦX(ξ)ΦY(ξ). (De manière équivalente,

si µ et ν sont deux mesures de probabilit´e sur Rd_{, [}_µ_{∗ ν = ˆµ ˆν.)}

(iii) Si X et Y sont de carr´e int´egrable, KX+Y = KX + KY; En particulier, si d = 1,

var(X + Y ) = var(X) + var(Y ).

Preuve. (i) Si X et Y sont ind´ependantes, on sait que P(X,Y ) = PX ⊗ PY, et donc, pour

toute fonction mesurable positive ϕ sur Rd_,

E[ϕ(X+Y )] = Z

ϕ(x+y) P(X,Y )(dxdy) =

Z Z

ϕ(x+y) PX(dx)PY(dy) =

par définition de PX ∗ PY. Si de plus X et Y ont une densité, E[ϕ(X + Y )] = Z Z ϕ(x + y) pX(x)pY(y)dxdy = Z ϕ(z) Z pX(x)pY(z− x)dx dz, ce qui montre bien que X + Y a pour densité pX ∗ pY (remarquer que pX ∗ pY est ici bien

d´efinie presque partout comme convolution de deux fonctions de L1_(Rd_{, λ)).}

(ii) Il suffit d’´ecrire

ΦX+Y(ξ) = E[eiξXeiξY] = E[eiξX] E[eiξY] = ΦX(ξ)ΦY(ξ).

(iii) Si X = (X1, . . . , Xd) et Y = (Y1, . . . , Yd), l’ind´ependance de X et Y entraˆıne que

cov(Xi, Yj) = 0 pour tous i, j∈ {1, . . . , d}. En conséquence, par bilinéarité,

cov(Xi+ Yi, Xj + Yj) = cov(Xi, Xj) + cov(Yi, Yj)

ce qui donne bien KX+Y = KX + KY.

Th´eor`eme 9.4.2 (Loi faible des grands nombres) Soit (Xn)n≥1 une suite de variables

aléatoires réelles indépendantes et de même loi. Si E[X2

1] < ∞, on a 1 n(X1+· · · + Xn) L2 −→ n→∞ E[X1].

Preuve. Par lin´earit´e,

Eh 1 n(X1+· · · + Xn) i = E[X1]. En cons´equence, Eh 1 n(X1+· · · + Xn)− E[X1] 2i = 1 n2var(X1+· · · + Xn) = 1 n2 n X j=1 var(Xj) = 1 nvar(X1)

qui tend vers 0 quand n_{→ ∞.}

Remarque. La preuve montre que le résultat reste vrai sous des hypothèses bien plus faibles. Au lieu de supposer que les v.a. Xn ont même loi, il suffit de demander que E[Xn] = E[X1]

pour tout n et que la suite E[X2

n] soit born´ee. Au lieu de l’ind´ependance, il suffit qu’on ait

cov(Xn, Xm) = 0 d`es que n6= m, ce qui est beaucoup plus faible.

Le mot “faible” dans la loi faible des grands nombres renvoie au fait que la convergence du th´eor`eme a lieu dans L2_{, alors que d’un point de vue probabiliste il est plus significatif}

d’avoir une convergence presque sûre, c’est-à-dire une convergence simple en dehors d’un ensemble de probabilité nulle (on parle alors de loi forte). Nous donnons un premier énoncé allant dans ce sens, qui sera considérablement amélioré dans le chapitre suivant.

Proposition 9.4.3 Reprenons les hypothèses du théorème précédent, et supposons de plus que E[X4

1] <∞. Alors on a presque sˆurement

Preuve. Quitte `a remplacer Xn par Xn− E[Xn], on peut supposer que E[Xn] = 0. Alors, E[(1 n(X1+· · · + Xn)) 4_{] =} 1 n4 X i1,...,i4∈{1,...,n} E[Xi1Xi2Xi3Xi4].

En utilisantl’indépendance et la propriété E[Xk] = 0, on voit que les seuls termes non nuls

de la somme sont ceux pour lesquels chaque valeur prise par une composante du quadruplet (i1, i2, i3, i4) apparaˆıt au moins deux fois dans ce quadruplet. En utilisant le fait que les Xk

ont mˆeme loi, on trouve E[(1 n(X1+· · · + Xn)) 4_{] =} 1 n4 nE[X₁4] + 3n(n_{− 1)E[X}₁2X₂2]_≤ C n2

pour une certaine constante C <_{∞. Il en d´ecoule que}

∞ X n=1 E[(1 n(X1+· · · + Xn)) 4_{] <}_∞.

En intervertissant somme et esp´erance, on obtient Eh ∞ X n=1 (1 n(X1+· · · + Xn)) 4i_< ∞, d’o`u ∞ X n=1 (1 n(X1+· · · + Xn)) 4 _<_{∞ , p.s.}

ce qui entraˆıne l’assertion de la proposition.

Corollaire 9.4.4 Si (An)n≥1 est une suite d’événements indépendants de même probabilité,

on a 1 n n X i=1 1Ai p.s. −→ n→∞P (A1).

Ce corollaire fait le lien entre notre approche axiomatique moderne et la définition his- torique de la probabilité comme fréquence d’apparition d’un événement quand on répète un grand nombre de fois une expérience aléatoire.

Revenons à la deuxième application du lemme de Borel-Cantelli donnée ci-dessus, qui concernait le développement dyadique

ω =

∞

k=1

Xk(ω) 2−k

d’un r´eel ω ∈ [0, 1[. Si p ≥ 1 est fix´e, on a vu que les v.a. Y1 = (X1, . . . , Xp), Y2 =

(Xp+1, . . . , X2p), . . . sont indépendantes et de même loi. On déduit alors du corollaire que,

pour tous i1, . . . , ip ∈ {0, 1},

dω p.s. 1

n Card{j ≤ n : Yj(ω) = (i1, . . . , ip)} −→n→∞

1 2p.

Pour chaque ℓ _{∈ {1, . . . , p}, le même argument appliqué aux v.a. (X}ℓ, Xℓ+1, . . . , Xp+ℓ−1), (Xp+ℓ, Xp+ℓ+1, . . . , X2p+ℓ−1), . . . conduit à dω p.s. 1 nCard{j ≤ n : Xjp+ℓ(ω) = i1, . . . , X(j+1)p+ℓ−1(ω) = ip} −→n→∞ 1 2p.

En combinant ces r´esultats on trouve

dω p.s. 1

nCard{k ≤ n : Xk+1(ω) = i1, . . . , Xk+p(ω) = ip} −→n→∞

1 2p.

Comme une réunion dénombrable d’ensembles de probabilité nulle est encore de probabilité nulle, on a aussi, pour tout ω_{∈ [0, 1[ sauf sur un ensemble de mesure nulle :}

∀p ≥ 1, ∀i1, . . . , ip ∈ {0, 1}, 1 nCard{k ≤ n : Xk+1(ω) = i1, . . . , Xk+p(ω) = ip} −→n→∞ 1 2p. (9.3) Autrement dit, pour presque tout réel ω de [0, 1[, la fréquence d’apparition de n’importe quel bloc de longueur finie de 0 et de 1 dans le développement dyadique de ω existe et est égale à 2−p _{si p est la longueur du bloc. Remarquons qu’il n’est pas facile d’exhiber un réel}

ω pour lequel la propriété (9.3) soit vraie. En fait, le moyen le plus rapide pour prouver que de tels réels existent est très certainement le raisonnement qui précède. Ceci est typique de l’application des probabilités à des problèmes d’existence : pour établir l’existence d’un objet ayant certaines propriétés, on montre qu’un objet pris au hasard (selon une loi de probabilité bien choisie) vérifie les propriétés en question.

Semigroupes de convolution Soit I = N ou I = R+.

D´efinition 9.4.1 Soit (µt)t∈I une famille de mesures de probabilit´e sur R (ou sur Rd). On

dit que (µt)t∈I est un semigroupe de convolution si µ0 = δ0 et si

µt∗ µt′ = µ_t+t′ , ∀t, t′ ∈ I.

L’interpr´etation probabiliste est que si X a pour loi µt, Y a pour loi µt′ et si X et Y sont

ind´ependantes, alors X + Y a pour loi µt+t′ (cf la premi`ere proposition de cette partie).

Lemme 9.4.5 Pour que (µt)t∈I soit un semigroupe de convolution, il suffit qu’il existe une

fonction ϕ : R−→ C telle que : • si I = N, ˆµt(ξ) = ϕ(ξ)t, ∀t ∈ I;

• si I = R, ˆµt(ξ) = exp(−tϕ(ξ)), ∀t ∈ I.

La preuve est immédiate puisque si ˆµt a la forme donnée, on a immédiatement

µt+t′ = ˆµ_tµˆ_t′ = \µ_t∗ µ_t′

Exemples.

(1) I = N et, pour tout n ∈ N∗_{, µ}

n est la loi binˆomiale B(n, p) (on a fix´e p ∈ [0, 1]).

La propriété µn+m = µn ∗ µm est immédiate à partir de l’interprétation probabiliste de

la loi binˆomiale. Alternativement on peut utiliser le lemme en remarquant que ˆµn(ξ) =

(peiξ_{+ 1}_{− p)}n_.

(2) I = R+ et, pour tout t∈ R+, µt est la loi de Poisson de param`etre t. Dans ce cas,

ˆ µt(ξ) = ∞ X k=0 tk k!e

ikξ_e−t _{= exp(}_{−t(1 − e}iξ_)).

(3) I = R+ et, pour tout t > 0, µt est la loi Gaussienne N (0, t). On a déjà calculé dans

le Chapitre 8

µt(ξ) = exp(−

tξ2

2 ).

Conséquence importante. Si X et Y sont deux v.a. réelles indépendantes et

• si X suit la loi de Poisson de param`etre λ et X′ _{la loi de Poisson de param`etre λ}′_{, alors}

X + X′ _{suit la loi de Poisson de param`etre λ + λ}′_;

• si X suit la loi gaussienne N (m, σ2_{) et X}′ _{suit la loi gaussienne} _{N (m}′_{, σ}′2_{), alors X + X}′

suit la loi gaussienne N (m + m′_{, σ}2 _{+ σ}′2_{). (On se ram`ene au cas m = m}′ _{= 0 en}

consid´erant X− m et X′_{− m}′_.)

Plus généralement toute combinaison linéaire de variables aléatoires gaussiennes indépen- dantes est encore gaussienne.

Chapitre 10

Convergence de variables al´eatoires

La première partie de ce chapitre présente les différentes notions de convergence de variables aléatoires, et les liens existant entre ces notions. On établit ensuite la loi forte des grands nombres, qui est l’un des deux théorèmes limites fondamentaux de la théorie des probabilités. Le troisième paragraphe présente la convergence en loi des variables aléatoires : ce type de convergence est sans doute le plus délicat à comprendre, en partie parce qu’il s’agit d’une convergence de mesures (ce sont les lois des variables aléatoires qui convergent et non les variables elle-mêmes). La notion de convergence en loi, et le théorème important reliant cette convergence à celle des fonctions caractéristiques, permettent d’arriver au deuxième théorème limite fondamental qui est le théorème central limite.

10.1 Les diff´erentes notions de convergence

Soient (Xn)n≥1, X des variables aléatoires à valeurs dans Rd, définies sur un espace de

probabilité (Ω,A, P ). On a déjà rencontré plusieurs notions de convergence de la suite (Xn)

vers X. En particulier Xn p.s. −→ n→∞X si P ({ω ∈ Ω : X(ω) = limn→∞Xn(ω)}) = 1, et, pour p∈ [1, ∞[, Xn Lp −→ n→∞X si limn→∞E[|Xn− X| p_{] = 0.}

D´efinition 10.1.1 On dit que la suite (Xn) converge en probabilit´e vers X, et on note

Xn (P) −→ n→∞X si pour tout ε > 0, lim n→∞P (|Xn− X| > ε) = 0. Proposition 10.1.1 Soit _L0

Rd(Ω,A, P ) l’espace de toutes les variables al´eatoires `a valeurs

dans Rd_{, et soit L}0

Rd(Ω,A, P ) son quotient par la relation d’´equivalence X ∼ Y ssi X = Y

p.s. Alors, la formule

d´efinit une distance sur L0

Rd(Ω,A, P ) qui est compatible avec la convergence en probabilit´e,

au sens o`u une suite (Xn) converge en probabilit´e vers X ssi d(Xn, X) tend vers 0. De plus,

l’espace L0

Rd(Ω,A, P ) est complet pour la distance d.

Preuve. Il est facile de v´erifier que d est une distance. De plus, si la suite (Xn) converge

en probabilit´e vers X, on a pour tout ε > 0,

E[|Xn−X|∧1] ≤ E[|Xn−X|1{|Xn−X|≤ε}]+E[(|Xn−X|∧1)1{|Xn−X|>ε}]≤ ε+P (|Xn−X| > ε).

D’après la définition de la convergence en probabilité, cela entraˆıne lim sup d(Xn, X)≤ ε, et

puisque ε ´etait arbitraire on a d(Xn, X)−→ 0. Inversement, si d(Xn, X)−→ 0, alors, pour

tout ε_{∈]0, 1],}

P (|Xn− X| > ε) ≤ ε−1E[|Xn− X| ∧ 1] = ε−1d(Xn, X) −→ n→∞0.

Il reste `a voir que L0 _{est complet pour la distance d. Soit donc (X}

n) une suite de Cauchy

pour la distance d. On peut trouver une sous-suite Yk = Xnk telle que, pour tout k ≥ 1,

d(Yk, Yk+1)≤ 2−k. Alors E[ ∞ X k=1 (_|Yk+1− Yk| ∧ 1)] = ∞ X k=1 d(Yk, Yk+1) <∞,

ce qui entraˆıne P∞_k=1(|Yk+1− Yk| ∧ 1) < ∞ p.s., et donc aussi P∞_k=1|Yk+1 − Yk| < ∞ p.s.

(p.s. il ne peut y avoir qu’un nombre fini de valeurs de k pour lesquelles _|Yk+1− Yk| ≥ 1).

On d´efinit ensuite une v.a. X dans L0 _{en posant}

X = Y1+ ∞

k=1

(Yk+1− Yk).

Par construction, la suite (Yk) converge p.s. vers X, et cela entraˆıne

d(Yk, X) = E[|Yk− X| ∧ 1] −→ k→∞0,

par convergence domin´ee. Donc la suite (Yk) converge en probabilit´e vers X, et cela est aussi

vrai pour la suite de d´epart (Xn).

La preuve précédente montre en particulier que de toute suite qui converge en probabilité on peut extraire une sous-suite qui converge p.s. (vers la même limite). Nous reprenons cette propriété dans l’énoncé suivant.

Proposition 10.1.2 Si la suite (Xn) converge p.s., ou dans Lp, vers X, elle converge aussi

en probabilit´e vers X. Inversement, si la suite (Xn) converge en probabilit´e vers X, il existe

Preuve. La deuxième assertion a déjà été vue. Pour la première, si Xn converge p.s. vers

d(Xn, X) = E[|Xn− X| ∧ 1] −→ n→∞0,

par convergence domin´ee. Si Xn converge dans Lp vers X,

d(Xn, X)≤ kXn− Xk1 ≤ kXn− Xkp −→ n→∞0.

En résumé la convergence en probabilité est plus faible à la fois que la convergence p.s. et que la convergence dans Lp _{pour n’importe quel p}_{∈ [1, ∞[ (et a fortiori pour p = ∞). Dans}

l’autre sens, la convergence en probabilité entraˆıne la convergence p.s. pour une sous-suite, et la proposition ci-dessous donne des conditions qui permettent de déduire la convergence Lp _{de la convergence en probabilité.}

Proposition 10.1.3 Soit (Xn) une suite de v.a. convergeant en probabilit´e vers X. Sup-

posons qu’il existe r _{∈]1, ∞[ tel que la suite (X}n) soit born´ee dans Lr. Alors, pour tout

p_{∈ [1, r[, la suite (X}n) converge vers X dans Lp.

Preuve. Par hypoth`ese, il existe une constante C telle que E[|Xn|r] ≤ C pour tout n. Le

lemme de Fatou entraˆıne alors E[_|X|r_]_{≤ C et donc X ∈ L}r_{. Ensuite, en utilisant l’in´egalit´e}

de H¨older, on a pour tout p_{∈ [1, r[ et tout ε > 0,}

E[|Xn− X|p] = E[|Xn− X|p1{|Xn−X|≤ε}] + E[|Xn− X|

p₁

{|Xn−X|>ε}]

≤ εp+ E[_|Xn− X|r]p/rP (|Xn− X| > ε)1−p/r

≤ εp+ 2pCp/rP (_|Xn− X| > ε)1−p/r.

En utilisant l’hypoth`ese de convergence en probabilit´e, il vient lim sup

n→∞ E[|Xn− X| p_]_{≤ ε}p

d’où le résultat annoncé puisque ε est arbitraire.

Dans le document Intégration, probabilités et processus aléatoires (Page 119-127)