II Inégalité de Bienaymé-Tchebychev

(1)

Concentration - Loi des grands nombres

Leçon 13

Tale-Spé-Math- Lycée Gustave Eiel - Bordeaux Thierry Sageaux.

"Le grand nombre de bateaux ne gène pas la rivière." Proverbe chinois.

I Rappels sur les variables aléatoires

On rappelle que siX etY sont des variables aléatoires réelles, alors et siaetbsont deux réels, alors E(aX+bY) =aE(X) +bE(Y) (L'espérance est linéaire)

V(aX+b) =a²V(X) et V(X+Y) =V(X) +V(Y) + 2Cov(X, Y).

où Cov(X, Y) =E(XY)−E(X)E(Y)(se rappeler de la formule de König-Huygens en prenantX=Y).

On a déjà démontré que siX etY sont indépendants, alors Cov(X, Y) = 0. Cas particulier de la moyenne d'un échantillon

On imagine que l'on a X₁, . . . X_n nvariables aléatoires identiques et indépendantes suivant une même loi. (Exemple typique de l'échantillon statistique). On cherche à estimer l'espéranceµde la loi en question.

On poseMn= 1 n

n

P

k=1

Xk. On a alors E(M_n) = 1

n

P

k=1

E(X_k) = nµ n =µ. On dit queM_n est un estimateur deµ. De plus, V(Mn) = 1

n²

n

P

k=1

V(Xk) = σ²

n car les variables sont indépendantes avecσ² est la variance des Xi.

II Inégalité de Bienaymé-Tchebychev

Quand les lois sont trop compliquées, il peut être parfois intéressant d'utiliser des approximations des probabilités. En voici deux :

Proposition 13.1 Inégalité de Marko. SoitZ une v.a.r. dénie sur un espace probabilisé(Ω,T, p). On suppose que Z est positive ou nulle^a. On a :

∀a >0 p(Z ≥a)≤ E(Z) a .

a. En fait, ici, il sut de "presque surement" positive ou nulle, i.e. la v.a.r. est positive ou nulle sur un sous-ensemble deΩ de probabilité1

Démonstration: On a pour toutω∈Ω, l'inégalitéZ(ω)≥a1_{Z(ω)≥a} qui est vraie dès quea≥0. donc

(2)

Proposition 13.2 Inégalité de Bienaymé-Tchebychev SoitX une variable aléatoire d'espérance µ et de variance nieσ². On a :

∀ε >0 p(|X−µ| ≥ε)≤ σ² ε²

Remarque: Cette formule peut aussi s'écrire∀ε >0 p(|X−µ| ≥kσ)≤ 1

k² en posant ε=kσ. Démonstration: Il faut distinguer deux cas : siX est discrète ou pas :

• Si X est discrète : On écritp(X =xi) =pi (éventuellement nuls à partir d'un certain rang si la variable est à valeurs nies). On noteI={i∈N, |xi−E(X)| ≥ε}. On a alors

V(X) =X

i∈N

(xi−E(X))²pi=X

i∈I

(xi−E(X))²pi+X

i /∈I

(xi−E(X))²pi

≥X

i∈I

(x−E(X))²p_i≥X

i∈I

ε²p_i=ε²X

i∈I

p_i

≥ε²p(|X−E(X)| ≥ε).

• SiX est((indiscrète continue :(((

V(X) = Z +∞

−∞

(x−E(X))²f(x)dx

=

Z E(X)−ε

−∞

(x−E(X))²f(x)dx+

Z E(X)+ε

E(X)−ε

(x−E(X))²f(x)dx+ Z +∞

E(X)+ε

(x−E(X))²f(x)dx

≥

Z E(X)−ε

−∞

(x−E(X))²f(x)dx+

Z E(X)+ε

E(X)−ε

(x−E(X))²f(x)dx

≥

Z E(X)−ε

−∞

ε²f(x)dx+

Z E(X)+ε

E(X)−ε

ε²f(x)dx

≥ε²p(|X−E(X)| ≥ε).

En général, l'inégalité de Tchebychev est assez grossière. En eet, la majoration obtenue est trop forte.

Voyons cela sur une démonstration qui permet de voir les termes qui ont été négligés : On utilise la partition (|X−µ| ≥ε)et(|X−µ|< ε). On a donc

p(|X−µ| ≥ε) = P

x∈X(Ω)

|x−µ|≥ε

p(X =x).

et

(3)

σ²=V(X) = X

x∈X(Ω)

(x−µ)²p(X =x)

= X

x∈X(Ω)

|x−µ|≥ε

(x−µ)²p(X =x) + X

x∈X(Ω)

|x−µ|<ε

(x−µ)²p(X=x)

| {z }

≥0

≥ X

x∈X(Ω)

|x−µ|≥ε

(x−µ)²

| {z }

≥ε²

p(X =x)

≥ε² X

x∈X(Ω)

|x−µ|≥ε

p(X =x)

≥ε²p(|X−µ| ≥ε).

On a donc négligé toutes les valeurs deX telle que|X−µ|< ε.

Voyons sur deux exemples combien cette majoration peut être loin de la valeur attendue, cela nous aidera à comprendre comment elle fonctionne.

Exemple: Avec une loi discrète : Considérons un dé pipé etXla variable aléatoire réelle égale au numéro de la face qui vérie :

x 1 2 3 4 5 6

p(X =x) ₁₀¹ ₁₀¹ ₁₀² ₁₀³ ₁₀² ₁₀¹ On calcule alors l'espérance : E(X) = 37

10 et le moment d'ordre 2 qui vaut E(X²) = 157

10 . Et donc la variance vautV(X) =201

100.

• D'après l'inégalité de Bienaymé-Tchebychev, on a p(|X−3,7| ≥2)≤ 2,01

4 .

• Et par le calcul direct, on a

p(|X−3,7| ≥2) =p(X ≥5,7) +p(X ≤1,7) =p(X= 1) +p(X = 6) = 2 10 .

Les deux valeurs sont très éloignées comme on le voit nettement. L'inégalité n'est pas très bonne.

III Loi faible des grands nombres

Une application bien connue de l'inégalité de Bienaymé-Tchébychev est

(4)

Démonstration: Application directe de Bienaymé-Tchébychev.

Corollaire 13.4 Loi faible des grands nombres Soit (X_k) une suite de variables aléatoires réelles de même loi et indépendantes ayant une espérance µ et une variance nie σ². On a en posant M_n =

X1+X2+· · ·+Xn

n et pour toutε >0

n→+∞lim p(|Mn−µ|)≥ε) = 0

Remarque: On peut dire ainsi que(Xn)converge en probabilité versµ. Ce résultat assure que la moyenne empirique est un estimateur convergent de l'espérance.

Démonstration: Conséquence directe de ce qui précède.

p(|Mn−µ| ≥ε)≤ σ² nε²

Mais qu'est-ce que ça veut dire ?

Il faut d'abord comprendre|M_n−µ|> ε. Cela veut dire que la distance entreM_n et µest supérieure à ε, i.e.

Il s'agit donc de la zone rouge (extérieure au segment).

On cherche donc quelle est la probabilité que la variable aléatoireMnsoit "loin" (àεprès) de l'espérance µ.

Si l'on se place dans une conguration standard (une loi normale par exemple), la fonction à densité à cette allure :

(5)

Et la probabilitép(|Mn−µ| ≥ε)est représenté par la zone verte.

Mais plus le nombre d'échantillons augmente, plus on se rapproche de la valeur cherchéeµ. Sin < n⁰ < n⁰⁰ par exemple, on obtiendrait des courbes de densité de cette forme :

et on voit bien que la zone verte précédente tend vers0. Exercice 1. Théorème de Bernoulli

SoitZn le nombre moyen de succès au cours d'une série denépreuves identiques et indépendantes.

On suppose que la probabilité d'obtenir un succès lors d"une épreuve est égale au réel p. Montrer que l'on ap(|Zn−p| ≥ε)≤ _4nε¹2.

(6)

Solutions des exercices

Exercice 1.

On pose Zn = X_n

n . On a alors E(Zn) = p et V(Zn) = p(1−p)

n . On utilise ensuite le fait que la fonctionp7−→p(1−p)a pour maximum ¹₄ sur[0,1]. DoncV(Zn)≤ 1

4n. Et avec l'inégalité de Bienaymé- Tchebychev, on obtient bienp(|Zn−p| ≥ε)≤_4nε¹2.