INTRODUCTION AUX PROBABILIT´ES ET `A LA STATISTIQUE

(1)

INTRODUCTION

AUX PROBABILIT ´ ES ET

A ` LA STATISTIQUE

N. BRILLOUET - BELLUOT

(2)

(3)

TABLE DES MATI` ERES

PREMI`ERE PARTIE: PROBABILIT´ES . . . . 4

Chapitre 1: Probabilit´ es

. . . . 6

Chapitre 2: Variables al´ eatoires r´ eelles ou Variables al´ eatoires ` a une dimension

. . . . 10

Chapitre 3: Vecteurs al´ eatoires ou Variables al´ eatoires ` a plusieurs dimensions

. . . . 20

Chapitre 4: Loi d’une fonction de variables al´ eatoires

. . . . 30

DEUXI`EME PARTIE: STATISTIQUE . . . . 34

Chapitre 1: Statistique descriptive

. . . . 36

Chapitre 2: Estimation de param` etres

. . . . 42

Chapitre 3: Tests d’hypoth` eses

. . . . 46

Chapitre 4: R´ egression - Ajustement par la m´ ethode des moindres carr´ es

. . . . 52

BIBLIOGRAPHIE . . . . 56

TRAVAUX DIRIG´ES . . . . 58

TABLES STATISTIQUES . . . . 84

(4)

(5)

PREMI ` ERE PARTIE:

PROBABILIT ´ ES

(6)

(7)

CHAPITRE 1 PROBABILIT ´ ES

Une expérience aléatoireest une expérience dont on ne peut pas prévoir de fa¸con précise le résultat et qui, répétée dans des conditions identiques, peut conduire

`

a des résultats différents. L’universΩ est l’ensemble de tous les résultats possibles de cette expérience. Tout élément ω de Ω est appelé événement élémentaire.

Ω ={ω}. Un ´ev´enementA est une partie de Ω: A ∈P(Ω).

I. Mesure de probabilit´ e

Notation: Si A∈P(Ω),B ∈P(Ω), A¯ est le compl´ementaire deA dans Ω et A\B =A∩B.¯

Définition. Soit M une partie de P(Ω) qui a les propriétés suivantes:

Ω∈M; si A ∈M, A¯∈M; si A_n ∈M pour tout n∈N, ∪

n∈NA_n ∈ M. Une mesure de probabilit´e sur Ω est une application P de M dans R qui satisfait:

(i) P(Ω) = 1

(ii) P(A)≥0 si A ∈M (iii) P( ∪

n∈IA_n) =

n∈I

P(A_n) si I ⊆ N et A₁, A₂, . . . , A_n, . . . sont des

´

ev´enements de M deux `a deux disjoints.

Définition. (Ω,M, P) est un espace probabilisé.

Vocabulaire. A¯ est l’événement contraire de A Ω est l’événement certain

∅ est l’´ev´enement impossible.

Deux ´ev´enements A et B sontincompatibles si A∩B =∅.

(8)

Construction de base d’une mesure de probabilit´e.

Dans le cas d’un univers dénombrable Ω = {ω_n;n∈I}, I ⊆ N, on considère une suite de nombres réels {p_n}n∈I tels que p_n ≥0 ∀n∈I et

n∈I

p_n = 1.

Alors, l’application P : P(Ω) → R d´eﬁnie par: P(ω_n) = p_n (n ∈ I) et P( ∪

n∈Jω_n) =

n∈J

p_n pour tout J ⊆I est une mesure de probabilit´e sur Ω.

L’exemple de l’équiprobabilité: Si Ω ={ω₁, . . . , ω_n} est un univers fini, on peut considérer le cas où p_j = 1

n, j = 1, . . . , n ( tous les événements élémentaires sont

´

equiprobables). On a alors pour tout A∈P(Ω):

P(A) = card A

n = nombre de cas favorables nombre total de cas possibles

Propri´et´es.

Soit (Ω,M, P) un espace probabilis´e. Pour tout A ∈ M et B ∈ M, nous avons:

(1) P( ¯A) = 1 − P(A) (2) P(∅) = 0

(3) P(A)∈[0,1]

(4) A ⊆B =⇒ P(A)≤P(B) (5) P(A\B) =P(A)−P(A∩B)

(6) P(A∪B) =P(A) +P(B)−P(A∩B)

De plus, si {A_n}n∈N est une suite d’´ev´enements de M satisfaisant:

A₀ ⊂A₁ ⊂. . .⊂A_n. . ., alors nous avons: P( ∪

n∈NA_n) = lim

n→+∞P(A_n)

II. Probabilit´ es conditionnelles

Définition. Soient A et B deux événements de M tels que P(B) = 0. La probabilité conditionnelle de A sachant B est définie par:

P(A/B) = P(A∩B) P(B) .

(9)

Théorème des probabilités totales.

Soient B₁, B₂, . . . , B_n des ´ev´enements de M tels que ∪ⁿ

i=1B_i = Ω et B_i ∩ B_j = ∅ pour i = j avec P(B_i) > 0 pour tout i. Alors, pour tout

´

ev´enement A deM, nous avons:

P(A) = n

i=1

P(A/B_i) P(B_i).

Formule de Bayes.

Soient A et B₁, . . . , B_n des événements de M tels que B_i soient deux à deux disjoints,

n i=1

B_i= Ω, P(B_i)> 0 pour tout i et P(A)>0. Alors P(B_i/A) = P(A/B_i)P(B_i)

n j=1

P(A/B_j) P(B_j) .

III. Ind´ ependance.

Définition. Deux événements A et B de M tels que P(B) = 0, sont dits indépendants si P(A/B) = P(A).

Il faut et il suﬃt pour cela que: P(A∩B) =P(A) P(B).

Définition générale. Deux événements A et B de M sont dits indépendants si, et seulement si, ils satisfont: P(A∩B) =P(A) P(B).

Généralisation. Les événements A₁, A₂, . . . , A_n de M sont (mutuellement) indépendants si, pour tout sous-ensemble {A_i₁, . . . , A_i_k} de {A₁, A₂, . . . , A_n}, nous avons:

P(A_i₁ ∩. . .∩A_i_k) =P(A_i₁). . . P(A_i_k).

(10)

(11)

CHAPITRE 2

VARIABLES AL´ EATOIRES R´ EELLES

ou VARIABLES AL´ EATOIRES ` A UNE DIMENSION

Soit (Ω,M, P) un espace probabilis´e.

I. D´ efinitions.

On considère l’ensemble B(R) de toutes les parties de R obtenues par union ou intersection dénombrable d’intervalles ouverts ou fermés de R. Les éléments de B(R) sont appelés les boréliens.

Une fonction g : R → R telle que g⁻¹(B) = {x ∈ R : g(x) ∈ B} est un bor´elien de R pour tout bor´elien B de R est dite mesurable.

Définition. Unevariable aléatoire réelle X est une fonction de Ω à valeurs dans R telle que l’ensemble X⁻¹(B) ={ω ∈Ω; X(ω)∈B} est un événement de M pour tout borélien B de R.

Désormais, X désignera une variable aléatoire et x désignera une variable réelle.

Définition. La loi de probabilité d’une variable aléatoire X (ou loi de probabilité suivie parX) est définie par:

P(X ∈B) =P({ω ∈Ω; X(ω)∈B}) =P(X⁻¹(B)) pour tout bor´elien B de R.

Définition. La fonction de répartition d’une variable aléatoire X est définie par:

F_X(x) =P(X ≤x) (x ∈R)

(12)

Propriétés de la fonction de répartition.

La fonction de répartition F_X d’une variable aléatoire X a les propriétés suivantes:

(1) F_X est une fonction monotone non d´ecroissante (croissante au sens large) (2) lim

x→+∞F_X(x) = 1 (3) lim

x→−∞F_X(x) = 0

(4) P(a < X ≤b) =F_X(b)−F_X(a) (5) F_X est continue `a droite

(6) P(X =x) = F_X(x⁺)−F_X(x⁻)

Variables al´eatoires discr`etes .

Une variable aléatoire X est dite discrète si X(Ω) est une partie de R finie ou dénombrable: X(Ω) ={x_i}i∈I, I ⊆N. La loi de probabilité de X est donnée par

P(X =x_i) ∀x_i ∈X(Ω).

Variables al´eatoires continues.

Une variable aléatoire X est dite continue si X(Ω) est un intervalle de R. On considère uniquement le cas où il existe une fonction Lebesgue intégrable f_X telle que, si B est un borélien de R, P(X ∈B) =

B

f_X(x) dx.

f_X est la densit´e de probabilit´e de X. Elle satisfait:

_+∞

−∞

f_X(x) dx= 1.

La fonction de r´epartition de Xest alors donn´ee par: F_X(x) = _x

−∞

f_X(t)dt.

Dans ce cas, F_X est continue et F_X satisfait: F_X =f_X presque partout.

On a alors: f_X(x)≥0 ∀x∈R et P(a < X ≤b) = _b

a

f_X(t) dt.

F_X(x) représente l’aire sous la courbe représentative de la densité f_X entre

−∞ et x.

(13)

II. Moments d’une variable al´ eatoire.

Si X est une variable aléatoire, P_X définie par: P_X(B) = P(X ∈B) pour tout borélien B de R est une mesure de probabilité sur R. On peut donc définir l’intégrale, si elle existe, d’une fonction mesurable g : R→ R par rapport

`

a P_X de la même manière que l’intégrale de Lebesgue de g.

Définition. L’espérance mathématique de g(X) est d´efinie par:

E(g(X)) =

R

g(x) dP_X(x) si cette int´egrale existe.

Si X est une variable al´eatoire discr`ete E(g(X)) =

i

g(x_i) P(X =x_i) si cette somme est d´eﬁnie.

Si X est une variable al´eatoire continue E(g(X)) =

Rg(x) f_X(x) dx si cette int´egrale existe.

L’espérance mathématique ( ou la moyenne) de X ( si elle existe) est définie par:

E(X) =

Rx dP_X(x) Si X est une variable al´eatoire discr`ete: E(X) =

i

x_i P(X =x_i)

Si X une variable al´eatoire continue: E(X) =

R

x f_X(x) dx

Propriété (linéarité).

E(λ g(X) + µ h(X) + ν) =λ E(g(X)) + µ E(h(X)) + ν

pour tout λ, µ, ν de R et pour toute fonction mesurable g, h:R→R.

Une variable al´eatoire est centr´ee si E(X) = 0.

Le moment d’ordre k de X, s’il existe, est d´eﬁni par: E(X^k).

Le momentcentr´e d’ordrek de X, s’il existe, est d´eﬁni par: E((X −E(X))^k).

(14)

Lavariance de X (si elle existe) est d´eﬁnie par: V(X) =E((X−E(X))²).

L’´ecart-type de X est: σ(X) = V(X).

La variance est une mesure de la dispersion de X autour de m=E(X).

Propri´et´e.

Si V(X) existe, on a: V(X) = E(X²)−(E(X))².

et V(λX +µ) =λ² V(X) pour tout λ et µ dans R.

Définition. Toute variable aléatoire X satisfaisant: E(X) = 0 et σ(X) = 1 est dite centrée, réduite.

SoitX une variable al´eatoire de moyenne m=E(X) et d’´ecart-type σ =σ(X).

Alors, la variable al´eatoire Z = X−m

σ est appelée variable centrée, réduite associée à X.

Inégalité de Bienaymé - Chebychev.

Soit X une variable al´eatoire de moyennem et de variance σ². Alors ∀ε > 0 P(|X −m|> ε) ≤ σ²

ε².

Définition. Si E(α|X|)< ∞ pour un nombre réel α > 0, la fonction définie par:

G_X(t) =E(e^tX) (t ∈R)

existe sur l’intervalle [−α, α] et est appelée la fonction génératrice des moments de X.

Si X est une variable al´eatoire discr`ete G_X(t) =

i

e^txⁱ P(X =x_i) Si X est une variable al´eatoire continue

G_X(t) =

R

e^tx f_X(x) dx.

On a alors: G_X(t) = L(f_X(−x))(t) +L(f_X(x))(−t) o`u L d´esigne la transformation de Laplace.

(15)

La fonction génératrice des moments détermine complètement la loi de probabilité de X.

La fonction génératrice des moments G_X de X est indéfiniment dérivable en 0 et G^(k)_X (0) = E(X^k) pour tout entier k ≥ 0, ce qui permet d’obtenir tous les moments d’ordrek de X.

Définition. La fonction caractéristiquede X est définie sur tout R par:

ϕ_X(t) =E(e^itX) (t ∈R).

La fonction caractéristique détermine complètement la loi de probabilité de X.

Si X est une variable al´eatoire discr`ete ϕ_X(t) =

k

e^{i tx}^k P(X =x_k) If X est une variable al´eatoire continue

ϕ_X(t) =

R

e^{i tx} f_X(x) dx=F(f_X)(−t) (t ∈R), o`u F d´esigne la transformation de Fourier.

III. Lois de probabilit´ e usuelles.

1) Lois de probabilit´e discr`etes.

• Loi de Bernoulli B(p).

On considère une expérience pour laquelle l’univers de tous les résultats possibles est constitué de deux événements contraires: l’événement A, qui nous intéresse, appelésuccès, de probabilitép, et l’événement contraire ¯A, appelééchec, de probabilitéq = 1−p.

On consid`ere la variable al´eatoire X, fonction indicatrice de A:

X(ω) = 1 si ω ∈A, X(ω) = 0 si ω ∈A¯ On a alors: X(Ω) ={0,1}

P(X = 1) =p P(X = 0) =q = 1−p E(X) =p V(X) =pq ϕ_X(t) =q + p e^it (t ∈R), G_X(t) =q + p e^t (t ∈R)

(16)

• Loi binomiale B(n, p).

On considère une expérience aléatoire de Bernoulli qui est répétée n fois indépendamment les unes des autres. Soit X le nombre total de succès.

On a: X(Ω) ={0,1, . . . , n}

La loi de probabilit´e de X est donn´ee par:

P(X =k) = C_n^k p^k q^n−k avec q= 1−p (C_n^k =_n

k

)

On a: E(X) =np, V(X) =npq

ϕ_X(t) = (q + p e^it)ⁿ (t∈R), G_X(t) = (q + p e^t)ⁿ (t∈R)

• Loi de Poisson P(λ) (λ > 0).

Une variable al´eatoire X suit une loi de Poisson si:

X(Ω) =N et ∀k ∈N, P(X =k) = λ^k k! e^−λ On a alors: E(X) =V(X) =λ

ϕ_X(t) =e^λ^(e^it⁻¹⁾ (t∈ R), G_X(t) =e^λ ^(e^t⁻¹⁾ (t∈R)

2) Lois de probabilit´e continues.

• Loi uniforme sur [a, b], (a < b), U(a, b).

Une variable aléatoire X suit une loi uniforme sur [a, b] si sa densité de probabilité est donnée par:

f(x) = 1

b−a χ_[a,b](x) avec χ_[a,b](x) =

1 si x∈[a, b]

0 si x /∈[a, b]

On a alors: E(X) = a+b

2 , V(X) = (b−a)² 12 .

• Loi normale ou Loi de (Laplace)-Gauss N(m, σ) (σ >0):

Une variable aléatoire X suit une loi normale si sa densité de probabilité est donnée par:

f(x) = 1 σ √

2π e⁻¹²

x−m σ

2

(x∈R)

(17)

On a alors: E(X) =m, V(X) =σ² ϕ_X(t) =e^itm e⁻^t

2

2 σ² (t∈R), G_X(t) =e^tm e^t

2

2 σ² (t ∈R).

X suit la loi N(m, σ) ⇔ Y = X−m

σ suit la loi N(0,1)

• Loi Gamma Γ(α, β) avec α >0, β >0.

Une variable aléatoire X suit une loi Γ(α, β) si sa densité de probabilité est donnée par:

f(x) =







x^α−1 e⁻^x^β

β^α Γ(α) (x > 0)

0 (x < 0)

avec Γ(a) = _+∞

0

e^−t t^a−1 dt ∀a > 0

On a alors: E(X) =α β , V(X) =α β², G_X(t) = 1

(1−β t)^α (t < 1 β )

• Loi exponentielle E(λ) = Γ(1, 1 λ)

Une variable aléatoire X suit une loi exponentielle E(λ) si sa densité de probabilité est donnée par:

f(x) =

λ e^{−λ x} (x > 0) 0 (x < 0)

On a alors: E(X) = 1

λ, V(X) = 1 λ².

• Loi du χ² à n degrés de liberté χ²(n) = Γ(n 2 , 2 ) Une variable aléatoire X suit une loi χ²(n) si sa densité de probabilité est donnée par:

f(x) =









xⁿ²⁻¹ e⁻^x² 2ⁿ² Γ(n

2)

(x >0)

0 (x <0)

On a alors: E(X) =n, V(X) = 2n.

(18)

III. Convergence d’une suite de variables al´ eatoires - Approximations.

1) Convergence d’une suite de variables al´eatoires.

• Convergence en probabilit´e.

On dit que la suite de variables aléatoires {X_n}n∈N converge en probabilité vers la variable aléatoireX si, et seulement si:

∀ε >0, lim

n→+∞P(|X_n−X|> ε) = 0

• Convergence en loi.

• SoitF_n la fonction de répartition de la variable aléatoireX_n et soitF la fonction de répartition de la variable aléatoire X. On dit que la suite de variables al´eatoires {X_n}n∈N converge en loi vers la variable aléatoire X si, et seulement si:

n→+∞lim F_n(t) =F(t) en tout pointt ∈R o`u F est continue.

• Soit ϕ_n la fonction caractéristique de la variable aléatoire X_n et soit ϕ la fonction caractéristique de la variable aléatoire X. La suite de variables al´eatoires {X_n}n∈N converge en loi vers la variable aléatoire X si, et seulement si:

n→+∞lim ϕ_n(t) =ϕ(t) ∀t∈R.

• Une suite de variables aléatoires discrètes {X_n}n∈N converge en loi vers la variable aléatoire discrèteX si, et seulement si:

n→+∞lim P(X_n =x) =P(X =x) ∀x ∈R.

2) Approximations.

• Approximation de la loi binomiale par la loi de Poisson.

Soit {X_n}n∈N une suite de variables al´eatoires qui suivent la loi binomiale B(n, p). Lorsque n → +∞ et p → 0 de sorte que np → λ, λ > 0, la suite {X_n}n∈N converge en loi vers une variable al´eatoire X qui suit la loi de Poisson P(λ).

En pratique, on utilise cette approximation pour n > 50, np ≤ 18 c.a.d. p≤0,36.

(19)

• Approximation de la loi de Poisson par la loi normale.

Soit {X_λ}λ>0 une famille de variables al´eatoires qui suivent la loi de Poisson P(λ). Lorsque λ →+∞, la famille X_λ−λ

√λ

λ>0 converge en loi vers une variable aléatoire X qui suit la loi normale centrée réduite N(0,1).

Pour λ assez grand, on peut donc approcher la loi de Poisson P(λ) par la loi normale N(λ,√

λ).

En pratique, on estime l’approximation de la loi de Poisson P(λ) par une loi normale satisfaisante pour λ >18.

• Approximation de la loi binomiale par la loi normale.

Soit {X_n}n∈N une suite de variables aléatoires qui suivent la loi binomiale B(n, p). On définit: U_n= X_n−np

√npq , (q= 1−p).

Lorsque n → +∞, la suite {U_n}n∈N converge en loi vers une variable aléatoireX qui suit la loi normale centrée réduite N(0,1).

Pour n assez grand, on peut donc approcher la loi binomiale B(n, p) par la loi normale N(np,√

npq).

En pratique, on estime l’approximation de la loi binomiale B(n, p) par une loi normale satisfaisante d`es que np >5 et nq > 5. On applique particuli`erement cette approximation lorsque n >50 et np >18.

(20)

(21)

CHAPITRE 3

VECTEURS AL´ EATOIRES ou

VARIABLES AL´ EATOIRES A PLUSIEURS DIMENSIONS `

Soit (Ω,M, P) un espace probabilis´e.

I. D´ efinitions.

Un pav´e ouvert de Rⁿ est une partie de Rⁿ de la forme:

]a₁, b₁[×]a₂, b₂[×. . .×]a_n, b_n[

L’ensemble B(Rⁿ) desboréliens de Rⁿ est l’ensemble de toutes les parties de Rⁿ obtenues par union ou intersection dénombrable de pavés ouverts ou fermés de Rⁿ.

Une fonction g:Rⁿ → R^p telle que g⁻¹(B) ={x ∈R : g(x)∈ B} est un bor´elien de Rⁿ pour tout bor´elien B de R^p est dite mesurable.

Définition. Un vecteur aléatoire réel X = (X₁, . . . , X_n) est une fonction de Ω à valeurs dans Rⁿ telle que l’ensemble X⁻¹(B) ={ω∈ Ω; X(ω)∈B} est un événement de M pour tout borélien B de Rⁿ.

Notation. On identiﬁera les vecteurs de Rⁿ et leur matrice repr´esentative dans la base canonique de Rⁿ.

Définition. La loi de probabilité d’un vecteur aléatoire X = (X₁, . . . , X_n) est définie par:

P(X ∈B) =P({ω ∈Ω; X(ω)∈B}) =P(X⁻¹(B)) pour tout bor´elien B de Rⁿ.

La loi du vecteur X = (X₁, . . . , X_n) est appel´eela loi conjointedes variables al´eatoires{X₁, . . . , X_n}.

Définition. La fonction de répartition d’un vecteur aléatoire X = (X₁, . . . , X_n) est définie par:

F_X(x) =P(X₁ ≤x₁, . . . , X_n ≤x_n) ((x₁, . . . , x_n)∈Rⁿ)

(22)

Vecteurs al´eatoires de type discret .

Un vecteur aléatoire X = (X₁, . . . , X_n) est ditde type discret si X(Ω) est une partie de Rⁿ finie ou dénombrable:

X(Ω) ={(x_i₁, . . . , x_i_n) ; (i₁, . . . , i_n)∈I, I ⊆Nⁿ}. La loi de probabilit´e de X est donn´ee par

P(X₁ =x_i₁, . . . , X_n =x_i_n) ∀ (x_i₁, . . . , x_i_n)∈X(Ω).

Vecteurs al´eatoires de type continu.

Un vecteur aléatoire X = (X₁, . . . , X_n) est ditde type continu si X(Ω) est un pavé de Rⁿ. On considère uniquement le cas où il existe une fonction Lebesgue intégrable f_X telle que, si B est un borélien de Rⁿ,

P(X ∈B) =

B

f_X(x₁, . . . , x_n) dx₁. . . dx_n. f_X est la densit´e de probabilit´e de X. Elle satisfait:

Rⁿf_X(x₁, . . . , x_n) dx₁. . . dx_n= 1.

La fonction de r´epartition de X est alors donn´ee par:

F_X(x₁, . . . , x_n) = _x₁

−∞

. . . _x_n

−∞

f_X(t₁, . . . , t_n) dt₁. . . dt_n. Dans ce cas, F_X est continue et F_X satisfait:

f_X(x₁, . . . , x_n) = ∂ⁿ

∂x₁. . . ∂x_n F_X(x₁, . . . , x_n) presque partout.

Lois marginales.

Les lois marginales sont les lois de probabilit´es suivies par les variables al´eatoires X_i, i= 1, . . . , n.

Dans le cas o`u X = (X₁, . . . , X_n) est de type discret, la loi marginale de X_k est donn´ee par:

P(X_k =x_i_k) =

i1,...,in=ik

P(x₁ =x_i₁, . . . , X_n =x_i_n)

(23)

Dans le cas où X = (X₁, . . . , X_n) est de type continu, la loi marginale de X_k est définie par sa densité de probabilité marginale qui est donnée par:

f_X_k(x_k) =

Rⁿ⁻¹ f_X(x₁, . . . , x_n)

n i=1,i=k

dx_i

II. Moments d’un vecteur al´ eatoire.

Si X = (X₁, . . . , X_n) est un vecteur aléatoire, P_X définie par:

P_X(B) =P(X ∈B) pour tout bor´elien B de Rⁿ est une mesure de probabilité sur Rⁿ. On peut donc définir l’intégrale, si elle existe, d’une fonction mesurable g: Rⁿ →R^p par rapport à P_X de la même manière que l’intégrale de Lebesgue deg.

Définition. L’espérance mathématique de g(X) est d´efinie par:

E(g(X)) =

Rⁿ

g(x₁, . . . , x_n)dP_X(x₁, . . . , x_n) si cette int´egrale existe.

Si X est de type discret

E(g(X)) =

(i1,...,in)∈I

g(x_i₁, . . . , x_i_n) P(X₁ =x_i₁, . . . , X_n =x_i_n) si cette somme est d´eﬁnie.

Si X est de type continu E(g(X)) =

Rⁿ

g(x₁, . . . , x_n) f_X(x₁, . . . , x_n) dx₁. . . dx_n si cette int´egrale existe.

La fonction génératrice des moments de X est définie par:

G_X(t₁, . . . , t_n) =E(e^t¹^X¹^+...+tⁿ^Xⁿ), et existe dans un voisinage de 0 (dans Rⁿ).

Elle détermine complètement la loi de probabilité de X.

Corollaire.

1. E(X) = (E(X₁), . . . , E(X_n) ) ∈ Rⁿ

2. Si les variables al´eatoires X₁, . . . , X_n admettent une loi conjointe, E(λ₁X₁ +. . .+λ_nX_n + µ) =λ₁E(X₁) +. . .+λ_nE(X_n) + µ pour tous les r´eels λ₁, . . . , λ_n, µ.

(24)

Covariance

La covariance de deux variables aléatoires X et Y est définie par:

Cov(X, Y) =E((X−E(X)) (Y −E(Y))) =E(XY)−E(X) E(Y) Remarque: Cov(X, X) =V(X)

La matrice de covariance Σ_X d’un vecteur aléatoire X = (X₁, . . . , X_n) est la matrice carrée symétrique d’ordren définie par:

Σ_X = [σ_ij] avec σ_ij =Cov(X_i, X_j)

Transformation linéaire: Si Y = AX +B où B est un vecteur de R^p et A est une matrice d’ordre p ×n, alors E(Y) = A E(X) +B et Σ_Y =A Σ_X A, où A désigne la transposée de la matrice A.

Cons´equence: Σ_X =E(XX)−E(X)E(X) =E( (X−E(X)) (X−E(X)) ) est une matrice positive.

Th´eor`eme.

Si les variables al´eatoires X₁, . . . , X_n admettent une loi conjointe, on a:

V(X₁ +. . .+ X_n) = n i=1

V(X_i) +

i=j

Cov(X_i, X_j)

Coeﬃcient de corr´elation.

Le coefficient de corrélation (linéaire) de deux variables aléatoiresX et Y est défini par:

ρ(X, Y) = Cov(X, Y) σ(X) σ(Y) Th´eor`eme.

On a: ρ(X, Y)∈ [−1,1].

De plus, ρ(X, Y) = ±1 si, et seulement si, il existe des constantes r´eelles a et b telles que Y =aX +b.

Remarque: Interprétation géométrique.

L’ensemble de toutes les variables aléatoires définies sur le même univers Ω et qui admettent deux à deux une loi conjointe, est un espace de Hilbert pour le produit scalaire: < X, Y >=E(XY).

Dans cet espace, E(X) est la meilleure approximation de X par une constante.

ρ(X, Y) n’est autre que le cosinus de l’angle form´e par (X−E(X)) et (Y −E(Y)).

(25)

III. Lois de probabilit´ e conditionnelles.

• Si le vecteur al´eatoire X = (X₁, . . . , X_n) est de type discret,

la loi conditionnelle de (X₂, . . . , X_n) sachant X₁ =x_i₁ est d´eﬁnie par:

P(X₂ =x_i₂, . . . , X_n =x_i_n / X₁ =x_i₁) = P(X₁ =x_i₁, . . . , X_n =x_i_n) P(X₁ =x_i₁)

si P(X₁ =x_i₁)= 0

L’espérance conditionnelle de g(X₂, . . . , X_n) sachant X₁ = x_i₁ est alors définie par:

E[g(X₂, .., X_n)/X₁ =x_i₁] =

i2,..,in

g(x_i₂, .., x_i_n)P(X₂ =x_i₂, .., X_n =x_i_n/X₁ =x_i₁)

• Si le vecteur al´eatoire X = (X₁, . . . , X_n) est de type continu,

la densité de probabilité conditionnelle de (X₂, . . . , X_n) sachant X₁ =x₁ est définie par:

f(x₂, . . . , x_n/ X₁ =x₁) = f_X(x₁, . . . , x_n)

f_X₁(x₁) si f_X₁(x₁)= 0 L’espérance conditionnelle de g(X₂, . . . , X_n) sachant X₁ = x₁ est alors définie par:

E[g(X₂, .., X_n)/X₁ =x₁] =

Rⁿ⁻¹

g(x₂, .., x_n) f(x₂, . . . , x_n/ X₁ =x₁) dx₂. . . dx_n

G´en´eralisation.

On considère deux vecteurs aléatoires X = (X₁, . . . , X_n) et Y = (Y₁, . . . , Y_p) qui admettent une loi de probabilité conjointe.

• Si X et Y sont de type discret, la loi conditionnelle de X sachant Y =y_j est d´eﬁnie par:

P(X =x_i/ Y =y_j) = P(X =x_i, Y =y_j)

P(Y =y_j) si P(Y =y_j)= 0 (x_i ∈Rⁿ, y_j ∈R^p) L’espérance conditionnelle de g(X) sachant Y = y_j est alors définie par:

E[g(X)/Y =y_j] =

i

g(x_i) P(X =x_i / Y =y_j)

(26)

• Si X et Y sontde type continu, la densité de probabilité conditionnelle de X sachantY =y est définie par:

f(x / Y = y) = f_(X,Y₎(x, y)

f_X(x) si f_X(x)= 0 (x ∈Rⁿ, y∈R^p) L’espérance conditionnelle de g(X) sachant Y = y est alors définie par:

E[g(X)/Y =y] =

Rⁿ

g(x) f(x / Y =y) dx

IV. Ind´ ependance.

Définition. Les variables aléatoires X₁, . . . , X_n sont dites indépendantes si, et seulement si, pour tous les boréliens A₁, . . . , A_n de R, les événements [X₁ ∈A₁], . . . ,[X_n ∈A_n] sont indépendants. Nous avons alors:

P(X₁ ∈A₁, . . . , X_n ∈A_n) = P(X₁ ∈A₁). . . P(X_n ∈A_n)

Remarques: 1. Deux variables aléatoires X et Y sont indépendantes si, et seulement si, la loi conditionnelle deX sachant Y =y est identique à la loi de probabilité suivie parX (et est donc indépendante de y).

2. Si les variables aléatoires X₁, . . . , X_n sont indépendantes, elles sont indépendantes deux à deux.

Th´eor`eme.

Si X₁, . . . , X_n sont indépendantes, les variables aléatoires g₁(X₁), . . . , g_n(X_n) sont aussi indépendantes pour toute fonction mesurable g_i :R→R, i= 1, . . . , n.

Deux vecteurs aléatoires X = (X₁, . . . , X_n) et Y = (Y₁, . . . , Y_p) sont dits indépendants si, et seulement si, pour tous les boréliens A de Rⁿ et B de R^p, les événements [X ∈A] et [Y ∈B] sont ind´ependants.

Alors, pour des fonctions mesurables arbitraires g : Rⁿ → R^k et h : R^p → R^m, les vecteurs al´eatoires g(X) et h(Y) sont aussi ind´ependants.

Si X = (X₁, . . . , X_n) est de type discret, les variables al´eatoires X₁, . . . , X_n sont ind´ependantes si, et seulement si: ∀ (i₁, . . . , i_n)∈I

P(X₁ =x_i₁, . . . , X_n =x_i_n) = P(X₁ =x_i₁)×. . .×P(X_n =x_i_n)

(27)

Si X = (X₁, . . . , X_n) est de type continu, les variables al´eatoires X₁, . . . , X_n sont ind´ependantes si, et seulement si, une des conditions ´equivalentes suivantes est satisfaite:

(i) F_X(x₁, . . . , x_n) =F_X₁(x₁). . . F_X_n(x_n) ((x₁, . . . , x_n)∈Rⁿ) (ii) f_X(x₁, . . . , x_n) =f_X₁(x₁). . . f_X_n(x_n) ((x₁, . . . , x_n)∈Rⁿ) (iii) il existe des fonctions f_i :R→R, i= 1, . . . , n, telles que

f_X(x₁, . . . , x_n) =f₁(x₁). . . f_n(x_n) ((x₁, . . . , x_n)∈Rⁿ)

Deux vecteurs al´eatoires X₁ etX₂ de dimension respective p₁ et p₂ et de type continu sont ind´ependants si, et seulement si:

f_(X₁_,X₂₎(x₁, x₂) =f_X₁(x₁) f_X₂(x₂) (x₁ ∈R^p¹, x₂ ∈R^p²)

Proposition. Si les variables al´eatoires X₁, . . . , X_n sont ind´ependantes, alors elles satisfont:

(i) E(X₁ ×. . .×X_n) =E(X₁)×. . .×E(X_n) (ii) Cov(X_i, X_j) =ρ(X_i, X_j) = 0 pour i=j (iii) V(X₁+. . .+X_n) =V(X₁) +. . .+V(X_n)

La réciproque est fausse: une quelconque de ces conditions n’entraˆıne pas l’indépendance des variables aléatoires X₁, . . . , X_n.

Th´eor`eme.

Deux variables aléatoires X₁, X₂, qui admettent une loi conjointe, sont indépendantes si, et seulement si: G_(X₁_,X₂₎(t₁, t₂) = G_X₁(t₁) G_X₂(t₂) pour tous les couples (t₁, t₂) où G_(X₁_,X₂₎(t₁, t₂) est définie.

V. Lois de probabilit´ e usuelles.

• Loi multinomiale B(n;p₁, p₂, . . . , p_k)

Une expérience conduit à la réalisation d’un certain nombre d’événements A₁, . . . , A_k qui peuvent se produire avec des probabilités respectives égales à

(28)

p₁, . . . , p_k avec p₁+. . .+p_k = 1. On répète n fois l’expérience, les répétitions

´

etant indépendantes. Soit X_i la variable aléatoire égale au nombre de fois où A_i se réalise au cours desn essais. La loi de X = (X₁, . . . , X_k) est donnée par:

P(X₁ =n₁, X₂ =n₂, . . . , X_k =n_k) = n!

n₁!n₂!. . . n_k! pⁿ₁¹ pⁿ₂². . . pⁿ_k^k avec n₁+. . .+n_k =n.

• Loi normale `a n dimensions N(m,Σ)

X = (X₁, . . . , X_n) suit la loi N(m,Σ) où m = (m₁, . . . , m_n) ∈ Rⁿ et Σ est une matrice symétrique définie positive d’ordre n, lorsque sa densité de probabilité est:

f(x₁, . . . , x_n) = 1 (2π)ⁿ² √

det Σ exp[− 1

2 (x−m) Σ⁻¹ (x−m) ] pour x = (x₁, . . . , x_n)∈Rⁿ

On a: m = E(X) et Σ = [σ_ij] est la matrice de covariance de X (σ_ij = Cov(X_i, X_j) ).

Chaque variable al´eatoire X_i suit la loi normale N(m_i,√ σ_ii).

En général, la réciproque n’est pas vraie: il n’est pas suffisant pour un vecteur aléatoire d’avoir toutes ses composantes gaussiennes pour qu’il soit lui-même gaussien.

Toutefois, si les composantes du vecteur aléatoire sont indépendantes et gaussiennes, le vecteur aléatoire est lui-même gaussien.

Dans le cas général, un vecteur aléatoire est gaussien si, et seulement si, toute combinaison linéaire de ses composantes est une variable aléatoire gaussienne.

Les variables aléatoires X₁, . . . , X_n, composantes du vecteur gaussien X, sont indépendantes si, et seulement si, la matrice Σ est diagonale, c’est-à-dire si, et seulement si, elles ne sont pas corrélées.

(29)

Proposition.

Le vecteur aléatoire X = (X₁, . . . , X_n) suit la loi N(m,Σ) si, et seulement si, sa fonction génératrice des moments est donnée par:

G_X(t₁, . . . , t_n) = exp(t m) exp(1

2 t Σ t) (t= (t₁, . . . , t_n)∈Rⁿ) Proposition.

Si le vecteur aléatoire X = (X₁, . . . , X_n) suit la loi normale de dimension n Nn(m,Σ) et si A est une matrice d’ordre p×n et de rang p (p ≤ n), alors le vecteur aléatoire Y =A X+V, où V ∈R^p, suit la loi normale de dimensionp Np(A m+V, AΣ A).

VI. Th´ eor` eme central limite.

• Th´eor`eme central limite de Laplace.

Soient X₁, . . . , X_n des variables aléatoires indépendantes qui suivent la même loi de moyennem et de variance σ².

Alors, si X = X₁+. . .+X_n

n , Z_n = X −m

√σ n

converge en loi vers une variable al´eatoire Z qui suit N(0,1).

• Théorème central limite (2ème version)

Soient X₁, . . . , X_n des variables aléatoires indépendantes qui suivent la même loi de moyennem et de variance σ².

Alors, Z_n =√

n (X−m) converge en loi vers une variable al´eatoire Z qui suit N(0, σ) .

• Généralisation du Théorème central limite.

Soient −→X₁, . . . ,−→X_n des variables aléatoires indépendantes de dimensionp qui suivent la même loi de moyenne−→m et de matrice de covariance Σ.

Alors, −→Z_n =

−→X₁ +. . .+−→X_n − n−→m

√n converge en loi vers une variable al´eatoire −→Z (de dimension p) qui suit N(0,Σ) .

(30)

(31)

CHAPITRE 4

LOI D’UNE FONCTION DE VARIABLES AL´ EATOIRES

Supposons que Y soit une fonction de n variables aléatoires X₁, . . . , X_n. Nous voulons déterminer la loi de Y connaissant la loi conjointe des variables X₁, . . . , X_n, c’est-à-dire la loi du vecteur aléatoire X = (X₁, . . . , X_n).

I. Technique de la fonction caract´ eristique et de la fonction g´ en´ eratrice des moments.

Dans le cas continu, la détermination de f_Y peut se faire par inversion de la transformation de Fourier ou de la transformation de Laplace. Toutefois, on peut souvent obtenir directement la loi de Y à partir des fonctions caractéristiques ou des fonctions génératrices des moments des lois connues.

Th´eor`eme.

Soient k variables al´eatoires ind´ependantes X₁, . . . , X_k telles que X_i suive une loi binomiale B(n_i, p).

Alors X =X₁+. . .+X_k suit la loi binomiale B(n₁+. . .+n_k, p).

Th´eor`eme.

Soient n variables al´eatoires ind´ependantes X₁, . . . , X_n telles que X_i suive une loi de Poisson P(λ_i) pour i = 1, . . . , n.

Alors X =X₁+. . .+X_n suit la loi de Poisson P(λ₁ +. . .+λ_n).

Th´eor`eme.

Si X₁, . . . , X_n sont des variables al´eatoires ind´ependantes et si X_i suit N(m_i, σ_i) pour i= 1, . . . , n, alors X =

n i=1

λ_iX_i, o`u λ_i est un r´eel quelconque pour i= 1, . . . , n, suit N(m, σ) avec m=

n i=1

λ_im_i, σ² = n

i=1

λ²_i σ²_i .

(32)

Th´eor`eme.

Soient k variables al´eatoires ind´ependantes X₁, . . . , X_k telles que X_i suive une loi χ²(n_i).

Alors X =X₁+. . .+X_k suit la loi χ²(n₁+. . .+n_k).

II. Technique de la fonction de r´ epartition.

On détermine la fonction de répartition de Y: F_Y(y) = P(Y ≤y) . Lorsque Y est du type continu, on obtient la densité de probabilité f_Y de Y en dérivant F_Y.

Remarque: Il n’est pas toujours possible de dériver F_Y, en particulier lorsque F_Y est définie par une intégrale généralisée. Il faut alors recourir à d’autres méthodes, comme la méthode du changement de variables.

Th´eor`eme.

Lorsque X suit N(0,1) , Y =X² suit la loi χ²(1) .

Corollaire 1.

Si X₁, . . . , X_n sont des variables al´eatoires ind´ependantes qui suivent N(0,1), alors X =X₁²+. . .+X_n² suit la loi χ²(n).

Corollaire 2.

Si X = (X₁, . . . , X_n) suit une loi normale `a n dimensions N(m,Σ), alors:

D² = (X−m) Σ⁻¹ (X −m) suit la loi χ²(n).