Polycopié

L2 É ^CONOMIE

M ODULE 2 - O UTILS Q UANTITATIFS

S TATISTIQUES ET A NALYSE DE D ONNÉES 1

Compléments de probabilités et Statistique Inférentielle

Julie Scholler

Chapitre 1 - Couples et vecteurs de variables aléatoires ³

1.1 Cadre et notations . . . 3

1.2 Loi jointe . . . 4

1.3 Lois marginales . . . 6

1.3.1 Cas discret . . . 6

1.3.2 Cas à densité . . . 7

1.4 Conditionnement . . . 8

1.4.1 Lois conditionnelles . . . 8

1.4.2 Espérance conditionnelle . . . 9

1.5 Indépendance . . . 11

1.5.1 Définition . . . 11

1.5.2 Caractérisations dans le cas discret . . . 11

1.5.3 Caractérisations dans le cas continu . . . 12

1.6 Vecteurs aléatoires à valeurs dansRⁿ . . . 13

1.6.1 Loi jointe . . . 14

1.6.2 Lois marginales . . . 15

1.6.3 Indépendance . . . 16

1.6.4 Espérance et variance d’une somme de variables aléatoires . . . 17

1.6.5 Exemples classiques . . . 18

Chapitre 2 - Échantillonnage ²¹ 2.1 Échantillon et statistique de l’échantillon . . . 21

2.1.1 Échantillon . . . 21

2.1.2 Moyenne et variance empiriques . . . 22

2.1.3 Statistiques d’ordre . . . 23

2.2 Cas particulier : loi mère gaussienne . . . 25

2.2.1 Moyenne empirique . . . 25

2.2.2 Variance empirique corrigée et loi du Khi-deux . . . 25

2.2.3 Lien entre la moyenne empirique et la variance empirique . . . 27

2.3 Loi mère quelconque . . . 27

2.3.1 Théorème central limite . . . 28

2.3.2 Application fondamentale . . . 28

2.3.3 Application à une loi mère de Bernoulli . . . 28

Chapitre 3 - Théorie de l'estimation ponctuelle ³¹ 3.1 Cadre . . . 31

3.2 Une approche intuitive : la méthode des moments . . . 32

3.3 Qualités d’un estimateur . . . 33

3.3.1 Biais d’un estimateur . . . 33

3.3.2 Erreur quadratique moyenne d’un estimateur . . . 33

3.3.3 Estimateur convergent . . . 34

3.4 Choix d’un estimateur . . . 35

3.4.1 Estimateur admissible au sens de l’erreur quadratique moyenne . . . 35

3.4.2 Choix parmi les estimateurs sans biais . . . 37

3.5 Estimation par la méthode du maximum de vraisemblance . . . 38

3.5.1 Définitions . . . 38

3.5.2 Exemples . . . 39

3.5.3 Propriétés . . . 41

3.6 Discussion autour de l’extension à un paramètre de dimension k >1 . . . 42

Chapitre A - Compléments sur les vecteurs aléatoires ⁴³ A.1 Notation matricielle des vecteurs aléatoires . . . 43 A.2 Loi de Gauss multivariée . . . 44

Couples et vecteurs de variables aléatoires

En première année, nous avons déjà croisé des couples de variables aléatoires discrètes. Dans ce chapitre, nous irons un peu plus loin dans l’étude simultanée de deux variables aléatoires, nous considèrerons également le cas de variables aléatoires à densité et nous finirons par une généralisation aux vecteurs oun-uplets de variables aléatoires. Ce sera l’occasion de revoir les règles de manipulation des espérances, des variances et des covariances.

1. Cadre et notations

Toute situation probabiliste commence par une expérience aléatoire. Suite à une expérience aléatoire, on note :

• Ω : univers, ensemble de toutes les issues possibles ;

• E : ensemble de tous les événements découlant de Ω ;

• P:E →R: loi de probabilité définie sur (Ω,E).

Le triplet (Ω,E,P) est appelé espace probabilisé.

Sur un espace probabilisé, on peut définir des variables aléatoires réelles, c’est-à-dire des fonctions qui, à une issue, associent un nombre réel.

Soit X une variable aléatoire réelle définie sur l’univers Ω muni de la probabilitéP. On appelle support ou univers image l’ensemble des valeurs que peut prendre la variable aléatoire X et on note cet ensemble X(Ω).

• SiX est une variable aléatoire discrète, alors sa loi est donnée par l’applicationf_X :X(Ω)→Rdéfinie par :

∀x∈X(Ω), fX(x) :=P

[X=x]=P(X=x).

• SiX est une variable aléatoire à densité (ou continue), alors sa loi est donnée par sa densité que nous notons égalementf_X.

Définition. Couple de variables aléatoires

Uncouple de variables aléatoires sur (Ω,E,P) est un couple (X, Y), oùX etY sont des variables aléatoires réelles sur (Ω,E,P).

Dans ce qui suit on désignera de façon générale par (X, Y) un couple de variables aléatoires. On ne considèrera que des couples où les deux variables sont de même nature, discrètes ou continues, et on ne s’intéressera pas au cas mixte.

Exemple.

1. On lance deux dés à 6 faces (un jaune et un rouge). On considère les deux variables aléatoires X etY représentant respectivement le plus petit résultat et le plus grand résultat. Alors (X, Y) est un couple fini tel queX(Ω) =J1; 6KetY(Ω) =J1; 6K.

2. On choisit un étudiant de l’université de Tours au hasard. On considère les deux variables aléatoiresX etY représentant respectivement sa taille et son poids. Alors (X, Y) est un couple de variables aléatoires continues. On considère queX(Ω) =Y(Ω) =R^∗₊.

Remarque.

Pour tous réels x dans X(Ω) et y dans Y(Ω), on note {X=x, Y =y} ou {(X, Y) = (x, y)} l’événement {X=x} ∩ {Y =y}. Attention, cet événement peut être vide.

En effet, dans le premier exemple avec les dés, l’événement {X= 4, Y = 3} est impossible, même si les événements {X= 4}et{Y = 3}peuvent chacun être réalisés avec une probabilité non nulle.

Définition. Support d'un couple

On appelle support ou univers image du couple (X, Y), noté (X, Y)(Ω), l’ensemble des valeurs prises par (X, Y) :

(X, Y)(Ω) :=ⁿX(ω), Y(ω), ω ∈Ω^o.

Le support d’un couple peut être difficile à déterminer.

Cependant il est inclus dansX(Ω)×Y(Ω). En effet on a :

(X, Y)(Ω) :=ⁿX(ω), Y(ω), ω ∈Ω^o⊂ⁿX(ω), Y(ω⁰), ω ∈Ω, ω⁰ ∈Ω^o= (X×Y)(Ω) =X(Ω)×Y(Ω).

On se contentera donc de déterminerX(Ω)×Y(Ω) et de tenir compte des événements impossibles.

Exemple.

1. Minimum et maximum de deux dés. On aX(Ω)×Y(Ω) =J1; 6K

2. Cependant l’ensemble des événements qui peuvent se réaliser est (X, Y)(Ω) =ⁿ(i, j)∈J1; 6K

2, i6j^o.

2. Taille et poids d’un étudiant. A priori il n’y a pas de restriction (X, Y)(Ω) =X(Ω)×Y(Ω) = R^∗+

2

.

2. Loi jointe

La fonction de répartition jointe est un instrument fondamental pour donner la probabilité d’une région quelconque du plan.

Définition. Fonction de répartition jointe

Soit (X, Y) un couple de variables aléatoires. On appellefonction de répartition jointede (X, Y), notée F_(X,Y) ou FX,Y, la fonction définie sur R² par :

∀(x, y)∈R², F_(X,Y)(x, y) =P(X 6x, Y 6y).

L’événement{X 6x, Y 6y} correspond à l’événement{X 6x} ∩ {Y 6y}.

Définition. Loi jointe - Cas discret

Soit (X, Y) un couple de variables aléatoires discrètes. On appelleloi du couple(X, Y) ouloi jointe des variables aléatoires X et Y, et on note f_(X,Y), l’application f_(X,Y) : X(Ω)×Y(Ω) → [0,1]

définie par

∀x∈X(Ω), ∀y∈Y(Ω), f_(X,Y)(x, y) =P

(X, Y) = (x, y)=P

[X=x]∩[Y =y]=P(X=x, Y =y).

Exemple.

X etY désignent le plus petit et le plus grand résultat lors du lancer de deux dés équilibrés à 6 faces.

Par équiprobabilité, pour tous entiersietj dans J1; 6K, on a

{X=i, Y =j}=















∅ si i > j

(i, i) si i=j (i, j),(j, i) si i < j

ce qui entraîne P(X=i, Y =j) =



















0 sii > j 1

36 sii=j 2

36 sii < j.

Méthode.

Donner la loi d’un couple (X, Y), c’est

• donnerX(Ω)×Y(Ω) (ou les valeurs (X, Y)(Ω) prises par (X, Y)) ;

• puis pour tout couple (x, y) dans X(Ω) × Y(Ω) (ou (X, Y)(Ω)), donner la probabilité P(X = x, Y = y).

Remarque.

Soit (X, Y) un couple de variables aléatoires discrètes. Alors

1 = ^X

(x,y)∈(X,Y)(Ω)

f_(X,Y)(x, y) = ^X

x∈X(Ω),y∈Y(Ω)

P(X=x, Y =y) = ^X

x∈X(Ω)

X

y∈Y(Ω)

P(X=x, Y =y).

Exemple.

Vérifions cette formule dans l’exemple précédent du minimum et maximum de deux dés équilibrés lancés successivement.

X

(i,j)∈J1,6K²

P(X=i, Y =j) =

6

X

i=1

1

36 + ^X

16i<j66

2

36 = 6× 1

36 + 15× 2 36 = 1.

Définition. Loi jointe - Cas à densité

Soit (X, Y) un couple de variables aléatoires à densité. On appellefonction de densité de proba- bilité jointela fonction positive ou nulle définie sur R² notée f_(X,Y) telle que

F_(X,Y)(x, y) = Z y

−∞

Z _x

−∞f_(X,Y)(u, v) du

dv.

Lorsque l’on parlera d’un couple de variables aléatoires à densité, on supposera l’existence de cette fonction.

Remarque.

Soit (X, Y) un couple de variables aléatoires à densité.

1 = Z

(x,y)∈(X,Y)(Ω)

f_(X,Y)(x, y) dx dy = Z +∞

−∞

Z +∞

−∞ f_(X,Y)(x, y) dx

dy

Exemple.

On va s’intéresser au couple de variables aléatoires à densité (X, Y) dont la fonction de densité jointe est :

f(x, y) = 1

e−2ye^xy×1]0:1[²(x, y) =





 1

e−2ye^xy si 0< x <1 et 0< y <1,

0 sinon.

On a : Z

]0:1[²

ye^xy dx dy= Z 1

0

y 1

ye^xy 1

0

dy= Z 1

0

(e^y−1) dy= [e^y−y]¹₀ = (e−1)−(1−0) =e−2 Donc

Z

[0;1]²

1

e−2ye^xy dx dy= 1.

Remarque.

Là où la fonction de répartitionF_(X,Y) est C², on af_(X,Y)(x, y) = ∂²F

∂x∂y(x, y).

3. Lois marginales

Si l’on s’intéresse à un événement surX quelle que soit la valeur prise par Y, on retombe sur la loi de la variable aléatoire X qui, dans le contexte du couple, est appelée loi marginale de X.

3.1. Cas discret

Définition. Lois marginales - cas discret

Pour tout couple (X, Y) de variables aléatoires discrètes sur (Ω,E,P), on appelle

1. première loi marginale du couple (X, Y)l’application f_X :X(Ω)→[0; 1] définie par

∀x∈X(Ω), f_X(x) =P(X=x).

2. deuxième loi marginale du couple (X, Y)l’application fY :Y(Ω)→[0; 1] définie par

∀y∈Y(Ω), f_Y(y) =P(Y =y).

Remarque.

Les lois marginales du couple (X, Y) sont exactement les lois des variables aléatoiresX etY. La proposition suivante décrit comment calculer les lois marginales à partir de la loi du couple.

Proposition. Lois marginales à partir de la loi du couple Pour tout couple (X, Y) de variables aléatoires discrètes sur (Ω,E,P),

1. la première loi marginale du couple (X, Y) vérifie, pour tout xdans X(Ω), P(X=x) = ^X

y∈Y(Ω)

P

[X=x]∩[Y =y]= ^X

y∈Y(Ω)

P

(X, Y) = (x, y).

2. la deuxième loi marginale du couple (X, Y) vérifie, pour tout y dansY(Ω), P(Y =y) = ^X

x∈X(Ω)

P

[X =x]∩[Y =y]= ^X

x∈X(Ω)

P

(X, Y) = (x, y).

Exemple.

Reprenons l’exemple des minimumX et maximum Y lors du lancer de deux dés à 6 faces.

∀i∈J1; 6K, P(X=i) =

6

X

j=1

P(X=i, Y =j) =P(X =i, Y =i) +

6

X

j=i+1

P(X =i, Y =j)

= 1 36 +

6

X

j=i+1

2

36 = 1 + 2(6−i)

36 .

On en déduit queP(X=i) = 1 36 +

6

X

j=i+1

2

36 = 13−2i 36 . Remarque.

Il est pratique de représenter la loi d’un couple par un tableau à double entrée, où l’entrée correspondant à la ligneX=iet à la colonneY =j estP(X=i, Y =j).

Pour obtenir la loi deX (respectivement deY), on fait la somme sur chaque ligne (respectivement colonne).

Exemple.

On considère une urne contenant une boule noire et deux boules blanches.

On tire successivement deux boules dans cette urne, soit avec remise, ce qui constituera un premier mode de tirage, soit sans remise, ce qui constituera un deuxième mode de tirage.

On noteX la variable aléatoire égale à 0 si la première boule tirée est noire et à 1 si elle est blanche.

On noteY la variable aléatoire égale à 0 si la deuxième boule tirée est noire et à 1 si elle est blanche.

La loi du couple (X, Y) est donnée par le tableau suivant.

Tirage avec remise HH

HH HH X

Y 0 1 loi deX

0 1

9 2 9

1 3

1 2

9 4 9

2 3 loi deY 1

3 2

3 1

Tirage sans remise HH

HH HH X

Y 0 1 loi de X

0 0 1

3

1 3

1 1

3 1 3

2 3 loi de Y 1

3 2

3 1

On remarque que les lois marginales sont égales mais que la loi du couple est différente.

Remarque.

Il n’est pas possible d’obtenir la loi d’un couple à partir de ses marginales. Il manque la connaissance des lois conditionnelles qui donnent des informations sur les dépendances entre les variablesX etY.

3.2. Cas à densité

Définition. Lois marginales - cas à densité

Soit (X, Y) un couple de variables aléatoires réelles à densité sur (Ω,E,P). On appelle fonctions de densité marginales des variablesX etY, notéesf_X et f_Y, les fonctions de RdansRdéfinies par :

fX(x) = Z +∞

−∞ f_(X,Y)(x, y) dy et fY(y) = Z +∞

−∞ f_(X,Y)(x, y) dx.

Exemple.

Reprenons l’exemple du couple (X, Y) dont la densité jointe estf(x, y) = 1

e−2ye^xy×1]0:1[²(x, y). Cherchons la loi marginale deY en calculant sa densité marginale.

Soity ∈]0; 1[.

On a fY(y) = Z ∞

−∞

1

e−2ye^xy×1]0:1[²(x, y) dx= Z 1

0

1

e−2ye^xy dx= 1 e−2y

1 ye^xy

1 0

= 1

e−2(e^y−1).

Ainsi Y(Ω) =]0; 1[ etfY(y) = 1

e−2(e^y−1) 1]0;1[(y).

Proposition.

Les fonctions de densité marginales du couple (X, Y) sont exactement les fonctions de densité des variables aléatoiresX etY.

En effet, on a :

F_X(t) =F_(X,Y)(t,+∞) = Z t

−∞

Z +∞

−∞

f_(X,Y)(x, y) dx dy= Z t

−∞

Z +∞

−∞

f_(X,Y)(x, y) dy

dx.

4. Conditionnement

4.1. Lois conditionnelles

Soit (X, Y) un couple de variables aléatoires. L’idée est de connaître la loi de Y sachant qu’une réalisation de la variable aléatoire X a fourni le résultat x₀, dite loi conditionnelleY|X=x₀.

Définition. Lois conditionnelles - cas discret Soit (X, Y) un couple de variables aléatoires discrètes.

1. Pour tout y₀∈Y(Ω) tel queP(Y =y₀)6= 0, la loi conditionnelle deX sachant [Y =y0] est

∀x∈X(Ω), P[Y=y0](X=x) :=P(X=x|Y =y₀) := P(X =x, Y =y₀) P(Y =y0) .

2. Pour tout x0 ∈X(Ω) tel queP(X= x0) 6= 0, laloi conditionnelle de Y sachant [X =x0] est

∀y∈Y(Ω), P[X=x0](Y =y) :=P(Y =y|X=x0) := P(X=x0, Y =y) P(X =x₀) .

Exemple.

Considérons l’exemple du tirage de deux boules dans une urne contenant une boule noire et deux boules blanches.

• Cas avec remise.

La loi deY sachantX= 0 est Ber 2

3

:P[X=0](Y = 0) =

1 9 1 3

= 1

3 etP[X=0](Y = 1) =

2 9 1 3

= 2 3. La loi deY sachantX= 1 est Ber

2 3

:P[X=1](Y = 0) =

2 9 2 3

= 1

3 etP[X=1](Y = 1) =

4 9 2 3

= 2 3.

• Cas sans remise.

La loi deY sachantX= 0 est la loi certaine égale à 1 : P[X=0](Y = 0) = 0 etP[X=0](Y = 1) =

1 3 1 3

= 1.

La loi deY sachantX= 1 est Ber 1

2

:P[X=]1(Y = 0) =

1 3 2 3

= 1

2 etP[X=1](Y = 1) =

1 3 2 3

= 1 2.

Définition. Lois conditionnelles - cas continu Soit (X, Y) un couple de variables aléatoires à densité.

1. Pour touty₀ ∈Y(Ω) tel quef_Y(y₀)6= 0, lafonction de densité conditionnelle deX sachant [Y =y₀] est

∀x∈X(Ω), fX|Y=y0(x) := f_(X,Y)(x, y₀) fY(y0) .

2. Pour toutx₀ ∈X(Ω) tel quef_X(x₀)6= 0, lafonction de densité conditionnelle deY sachant [X =x0] est

∀y∈Y(Ω), f_Y|X=x0(y) := f_(X,Y)(x₀, y) f_X(x₀) .

Exemple.

Reprenons l’exemple du couple (X, Y) dont la densité jointe estf(x, y) = 1

e−2ye^xy×1]0:1[²(x, y). La densité marginale deY estfY(y) = 1

e−2(e^y −1) 1]0:1[(y).

Donc, siy∈]0; 1[, on a f_X|Y=y(x) = ye^xy

e^y−11]0;1[(x).

4.2. Espérance conditionnelle

Définition. Espérance conditionnelle - Cas discret

Soit (X, Y) un couple de variables aléatoires discrètes. On appelleespérance conditionnelle de la variable X sachant Y =y0 avec y0 ∈Y(Ω) le réel défini par

E(X|Y =y₀) := ^X

x∈X(Ω)

xP{Y=y0}(X =x).

Il s’agit donc de l’espérance deX prise par rapport à sa loi conditionnelle.

Exemple.

Considérons l’exemple du tirage de deux boules dans une urne contenant une boule noire et deux boules blanches sans remise. On avait obtenu que la loi marginale de Y est une loi de Bernoulli de paramètre 2/3, la loi deY sachantX= 0 est la loi certaine égale à 1 et la loi de Y sachant X= 1 est la loi de Bernoulli de paramètre 0.5.

On a doncE(Y) = 2/3,E(Y|X= 0) = 1 et E(Y|X= 1) = 0.5.

Définition. Espérance conditionnelle - Cas à densité

Soit (X, Y) un couple de variables aléatoires à densité. On appelleespérance conditionnelle de la variable X sachant Y =y0 avec y0 ∈Y(Ω) le réel défini par

E(X|Y =y₀) :=

Z +∞

−∞

xf_X|Y=y0(x) dx.

Remarque.

De la même façon, on peut définir l’espérance conditionnelle de la variableY sachantX=x0pourx0 ∈X(Ω).

Exemple.

On considère le couple de variables aléatoires continues (X, Y) de densité jointe :

f_(X,Y)(x, y) =





 e^−x

x si 0< y < x, 0 sinon.

Tout d’abord, remarquons que dans cet exemple l’univers image n’est pas borné. En effet les valeurs qui peuvent être prises par X (et par Y) ne sont pas majorées. Cela ne pose aucune difficultés ici mais il n’est pas attendu que vous sachiez travailler de façon autonome dans ce contexte.

Soitx >0. On afX(x) = Z x

0

e^−x

x dy= e^−x

x [y]^x₀ =e^−x. Au passage, on remarque queX ∼ E(1).

Du coup, on af_Y|X=x(y) =

e^−x x

e^−x 1]0;x[(y) = 1

x1]0;x[(y).

On obtient ainsiE(Y|X =x) = Z x

0

y×1

x dx= 1 x

"

y² 2

#x

0

= x

2. On aurait pu se passer du dernier calcul en constatant que la loi de Y sachantX =x est la loi uniforme sur ]0;x[.

Remarque.

Dans l’exemple précédent, on observe facilement que l’espérance conditionnelleE(Y|X=x) est une fonction de x:E(Y|X=x) =φ(x).

Définition. Espérance conditionnelle de X sachant Y

Soit (X, Y) un couple de variables aléatoires. On appelleespérance conditionnelle de la variable X sachant Y la variable aléatoire définie par

E(X|Y) :=φ(Y), avec E(X|Y =y) =φ(y), ∀y∈Y(Ω).

Remarque.

De façon similaire, on définit également l’espérance conditionnelle de la variableY sachantX :E(Y|X).

Proposition.

Soit (X, Y) un couple de variables aléatoires. On a

E(E(X|Y)) =E(X).

Ce résultat est un outil puissant pour calculer l’espérance mathématique d’une loi compliquée mais dont les lois conditionnelles sont simples. Il n’est pas nécessaire d’expliciter la loi marginale deX pour obtenir son espérance.

Exemple.

Revenons au dernier exemple de couple de variables aléatoires continues. Il paraissait difficile d’obtenir la loi marginale deY et donc d’en déduire l’espérance de Y. Cependant l’espérance conditionnelle de Y sachant X=x s’exprime simplement en fonction dex et la loi de X est simple. On obtient du coup :

E(Y) =E(E(Y|X)) =E X

2

= E(X) 2 = 1

2.

5. Indépendance

5.1. Définition

Définition. Indépendance de deux variables aléatoires Soit (X, Y) un couple de variables aléatoires.

Les variables aléatoires X et Y sont indépendantes si et seulement si pour toute partie Ade X(Ω) et pour toute partie B deY(Ω), les événements [X ∈A] et [Y ∈B] sont indépendants, c’est-à-dire :

∀A⊂X(Ω),∀B⊂Y(Ω), P [X ∈A]∩[Y ∈B]=P(X∈A) P(Y ∈B).

Remarque.

Soit (X, Y) un couple de variables aléatoires.

X etY sontindépendantessi et seulement si, pour tout x∈X(Ω) et pour touty∈Y(Ω), on a F_(X,Y)(x, y) =FX(x)×FY(y).

5.2. Caractérisations dans le cas discret

Caractérisation de l'indépendance par la loi jointe Soit (X, Y) un couple de variables aléatoires discrètes.

On dit que les variables aléatoires X etY sont indépendantessi et seulement si pour toutx∈X(Ω) et pour touty ∈Y(Ω), les événements [X=x] et [Y =y] sont indépendants, c’est-à-dire,

∀x∈X(Ω),∀y∈Y(Ω), P([X=x]∩[Y =y]) =P(X=x) P(Y =y).

Exemple.

Considérons l’exemple du tirage de deux boules dans une urne contenant une boule noire et deux boules blanches.

• Dans le cas avec remise, on a P(X= 0, Y = 0) = 1

9 = 1 3×1

3 =P(X= 0)×P(Y = 0), P(X= 0, Y = 1) = 2

9 = 1 3×2

3 =P(X= 0)×P(Y = 1), P(X= 1, Y = 0) = 2

9 = 2 3×1

3 =P(X= 1)×P(Y = 0), P(X= 1, Y = 1) = 4

9 = 2 3×2

3 =P(X= 1)×P(Y = 1).

Par conséquent, les variables aléatoiresX etY sont indépendantes.

• Dans le cas sans remise, on a P(X= 1, Y = 1) = 1

3 6= 2 3×2

3 =P(X= 1)×P(Y = 1).

Par conséquent, les variables aléatoiresX etY ne sont pas indépendantes.

Si deux variables aléatoires sont indépendantes entre elles avoir une information sur l’une ne nous donne pas d’information sur l’autre, autrement dit quandX etY sont indépendantes, connaître la valeur prise parY

ne modifie pas la loi deX : la loi deX sousP et la loi deX sousP[Y=y]coïncident quel que soit y; P[Y=y](X =x) = P([X =x]∩[Y =y])

P(Y =y) = P(X=x) P(Y =y)

P(Y =y) =P(X=x), ce qui nous permet d’écrire la caractérisation suivante.

Caractérisation de l'indépendance par les lois marginales et conditionnelles Soit (X, Y) un couple de variables aléatoires discrètes.

Alors deux variables aléatoires X etY sont indépendantessi et seulement si pour toutx∈X(Ω) tel queP(X=x)6= 0, la loi conditionnelle deY sachant [X=x] est la loi deY.

Exemple.

• On reprend l’exemple précédent dans le cas avec remise.

La loi deY sachantX= 0 et la loi de Y sachant X= 1 sont égales à la loi de Y.

• On reprend l’exemple précédent dans le cas sans remise.

La loi deY sachantX= 0 est la loi certaine égale à 1 et la loi de Y sachant X= 1 ne sont pas égales à la loi deY.

Remarque.

S’il existex dansX(Ω) ety dansY(Ω) tels que [X =x] et [Y =y] soient incompatibles, alors les variables aléatoires X etY ne sont pas indépendantes car 0 =P([X =x]∩[Y =y])6=P(X =x)P(Y =y).

Exemple.

Dans l’exemple précédent avec remise, on ne peut pas tirer deux fois la boule noire : 0 =P([X = 0]∩[Y = 0])6= 1

3 ×1

3P(X =x)×P(Y =y).

Remarque.

Dans le cas où les variables aléatoiresX et Y sont indépendantes (et seulement dans ce cas), la loi de X et la loi de Y permettent de déterminer la loi du couple aléatoire (X, Y).

5.3. Caractérisations dans le cas continu

Caractérisation de l'indépendance par la loi jointe Soit (X, Y) un couple de variables aléatoires à densité.

On dit que les variables aléatoires à densitéX et Y sontindépendantessi et seulement si, pour tout x∈X(Ω) et pour tout y∈Y(Ω), on a

f_(X,Y)(x, y) =fX(x)×fY(y).

Exemple.

On considère les deux couples de variables aléatoires à densité (U, V) et (W, Z) dont les densités jointes sont :

f_(U,V)(u, v) =







60uv² si 0< u < 1

√10,0< v <1

0 sinon

etf_(W,Z)(w, z) =

(60wz² si 0< w, z <1 et w+z <1

0 sinon

Commençons par calculer les lois marginales deU etV. Soitu∈

0; 1

√10

. On a fU(u) = Z 1

0

60uv²dv= 60u

"

v³ 3

#1 0

= 20u. Donc fU(u) = 20u1]0;1/√ 10[(u).

Soitv∈]0; 1[. On a fV(v) = Z 1

0

60uv²dv = 60v²

"

u² 2

#1 0

= 30v². DoncfV(v) = 30v² 1]0;1[(v).

On constate aisément que, pour tout réel uet pour tout réel v, on af_(U,V)(u, v) =f_U(u)×f_V(v).

Intéressons nous maintenant au couple (W, Z). La différence réside dans le support du couple.

Soitz∈]0; 1[. On a f_Z(z) = Z 1−z

0

60wz²dw= 60z²

"

w² 2

#1−z 0

= 30z²(1−z)². Doncf_z(z) = 30z²(1−z)² 1]0;1[(z).

Soitw∈]0; 1[. On a fW(w) = 60w

"

z³ 3

#1−w 0

= 20w(1−w)³. DoncfW(w) = 20w(1−w)³ 1]0;1[(w).

Ici la densité jointe n’est pas égale au produit des densités marginales.

En effet, on afW(0.9)×fZ(0.9)6= 0 alors quef_(W,Z)(0.9,0.9) = 0 car 0.9 + 0.9>1.

En conclusion, les variables aléatoiresU etV sont indépendantes entre elles mais les variables aléatoiresW etZ ne le sont pas.

Caractérisation de l'indépendance par les lois marginales et conditionnelles Soit (X, Y) un couple de variables aléatoires à densité.

Alors deux variables aléatoires X etY sont indépendantessi et seulement si pour toutx∈X(Ω) tel quef_X(x)6= 0, la fonction de densité conditionnelle de Y sachant [X=x] est égale à la fonction de densité deY.

Exemple.

Reprenons les deux exemples précédents.

Siv∈]0; 1[, on af_U|V=v(u) = 60uv²1_]0;1/^√_10[×]0;1[(u, v)

30v²1]0;1[(v) = 20u1_]0;1/^√_10[(u) =f_U(u).

Siz∈]0; 1[, on af_W|Z=z(w) = 60wz²1{0<w,z<1 etw+z<1}(w, z)

30z²(1−z)² 1]0;1[(z) = 20w

1−z² 1]0;1−z[(w)6=fW(w).

Considérons maintenant l’exemple du couple (X, Y) dont la densité jointe estf(x, y) = 1

e−2ye^xy×1]0:1[²(x, y).

La densité marginale de Y est fY(y) = 1

e−2(e^y−1) 1]0:1[(y). Par contre la densité marginale de X est plus difficile à obtenir. Mais on a calculé la loi conditionnelle de X sachant Y = y : si y ∈]0; 1[, on a fX|Y=y(x) = ye^xy

e^y−11]0;1[(x). Cette densité conditionnelle dépend de la valeur y, elle ne peut donc pas être égale à la densité marginale deX.

6. Vecteurs aléatoires à valeurs dans R

Nous pouvons généraliser les résultats obtenus dans le cas d’un couple (2-uplet) de variables au cas d’un n-uplet (n>2) de variables, c’est-à-dire un vecteur aléatoire prenant des valeurs dansRⁿ.

Définition. Vecteur aléatoire

Un vecteur aléatoire à valeurs dans Rⁿ sur Ω,E,P est un vecteur X = (X1, . . . , Xn), où X₁, . . . , Xn sont des variables aléatoires définies sur Ω,E,P.

Pour tout k dans J1, nK, X_k est appelé la k-ième variable aléatoire coordonnée de X ou k^e composante de X.

Remarque.

Comme dans le cas des couples, on aX(Ω)⊂X1(Ω)× · · · ×Xn(Ω).

Exemple.

On choisit un étudiant de l’université de Tours au hasard et on note X = (X1, X2, . . . , Xn) le vecteur aléatoire tel queX_i représente le nombre d’heure de cours de cet étudiant lors de la semaine i.

6.1. Loi jointe

Définition. Fonction de répartition conjointe d'un vecteur aléatoire Soit X = (X1, . . . , Xn) un vecteur aléatoire.

On appellefonction de répartition du vecteurX la fonctionF_X telle que

∀(x₁, . . . , xn)∈Rⁿ, F_X(x₁, . . . , xn) =F_(X1,...,Xn)(x₁, . . . , xn) :=P(X₁6x₁, . . . , Xn6xn).

Les notions de lois marginales et lois conditionnelles se généralisent de la même façon. On peut ainsi définir des lois marginales pour tout sous-ensemble de composantes du vecteur aléatoireX = (X₁, . . . , Xn). On peut définir des lois conditionnelles d’un sous-ensemble sachant les valeurs d’un autre sous-ensemble. Cependant dans la suite du cours nous nous intéresserons surtout à des vecteurs aléatoires de variables mutuellement indépendantes, nous ne nous attarderons donc pas sur les lois conditionnelles.

Définition. Loi conjointe d'un vecteur discret Soit X = (X1, . . . , Xn) un vecteur aléatoire.

On appelleloi du vecteur X = (X₁, . . . , X_n) ouloi conjointede X₁, . . .,X_nla donnée de

∀(x₁, . . . , x_n)∈Rⁿ, f_X(x₁, . . . , x_n) =f_(X1,...,Xn)(x₁, . . . , x_n) =P

[X₁=x₁]∩ · · · ∩[X_n=x_n].

Remarque.

SoitX = (X1, . . . , Xn) un couple de variables aléatoires discrètes. Alors on a

1 = ^X

(x1,...,xn)∈X₁(Ω)×···×Xn(Ω)

f_(X1,...,Xn)(x1, . . . , xn)

= ^X

x1∈X1(Ω),...,xn∈Xn(Ω)

P(X₁=x₁, . . . , X_n=x_n)

= ^X

x1∈X1(Ω)

. . . ^X

xn∈Xn(Ω)

P(X₁=x₁, . . . , X_n=x_n).

Définition. Fonction de densité d'un vecteur à densité Soit X = (X₁, . . . , X_n) un vecteur aléatoire à densité.

On appelle fonction de densité de probabilité jointedu vecteur X la fonction positive ou nulle définie surRⁿ notée fX telle que

F_X(x1, . . . , xn) = Z x1

−∞

Z x2

−∞

· · · Z xn

−∞

f_X(x) dx1 dx2· · · dxn.

Remarque.

SoitX = (X₁, . . . , X_n) un vecteur aléatoire à densité.

On a : Z +∞

−∞

Z +∞

−∞

· · · Z +∞

−∞

f_X(x₁, . . . , x_n) dx₁ dx₂· · · dx_n= 1.

Là où la fonction de répartitionF_X est C^∞, on af_X(x₁, x₂, . . . , x_n) = ∂ⁿF_X

∂x₁· · ·∂x_n(x).

6.2. Lois marginales

Comme dans le cas des couples, si l’on connaît la loi d’un vecteur aléatoire, alors il est possible de retrouver la loi de chacune des variables aléatoires formant ce vecteur.

Définition. Lois marginales - cas discret

Soit X = (X1, . . . , Xn) un vecteur aléatoire discret sur (Ω,E,P).

Pour toutk dansJ1, nK, on appellek^e loi marginalel’application f_Xk :X_k(Ω)→[0,1] définie par

∀x∈X_k(Ω), f_Xk(x) =P(X_k=x).

Les lois marginales du vecteurX = (X1, . . . , Xn) sont exactement les lois des variables aléatoiresX_k. La proposition suivante décrit comment calculer les lois marginales à partir de la loi du vecteur.

Proposition.

Soit X = (X1, . . . , Xn) un vecteur aléatoire discret sur (Ω,E,P).

Alors, pour toutkdansJ1, nK, la loi marginale deX_k vérifie, pour tout xdans X_k(Ω) : P(X_k=x) = ^X

x1∈X1(Ω)

. . . ^X

xk−1∈Xk−1(Ω)

X

x_k+1∈X_k+1(Ω)

. . . ^X

xn∈Xn(Ω)

P(X₁=x₁, . . . , Xn=xn).

Définition. Lois marginales - cas à densité

Soit X = (X₁, . . . , X_n) un vecteur aléatoire à densité sur (Ω,E,P).

On appellefonction de densité marginale de la variableX_k, notée f_Xk, la fonction deRdans R définie par :

fX_k(t) = Z x1

−∞

· · · Z xk−1

−∞

Z xk+1

−∞

· · · Z xn

−∞

f_X((x1, . . . , xk−1, t, x_k+1, . . . , xn)) dx1· · · dxk−1dx_k+1· · · dxn.

6.3. Indépendance

Définition. Indépendance deux à deux

On dit que des variables aléatoires X₁, . . . , X_n sont indépendantes deux à deuxsi et seulement si pour tous entiers i6=j dans J1;nK, les variables aléatoires Xi etXj sont indépendantes.

Définition. Indépendance mutuelle

Soit X = (X₁, . . . , X_n) un vecteur aléatoire discret ou à densité défini sur (Ω,P(Ω),P).

On dit que des variables aléatoires X1, . . . , Xn sontmutuellement indépendantessi et seulement si pour tout (x1, . . . , xn) dansX1(Ω)× · · · ×Xn(Ω) on a

fX(x1, . . . xn

=fX1(x1)× · · · ×fXn(xn).

Définition. Suites de variables aléatoires mutuellement indépendantes

On dit qu’une suite (X_n)_n∈N de variables aléatoires est formée de variables aléatoires mutuellement indépendantes si toute sous-famille finie de (Xn)_n∈N est formée de variables aléatoires mutuellement indépendantes.

Remarque (Indépendance mutuelle implique indépendance deux à deux).

Si des variables aléatoires finies sont mutuellement indépendantes, alors elles sont indépendantes deux à deux.

Attention, la réciproque est fausse.

Exemple.

On lance deux pièces. On noteX₁ (resp.X₂) la variable aléatoire qui renvoie 0 si la première (resp. deuxième) pièce tombe surpile et 1 sinon. On note Y la variable aléatoire qui renvoie 0 si les deux pièces tombent du même côté et 1 sinon. Alors les variables aléatoirementX₁,X₂ etY sont deux à deux indépendantes, mais pas mutuellement indépendantes.

Lemme des coalitions

Soient X1, . . . , Xn des variables aléatoires mutuellement indépendantes.

Alors, pour tout entierpdansJ1;nK, pour toute fonctionf :R^p →R, pour toute fonctiong:R^n−p →R, les variables aléatoires f(X₁, . . . , X_p) et g(X_p+1, . . . , X_n) sont indépendantes.

De plus, pour tout kdans J1, nK, pour toute fonction f_k:R→R, les variables aléatoires finiesf_k(X_k) sont mutuellement indépendantes.

Exemple.

1. Si les variables aléatoires finiesX, Y etZ sont mutuellement indépendantes, alors les variables aléatoires X−3Y et (Z+ 1)² sont indépendantes.

2. Soit (X_n)_n∈N une suite de variables aléatoires mutuellement indépendantes. Alors pour tout entier k dansN^∗, les variables aléatoiresX₁+· · ·+X_k etX_k+1 sont indépendantes.

3. Soit (X_n)_n∈Nune suite de variables aléatoires mutuellement indépendantes. Alors les variablesX₁², . . . , X_n² sont mutuellement indépendantes. sont indépendantes.

6.4. Espérance et variance d'une somme de variables aléatoires

Théorème. Espérance d'une somme

Soit X = (X1, . . . , Xn) un vecteur aléatoire tel que, pour touti,Xi admette une espérance.

Alors l’espérance de la variable aléatoireZ =X₁+· · ·+Xn est égale à E

n

X

i=1

Xi

!

=

n

X

i=1

E(Xi).

On notera que les variables aléatoires ne sont pas nécessairement indépendantes.

Exemple.

Soient X1, . . . , Xn des variables aléatoires suivant la loi de Bernoulli de paramètre p non nécessairement indépendantes.

Alors

E

n

X

i=1

Xi

!

=

n

X

i=1

E(Xi) =

n

X

i=1

=np.

En particulier, on retrouve que l’espérance d’une variable aléatoire de loi binomiale de paramètresnet p est np.

Théorème. Variance d'une somme

Soit X = (X1, . . . , Xn) un vecteur aléatoire tel que, pour touti,Xi admette une variance.

Alors la variance de la variable aléatoireZ =X1+· · ·+Xn est égale à V

n

X

i=1

Xi

!

=

n

X

i=1

V(Xi) +^X

i6=j

Cov(Xi, Xj) =

n

X

i=1

V(Xi) + 2^X

i<j

Cov(Xi, Xj), où ^X

i<j

signifie une sommation sur tous les couples (Xi, Xj) tels quei < j.

En particulier, si les variables aléatoires sont deux à deux indépendantes, alors on a V

n

X

i=1

X_i

!

=

n

X

i=1

V(X_i).

Exemple.

Soient X1, . . . , Xn des variables aléatoires mutuellement indépendantes de loi de Bernoulli de paramètrep.

Alors

V

n

X

i=1

X_i

!

=

n

X

i=1

V(X_i) =

n

X

i=1

p(1−p) =np(1−p)

En particulier, on retrouve que la variance d’une variable aléatoire de loi binomiale de paramètresnet p est np(1−p).

Rappelons quelques propriétés de la covariance (vues en première année de Licence bien que non utilisées) que nous serons amenés à manipuler.

Propriétés de la covariance

Soient X,Y etZ des variables aléatoires réelles finies. Alors les propriétés suivantes sont vérifiées : 1. symétrie:

Cov(X, Y) = Cov(Y, X) ; 2. bilinéarité : pour tout réelλ, on a

Cov(λX+Y, Z) =λCov(X, Z) + Cov(Y, Z) et

Cov(X, λY +Z) =λCov(X, Y) + Cov(X, Z) ; 3. positivité:

Cov(X, X) = V(X)>0.

6.5. Exemples classiques

Ces deux exemples sont à comprendre mais il n’est pas attendu que vous sachiez travailler avec de façon autonome.

Loi multinomiale

Il s’agit d’une généralisation de la loi binomiale.

Soientnetkdeux entiers tels quen>1 etk>2. On considèrenlancers d’un dé àkfaces non nécessairement équilibré et on notep_i la probabilité qu’il renvoie la face numéroi. On a

k

X

i=1

p_i = 1.

On poseX = (X1, . . . , X_k) le vecteur aléatoire discret tel que sai^e composante renvoit le nombre de fois où la faceiest sortie.

On a X(Ω)⊂J0;nK

k. On remarque que

k

X

i=1

X_k=n donc on a plus précisément

X(Ω) = (

(x₁, . . . , x_k)∈J0;nK

k

k

X

i=1

x_i=n )

.

Lois marginales

Chaque composante suit une loi binomiale :

∀i∈J1;kK, X_i ∼ Bin(n;p_i). Lois conditionnelles

Chaque loi conditionnelle est aussi une loi binomiale car, une fois que l’on sait que la facej est sortiexj fois, tout se passe comme s’il restaitn−x_j lancers à faire avec un dé sans la facej(donc àk−1 faces). On a donc

∀(i, j)∈J1;kK

2 tels que i6=j, ∀x_j ∈J0;nK, X_i|X_j =x_j ∼ Bin n−x_j; p_i 1−pj

! .

Loi jointe

Pour tout (x1, . . . , x_k)∈ (

(x1, . . . , x_k)∈J0;nK

k

k

X

i=1

xi =n )

, on a P(X₁ =x₁, X₂=x₂, . . . , X_k=x_k) = n!

x₁!x₂!· · ·x_k!p^x₁¹p^x₂²· · ·p^x_k^k.

On noteX ∼ M(n;p₁;. . .;p_k).

Espérances, variances et covariances

Les lois marginales nous donnent les espérances et les variances :

∀i∈J1;kK, E(X_i) =np_i et V(X_i) =np_i(1−p_i).

Les covariances sont plus difficiles à obtenir. Cependant on comprend aisément qu’elles sont toutes négatives.

∀(i, j)∈J1;kK

2 tels que i6=j, Cov(X_i, X_j) =−np_ip_j. Loi normale multivariée

Définition.

Un vecteur aléatoire tel que chacune de ses composantes suit une loi normale et que toute combinaison linéaire de ses composantes suit également une loi normale est appelé vecteur gaussien.

La loi d’un vecteur gaussien est appeléeloi normale multivariée ou multidimensionnelle.

Il ne suffit pas que toutes les composantes d’un vecteur suivent une loi normale pour que toutes ses combinaisons linéaires en suivent une aussi. Voyons un exemple.

Soient X ∼ N(0 ; 1) et Z une variable aléatoire indépendante de X à valeurs dans {−1; 1} telle que P(Z =−1) =P(Z = 1) = 0.5. On poseY =Z×X.

La variable aléatoireY suit également une loi normale centrée et réduite (cela se voit en montrant que la fonction de répartition de Y est la même que celle de X).

Par contre la sommeX+Y ne suit pas une loi normale notamment car elle n’est pas à densité. En effet, on aP(X+Y = 0) =P(X(1 +Z) = 0) =P(X= 0 ou Z =−1) =P(Z=−1) = 0.56= 0.

Exemple centré réduit indépendant

SoitX = (X1, X2, . . . , Xn) un vecteur tel que les composantes Xi suivent toutes une loi normale centrée réduite et sont indépendantes entre elles. On a

fX(x1, . . . , xn) =

n

Y

i=1

√1 2πexp

−1 2x²_i

= 1

(2π)^n/2exp −1 2

n

X

i=1

x²_i

! .

Cas en dimension 2

Soit (X, Y) un vecteur gaussien tel que X ∼ N(µ₁;σ₁), Y ∼ N (µ₂;σ₂). On note ρ le coefficient de corrélation linéaire entreX etY. Alors la loi jointe de (X, Y) est la fonction suivante :

f_(X,Y)(x, y) = 1

2πσ₁σ₂^p1−ρ² exp − 1 2 (1−ρ²)

"x−µ₁ σ₁

2

+

y−µ₂ σ₂

2

−2ρ(x−µ₁)(y−µ₂) σ₁σ₂

#!

Exemple.

Soit (X, Y) un vecteur gaussien tel queE(X) = 2,E(Y) =−1, V(X) = 1, V(Y) = 1/3 et Cov(X, Y) = 1/2.

Alors on a ρ_(X,Y)=√

3/2. Du coup la loi jointe s’écrit : f_(X,Y)(x, y) =

√ 3

π exp−2^h(x−1)²+ 3(y+ 1)²−3(x−1)(y+ 1)ⁱ

Remarque.

Soit (X, Y) un vecteur gaussien tel que X etY ne soient pas corrélés. On a doncρ= 0.

L’expression de la densité du couple devient : f_(X,Y)(x, y) = 1

2πσ1σ2

√

1−0²exp − 1 2 (1−0²)

"

x−µ₁ σ1

2

+

y−µ₂ σ2

2

−2×0×(x−µ₁)(y−µ₂) σ1σ2

#!

= 1

2πσ1σ2

exp −1 2

"

x−µ₁ σ1

2

+

y−µ₂ σ2

2#!

= 1

q 2πσ₁²

exp −1 2

x−µ₁ σ₁

2!

× 1 q

2πσ₂²

exp −1 2

y−µ₂ σ₂

2!

=fX(x)×fY(y)

On obtient queX etY sont indépendantes entre elles.

Proposition.

Un vecteur aléatoire gaussien de dimension 2 a ses composantes indépendantes si et seulement si leur covariance est nulle.

De façon générale, la non corrélation n’est pas équivalente à l’indépendance.

Cas général

Le cas général sera abordé en fin de semestre car il fait intervenir la notion d’inverse de matrice.