Chapitre 5: Variables al´eatoires

(1)

Chapitre 5: Variables al´ eatoires

1. D´efinition

2. Distribution d’une variable aléatoire discrète 3. Distribution d’une variable aléatoire continue 4. Fonction de distribution cumulative

5. Esp´erance

6. Variance et ´ecart-type 7. Quantiles

8. Distribution conjointe et ind´ependance

9. Covariance et corr´elation

(2)

1. D´efinition

Pour étudier des variables et faire de l’inférence (extrapolation des résultats observés sur un échantillon à la population), nous allons nous servir de modèles mathématiques de ces variables. Ces modèles sont appelés des variables aléatoire.

D´efinition

Une variable aléatoire est une fonction mathématique qui associe une nombre réel aux issues possibles d’une expérience.

Exemples:

1. Exp´erience: jet d’une pi`ece de monnaie.

Ensemble des issues possibles: {Pile, Face}.

Variable al´eatoire: X: {Pile, Face} → R d´efinie par

X(Pile) = 0; X(Face) = 1.

2. Exp´erience: tirage d’un invididu dans une population

Ensemble des issues possibles: U = Ensemble des individus dans la population Variable al´eatoire: P: U → R d´efinie par

(3)

De même que pour les variables considérées jusqu’ici, on définit les modalités d’une variable aléatoire comme l’ensemble de ses valeurs possibles.

Les variables aléatoires étant définies indépendamment d’un échantillon, on abandon- nera le soulignement introduit précédemment pour distinguer les modalités des observations. Ainsi, les variables aléatoires seront désignées par des lettres majuscules et leurs modalités par des lettres minuscules.

Et de la même fa¸con, on parlera de variable aléatoire discrète si les modalités sont dénombrables (ex. 1 de la slide précédente) et de variable aléatoire continue si elles ne le sont pas (ex. 2).

(4)

2. Distribution d’une variable al´eatoire discr`ete

A chaque modalité d’une variable aléatoire, on peut associer une probabilité. Dans l’ex. 1 ci-dessus, si on considère que la pièce est équilibrée, on définira

P(X = 0) = 0.5, P(X = 1) = 0.5.

Autre exemple: jet d’un d´e

• Exp´erience: jet du d´e

Ensemble des issues possibles: V ={face 1, face 2, face 3, face 4, face 5, face 6}

Variable al´eatoire: D: V → R d´efinie par

D(face i) = i.

Si on considère que le dé est équilibré, on définira

P(D = i) = 1/6, i = 1, ..., 6.

La distribution d’une variable aléatoire discrète Y dont les modalités sont y₁, y₂, ... est définie comme l’ensemble des couples

(y₁, p₁), (y₂, p₂), ..., où p_i est la probabilité associée à la modalité y_i.

(5)

3. Distribution d’une variable al´eatoire continue

Considérons la variable P (poids d’un individu) et considérons un échantillon de taille n tiré d’une population. Pour représenter graphiquement la distribution des poids dans notre échantillon, nous avons vu qu’on peut utiliser un histogramme:

Poids [kg]

Fréquence absolue

60 65 70 75 80 85 90

051015

1 3

4

13

9 8

7

3 2

n = 50

Sur cet histogramme, la hauteur d’une barre est égale à la fréquence absolue (comptage) des observations dans l’intervalle correspondant.

(6)

Alternative: construire l’histogramme de fa¸con `a ce que la surface d’une barre soit ´egale

`

a la fr´equence relative (proportion) des observations dans l’intervalle correspondant.

Pour atteindre ce but, il faut que la hauteur h_i d’une barre soit égale à la fréquence relative f_i divisée par la largeur l de l’intervalle: h_i = f_i/l. Ainsi sa surface s_i vaudra

s_i = h_i · l = f_i

l · l = f_i.

Poids [kg]

Densité

60 65 70 75 80 85 90

0.000.050.100.15

(1/50)/2 (3/50)/2

(4/50)/2

(13/50)/2

(9/50)/2 (8/50)/2

(7/50)/2

(3/50)/2 (2/50)/2

n = 50 l = 2 kg

On voit que la forme de l’histogramme reste la même, seule l’échelle de l’axe vertical change. Cet axe est à présent labellisé“Densité”, car ce graphique va nous conduire à la définition d’une notion très importante: la densité d’une variable aléatoire continue.

(7)

Que vaut la surface totale de l’histogramme (en mode “densité”) de la slide précédente?

→ La surface d’une barre étant égale à la proportion d’observations dans l’intervalle correspondant, la surface totale vaut 1.

→ Cette surface peut s’interpr´eter comme la probabilit´e de trouver un individu dont le poids se situe dans l’intervalle correspondant.

Considérons à présent une version lissée de l’histogramme, obtenue en reliant les milieux des sommets des barres, et pla¸cons-nous dans le cadre hypothétique d’une population de taille infinie.

En tirant des échantillons de plus en plus grands et en prenant des intervalles de plus en plus petits, la courbe verte va tendre vers la courbe de la densité de probabilité (ou simplement densité) de la variable P.

(8)

(9)

(10)

Poids [kg]

Densité

60 65 70 75 80 85 90

0.000.050.100.15

(1/50)/2

(3/50)/2(4/50)/2 (13/50)/2

(9/50)/2 (8/50)/2

(7/50)/2

(3/50)/2 (2/50)/2

n = 50 l = 2 kg

(11)

Poids [kg]

Densité

60 65 70 75 80 85 90

0.000.050.100.15

(1/50)/2

(3/50)/2(4/50)/2 (13/50)/2

(9/50)/2 (8/50)/2

(7/50)/2

(3/50)/2 (2/50)/2

n = 50 l = 2 kg

(12)

Poids [kg]

Densité

60 65 70 75 80 85 90

0.000.050.100.15

n = 200

(13)

Poids [kg]

Densité

60 65 70 75 80 85 90

0.000.050.100.15

n = 1600

(14)

Poids [kg]

Densité

60 65 70 75 80 85 90

0.000.050.100.15

n = 12800

(15)

Poids [kg]

Densité

60 65 70 75 80 85 90

0.000.050.100.15

n = 409600

(16)

Que vaut la surface totale sous la courbe de la densit´e?

→ Comme on l’a vu sur les slides précédentes, la surface totale de l’histogramme en mode“densité”vaut 1, et on en déduit que la surface totale sous la courbe densité vaut 1 elle aussi.

Comment peut-on interpréter la surface sous la courbe densité correspondant à un certain intervalle?

→ De fa¸con analogue à l’interprétation de la surface des barres d’un histogramme en mode“densité”, la surface sous la courbe de la densité d’une variable aléatoire est égale à la probabilité que la variable prenne une valeur dans l’intervalle correspondant.

(17)

(18)

60 65 70 75 80 85 90

0.000.040.08

Poids [kg]

Densité

(19)

60 65 70 75 80 85 90

0.000.040.08

Poids [kg]

Densité

P(75 < P < 80)

(20)

A l’aide de la courbe de la densité d’une variable aléatoire, on peut calculer la probabilité de n’importe quel événement défini avec cette variable:

Probabilit´e de tirer une personne pesant entre 75 et 80 kg:

60 65 70 75 80 85 90

0.000.040.08

Poids [kg]

Densité

Soit f_P(x) la fonction définissant la courbe de densité de la variable aléatoire P (on l’appelle la fonction de densité de P). La surface hachurée est égale à l’intégrale de f_P(x) sur le sous-ensemble correspondant:

P(80 < P < 85) =

Z ₈₀ 75

f_P(x)dx.

= P(80 < P < 85)pourl⁰espacement

(21)

Probabilit´e de tirer une personne pesant entre 65 et 70 kg ou entre 80 et 85 kg:

60 65 70 75 80 85 90

0.000.040.08

Poids [kg]

Densité

P(65 < P < 70 ∪ 80 < P < 85) = P(65 < P < 70) + P(80 < P < 85)

=

Z ₇₀ 65

f_P(x)dx +

Z ₈₅ 80

f_P(x)dx.

(22)

Probabilit´e de tirer une personne pesant plus de 80 kg:

60 65 70 75 80 85 90

0.000.040.08

Poids [kg]

Densité

P(P > 80) =

Z _∞

80 f_P(x)dx.

= P(80 < P < 85)pourl⁰espacement

(23)

D´efinition:

La densité de probabilité (ou simplement densité) d’une variable aléatoire continue est une fonction telle que la surface sous la courbe est égale à la probabilité que la variable prenne une valeur dans l’intervalle correspondant.

Ainsi:

• La distribution d’une variable aléatoire continue est complètement déterminée par sa densité.

• N’importe quelle fonction positive avec surface sous la courbe égale à 1 définit une distribution.

NB: Pour une variable aléatoire continue X, la probabilité de prendre une valeur précise, n’importe laquelle, est nulle:

P(X = x) = 0 ∀x.

On se rend bien compte en effet que pour un point isol´e la surface sous la courbe est nulle.

Intuitivement: la probabilit´e de tirer un individu pesant exactement 70 kg (avec une pr´ecision infinie) est nulle.

(24)

La densité de probabilité est un outil très utilisé pour modéliser la distribution des variables continues. Dans la pratique, évidemment, les populations n’ont pas une taille infinie. Néanmoins, les modèles continus présentent de nombreux avantages pratiques et théoriques et sont très proches de la réalité dans de nombreuses situations.

Dans ce qui suit, on dira souvent simplement variable au lieu de variable al´eatoire.

D’ailleurs, une variable au sens des trois premiers chapitres n’est autre qu’une variable al´eatoire dont la distribution (inconnue) est determin´ee par la population.

(25)

4. Fonction de distribution cumulative

Soit une variable X dont on a observé un échantillon {x₁, ..., x_n}. Rappel: la fonction de distribution cumulative empirique de X, F_n(x), est définie comme

F_n(x) = nombre de x_i ≤ x

n (Fonction en escalier).

De fa¸con analogue, la fonction de distribution cumulative F_Y d’une variable al´eatoire Y est d´efinie comme

F_Y (y) = P(Y ≤ y).

Une fonction de distribution cumulative a les propri´et´es suivantes:

• elle est croissante

• elle prend des valeurs entre 0 et 1

• elle tend vers 0 si x tend vers −∞ et vers 1 si x tend vers +∞

On utilise souvent l’abr´eviation cdf (pour cumulative distribution function).

(26)

Pour une variable discr`ete:

• La fonction de distribution cumulative est une fonction en escalier

• Pour une variable de distribution (x₁, p₁),(x₂, p₂), ..., la cdf est ´egale `a F_X(x) = ^X

x_i≤x

p_i

Exemple: jet d’un d´e

1 2 3 4 5 6

0.00.40.8

d

P(D=d)

1 2 3 4 5 6

0.00.40.8

d FD(d)

(27)

Pour une variable discr`ete:

• La fonction de distribution cumulative est une fonction en escalier

• Pour une variable de distribution (x₁, p₁),(x₂, p₂), ..., la cdf est ´egale `a F_X(x) = ^X

x_i≤x

p_i

Exemple: jet d’un d´e

1 2 3 4 5 6

0.00.40.8

d

P(D=d)

p1 p2 p3 p4

1 2 3 4 5 6

0.00.40.8

d

FD(d) ^F^D(⁴)^{= p}1+p₂+p₃+p₄

(28)

Pour une variable continue:

• La fonction de distribution cumulative est continue

• Pour une variable de densité f_X, la cdf est égale à F_X(x) =

Z _x

−∞ f_X(x)dx Exemple: poids d’un individu

60 65 70 75 80 85 90

0.000.040.08

p fP(p)

60 65 70 75 80 85 90

0.00.40.8

p FP(p)

(29)

Pour une variable continue:

• La fonction de distribution cumulative est continue

• Pour une variable de densité f_X, la cdf est égale à F_X(x) =

Z _x

−∞ f_X(t)dt Exemple: poids d’un individu

60 65 70 75 80 85 90

0.000.040.08

p fP(p)

P ( ^P ^≤ ⁸⁰ )

60 65 70 75 80 85 90

0.00.40.8

p

FP(p) ^F^p(⁸⁰)^{= P}(^P≤80)

(30)

Pour une variable continue, on a encore que

• f_X(x) = ^d

dxF_X(x)

• P(X ≤ x) = P(X < x)

De plus, de fa¸con générale (variable dicrète ou continue):

P(a < X ≤ b) = F_X(b) − F_X(a).

Notation

Souvent, si aucune confusion n’est possible, on note simplement f(x) pour la densit´e et F(x) pour la cdf.

(31)

5. Esp´erance

Derrière ce terme poétique se cache une notion assez terre à terre mais très importante en statistique.

Exemple introductif: Jet d’un d´e.

On jette n fois un dé équilibré et on s’intéresse à la moyenne m(D) des points obtenus.

Soit n_i la fréquence absolue de la modalité i. m(D) est égale à m(D) = 1

n(n₁ · 1 + n₂ · 2 + ... + n₆ · 6)

= f₁ · 1 + f₂ · 2 + ... + f₆ · 6, où f_i = n_i/n est la fréquence relative de la modalité i.

En augmentant le nombre de jets, les f_i vont s’apporcher des p_i, les probabilités des modalités. Pour un dé équilibré, p_i = 1/6 ∀i. m(D) va donc s’approcher de

E(D) = p₁ · 1 + p₂ · 2 + ... + p₆ · 6 = 1/6 · (1 + 2 + ... + 6) = 3.5.

E(D) s’appelle la moyenne de population ou esp´erance de D. Ici, il s’agit de la moyenne de D dans la population infinie de tous les jets possibles du d´e.

De fa¸con générale, pour une variable discrète X de distribution (x_i, p_i), l’espérance est définie comme

E(X) = ^X x_ip_i.

(32)

Considérons à présent une variable continue et pla¸cons-nous à nouveau dans le cadre hypothétique d’une population infinie, comme lors de l’introduction de la densité.

Exemple introductif: Poids d’un individu.

Poids [kg]

Densité

60 65 70 75 80 85 90

0.000.050.100.15

n = 50 m~(^P)^{= 75.2}

A partir de cet histogramme, on peut calculer une approximation du poids moyen dans l’´echantillon avec la formule

m(P˜ ) = ^X

i

c_i d_i l,

o`u les c_i sont les centres des intervalles, les d_i sont les hauteurs des barres correspondantes et l est la largeur des intervalles.

Lorsque la taille de l’´echantillon augmente et que la largeur des intervalles diminue, m˜ tend vers

E(P) =

Z _∞

−∞ p f_P(p)dp.

(33)

Poids [kg]

Densité

60 65 70 75 80 85 90

0.000.050.100.15

n = 200 m~(^P) = 74.98454

m(P˜ ) = ^X

i

c_i d_i l,

E(P) =

Z _∞

−∞ p f_P(p)dp.

(34)

Poids [kg]

Densité

60 65 70 75 80 85 90

0.000.050.100.15

n = 1600 m~(^P) = 75.08871

m(P˜ ) = ^X

i

c_i d_i l,

E(P) =

Z _∞

−∞ p f_P(p)dp.

(35)

Poids [kg]

Densité

60 65 70 75 80 85 90

0.000.050.100.15

n = 12800 m~(^P) = 74.99999

m(P˜ ) = ^X

i

c_i d_i l,

E(P) =

Z _∞

−∞ p f_P(p)dp.

(36)

Poids [kg]

Densité

60 65 70 75 80 85 90

0.000.050.100.15

n = 409600 m~(^P) = 75.00601

m(P˜ ) = ^X

i

c_i d_i l,

E(P) =

Z _∞

−∞ p f_P(p)dp.

(37)

60 65 70 75 80 85 90

0.000.050.100.15

Poids [kg]

Densité f_P(^p)

"n = ∞" E(P) = 75

m(P˜ ) = ^X

i

c_i d_i l,

E(P) =

Z _∞

−∞ p f_P(p)dp.

(38)

De fa¸con générale, pour une variable continue Y de densité f_Y l’espérance est définie comme

E(Y ) =

Z _∞

−∞ y f_Y (y) dy.

Elle s’interprète comme la moyenne des poids dans l’hypothétique population infinie qui a servi à définir la densité, comme lors de l’introduction de la densité.

L’appellation “esp´erance” se justifie par le fait que c’est la valeur qu’on peut esp´erer obtenir, en moyenne, lorsqu’on observe la variable.

Propri´et´es

• Soient X et Y deux variables al´eatoires et a, b et c des constantes.

E(aX + bY + c) = aE(X) + bE(Y ) + c

• Soit X une variable et Y = g(X) une transformation de X, où g est une fonction quelconque. L’espérance de Y est égale à

E(Y ) = ^X

i

g(x_i) p_i

dans le cas discret et

E(Y ) =

Z _∞

−∞ g(x)f_X(x) dx

(39)

6. Variance et ´ecart-type

De même qu’on a défini l’espérance d’une variable aléatoire comme une moyenne de population, on définit la variance d’une variable aléatoire comme une variance de population.

Soit X une variable et {x₁, ..., x_n} un échantillon. Au chapitre 2, nous avons défini la variance sur cet échantillon comme

s²(X) = 1 n

n X

i=1

(x_i − m(X))²,

c’est à dire comme la moyenne des carrés des écarts à la moyenne.

De fa¸con naturelle, on d´efinit donc la variance d’une variable al´eatoire comme var(X) = E (X − E(X))².

En considérant (X − E(X))² comme une transformation de la variable X et en appliquant les formules de la slide précédente, on obtient

var(X) = ^X

i

(x_i − E(X))² p_i

dans le cas discret, et

var(X) =

Z _∞

−∞(x − E(X))² f_X(x) dx

(40)

De fa¸con analogue à ce qui a été fait au chapitre 2, on définit l’écart-type sd(X) d’une variable aléatoire X comme

sd(X) =

q

var(X) (en anglais: standard deviation).

Propriétés de la variance et de l’écart-type Soit X une variable et a et b des constantes

1. var(X) ≥ 0

2. var(X) = 0 ⇐⇒ X est constante 3. var(aX + b) = a²var(X)

4. var(X) = E(X²) − E(X)²

Des propriétés analogues pour l’écart-type se déduisent des propriétés ci-dessus. En particulier sd(a + bX) = a sd(X).

(41)

Exemples

• Jet d’un d´e

On a vu que E(D) = 3.5. A l’aide de la propri´et´e 4:

E(D²) = 1/6 · 1² + 1/6 · 2² + ... + 1/6 · 6² = 15.167 et donc

var(D) = E(D²) − E(D)² = 15.167 − 3.5² = 2.917.

• Soit X une variable continue de densit´e f(x) =

( 1 si 0 ≤ x ≤ 1 0 sinon

On dit que X a une distribution uniforme entre 0 et 1. On a E(X) =

Z _∞

−∞ x f(x) dx =

Z ₁

0 x · 1dx = 1 2x²

1 0

= 1 2

E(X²) =

Z _∞

−∞x² f(x)dx =

Z ₁

0 x² · 1dx = 1 3x³

1 0

= 1 3 et donc

(42)

7. Quantiles

Le quantile q_α(X) d’une variable aléatoire X est défini à l’aide de sa fonction de distribution cumulative F_X(x).

• Pour une variable continue, on pose simplement

q_α(X) = F_X⁻¹(α), o`u F_X⁻¹ est la fonction inverse de F_X.

x FX(x)

q_α

0α1

• Pour une variable discr`ete, on proc`ede de fa¸con analogue au chapitre 2.

(43)

8. Distribution conjointe et ind´ependance

Soient X et Y deux variables discrètes observées simulatanément dans la même population. Soient (x_i, p_Xi) et (y_j, p_{Y j}) leurs distributions respectives et définissons

p_ij = P(X = x_i ∩ Y = y_j).

La distribution conjointe de X et Y est d´efinie comme l’ensemble des triplets (x_i, y_j, p_ij).

Exemple

Soit T la taille d’un individu codée en trois classes (1 = petit, 2 = moyen, 3 = grand) et S son niveau salarial également codé en trois classes (1 = bas, 2 = moyen, 3 = élvevé).

La table ci-dessous donne leur distribution conjointe (estim´ee dans une population):

S=1 S=2 S=3 Total T=1 0.10 0.20 0.20 0.50 T=2 0.04 0.08 0.08 0.20 T=3 0.06 0.12 0.12 0.30 Total 0.20 0.40 0.40 1.00

(44)

Les sommes des lignes et des colonnes d´efinissent les distributions marginales de T et de S, qui ne sont autres que les distributions individuelles de T et de S.

S=1 S=2 S=3 Total T=1 p₁₁ p₁₂ p₁₃ p_T₁ T=2 p₂₁ p₂₂ p₂₃ p_T₃ T=3 p₃₁ p₃₂ p₃₃ p_T₃ Total p_S1 p_S₂ p_S3 1

S=1 S=2 S=3 Total T=1 0.10 0.20 0.20 0.50 T=2 0.04 0.08 0.08 0.20 T=3 0.06 0.12 0.12 0.30

Total 0.20 0.40 0.40 1

En divisant les colonnes de la table par la probabilit´e marginale correspondante, on obtient les distributions conditionnelles de T sachant S:

g_i|j = P(T = i|S = j) = p_ij p_Sj S=1 S=2 S=3

T=1 g_1|1 g_1|2 g_1|3 T=2 g_2|1 g_2|2 g_2|3 T=3 g_3|1 g_3|2 g_3|3

Total 1 1 1

S=1 S=2 S=3 T=1 0.50 0.50 0.50 T=2 0.20 0.20 0.20 T=3 0.30 0.30 0.30

Total 1 1 1

(45)

La mˆeme op´eration sur les lignes conduit aux distibutions conditionnelles de S sachant T.

Sur les tables de la slide précédente on constate que les trois distributions conditionnelles de T sachant S sont égales, et qu’elles sont égales à la distribution marginale de T. On en déduit que la distribution de T ne dépend pas de S. On peut montrer que dans ce cas toutes les distributions conditionnelles de S sachant T sont égales à la distribution marginale de S (la distribution de S ne dépend pas de T).

Deux variables présentant cette propriété sont dites indépendantes.

Si deux variables X et Y sont indépendantes, n’importe quel événement défini à partir de X est indépendant de n’importe quel événement défini à partir de Y :

P(X = x_i ∩ Y = y_j) = P(X = x_i) · P(Y = y_j).

(46)

Jusqu’ici nous avons considéré le cas de deux variables discrètes. Le cas de deux variables continues est un peu plus compliqué, et passe par la définition de la densité conjointe de deux variables. Nous n’allons pas apprfondir ce sujet. Néanmoins, on peut toujours définir l’indépendance entre deux variables de la fa¸con suivante:

Deux variables sont ind´ependantes si et seulement si n’importe quel

événement défini à partir de l’une est indépendant de n’importe quel

événement défini à partir de l’autre.

(47)

9. Covariance et corr´elation

La covariance cov(X, Y ) entre deux variables al´eatoires X et Y est d´efinie comme cov(X, Y ) = E(X − E(X))(Y − E(Y )).

Le calcul de la covariance entre deux variables passe par leur distribution conjointe et peut ˆetre compliqu´e.

La corrélation cor(X, Y ) entre deux variables aléatoires X et Y est définie comme cor(X, Y ) = cov(X, Y )

sd(X)sd(Y ).

(48)

Les propriétés de la covariance et de la corrélation sont similaires à celles du coefficient de covariance et du coefficient de corrélation introduits au chapitre 3. En particulier:

1. −1 ≤ cor(X, Y ) ≤ 1, ∀X et Y

2. cor(X, Y ) = ±1 ⇐⇒ X = a + bY , a et b des constantes (relation lin´eaire entre X et Y )

3. var(X + Y ) = var(X) + var(Y ) + 2cov(X, Y )

4. Si X et Y sont ind´ependantes, alors cov(X, Y ) = 0 (r´eciproque pas vraie) 5. cov(X, Y ) = E(XY ) − E(X)E(Y )

Les propriétés 3 et 4 impliquent que la variance de la somme de deux variables indépendantes est égale à la somme de leurs variances.

La propriété 5 permet de trouver l’espérance du produit de deux variables aléatoires en connaissant leurs espérances et leur covariance.

Chapitre 5: Variables al´eatoires