PREPA COURCELLES DEUXIEME ANNEE
1
Chaînes de Markov et Scilab
1. Rappels du principe des chaînes de Markov
a. Définitions
i. Définition d’une chaîne de Markov
On appelle chaîne de Markov, toute suite 𝑋! !∈! de variables aléatoires, définies sur le même espace probabilisé et à valeurs dans un ensemble E, telles que :
∀𝑛 ∈𝑁,∀ 𝑖!,𝑖!,…,𝑖!!!,𝑖,𝑗 ∈𝐸!!! tels que :
𝑃 𝑋!=𝑖 ∩ 𝑋!!!=𝑖!!! ∩…∩(𝑋!=𝑖!)∩(𝑋! =𝑖!) ≠0, on a : 𝑃[(𝑋!!!=𝑗)/ 𝑋!=𝑖 ∩ 𝑋!!!=𝑖!!! ∩…∩(𝑋!=𝑖!)]=𝑃[(𝑋!!!=𝑗)/ 𝑋!=𝑖 ]
En d’autres termes, la réalisation d’un événement futur (𝑋!!!=𝑗) dépend du passé seulement au travers du présent 𝑋!=𝑖
ii. Chaîne dans l’état i au temps n
La chaîne est dans l’état i au temps n si l’événement 𝑋! =𝑖 est réalisé.
L’ensemble E est donc l’ensemble des états de la chaîne iii. Probabilité de transition
Les probabilités 𝑃[(𝑋!!!=𝑗)/ 𝑋!=𝑖 ]=𝑝!,!(𝑛) sont appelées probabilités de transition
iv. Chaîne homogène
Une chaîne de Markov 𝑋! !∈! est homogène si toutes les probabilités 𝑝!,!(𝑛) ne dépendent pas de n mais seulement de i et j. Elles sont alors notées 𝑝!,!
b. Matrice de transition
Si une chaîne de Markov 𝑋! !∈! est homogène et si E est fini (par exemple : E=[1,N], on appelle matrice de transition de la chaîne, la matrice M de ℳ! 𝑅 telle que :
𝑀=
𝑝!,! 𝑝!,! … 𝑝!,!
𝑝!,! 𝑝!,! … 𝑝!,!
⋮ ⋱ ⋮
𝑝!,! 𝑝!,! … 𝑃!,!
PREPA COURCELLES DEUXIEME ANNEE
2 c. Matrice stochastique
M est une matrice stochastique si tous ses coefficients sont positifs et la somme des coefficients de chaque ligne est égale à 1
d. Probabilités totales et chaîne de Markov
Soit un système complet d’événements : 𝑋!=1 , 𝑋!=2 ,…, 𝑋!=𝑁 Dans ce cas, par application de la formule des probabilités totales à (𝑋!!!=𝑗) :
𝑃 𝑋!!!=𝑗 = 𝑃 𝑋!!!=𝑗/𝑋!=𝑖
!
!!!
𝑃(𝑋!=𝑖)
Ainsi :
𝑃 𝑋!!!=1 = 𝑃 𝑋!!!=1/𝑋!=𝑖
!
!!!
𝑃(𝑋!=𝑖)
𝑃 𝑋!!!=2 = 𝑃 𝑋!!!=2/𝑋!=𝑖
!
!!!
𝑃(𝑋!=𝑖)
…
𝑃 𝑋!!!=𝑁 = 𝑃 𝑋!!!=2/𝑋!=𝑖
!
!!!
𝑃(𝑋!=𝑖)
Soit en développant :
𝑃 𝑋!!!=1 =𝑃 𝑋!!!=1/𝑋! =1 𝑃 𝑋!=1 +⋯+ 𝑋!!!=1/𝑋! =𝑁 𝑃 𝑋!=𝑁 𝑃 𝑋!!!=2 =𝑃 𝑋!!!=2/𝑋! =1 𝑃 𝑋!=1 +⋯+ 𝑋!!!=2/𝑋! =𝑁 𝑃 𝑋!=𝑁
…
𝑃 𝑋!!!=𝑁 =𝑃 𝑋!!! =𝑁/𝑋!=1 𝑃 𝑋!=1 +⋯+ 𝑋!!!=𝑁/𝑋! =𝑁 𝑃 𝑋! =𝑁 Soit encore :
𝑃 𝑋!!!=1 =𝑝!,!.𝑃 𝑋!=1 +𝑝!,!.𝑃 𝑋!=2 …+𝑝!,!𝑃 𝑋! =𝑁 𝑃 𝑋!!!=2 =𝑝!,!.𝑃 𝑋!=1 +𝑝!,!.𝑃 𝑋!=2 …+𝑝!,!𝑃 𝑋! =𝑁
…
𝑃 𝑋!!!=𝑁 =𝑝!,!.𝑃 𝑋! =1 +𝑝!,!.𝑃 𝑋!=2 …+𝑝!,!𝑃 𝑋!=𝑁 Soit matriciellement
𝑃 𝑋!!!=1 𝑃 𝑋!!!=2
⋮ 𝑃 𝑋!!!=𝑁
=
𝑝!,! 𝑝!,! … 𝑝!,!
𝑝!,! 𝑝!,! … 𝑝!,!
⋮ ⋱ ⋮
𝑝!,! 𝑝!,! … 𝑃!,!
𝑃 𝑋!=1 𝑃 𝑋!=2
⋮ 𝑃 𝑋!=𝑁 Soit :
PREPA COURCELLES DEUXIEME ANNEE
3 𝑉! =
𝑃 𝑋!=1 𝑃 𝑋!=2
⋮ 𝑃 𝑋!=𝑁
Dès lors : 𝑉!!!= !𝑀.𝑉!⇒ !𝑉!!! = !𝑉!𝑀
En posant : !𝑉!=𝑈!=((𝑃 𝑋!!!=1 𝑃 𝑋!!!=2 …𝑃 𝑋!!!=𝑁 ) On a donc :
𝑈!!!=𝑈!.𝑀⇒𝑈!=𝑈!.𝑀!
où 𝑈!=(𝑃 𝑋! =1 𝑃 𝑋!=2 …𝑃 𝑋!=𝑁 )
2. Simulation en Scilab d’une chaîne de Markov
a. Commande pour simuler les n premiers de la chaîne de Markov suivant l’état initial x0 : grand(n,’markov’,M,x0)
b. Exemple
Un mobile se déplace par sauts sur les points A, O et B. Leurs abscisses sont respectivement -1, 0 et 1.
Le mobile, est au départ, en O.
S’il est en O à l’instant n, il sera soit en A, soit en B, en n+1 de façon équiprobable.
S’il est en A à l’instant n, il restera en A, ou retournera en O, en n+1 de façon équiprobable.
S’il est en B à l’instant n, il retournera nécessairement en O, en n+1.
Simuler la trajectoire au cours des 30 premiers sauts
𝐴!,𝐵!,𝑂! forme un système complet d’événements car, à l’instant n, il est certain que le mobile est soit en A, soit en B, soit en O. L’application de la formule des probabilités totales à 𝐴!!!,𝐵!!!,𝑂!!! conduit à écrire :
𝑃 𝐴!!! =𝑃 𝐴!!!/𝐴! P(𝐴!)+𝑃 𝐴!!!/𝑂! P(𝑂!)+𝑃 𝐴!!!/𝐵! P(𝐵!) 𝑃 𝑂!!! =𝑃 𝑂!!!/𝐴! P(𝐴!)+𝑃 𝑂!!!/𝑂! P(𝑂!)+𝑃 𝑂!!!/𝐵! P(𝐵!) 𝑃 𝐵!!! =𝑃 𝐵!!!/𝐴! P(𝐴!)+𝑃 𝐵!!!/𝑂! P(𝑂!)+𝑃 𝐵!!!/𝐵! P(𝐵!)
𝑃 𝐴!!!
𝑃 𝑂!!!
𝑃 𝐵!!!
=
1/2 1/2 0 1/2 0 1 0 1/2 0
𝑃 𝐴! 𝑃 𝑂! 𝑃 𝐵!
Donc : 𝑀=
1/2 1/2 0 1/2 0 1 0 1/2 0
!
=
1/2 1/2 0 1/2 0 1/2
0 1 0
PREPA COURCELLES DEUXIEME ANNEE
4
En Scilab, la trajectoire suppose une graduation à partir de 1. Compte tenu de la valeur minimale prise par l’abscisse de B égale à 1, il convient de déduire 2 des nombres générés par la commande en Scilab. On a donc :
--> grand(30,'markov',[0.5,0.5,0;0.5,0,0.5;0,1,0],2)-2
ans =
-1. 0. 1. 0. 1. 0. -1. 0. 1. 0. -1. -1.
-1. -1. 0. 1. 0. 1. 0. 1. 0. 1. 0. -1.
0. -1. 0. 1. 0. -1.
3. Cas de l’état stable d’une chaîne de Markov homogène
a. Définition d’une distribution stationnaire
Soit une chaîne de Markov homogène de matrice de transition M.
Une loi de probabilité définie par un vecteur ligne π qui satisfait l’équation πM= π est appelée distribution stationnaire (ou loi stationnaire) de la chaîne de Markov.
b. Caractérisation d’une distribution stationnaire 𝜋𝑀=π⇒ !𝑀 !π= !π
Donc, si la distribution est stationnaire, alors !π est vecteur propre de !𝑀 associé à la valeur propre 1
c. Exemple de mise en évidence d’un état stable en Scilab pour une chaîne de Markov Soit la matrice de transition : 𝑀= 1/2 1/2
1/4 3/4
La chaîne est à 2 états (1 et 2). On peut alors déterminer le réel x égal à la proportion des états 1 de la chaîne pour un grand nombre n de mouvements
--> x=sum(grand(n,'markov',[1/2,1/2;1/4,3/4],1)==1)/n x =
0.332964
Il semble donc y avoir une chance sur 3 qu’à long terme, le système soit dans l’état 1, et 2 chances sur 3 dans l’état 2