Introduction aux chaînes de Markov
Les mathématiciens du chapitre (dans l’ordre de leur apparition) : les russes Andreï MARKOV (1856-1922) et Andreï KOLMOGOROV (1903-1987), le britannique Sydney CHAPMAN (1888-1970) et les allemands Oskar PERRON (1880-1975) et Georg
FROBENIUS (1849-1917).
Dans ce document nous noterons P la probabilité de l’espace probabilisé considéré et la probabilité de l’événement « A sachant B » sera indifféremment notée P(A | B) ou PB( )A .
Graphes probabilistes
Définition
Un « graphe probabiliste » est un graphe orienté et pondéré vérifiant :
• Tous les poids appartiennent à l’intervalle [ ]0 ; 1 .
• Il y a au plus une arête entre deux sommets quelconques du graphe.
• La somme des poids des arêtes issues d’un sommet est égale à 1.
Exemple
On a immédiatement la matrice des poids associée à ce graphe :
0, 25 0, 55 0, 2
1 0 0
0 0,15 0,85
P
⎛ ⎞
⎜ ⎟
= ⎜⎜⎝ ⎟⎟⎠ .
A
B
C
0,25 0,2
0,55 1
0,85 0,15
Matrice stochastique
Définition
Une « matrice stochastique », ou « matrice de Markov » ou « matrice markovienne », est une matrice P ( )pij ( )i j, 1 ;n2
= ∈ de Mn( ) telle que : (1) ∀( )i j, ∈ 1 ;n 2, pij∈[ ]0 ; 1
(2)
1
1 ; , 1
n ij j
i n p
=
∀ ∈ ∑ =
Une matrice stochastique peut donc être interprétée comme la matrice d’adjacence d’un graphe probabiliste.
Remarque : si tous les coefficients d’une matrice carrée P ( )pij ( )i j, 1 ;n2
= ∈ de Mn( ) sont
positifs et si on a la caractéristique (2) alors P est stochastique.
Propriétés
(1) Toute matrice stochastique admet 1 comme valeur propre.
(2) Le rayon spectral d’une matrice stochastique est égal à 1.
(3) Le produit de deux matrices stochastiques de Mn( ) est une matrice stochastique de
( ) Mn .
La première partie de la propriété découle immédiatement de la 2ème caractéristique d’une matrice markovienne. En effet, pour toute matrice markovienne P, on a, avec
(1, 1, ...,1)
X = t : P X. = X.
Soit maintenant P une matrice markovienne et λ une de ses valeurs propres (complexes) et X une matrice colonne non nulle associé à λ telle que PX =λX. Avec P ( )pij ( )i j, 1 ;n2
= ∈ et
( 1, 2, ..., )
t
X = x x xn on a :
1
1 ; ,
n
ij j i
j
i n p x λx
=
∀ ∈ ∑ = .
D’où :
1; 1;
1 1 1
1 ; , max max
n n n
i i ij j ij j ij j j
j n j n
j j j
i n λ x λx p x p x p x x
∈ ∈
= = =
⎛ ⎞
∀ ∈ × = = ≤ ≤⎜ ⎟× =
⎝ ⎠
∑ ∑ ∑ .
Mais :
1; 1; 1;
1; , i max j max j max j 1
j n j n j n
i n λ x x λ x x λ
∈ ∈ ∈
∀ ∈ × ≤ ⇒ × ≤ ⇒ ≤ .
Comme 1 est valeur propre, on a finalement : ρ( )P =1.
Soit P ( )pij ( )i j, 1 ;n2
= ∈ et Q ( )qij ( )i j, 1 ;n2
= ∈ deux matrices stochastiques de Mn( ).
Posons S ( )sij ( )i j, 1 ;n2 P Q.
= ∈ = , soit : ( ) 2
1
, 1 ; ,
n
ij ik kj
k
i j n s p q
=
∀ ∈ =∑ .
Comme les coefficients de P et Q sont positifs, il en va de même pour ceux de S.
Soit alors i dans 1;n :
1 1 1 1 1 1 1 1
1
1
n n n n n n n n
ij ik kj ik kj ik kj ik
j j k k j k j k
s p q p q p q p
= = = = = = = =
=
⎛ ⎞
⎜ ⎟
= = = ⎜ ⎟= =
⎜ ⎟
⎝ ⎠
∑ ∑∑ ∑∑ ∑ ∑ ∑
La matrice S est bien stochastique.
Chaînes de Markov
Note : nous nous limitons ici aux chaînes de Markov où l’espace des états, noté E (cf.
ci-après), est fini. On pose E ={1, 2, 3, ...,N−1,N}.
Définition
Une « chaîne de Markov » est une suite de variables aléatoires ( )Xn n∈ définies sur un même espace probabilisé (où la probabilité est notée P), à valeurs dans un ensemble E ,
appelé « espace des états », et vérifiant la propriété caractéristique :
( )
( ) ( )
2
0 1 1
1 0 0 1 1 1 1 1
, , ..., , , ,
| , ,..., , |
n n
n n n n n n
i i i i j
X j X i X i X i X i X j X i
+
−
+ − − +
∀ ∈
= = = = = = = =
E
P P
Une telle chaîne permet, par exemple, de modéliser un processus temporel en temps discret.
La propriété caractéristique s’interprète comme suit : l’état futur du système, Xn+1, ne dépend que de son état présent, Xn, et non des états passés (X0,X1,...,Xn−1). Un tel processus est alors qualifié de « processus sans mémoire ».
Chaîne de Markov homogène
Définition
Une chaîne de Markov est dite « homogène » si, pour tout ( )i j, dans E 2, la probabilité
(Xn+1= j X| n =i)
P ne dépend pas de n : P(Xn+1= j X| n = =i) P(X1= j X| 0=i). On la note alors « pij » et la matrice P ( )pij ( )i j, 1 ;N 2
= ∈ est appelée « matrice de transition » de la chaîne.
Dans le cadre de la modélisation d’un processus en temps discret, dire que la probabilité
(Xn+1= j X| n =i)
P ne dépend pas de n signifie que la transition de l’état i à l’état j ne dépend pas de l’instant considéré mais seulement du fait d’être dans l’état i.
Propriété
La matrice de transition d’une chaîne de Markov homogène est une matrice stochastique.
Puisque nous avons affaire à une matrice dont les coefficients sont des probabilités, il vient immédiatement : ∀( )i j, ∈ 1 ;N 2, pij∈[ ]0 ; 1 .
Ensuite, pour tout entier i dans 1 ;N , on a :
( 1 0 ) ( 0 )( 1 )
0 0
| 1
N N
ij X i
j j
p X j X i = X
= =
= = = = ∈ =
∑ ∑P P E .
Puissances de la matrice de transition d’une chaîne de Markov homogène On peut s’interroger sur l’état à long terme d’un processus de type « chaîne de Markov ».
Dans le cas d’une chaîne de Markov homogène, on peut donner une réponse précise.
Dans un premier temps, nous allons voir que ce problème se ramène à l’étude de la limite de la suite ( )Pn n∈ des puissances de la matrice de transition (ce qui devra, si besoin est, vous convaincre encore un peu plus, de l’importance de la notion de puissance d’une matrice !).
Relation de Chapman‐Kolmogorov
Soit ( )Xn n∈ une chaîne de Markov homogène et soit P ( )pij ( )i j, 1 ;N 2
= ∈ sa matrice de
transition.
On note pij( )n =P(X0=i)(Xn = j), c'est-à-dire la probabilité, sachant que l’on est initialement dans l’état i, d’être dans l’état j à l’instant n. On pose : P( )n =
( )
pij( )n ( )i j, ∈1;N2.On a alors, pour tout entier n strictement positif (relation de Chapman-Kolmogorov) :
( )n n
P =P
Dans cette démonstration (à lire tranquillement ☺), au plan mathématique, l’absence de mémoire nous permet de « jouer » sur les événements qui conditionnent (qu’importent les événements passés) et l’homogénéité sur les indices…
Nous démontrons le résultat par récurrence.
L’égalité est trivialement vérifiée pour n=1.
Bien que ce ne soit pas (du tout) obligatoire, nous allons établir le résultat pour n=2.
On a d’abord ( ) ( ) ( )( ) (( ) ( ))
( )
0
2 2 0 2
2
0
, 1; , ij X i X i X j
i j N p X j
X i
=
= =
∀ ∈ = = =
= P ∩
P P
En notant Pn =
( )
pij[ ]n ( )i j, ∈1;N2on a : ( ) 2 [ ]21
, 1 ; ,
N
ij ik kj
k
i j N p p p
=
∀ ∈ =∑ .
C'est-à-dire : ( ) 2 [ ]2 ( 0 )( 1 ) ( 0 )( 1 )
1
, 1 ; ,
N
ij X i X k
k
i j N p = X k = X j
=
∀ ∈ =∑P = P = .
L’homogénéité de la chaîne ( )Xn n∈ nous permet alors d’écrire
(X0=k)(X1= j)= (X1=k)(X2= j)
P P puis : [ ]2 ( 0 )( 1 ) ( 1 )( 2 )
1 N
ij X i X k
k
p = X k = X j
=
=∑P = P = .
La chaîne ( )Xn n∈ étant sans mémoire, on a aussi : P(X1=k)(X2= j)=P(X0=i) (∩ X1=k)(X2 = j). Finalement :
[ ] ( )( ) ( )( )
( )( ) ( ) ( )( )
( ) ( )
( )
( ) (( ) ( ) ( ))
( ) ( )
( )
( ) ( ) ( )
( )
( )
( ) ( ) ( )
( )
( )
1 0
0 0 1
2
1 2
1
1 2
1
0 1 0 1 2
1 0 0 1
0 1 2
1 0
0 1 2
1
0 N
ij X i X k
k N
X i X i X k
k N
k N
k N
k
p X k X j
X k X j
X i X k X i X k X j
X i X i X k
X i X k X j
X i
X i X k X j
X i
=
= =
= = =
=
=
=
=
= = =
= = =
= = = = =
= ×
= = =
= = =
= =
= = =
= =
∑
∑
∑
∑
∑
∩
∩ ∩ ∩
∩
∩ ∩
∩ ∩
P P
P P
P P
P P
P
P P
P
Les événements (X1=k) forment un système complet d’événements et on a donc :
( ) ( ) ( )
( 0 1 2 ) (( 0 ) ( 2 ))
1 N
k
X i X k X j X i X j
=
= = = = = =
∑P ∩ ∩ P ∩ .
On en tire :
[ ] (( ) ( ))
( ) (( ) ( ))
( ) ( 0 )( ) ( )
0 2
0 2
2 1 2
2
0 0
N
k
ij X i ij
X i X j
X i X j
p X j p
X i X i
= =
= = = =
= = = = =
= =
∑P ∩ P ∩
P P P
Supposons désormais le résultat vrai pour un entier naturel n quelconque non nul : P( )n =Pn. On a alors : Pn+1=Pn× =P P( )n ×P, soit : ( ) 2 [ ]1 ( )
1
, 1 ; ,
N
n n
ij ik kj
k
i j N p + p p
=
∀ ∈ =∑ .
C’est à dire : ( ) 2 [ ]1 ( 0 )( ) ( 0 )( 1 )
1
, 1 ; ,
n N
ij X i n X k
k
i j N p + = X k = X j
=
∀ ∈ =∑P = P = .
L’homogénéité de la chaîne ( )Xn n∈ nous permet alors d’écrire
(X0=k)(X1= j)= (Xn=k)(Xn+1= j)
P P puis :
[ ] ( )( ) ( )( ) (( ) ( ))
( ) ( )( )
0 1 0
1 1
1 1 0
n n
N N
n n
ij X i n X k n X k n
k k
X i X k
p X k X j X j
X i
+
+ +
= = =
= =
= =
= = = = × =
∑P P ∑P P ∩= P
Partitionnons alors l’univers avec les événements (X1=i1) (∩ X2=i2)∩ ∩... (Xn−1=in−1) pour tout (i i1, , ...,2 in−1) dans 1,N−1 n−1. Il vient :
( ) ( )
( )
( ) ( ) ( ) ( ) ( )
( )
(1 2 1) 1
0
0 1 1 2 2 1 1
, , ..., 1, 1
...
n n
n
n n n
i i i N
X i X k
X i X i X i X i X k
− −
− −
∈ −
= = =
= = = = =
∑
∩
∩ ∩ ∩ ∩ ∩
P
P Et donc :
[ ] (( ) ( ))
( ) ( )( )
( ) ( ) ( ) ( )
( )
( ) ( )( )
(1 2 1) 1
1 0
1
1 0
0 1 1 1 1
1
1 , , ..., 1, 1 0
...
n
n n n
N n
n
ij X k n
k
N n n n
X k n
k i i i N
X i X k
p X j
X i
X i X i X i X k
X j
X i
− − +
= +
=
− −
= +
= ∈ −
= =
= × =
=
= = = =
= × =
=
∑
∑ ∑
∩
∩ ∩ ∩ ∩
P P
P
P P
P
L’absence de mémoire de la chaîne nous donne alors :
[ ] (( ) ( ) ( ) ( ))
( ) ( )( )
( )
( ) ( ) ( ) ( )
( )
( )
( )
( ) ( ) ( ) ( )( )
( ) ( )
1
1 2 1
1
1 2 1
0 1 1 1 1
0 1 1 1 1
1
1
1 , , ..., 1, 1 0
0 1 1 1 1
1 , , ..., 1, 1 0
... 1
0 1 1
...
...
..
n n n
n n
n n n
N n n n
n
ij X k n
k i i i N
N n n n
k i i i N
X i X i X i X k n
X i X i X i X k
p X j
X i
X i X i X i X k
X i
X j
X i X i
− −
− −
− −
− −
+
= +
= ∈ −
− −
= ∈ −
= = = = +
= = = =
= × =
=
= = = =
= =
× =
= =
=
∑ ∑
∑ ∑
∩ ∩ ∩ ∩
∩ ∩ ∩ ∩
∩ ∩ ∩ ∩
∩ ∩
P P
P P
P P
P( ( ) ( ))
( )
( )
( ) ( ) ( ) ( ) ( )
( )
( ) ( ) ( ) ( )
( )
( ) ( ) ( ) ( ) ( )
( )
( )
1
1 2 1
1
1 2 1
1 1
1 , , ..., 1, 1 0
0 1 1 1 1 1
0 1 1 1 1
0 1 1 1 1 1
1 , , ..., 1, 1 0
.
...
...
...
n n
n n
N n n n
k i i i N
n n n n
n n n
N
n n n n
k i i i N
X i X k
X i
X i X i X i X k X j
X i X i X i X k
X i X i X i X k X j
X i
− −
− −
− −
= ∈ −
− − +
− −
− − +
= ∈ −
= =
=
= = = = =
× = = = =
= = = = =
= =
∑ ∑
∑ ∑
∩ ∩
∩ ∩ ∩ ∩ ∩
∩ ∩ ∩ ∩
∩ ∩ ∩ ∩ ∩
P P
P
P
La partition de l’univers nous donne alors :
[ ] ( ) ( ) ( ) ( ) ( )
( )
( )
( ) ( ) ( )
( )
1
1 2 1
1 0 1 1 1 1 1
1 , , ..., 1, 1 0
0 1
1 0
...
n n
N
n n n n n
ij
k i i i N
N
n n
k
X i X i X i X k X j
p X i
X i X k X j
X i
− −
+ − − +
= ∈ −
+
=
= = = = =
= =
= = =
= =
∑ ∑
∑
∩ ∩ ∩ ∩ ∩
∩ ∩
P
P
Puis le partitionnement par les (Xn=k) :
[ ] ( ) ( ) ( )
( )
( ) ( )
( ) ( 0 )( ) ( )
1 0 1
1 0
0 1 1
1 0
N
n n n
ij k
n n
n ij
X i
X i X k X j
p X i
X i X j
X j p
X i
+ +
=
+ +
= +
= = =
= =
= =
= = = =
=
∑ ∩ ∩
∩ P
P
P P
P Le résultat est donc vrai au rang n+1.
Loi de Xn
L’espace des états est noté : E ={1, 2, 3, ...,N−1,N}.
Pour tout entier naturel n, la variable aléatoire Xn est définie par les N probabilités
(Xn =1)
P , P(Xn=2), …, P(Xn =N).
Nous notons alors πn la matrice ligne : πn =(P(Xn =1) P(Xn=2) P(Xn =N)). On a :
, n1 n
n π + π P
∀ ∈ = × et πn =π0×Pn Le deuxième résultat découle du premier par une récurrence immédiate.
Il convient donc d’établir : ∀ ∈n ,πn+1=πn×P. Posons πn P Q ( )q1j j 1,N 1,n( )
× = = ∈ ∈M .
On a :
( ) ( ) ( )
( ) ( )( ) ( ) ( )( )
( ) ( )( )
( ) ( )
( ) (( ) ( )) (( ) ( ))
( ) ( )
( )
1 1 2
1 1
1 2
1
1 1 1
1 1
1 2
1 2
1 2
n n
n
j n j n j n Nj
n X n n X n
n X N n
n n n n n n
N
n n
k
q X p X p X N p
X X j X X j
X N X j
X X j X X j X N X j
X k X j
+ +
= =
= +
+ + +
+
=
= = × + = × + + = ×
= = × = + = × = +
+ = × =
= = = + = = + + = =
=∑ = =
∩ ∩ ∩
∩
P P P
P P P P
P P
P P P
P
Les événements (Xn =k) forment un système complet d’événements (partition de l’univers) et on a donc (formule des probabilités totales) : (( ) ( 1 )) ( 1 )
1 N
n n n
k
X k X + j X + j
=
= = = =
∑P ∩ P .
On en déduit : πn× =P πn+1.
Ainsi, d’après la propriété précédente, l’état du système à l’instant n (i.e. la loi de probabilité de Xn) sera parfaitement connu dès lors que l’on connaîtra l’état du système à l’instant 0 (i.e.
la loi de probabilité de X0, notée π0 ci-dessus) et la matrice de transition P.
L’évolution à long terme du système se ramène donc à l’étude de la limite de la suite ( )Pn n∈
des puissances de la matrice de transition.
On a des résultats généraux relatifs aux matrices positives (tous les coefficients sont positifs) dites « irréductibles ». Une matrice irréductible s’interprète comme la matrice des poids d’un graphe orienté pondéré connexe (il existe une chaîne entre deux sommets quelconques du graphe). Par exemple :
• Une matrice strictement positive est irréductible.
• Une matrice admettant une puissance strictement positive est irréductible.
