Rappels sur les chaînes de Marko

Définition 7.5.1 (Chaîne de Markov à temps discret [Cin75]). Par définition, une chaîne de Markov {Xn, n ∈ E}

possède la propriété suivante :

P (Xn= in|X0= i0, . . . , Xn−1= in−1) = P (Xn= in|Xn−1= in−1)

Cette propriété peut s’interpréter de la façon suivante : sachant l’état présent in−1, l’état futur in est indépendant

des états passés ij, j < n − 1.

Définition 7.5.2 (Chaine de Markov homogène [Cin75]). Soit respectivement : pj(k) = P (Xk = j), ∀j ∈ E, et

pij(m, k) = P (Xk = j|Xm = i), ∀m, k : 0 ≤ m ≤ k, la distribution de probabilité de la v.a. (variable aléatoire) Xk

et la distribution conditionnelle de Xk sachant Xm. On dit qu’une chaîne est homogène si l’on a

pij(m, k) = pij(k − l, m − l), ∀l = 0, . . . , m.

Dans ce cas, pij(m, k) ne dépend que de i, j et (k − m). On peut donc poser :

pij(n) = pij(m + n, m), ∀m.

Définition 7.5.3 (Probabilité de transition d’une chaîne de Markov homogène [Cin75]). pij(n) s’appelle la proba-

bilité de transition à n étapes. La probabilité de transition à 1 étape se note simplement pij = pij(1).

Par convention, définissons :

pij(0) =



1 si i = j 0 sinon.

A partir de maintenant, nous ne considérons que des chaines de Markov homogènes. Notons que la distribution de probabilité conjointe P (X0= i0, . . . , Xn = in) peut s’écrire à l’aide des probabilités de transition à une étape :

P (X0= i0, . . . , Xn = in)

= P (X0= i0, . . . , Xn−1= in−1)P (Xn= in|X0= i0, . . . , Xn−1= in−1)

= P (X0= i0, . . . , Xn−1= in−1)P (Xn= in|Xn−1= in−1)

= P (X0= i0, . . . , Xn−1= in−1)pin−1in

et donc par induction

P (X0= i0, . . . , Xn= in) = pi0(0)pi0i1. . . pin−1in

La distribution initiale de X0 est notée à l’aide du vecteur ligne :

Notons P la matrice formée des probabilités de transition à une étape pij :

P = (pij)i≥0,j≥0

Comme ∀i, j, 0 ≤ pij ≤ 1 et comme P j≥0

pij = 1, i ≥ 0, la matrice P est une matrice stochastique. Ainsi, le processus

est complètement déterminé si on connaît la distribution initiale p(0) et la matrice de transition P .

Notons fjk(n), la probabilité que la première entrée dans l’état k se produise à l’étape n sachant que la chaîne

se trouve initialement dans l’état j (i.e. sachant que X0= j). Autement dit, si la v.a. (variable aléatoire) Tk désigne

la date de la première entrée dans l’état k, fjk(.) est la distribution conditionnelle donnée par :

fjk(n) = P (Tk = n |X0= j). Posons : fjk= X n≥1 fjk(n),

fjkest donc la probabilité conditionnelle que le processus passe par l’état k sachant qu’il est initialement dans l’état

j ; c’est encore la probabilité que Tk prenne une valeur finie :

fjk= P (Tk< ∞ |X0= j).

Compte tenu de la définition de fjk(n), on a la relation suivante :

fjk(n) =    pjk si n = 1 P l6=k pjlflk(n − 1) si n > 1

Définissons maintenant la v.a. Nj comme le nombre de visites à l’état j ; i.e. pour une trajectoire ω, on a :

Nj(ω) =

X

n≥0

1[Xn(ω)=j]

Partant de j, la probabilité que Nj = n est donnée par :

Pj(Nj= n) = P (Nj= n |X0= j) = fjjn−1(1 − fjj), n ≥ 1.

Notons que dans ce cas, Nj ne peut pas être nulle puisque X0= j.

Partant de i, la distribution de Nj est donnée par :

Pi(Nj = n) =



1 − fij si n = 0

fijfjjn−1(1 − fjj) si n > 0

Considérons la probabilité que Nj prenne une valeur finie :

P (Nj < ∞) =

X

n≥0

Pj(Nj = n)

On a le théorème suivant :

Théorème 7.5.1 (Probabilité du nombre de visites d’un état [Cin75]).

Pj(Nj< ∞) =



1 si fjj < 1

Preuve : Si fjj = 1, alors Pj(Nj= n) = fjjn−1(1−fjj) = 0, ∀n ≥ 1. Donc Pj(Nj< ∞) = P n≥0

Pj(Nj= n) = 0. 

Partant d’un état j, le nombre de visite à cet état est infini si et seulement si fjj = 1. Puisque dans ce cas le

retour à l’état j est certain, on peut définir :

mj=

X

n≥1

nfjj(n)

Si mj < ∞, mj est l’espérance du temps de retour. Les définitions suivantes introduisent les différents types des

états de E.

Définition 7.5.4 (Etat accessible [Cin75]). Un état j est accessible à partir d’un état i si ∃n_n∈N[pij(n) > 0].

Cette définition est équivalente à : partant de i, il est possible que le processus prenne ultérieurement l’état j. Notons que l’état i est accessible à partir de l’état i car pii(0) = P (X0= i|X0= i) = 1.

Définition 7.5.5 (Etats communiquants [Cin75]). Les états i et j communiquent si i et j sont mutuellement accessibles.

Cette relation de communication, que nous noterons ∼ est une relation d’équivalence : – i ∼ i

– (i ∼ j) =⇒ (j ∼ i)

– (i ∼ j) et (j ∼ k) =⇒ (i ∼ k)

Définition 7.5.6 (Etat récurrent, transitoire [Cin75]). L’état j est dit récurrent si fjj= 1 ; Il est dit transitoire si

fjj< 1. Un état récurrent j est dit récurrent non nul (ou positif ) si mj < ∞ ; Il est dit récurrent nul si mj = ∞.

Compte tenu du théorème 7.5.1, on voit que s’il est atteint, un état récurrent est visité une infinité de fois alors qu’un état transitoire ne peut être visité qu’un nombre fini de fois. On voit aussi qu’une chaine de Markov à nombre fini d’états ne peut avoir tous ses états transitoires.

Définition 7.5.7 (Etat absorbant). L’état i est dit absorbant si pii= 1.

Cela signifie qu’une fois que le système est dans un état absorbant, il le reste.

Définition 7.5.8 (Etat périodique). L’état i est de périodicité di si di est le pgcd des entiers

{n ∈ N |pii(n) > 0}

Définition 7.5.9 (Etat apériodique). Si di = 1, l’état i est dit apériodique.

Théorème 7.5.2 (Classe des états récurrent). Si j est un état récurrent et si i ∼ j, alors i est aussi un état récurrent.

Ainsi la récurrence est une propriété de classe. Il en est de même pour les états transitoires.

Corrolaire 1 (Classe des états transitoires). Si j est un état transitoire et si i ∼ j, alors i est aussi un état transitoire.

On peut encore préciser les résultats précédents à l’aide du théorème suivant.

Théorème 7.5.3 [Cin75] Soit Ek une classe d’équivalence de l’ensemble E des états d’une chaîne de Markov. Alors

tous les états de Ek sont tous soit transitoires, soit récurrents nuls, soit récurrents non nuls. Ils sont tous soit

apériodiques, soit périodique de même période d.

Définition 7.5.10 (Chaîne de Markov irréductible [Cin75]). Une chaîne de Markov est dite irréductible si ses états constituent une classe unique, i.e., si tous ses états communiquent entre eux.

Comme les états d’une chaîne de Markov irréductible constituent une classe unique, ils sont tous du même type et on a le corollaire suivant :

Corrolaire 2 (Etats d’une chaîne de Markov irréductible [Cin75]). Etant donnée une chaîne de Markov irréduc- tible X, tous ses états sont tous soit transitoires, soit récurrents nuls, soit récurrents non nuls. Ils sont tous soit apériodiques, soit périodiques de même période d.

Ainsi, même si la chaîne est irréductible, les états peuvent être récurrents nuls, voire transitoires, si le nombre d’états est infini. Mais si le nombre d’état est fini, nous allons voir que les états ne peuvent être que récurrents non nuls.

Théorème 7.5.4 (Chaîne de Markov irréductible à nombre fini d’états [Cin75]). Une chaîne de Markov irréductible à nombre fini d’états n’a que des états récurrents non nuls.

Définition 7.5.11 (Etat ergodique [Cin75]). Un état récurrent non nul et apériodique dont la probabilité asympto- tique est indépendante des conditions initiales, est dit ergodique.

Définition 7.5.12 (Chaîne de Markov ergodique). Une chaîne de Markov irréductible dont tous les états sont récurrents non nuls et apériodiques (et admettent donc des probabilités asymptotiques indépendantes des conditions initiales) est dite ergodique.