3.2 Chaˆınes de Markov cach´ees M-stationnaires
3.3.1 D´efinition et propri´et´es d’une chaˆıne semi-markovienne
Nous choisissons de d´efinir une chaˆıne semi-markovienne `a valeurs dans un espace fini comme la marginale d’une chaˆıne de Markov. Une d´efinition plus g´en´erale peut se trouver dans [74].
D´efinition 3.3.1 (Chaˆıne semi-markovienne). Soit X un ensemble fini. On d´efinit les quan- tit´es suivantes :
– la probabilit´e π sur X ;
– la transition q(.|.) sur X2 v´erifiant q(x|x) = 0 ;
– pour tout x∈ X , les densit´es de probabilit´e d(x, .) sur N∗.
Un processus X = (Xn)n≥1 tel que chaque Xn prend ses valeurs dans X est une chaˆıne semi-
markovienne de loi initiale π, de transition q et de loi de dur´ee d s’il existe un processus U = (Un)n≥1, o`u chaque Un prend ses valeurs dans N∗, tel que (X, U) soit une chaˆıne de
Markov homog`ene donn´ee par : – la loi initiale : p(x1, u1) = π(x1)d(x1, u1) , (3.3) – et les transitions : p(xn+1, un+1|xn, un) = p(xn+1|xn, un)× p(un+1|xn+1, un), (3.4) avec : p(xn+1|xn, un) = δxn(xn+1) si un> 1, q(xn+1|xn) si un= 1, (3.5) et p(un+1|xn+1, un) = δun−1(un+1) si un > 1, d(xn+1, un+1) si un= 1, (3.6) o`u δx(x) = 1 et δx(x0) = 0 pour x0 6= x.
Dans cette d´efinition, on remarque que la transition q et la loi de temps de s´ejour d ne d´ependent pas de n, la chaˆıne semi-markovienne est alors qualifi´ee d’“homog`ene”.
Notons que un repr´esente le temps de s´ejour restant de la chaˆıne dans Xn = xn, la variable
al´eatoire Un est appel´ee “temps de r´ecurrence avant”.
Consid´erons la d´efinition suivante :
D´efinition 3.3.2. Soit X = (Xn)n≥1 un processus `a valeurs dans un ensemble fini X . On
d´efinit :
– la suite des instants de saut V = (Vn)n≥1 par :
V1 = 1 et Vn= inf
k > Vn−1 : Xk 6= XVn−1
;
– la chaˆıne immerg´ee ˜X = ( ˜Xn)n≥1 par :
– pour tout n≥ 1, le temps de s´ejour dans ˜Xn par :
Tn = Vn+1− Vn.
La r´ealisation de la chaˆıne immerg´ee correspond `a la suite des valeurs visit´ees par le processus X. Lorsque X est une chaˆıne semi-markovienne de transition q, on montre que sa chaˆıne immerg´ee est une chaˆıne de Markov de transition q. Plus exactement :
Proposition 3.3.1. Soit X = (Xn)n≥1 un processus `a valeurs dans un ensemble fini X =
{ω1, . . . , ωK} de chaˆıne immerg´ee ˜X, soit V = (Vn)n≥1 la suite des instants de saut de X et
soit T = (Tn)n≥1 le processus des temps de s´ejour.
X est une chaˆıne semi-markovienne homog`ene de transition q et de loi de dur´ee d si et seulement si les deux conditions suivantes sont satisfaites :
1. pour tout n, ˜Xn+1 est ind´ependante des variables al´eatoires ˜X1, . . . , ˜Xn, T1, . . . , Tncondi-
tionnellement `a ˜Xn et la loi de ˜Xn+1 sachant ˜Xn ne d´epend pas de n ;
2. pour tout n, Tn+1 est ind´ependante des variables al´eatoires ˜X1, . . . , ˜Xn+1, T1, . . . , Tn
conditionnellement `a ˜Xn+1 et la loi de Tn+1 sachant ˜Xn+1 ne d´epend pas de n.
Sous ces conditions, la transition q et la loi de dur´ee d sont donn´ees par : – q(ωj|ωi) = p(˜xn+1 = ωj|˜xn= ωi) ;
– d(ωj, u) = p(tn+1 = u|˜xn+1 = ωj).
Preuve.
La premi`ere implication est ´evidente. Montrons la deuxi`eme implication. Notons D(ωj, u) =
X
t≥u
d(ωj, t), le processus X est une chaˆıne semi-markovienne de transition q et de loi de dur´ee
d si et seulement si : p(x1 = ˜x1, . . . , xt1 = ˜x1 | {z } t1fois , xt1+1 = ˜x2, . . . , xt1+t2 = ˜x2 | {z } t2fois , . . . , xt1+...+tL−2+1 = ˜xL−1, . . . , xt1+...+tL−1 = ˜xL−1 | {z } tL−1fois , xt1+...+tL−1+1 = ˜xL, . . . , xN = ˜xL | {z } N− (t1+ . . . + tL−1) fois ) = π(˜x1)d(˜x1, t1)× L−2 Y l=1 q(˜xl+1|˜xl)d(˜xl+1, tl+1)× q(˜xL|˜xL−1)D(˜xL, N − (t1+ . . . + tL−1)).(3.7)
Supposons que le processus X satisfasse les conditions 1. et 2. et montrons (3.7). La loi de tout processus X s’exprime en fonction de celles de T et de ˜X par :
p(x1 = ˜x1, . . . , xt1 = ˜x1 | {z } t1fois , xt1+1 = ˜x2, . . . , xt1+t2 = ˜x2 | {z } t2fois , . . . , xt1+...+tL−2+1 = ˜xL−1, . . . , xt1+...+tL−1 = ˜xL−1 | {z } tL−1fois , xt1+...+tL−1+1 = ˜xL, . . . , xN = ˜xL | {z } N− (t1+ . . . + tL−1) fois ) = π(˜x1)p(t1|˜x1)× L−2 Y l=1 p(˜xl+1|˜x1, . . . , ˜xl, t1, . . . , tl)p(tl+1|˜x1, . . . , ˜xl+1, t1, . . . , tl) ×p(˜xL|˜x1, . . . , ˜xL−1, t1, . . . , tL−1)p(tL ≥ N − (t1 + . . . + tL−1)|˜x1, . . . , ˜xL, t1, . . . , tL−1).
46 Chaˆınes semi-markoviennes cach´ees M-stationnaires
Chaˆınes semi-markoviennes comme g´en´eralisation des chaˆınes de Markov
La proposition suivante donne les conditions n´ecessaire et suffisante pour qu’une chaˆıne semi-markovienne soit une chaˆıne de Markov.
Proposition 3.3.2. On reprend les notations de la d´efinition 3.3.1. Une chaˆıne semi-markovienne X = (Xn)n≥1 `a valeurs dans un espace d’´etat fini X est une chaˆıne de Markov de matrice de
transition Q(x, x0) = p (xn+1 = x0|xn = x) si et seulement si :
d(x, u) = Q(x, x)u−1(1− Q(x, x)) pour tout x et pour tout u ≥ 1. De plus, si cette condition est vraie, on a :
q(x0|x) = Q(x, x
0)
1− Q(x, x) pour tout x, x
0 tels que x6= x0.
Conditions de stationnarit´e d’une chaˆıne semi-markovienne
Nous donnons des conditions suffisantes pour qu’une chaˆıne semi-markovienne `a valeurs dans un espace fini soit stationnaire. Dans [74] il y est ´etudi´e la stationnarit´e de chaˆınes semi- markoviennes dans un cadre plus g´en´eral. Lorsqu’un processus Z = (Zn)n≥1 est stationnaire,
nous appelerons “mesure stationnaire” la mesure de probabilit´e commune de la loi des Zn. Si
Z est une chaˆıne de Markov `a espace d’´etats fini de transition Q, sa loi initiale π d´efinit une mesure stationnaire si et seulement si πQ = π, auquel cas, π est appel´ee “mesure invariante”. Soit (X, U) la chaˆıne de Markov introduite dans la d´efinition 3.3.1 avec X = {ω1, . . . , ωK}.
Supposons que (X, U) admette une mesure invariante. La mesure invariante µ de la chaˆıne (X, U) v´erifie alors : µ(xn+1, un+1) = X xn,un µ(xn, un)p(xn+1|xn, un)p(un+1|xn+1, un) = X xn6=xn+1 µ(xn, 1)q(xn+1|xn)d(xn+1, un+1) + µ(xn+1, un+1+ 1). (3.8)
La mesure µsemiobtenue par marginalisation µsemi(x) =X u
µ(x, u) est une mesure stationnaire pour X. Celle-ci satisfait :
µsemi(x n+1) = X xn6=xn+1 µ(xn, 1)q(xn+1|xn) + µsemi(xn+1)− µ(xn+1, 1) .
Les µxn = µ(xn, 1) sont alors solutions du syst`eme :
µ(xn+1, 1) =
X
xn6=xn+1
µ(xn, 1)q(xn+1|xn). (3.9)
Ainsi la mesure (µxn)xn∈X est une mesure invariante de la chaˆıne immerg´ee. On peut ´egalement
(µxn)xn∈X. D’apr`es (3.8), on a : µ(ωj, 2) = µωj− X i6=j µωiq(ωj|ωi)d(ωj, 1),
et comme les µxn sont solutions de (3.9), on en d´eduit :
µ(ωj, 2) = µωj(1− d(ωj, 1)) .
Proc´edant ainsi de mani`ere r´ecursive en exprimant µ(ωj, k) en fonction de µ(ωj, k− 1) grˆace
`a la formule (3.8), on en d´eduit que pour tout k ≥ 2, µ(ωj, k) = µωj 1− k−1 X l=1 d(ωj, l) ! . La quantit´e 1− k−1 X l=1
d(ωj, l) est la probabilit´e que le temps de s´ejour dans l’´etat ωj soit sup´erieur
ou ´egal `a k. Par ailleurs, soit Vj la variable al´eatoire de densit´e d(ωj, .), on a alors :
µsemi(ωj) = µωj +∞ X k=1 P(Vj ≥ k) , Remarquant que +∞ X k=1
P(Vj ≥ k) = E(Vj), on a finalement la proposition suivante :
Proposition 3.3.3. Soit la chaˆıne de Markov (X, U) dont la loi est d´efinie par (3.3), (3.4), (3.5) et (3.6). Si (X, U) admet une mesure invariante µ, alors la chaˆıne immerg´ee de la chaˆıne semi-markovienne X admet une mesure invariante ˜µ donn´ee par :
˜
µ(x) = µ(x, 1) pour tout x ∈ X . D´efinissons la mesure de probabilit´e πsemi
par : πsemi(x)∝ ˜µ(x)E(Vx) pour tout x∈ X ,
o`u Vxest une variable al´eatoire de densit´e u∈ N∗ → d(x, u). Si la loi de X1 a pour distribution
πsemi
, alors la chaˆıne semi-markovienne est stationnaire.
Exemple 3.3.1. Supposons que la chaˆıne semi-markovienne X prenne deux valeurs ω1 et
ω2 et supposons que (X, U) admette une mesure invariante. La chaˆıne immerg´ee est alors de
matrice de transition
0 1 1 0
et donc toute mesure invariante ˜µ de la chaˆıne immerg´ee ˜X satisfait ˜µ(ω1) = ˜µ(ω2). Notons λj le temps de s´ejour moyen dans l’´etat ωj, la probabilit´e
πsemi d´efinie par :
πsemi(ω1) = λ1 λ1+ λ2 πsemi(ω2) = λ2 λ1+ λ2 ,
48 Chaˆınes semi-markoviennes cach´ees M-stationnaires