Université Paris 13, Institut Galilée MACS 2 – Probabilités Année universitaire 2011-2012
Fiche 2 – Chaînes de Markov
Définition, modélisation
Exercice 1 – Formalisme matriciel. Soit(Xn)n≥0 une chaîne de Markov surE={x1, x2, . . . , xN}, de loi initialeν et de matrice de transitionP, etf :E→Rbornée.
1. En termes matriciels, comment s’exprime la loi deX1? deXn?Assimiler les lois à des vecteurs-lignes 2. En termes matriciels, comment s’exprimeEν[f(X0)]?Eν[f(Xn)]?Assimilerf à un vecteur-colonne Exercice 2. Une unité de production comprend 2 machines automatiques qui fonctionnent indépen- damment l’une de l’autre. Chaque machine a une probabilité1−pde tomber en panne au cours d’une journée. Dans ce cas, elle sera réparée pendant la nuit et sera à nouveau en état de marche le lendemain.
Une seule machine peut être réparée à la fois. On noteXn le nombre de machines en panne au début de lan-ème journée. Expliciter la modélisation deXn par une chaîne de Markov.
Exercice 3 – Météo. On considère une chaîne de Markov dont les états sont : – x1= (1,1): il a plu hier et aujourd’hui
– x2= (0,1): il n’a pas plu hier et il a plu aujourd’hui – x3= (1,0): il a plu hier et il n’a pas plu aujourd’hui – x4= (0,0): il n’a plu ni hier ni aujourd’hui.
On sait par ailleurs (à partir d’observations) que :
– l’étatx1implique qu’il pleuvra demain avec une probabilité égale à0.7; – l’étatx2implique qu’il pleuvra demain avec une probabilité égale à0.5; – l’étatx3implique qu’il pleuvra demain avec une probabilité égale à0.4; – l’étatx4implique qu’il pleuvra demain avec une probabilité égale à0.2.
1. Explicitez la matrice de transitionP de la chaîne de Markov.
2. On suppose queX0est l’état du lundi et du mardi. Compléter la phrase suivante :
Px1(X2=x2)est la probabilité pour qu’il pleuve le et qu’il ne pleuve pas le sachant qu’il a plu le et le (de la même semaine)
3. CalculerPx1(X2=x1)etPx1(X2=x2)et en déduire la probabilité pour qu’il pleuve le jeudi.
Exercice 4 – Chaîne à deux états. Pourp, q∈[0,1], on considère la chaîne sur{0,1} de matrice de transition
Q=
1−p p q 1−q
. 1. Montrer que, sip+q >0, alors, pour toutn∈N,
Qn= 1 p+q
q p q p
+(1−(p+q))n p+q
p −p
−q q
.
2. En déduirelimnQn.
3. On supposeP(X0= 1) =α. CalculerP(X0= 1|X1= 1).
Classification des états, récurrence et transience, absorption
Exercice 5. Soit une chaîne de Markov surE={0,1,2} telle que P0(X1= 0) =P0(X1= 1) = 13 P1(X1= 0) =P1(X1= 2) = 12
P2(X1= 2) = 1.
1. Donner le schéma de la matrice de transition de la chaîne. Classifier les états.
2. Déterminer la loi du tempsτ0= inf{n≥1|Xn= 0}, partant de 0, 1 et 2.
Exercice 6 – Probabilités d’absorption. Soit (Xn)n une chaîne de Markov d’espace d’états E, de matrice de transitionP. On noteC1, . . . les classes récurrentes de la chaîne etT l’ensemble de ses états transients. On pose
qi(x) =Px(TCi<∞) la probabilité d’absorption par la classeCi en partant de l’état x∈E.
Montrer queqi est solution du système qi(x) =X
y∈Ci
P(x, y) +X
z∈T
P(x, z)qi(z), x∈E.
Exercice 7. Pour les chaînes des Markov suivantes, donner une classification des états. Calculer le cas échéant les probabilités d’absorption.
1.E={0,1,2} et
Q=
1/2 1/2 0 1/3 1/3 1/3 1/3 0 2/3
2.E={0,1,2,3}et
Q=
1/2 0 1/2 0
1/2 0 0 1/2
1/2 0 1/2 0
0 1/2 0 1/2
3.E={0,1,2,3} et
Q=
1/4 1/4 1/4 1/4 0 1/4 3/4 0 0 1/2 1/2 0 1/4 0 1/4 1/2
4.E={0,1,2,3,4,5} et
Q=
1/4 1/4 0 1/4 0 1/4
0 1/2 1/2 0 0 0
0 1/2 0 1/2 0 0
0 0 1/2 1/2 0 0
0 0 0 0 1/2 1/2
0 0 0 0 1 0
Exercice 8. Soit(Xn)n une chaîne de Markov surE={0,1,2,3,4,5}de matrice de transition
P =
0.5 0.5 0 0 0 0
0.3 0.7 0 0 0 0
0 0 0.1 0 0.9 0
0.25 0.25 0 0 0.5 0
0 0 0.7 0 0.3 0
0 0.2 0 0.2 0.2 0.4
.
1. Classifier les états.
2. Déterminer la probabilité d’absorption dans les diverses classes récurrentes si la chaîne part d’un état transient.
3. Si la chaîne démarre en 0, quelle est la probabilité pour que le nombre de visites à 1 soit infini ? 4. Même question si la chaîne démarre en 5.
Exercice 9 –Lancers de dés. On considère les jets successifs d’un dé non biaisé. On noteXnla valeur maximale observée sur le dé entre les temps 1 etn.
1. Montrer que(Xn)n≥1 est une chaîne de Markov.
2. Quelle est sa matrice de transition ?
3. On suppose queX1=i, aveci6= 6. Déterminer le temps moyen d’absorption dans l’état 6.Comment obtenir le résultat sans calcul, ou presque ?
Exercice 10 – Défauts de fabrication. La fabrication d’une pièce nécessite trois étapes successives, notées 1,2 et 3. Après chaque étape i, elle est testée et, selon qu’elle est jugée bonne (probabilité pi), légèrement défectueuse (probabilitéqi) ou irrécupérable (probabilitéri), elle passe à l’étapei+ 1(l’état 4 représentant celui de la pièce achevée), repasse l’étape iou est jetée (état 5). On supposepi, qi, ri >0 et bien entendupi+qi+ri= 1.
1. On noteXnl’état d’une pièce au tempsn. Montrer que(Xn)n est une chaîne de Markov et déterminer sa matrice de transition.
Exercice 11 –Marche aléatoire sur Nabsorbée en0. Étant donnée une suite de réels(pi)i≥1dans ]0,1[, on définit une chaîne de Markov(Xn)n surN de probabilités de transition données par la figure suivante :
1
pi
1−pi
0 1 i−1 i i+ 1
1. Classer les états. Quels comportements asymptotiques peut-on imaginer pourXn? 2. Si on avaitp(0,1)>0, pourrait-on faire la classification sans connaître lespi?
Probabilité invariante, périodicité, théorèmes limites
Exercice 12. On considère surE={0,1,2} la chaîne de Markov de matrice de transition
Q=
1/3 0 2/3 1/2 0 1/2 0 1/2 1/2
.
Décrire la nature de la chaîne. Existe-t-il une probabilité invariante ? Que vautlimnQn(1,1)?
Exercice 13. Pour les chaînes de Markov suivantes, montrer qu’elles sont récurrentes irréductibles et déterminer leur période.
1.E={0,1,2} et
Q=
0 0 1
1 0 0
1/2 1/2 0
2.E={0,1,2,3,4} et
Q=
0 1/3 2/3 0 0
0 0 0 1/4 3/4
0 0 0 1/4 3/4
1 0 0 0 0
1 0 0 0 0
Exercice 14 – Météo (suite). On reprend l’énoncé de l’exercice 3.
1. Montrer que la chaîne est irréductible et apériodique. Calculer la probabilité stationnaire de cette chaîne.
2. Quelle est la proportion de journées sans pluie (calculée sur une longue période de temps) ?
Exercice 15. Soitp∈]0,1[. On note(Xn)n la chaîne de Markov homogène surNdéfinie par : pour tout k∈N,
P(X1=k+ 1|X0=k) =p= 1−P(X1= 0|X0=k).
1. Calculer la loi du temps de retourτ0sousP0. 2. Montrer que la chaîne est récurrente irréductible.
3. Montrer qu’il existe une unique probabilité invariante pour cette chaîne et la calculer.
Exercice 16. On considère la chaîne de Markov d’espace d’étatsE={1,2,3,4}de matrice de transition
P =
0 1 0 0
1
2 0 14 14
1 2
1
2 0 0
0 0 1 0
.
1. Montrer qu’elle est irréductible et récurrente.
2. Quelle est sa probabilité invariante ? 3. Quelles sont les limites p.s. de 1nPn−1
k=0Xk et n1Pn−1
k=0Xk2 lorsquen→ ∞?
Exercice 17. Soit(Xn)n≥0 une chaîne de Markov surNde matrice de transitionP donnée par P(x, x+ 1) =p P(x, x−1) =q six∈N∗
P(0,0) =α P(0,1) = 1−α.
oùp+q= 1et 0< p <1,0≤α≤1.
1. Spécifier la ou les classes de communication. Étudier la périodicité des états.
On suppose α <1.
2. Démontrer par le calcul l’existence d’une mesure invarianteν. Étudier suivant la valeur deple problème d’existence et d’unicité d’une probabilité invariante et la calculer le cas échéant. En déduire, pourp < q, la nature des points de N(récurrents,. . . ) et donner, pour toutx∈N, la valeur E[τx] du temps moyen de retour àx.
3. Dans le cas où p ≥ q étudier la nature des points de N, et si p > q calculer pour tout x ∈ N∗ la probabilitéf(x) =Px(τ0=∞).Trouver une relation de récurrence pour f, et vérifier quef →1en ∞ 4. Dans le cas où p < q, justifier la convergence presque-sûre sous Px de la suite de terme général
1 n
Pn
i=1exp(−aXi)poura >0 quelconque.
On suppose α= 1.
5. CalculerP0(τ0<∞)etE0[τ0]. En déduire la nature du point 0.
6. Calculer, pour toutx∈N∗, la probabilitéPx(τ0<∞). Déterminer la nature des points de N∗. 7. Étudier la convergence de la suite de terme généralPn(x, y)et préciser, s’il y a lieu, sa limite, lorsque x∈Nety∈N∗, puis lorsquex∈N∗ et y= 0.
Exercice 18 – Examen 2008. Soientα6=β des réels. On considère une chaîne de Markov (Zn)n≥0 à valeurs dansE={α, β} ×N, dont la matrice de transition a pour termes non nuls, pourn≥0,
P((α, n),(β,0)) =an, P((α, n),(α, n+ 1)) = 1−an
P((β, n),(α,0)) =bn, P((β, n),(β, n+ 1)) = 1−bn
avec0< an<1 et0< bn<1pour toutn∈N. On définitu0=v0= 1, et pourn≥1
un=
n−1
Y
i=0
(1−ai) vn=
n−1
Y
i=0
(1−bi).
1. Montrer que(Zn)n est irréductible. Quelle est sa période ?
2. (Cette question est indépendante des autres) On poseZn= (Xn, Yn). Calculer P(X2=β|X1=β, X0=α) et P(X2=β|X1=β, X0=β).
Est-ce que, en général,(Xn)n est une chaîne de Markov ?
3. Pourx∈ {α, β}, on définitT(x,n)= inf{k≥1|Zk= (x, n)}, avec la conventioninf∅=∞. Montrer que P(α,0)(T(β,0)=∞) =u∞ et P(β,0)(T(α,0)=∞) =v∞.
4. Montrer que
P(α,0)(T(α,0)<∞) =
∞
X
n=1
P(α,0)
T(β,0)=net
(Zn+k)k≥1 rencontre(α,0)en un temps fini
.
En déduire que
P(α,0)(T(α,0)<∞) =P(α,0)(T(β,0)<∞)P(β,0)(T(α,0)<∞).
5. (Utiliser les questions 3 et 4) Donner une condition nécéssaire et suffisante portant sur(an)n et(bn)n
pour que la chaîne de Markov(Zn)n soit récurrente.
6. Vérifier que a0+P∞
n=1anun = 1−u∞. Supposons la chaîne (Zn)n récurrente. Trouver une mesure invariante pour(Zn)n.
Exercice 19 –Mesure réversible. SoitX= (Xn)n≥0une chaîne de Markov sur un espace d’étatsE.
On suppose qu’il existe une mesureπtelle que, pour tousx, y∈E, π(x)p(x, y) =π(y)p(y, x).
πest appelée unemesure réversible pourX. Montrer queπest une mesure invariante pourX.
Exercice 20 –Urne d’Ehrenfest. Dans deux urnes on répartit un total deN boules. À chaque instant n≥0, on tire une boule au hasard, uniformément parmi lesN boules, et on la dépose dans l’urne opposée.
1. On noteXn le nombre de boules dans la première urne avant len-ième tirage. Montrer que(Xn)n est une chaîne de Markov surE={0, . . . , N} et donner sa matrice de transition.
2. Déterminer les éventuelles mesures réversibles pour la chaîne de Markov. Quelle est la loi invariante pour(Xn)n?
3. Calculer la période de la chaîne. Que pouvez-vous dire de la limite en loi de(Xn)n≥0?
Exercice 21 – Retournement du temps. Soit(Xn)n≥0 une chaîne de Markov surE, de matrice de transitionP.
1. Soit n≥1, A∈ σ(X0, . . . , Xn−1)et B ∈σ(Xn+1, Xn+2, . . .)(A est un événement ne dépendant que deX0, . . . , Xn−1, etB de dépend que deXn+1, . . .). Montrer l’égalité suivante :
P(A|Xn=i, B) =P(A|Xn=i) pour touti∈E tel queP(Xn=i, B)>0.
2. SoitN ∈N∗. Montrer que (Yn)0≤n≤N définie par Yn =XN−n est une chaîne de Markov (non néces- sairement homogène).
3. Montrer que, pour0≤n≤N−1,
P(Yn+1=j|Yn=i) =P(j, i)P(Yn+1=j) P(Yn=i) . Montrer sur un exemple que(Yn)n n’est pas homogène en général.
4. On suppose que(Xn)n est stationnaire de loiπ(c’est-à-dire que πest une probabilité stationnaire et que c’est la loi initiale). Montrer que(Yn)0≤n≤N est homogène, déterminer sa matrice de transition et sa loi stationnaire.
5. Que peut-on dire si la chaîneX est réversible (cf. exercice 19) ?
