Universit´e de Nantes S´egolen Geffray L3 - Module S32M130 segolen.geffray@univ-nantes.fr Ann´ee 2008/2009
TD 2 : Les chaines de Markov homog`enes Exercice 1.
Soit (Xn)n≥0 la chaine de Markov homog`ene `a espace d’´etatsE ={0,1}de matrice de transition P =
1−α α β 1−β
pour 0< α, β <1.
1. Calculer P[X1 = 0|X0 = 0, X2 = 0] et P[X1 6=X2] en fonction de α, β et de la loi initiale de la chaine.
2. Tracer le graphe des ´etats associ´e `a P et d´eterminer la nature des diff´erents ´etats.
3. D´eterminer la matrice de transition en n pas, not´eeP(n). En d´eduire lim
n→∞P(n).
4. Montrer qu’il existe une unique loi stationnaire not´ee π puis d´eterminer son expression.
5. On suppose d´esormais que la loi initiale estπ. D´eterminerE[Xn], Var(Xn) puis Cov(Xn, Xn+1).
Les variables Xn etXn+1 sont-elles ind´ependantes pour n = 0,1, ...? 6. On pose Sn =
n
X
k=1
Xk. Calculer E[Sn] et Var(Sn). En d´eduire que (Sn/n) converge en pro- babilit´e lorsque n tend vers ∞.
Exercice 2.
Soit (Xn)n≥0 la chaine de Markov homog`ene `a espace d’´etats E = {1,2,3,4} de matrice de
transition P =
0 1 0 0
1/2 0 1/4 1/4
1/2 1/2 0 0
0 0 1 0
.
1. Tracer le graphe des ´etats associ´e `a P et d´eterminer la nature des diff´erents ´etats.
2. Montrer qu’il existe une unique loi stationnaire not´ee π puis d´eterminer son expression.
3. D´eterminer les limites presque-sˆures de 1 n
n−1
X
k=0
Xk et de 1 n
n−1
X
k=0
Xk2. Exercice 3.
Soit (Xn)n≥0 la chaine de Markov homog`ene `a espace d’´etats E = {1,2, ...,10} de matrice de
transition P =
1/2 0 1/2 0 0 0 0 0 0 0
0 1/3 0 0 0 0 2/3 0 0 0
1 0 0 0 0 0 0 0 0 0
0 0 0 0 1 0 0 0 0 0
0 0 0 1/3 1/3 0 0 0 1/3 0
0 0 0 0 0 1 0 0 0 0
0 0 0 0 0 0 1/4 0 3/4 0
0 0 1/4 1/4 0 0 0 1/4 0 1/4
0 1 0 0 0 0 0 0 0 0
0 1/3 0 0 1/3 0 0 0 0 1/3
.
1. Tracer le graphe des ´etats associ´e `a P et d´eterminer la nature des diff´erents ´etats.
2. Montrer qu’il existe une infinit´e de lois invariantes.
Exercice 4.
Soit (Xn)n≥0 la chaine de Markov homog`ene `a espace d’´etats E = {1,2,3} de matrice de transition P =
0 1 0
0 1/2 1/2 1/2 0 1/2
.
1. Tracer le graphe des ´etats associ´e `a P et d´eterminer la nature des diff´erents ´etats.
2. Montrer qu’il existe une unique loi stationnaire not´ee π puis d´eterminer son expression.
3. D´eterminer pn1,1 et calculer sa limite lorsque n tend vers ∞. En d´eduire que la chaine est ap´eriodique puis d´eterminer lim
n→∞p(n)i,j pour tous ´etats i et j deE.
Exercice 5.
Soit (Xn)n≥0 la chaine de Markov homog`ene `a espace d’´etatsE ={1,2,3,4,5,6}de matrice de
transitionP dont les termes hors-diagonaux sont donn´es par :P =
. 1/2 0 0 0 0
1/3 . 0 0 0 0
0 0 . 0 7/8 0
1/4 1/4 0 . 1/4 1/4
0 0 3/4 0 . 0
0 1/5 0 1/5 1/5 .
.
1. D´eterminer les termes diagonaux de P.
2. Tracer le graphe des ´etats associ´e `a P et d´eterminer la nature des diff´erents ´etats.
3. On pose T = inf{n ≥0 : Xn ∈ {1,2}} et, pour i dans E, on pose ρi =P[T <∞|X0 = i].
D´eterminer la valeur de ρi pouri= 1,2,3,5 et, pour i= 4,6, montrer que 0< ρi <1.
4. Pour i= 4,6, ´etablir la formule ρi =X
j∈E
pi,jρj. En d´eduire la valeur de ρ4 etρ6.
5. On pose T0 = inf{n ≥ 0 : Xn ∈ {3,5}}. D´eduire de ce qui pr´ec`ede P[T0 < ∞|X0 = 4] et P[T0 <∞|X0 = 6].
6. Montrer que la chaine admet une infinit´e de lois invariantes.
7. D´eterminer la fr´equence limite du nombre de passages dans l’´etat 1.
