Université Paris 13, Institut Galilée MACS 2 & M1 Probabilités Année universitaire 20172018
Examen partiel du 23 octobre 2017
Durée : 3 heures
Aucun document ou appareil électronique n'est autorisé.
La qualité de la présentation et de la rédaction seront prises en considération.
Exercice 1. On considère une chaîne de Markov(Xn)n≥0d'espace d'étatsE={1,2,3,4,5,6,7}et de matrice de transition donnée (partiellement) ci-dessous :
∗ 1/4 1/4 0 0 0 1/4
0 0 1/2 0 0 1/4 1/4
0 1/3 0 2/3 0 0 0
0 0 0 1/2 0 1/2 0
0 0 0 ∗ 0 0 0
0 0 0 1/4 3/4 0 0
0 0 0 0 0 0 1
1. Quels sont les deux coecients manquants (notés par ∗ ) ?
2. Représenter le graphe de cette chaîne de Markov (on disposera les états en cercle, dans le sens des aiguilles d'une montre, et on n'écrira pas la valeur des probabilités sur le schéma).
3. À l'aide du graphe, calculerP1(X2= 4)et P1(X2= 3).
4. Déterminer les classes de communication et les mettre en évidence sur le schéma, puis donner la nature des états, c'est-à-dire, s'ils sont récurrents ou transients. Ne pas justier les classes, mais justier leur nature.
5. Calculer, pour chaque classe récurrente, les probabilités d'absorption par cette classe selon l'état initial de la chaîne de Markov.
6. On suppose queX0= 4p.s.. Justier queXest alors une chaîne de Markov irréductible sur un espace d'états Ee⊂E à préciser, et donner sa matrice de transitionPe. Calculer sa probabilité invariante, et sa période.
7. En déduire lim
n→∞P4(Xn = 5), puis que la suite 1nPn
k=1Xk converge presque sûrement vers une limite à préciser, sousP4et sousP7. Que dire de cette limite sousP1?
8. On noteRl'ensemble des états récurrents, etT(=TR) = inf{n≥0|Xn ∈ R}le temps d'atteinte deR. Pour tout étatx∈E, on notegx la fonction génératrice deT sousPx:
pour touts∈[−1,1], gx(s) =Ex[sT] =
∞
X
n=0
Px(T =n)sn Les question a),b),c) portent sur une chaîne de Markov quelconque.
8.a) Pourx∈ R, que vautgx(s)pour touts?
8.b) Justier que, pourx∈E\ R, on a,Px-presque sûrement,T = 1 +T◦θ1, oùθest l'opérateur de décalage.
8.c) Soitxun état transient. Montrer que, pour tout s∈[−1,1], gx(s) =sX
y∈R
P(x, y) +s X
y∈E\R
P(x, y)gy(s).
8.d) Dans l'exemple précédent, en déduiregx(s)pour l'un des états transients (n'importe lequel).
NB. En développantgx(s) en série entière, on a ainsi une méthode générale de calcul de la loi deT sousPx.
Exercice 2. Sur une route, en moyenne, trois camions sur quatre sont suivis par une voiture, tandis que seule une voiture sur cinq est suivie par un camion.
En utilisant un modèle avec une chaîne de Markov à deux états (que l'on pourra noter `V' et `C'), et en l'étudiant, déterminer les proportions de voitures et de camions sur cette route.
1
Exercice 3. Soit(Xn)n≥0une chaîne de Markov sur un espaceE, de matrice de transitionP, que l'on suppose irréductible, récurrente positive, de probabilité invariante notéeπ. On dénitQ= (Q(x, y))x,y∈E par :
pour tousx, y∈E, Q(x, y) = π(y)P(y, x) π(x) . 1. Vérier queQest une matrice stochastique.
2. On veut montrer queQest irréductible.
2.a) Démontrer, par récurrence surn, que, pour toutn≥1, pour tousx, y∈E,Qn(x, y) = π(y)π(x)Pn(y, x). 2.b) Conclure.
3. Trouver une relation entre la fonction de Green deQet celle deP, et en déduire que Qest récurrente.
4. Vérier queπest une probabilité invariante pourQaussi.
5. On donne maintenant une interprétation de la matrice Q. Soit N ∈N. On considère la suite retournée à partir du tempsN :Yn=XN−n pour 0≤n≤N, autrement dit
Y0=XN, Y1=XN−1, . . . , YN =X0.
5.a) Pour y0, . . . , yN ∈E, exprimerPπ(Y0=y0, . . . , YN =yN)en fonction de πet P, puis en fonction de πet Q.
5.b) En déduire que, sousPπ, la suite(Yn)0≤n≤N est une chaîne de Markov (restreinte à un intervalle de temps ni) de loi initialeπet de matriceQ.
5.c) Application. SoitA⊂E un ensemble d'états. On rappelle que l'on noteτA= inf{n≥1|Xn∈A}le temps de retour dansA. Montrer, pour toutN ≥1, les deux égalités
Pπ(τA≥N|X0∈A) = 1
π(A)Pπ(τAY =N) = 1
π(A)Qπ(τA=N),
oùτAY = inf{1≤n≤N|Yn∈A} est le temps d'atteinte deA par la suiteY de la question précédente, etQπ
est une probabilité sous laquelle(Xn)n≥0est une chaîne de Markov de loi initialeπet de matriceQ. En déduire que
Eπ(τA|X0∈A) = 1 π(A). Ce résultat généralise la formule Ex(τx) = π(x)1 vue en cours.
Exercice 4. On montre d'abord une propriété générale, avant de l'appliquer à un exemple.
1. Soit (Xn)n≥0 une chaîne de Markov sur un espace d'états E. On suppose qu'il existe une mesure µ sur E telle que, pour tousx, y∈E,
µ(x)P(x, y) =µ(y)P(y, x).
Montrer queµest une mesure invariante.
2. On considère la chaîne de Markov(Xn)n≥0à valeurs dansN∗dont la matrice de transitionPest donnée par : pour toutk≥1, P(k, k+ 1) = 1
k = 1−P(k, k−1).
En particulier, on notera queP(1,2) = 1.
2.a) Cette chaîne de Markov est-elle irréductible ? Quelle est sa période ? (On pourra dessiner son graphe) 2.b) Déterminer une mesure stationnaireµ(non nulle), à l'aide de la question 1.
Pour faire la suite, on pourra admettre que la mesure suivante est invariante : pour toutk≥1, µ(k) = k
(k−1)!. 2.c) En déduire que la chaîne(Xn)n est récurrente.
3. On considère à nouveau la chaîne de Markov de la question 2. SoitLun entier≥2. Pour toutk∈ {1, . . . , L}, on notef(k)la probabilité, partant dek, que la chaîne visiteLavant1 :
f(k) =Pk(TL< T1).
3.a) Décomposer cette probabilité selon la valeur deX1et en déduire une relation entref(k),f(k+1)etf(k−1) pour toutk∈ {2, . . . , L−1}.
3.b) Donner la valeur du quotient f(k+1)−f(k)
f(k)−f(k−1), puis la valeur def(k+ 1)−f(k)en fonction def(2)−f(1). En déduiref(k)en fonction def(2)−f(1), et à l'aide de la valeur def(1) etf(L)trouverf(k).
3.c) On note maintenantfL(k) =f(k)pour étudier la dépendance enL. Justier queP2(T1<∞) = limL→∞fL(2) et donner cette limite. En déduireP1(τ1<∞): que retrouve-t-on ?
2
