OG Rouge Ecole Centrale Marseille Année 2008-2009
Processus markoviens de sauts TD
Exercice 1 Soit {Tn,n ∈ N} un processus ponctuel de Poisson d’intensité λ, et (Zn)n∈N une chaîne de Markov indépendante de{Tn,n∈N} à valeurs dans E, de matrice de transitionP. On pose
Xt=X
n≥0
Zn 1I[Tn;Tn+1[(t), t≥0.
1. Montrer que{Xt, t≥0} est un processus markovien de sauts.
2. Déterminer ses matrices de transition et le générateur infinitésimal associé.
3. Déterminer la loi de l’instant du premier saut.
Exercice 2 Soit{Xt, t≥0} un processus markovien de sauts à valeurs dansE de semi-groupe de transition{P(t), t≥0}et de générateur infinitésimalQ. Montrer que dans le cas|E|<∞,
δ
δtP(t) =QP(t), et de la même manière
δ
δtP(t) =P(t)Q.
On les appelle équations de Kolmogorov.
Exercice 3 SoitP la matrice markovienne définie par
P=
p 1−p 0 0
0 0 p 1−p
p 1−p 0 0
0 0 p 1−p
.
On considère le générateur infinitésimalQ=P−Idu processus markovien de saut{Xt,t≥0}.
1. Déterminer la matriceP0 de transition de la chaîne incluse.
2. Décrire les trajectoires du processus{Xt,t≥0}, en précisant pour chaque état les paramètres des lois exponentielles des temps de séjour.
3. Montrer que(Xt)est irréductible, récurrente positive. Déterminer sa probabilité invariante.
4. Déterminer la probabilité invariante de la chaîne incluse.
1
Exercice 4 Soit0< p, q <1 tels quep+q= 1. Soit (Xn)n∈N une chaîne de Markov à valeurs dansE=Nde matrice de transition
P=
q p 0 0 ...
q 0 p 0 ...
0 q 0 p ...
0 0 q 0 p..
... ... ... ... . ..
.
Soit{Xt,t≥0}le processus markovien de sauts à valeur dansE=Nde générateur infinitésimal
Q=
−p p 0 0 ...
q −1 p 0 ...
0 q −1 p ...
0 0 q −1 p..
... ... ... ... . ..
.
1. La chaîne(Xn)n∈Nest-elle la chaîne incluse du processus (Xt)?
2. Montrer que les deux processus sont irréductibles.
3. Montrer que toute mesure invariante de(Xn)est une mesure invariante de(Xt)et vice-versa.
4. Montrer que les deux chaînes sont transitoires lorsquep > q(comparer à la marche aléatoire surZ, qui est transitoire pourp=q).
5. Montrer que les deux chaînes sont récurrentes dans le casp=q. Déterminer dans ce cas une mesure invariante de masse infinie, et en déduire que le processus est récurrent nul.
6. On se place maintenant dans le casp < q. On poseλ=p/q. En remarquant queq−1(λ−p) = λ2, montrer qu’il existe une probabilité géométrique (i.e. de la forme (πk =αk(1−α), k∈N) invariante pour les deux chaînes.
7. On modifie le générateurQen multipliantpetqpar une constante c >0. Montrer que ni la nature de la chaîne (récurrente nulle, récurrente positive, transitoire), ni l’éventuelle mesure invariante n’est modifiée. Qu’est-ce qui est modifié dans le processus ?
8. On se place dans le casp < q. On considère le processus markovien de sauts{Yt, t≥0} de générateur infinitésimalQ0 défini par
Q=
−p p 0 0 ...
λq −λ λp 0 ...
0 λ2q −λ2 λ2p ...
0 0 λ3q −λ3 λ3p..
... ... ... ... . ..
,
oùλ= pq.
Comparer les chaînes incluses de{Xt, t≥0} et {Yt, t≥0}. Vérifier que{πx= 1, x∈N} est mesure invariante, et en déduire que{Yt, t≥0}est récurrente nulle. Expliquer pourquoi(Yt) met en moyenne plus de temps que(Xt)pour revenir àx, en partant dex.
2
