1 Propri´ et´ e de Markov forte

(1)

Universit´e de Bordeaux

Master 2 2014/15

Compl´ ements sur les processus markoviens de saut

Tous les résultats et preuves présents dans ce polycopié sont adaptés de [1] et [2].

1 Propri´ et´ e de Markov forte

Propriété 1.1 (Propriété de Markov forte) Soit τ un temps d’arrêt pour le processus markovien de saut (X_t)_t>0. Alors conditionnellement à (τ < +∞) et (X_τ =x), le processus (Y_t=X_τ+t)_t>0 est indépendant de F_τ^X et de même loi que (X_t)_t>0 sachant X₀ =x.

Preuve. On commence par montrer le résultat pour un temps d’arrêt constant τ =s. pour tous 06s₁ < s₂ < ... < s_k < s, 0< t₁ < ... < t_l etx, x₁, ..., x_k, y₁, ..., y_k dans l’espace d’états E, on a

P(Y_t₁ =y₁, ..., Y_t_l =y_l|X_s₁ =x₁, ..., X_s_k =x_k, X_s =x)

= P(X_s₁ =x₁, ..., X_s_k =x_k, X_s=x, X_t₁_+s =y₁, ..., X_t_l_+s=y_l) P(X_s₁ =x₁, ..., X_s_k =x_k, X_s =x)

= P_x₁_x₂(s₂−s₁)...P_x_k_x(s−t_k)P_xy₁(t_l+s−s)...P_y_l−1_y_l(t_k+s−tk−1−s) P_x₁_x₂(s₂−s₁)...P_x_k_x(s−t_k)

=Pxy1(tl)...Pyl−1y_l(tk−tk−1)

=P(X_t₁ =y₁, ..., X_t_l =y_l|X₀ =x).

Passons maintenant au cas où τ prend ses valeurs dans une suite croissante (s_j)_j>1 de réels positifs. Commeτ est un temps d’arrêt, on a

(τ =sj) = (τ 6sj)∩(τ 6sj−1)∈ F_s^X_j.

Soit A ∈ F_τ^X, 0 < t1 < ... < tl et x1, ..., xl dans E. En utilisant le résultat précédent on obtient

P(A∩

l

\

k=1

(Y_t_k =x_k)|X_τ=x)

=

∞

X

j=1

P((τ =s_j)∩A∩

l

\

k=1

(X_t_k_+s_j =x_k)|X_s_j =x)

=

∞

X

j=1

P((τ =s_j)∩A|X_s_j =x)P(

l

\

k=1

(X_t_k =x_k)|X₀ =x)

=P(A)P(

l

\

k=1

(X_t_k =x_k)|X₀ =x).

(2)

Pour le cas général, on rappelle que tout temps d’arrêt peut être approché par une suite décroissante de temps d’arrêts à valeurs dans une suite croissante

τ_n=

∞

X

k=0

k 2ⁿ1^k−1

2n <τ₂^k_n,

de sorte que τ 6 τ_n et τ_n tend vers τ lorsque n tend vers l’infini. On utilise le résultat précédent et la continuité à droite des trajectoires de X pour obtenir le résultat. ut

2 Equation de Kolmogorov r´ ´ etrograde et progressive

Soit E un espace d’état dénombrable (pas nécessairement fini).

Théorème 2.1 (Équation de Kolmogorov rétrograde) Pour tousx, y dansE, la fonction t7→Pxy(t) est dérivable et P_xy⁰ (t) = (QP(t))xy.

Preuve. Conditionnellement `aX₀ =x on a T₁ ∼ E(q_x), donc

P(X_t=y, t < T₁|X₀ =x) = P(t < T₁|X₀ =x)δ_xy =e^−q^x^tδ_xy.

On note R la loi conditionnelle de (Z₁, T₁) sachant X₀ =Z₀ : pour tous x, y dans E et tout bor´elien B de R on pose

R(x;y, B) =P(Z₁ =y, T₁ ∈B|Z₀ =x).

On sait que, conditionnellement `a Z₀ = x, T₁ et Z₁ sont ind´ependantes, T₁ ∼ E(q_x) et Z₁ ∼(Q_xy/q_x, x6=y), donc

R(x;y, B) =1^x6=yQ_xy qx

Z

B

q_xe^−q^x^tdt.

Enfin on note π la loi conditionnelle de X_t sachant (Z₁, T₁, X₀) : pour toutx, y, z dans E et tout s>0,

π(z, s, x;y) = P(X_t =y|X_T₁ =z, T₁ =s, X₀ =x).

D’après la propriété de Markov, on a

π(z, s, x;y) = δ_xy1s>t+P(X_t=y|X_s=z)1s6t

= δ_xy1s>t+P_zy(t−s)1s6t. On en d´eduit donc que

P(t >T₁, X_T₁ =z, X_t=y|X₀ =x)

= Z t

0

P(Xt=y|X0 =x, Xs =z, T1 =s)P(Z1 =z, T1 ∈ds|Z0 =x)

= Z t

0

π(z, s, x;y)R(x;z, ds)

= Z t

0

P_zy(t−s)Q_xz

q_x q_xe^−q^x^sds.

(3)

Ainsi, on arrive `a r´eexprimer P_xy(t) de la fa¸con suivante P_xy(t) = P(X_t=y, t < T₁|X₀ =x) +X

z6=x

P(X_t=y, t>T₁, X_T₁ =z|X₀ =x)

= e^−q^x^tδ_xy +X

z6=x

Z t

0

P_zy(t−s)Q_xz qx

q_xe^−q^x^sds

= e^−q^x^tδ_xy +X

z6=x

Z t

0

P_zy(u)Q_xz

q_x q_xe^q^x^(u−t)du,

en faisant le changement de variableu=t−s. En multipliant l’égalité précédente pare^q^x^t et en intervertissant la somme et l’intégrale (les fonctions sont positives donc on peut le faire), on obtient

e^q^x^tP_xy(t) =δ_xy+ Z t

0

X

z6=x

P_zy(u)Q_xz

q_x q_xe^q^x^udu. (1) On en d´eduit directement queP_xy(t) est continue ent pour tous x, y ∈E. De plus

06P_zy(u)Qxz

q_x q_xe^q^x^u 6Q_xze^q^x^t,

orQ_xz est une série convergente (en z, àx fixé) donc d’après le théorème de continuité sous le signe somme, u7→P_zy(u)^Q_q^xz

x q_xe^q^x^u est continue et donc P_xy(t) est de classeC¹. De plus e^q^x^t(qxPxy(t) +P_xy⁰ (t)) = X

z6=x

e^q^x^tQxzPzy(t) (2) ce qui implique

P_xy⁰ (t) =Q_xxP_xy(t) +X

z6=x

Q_xzP_zy(t) = X

z∈E

Q_xzP_zy(t).

ut

Théorème 2.2 (Équation de Kolmogorov progressive) Pour tousx, y dansE, la fonction t7→Pxy(t) est dérivable et P_xy⁰ (t) = (P(t)Q)xy.

Pour montrer l’équation de Kolmogorov rétrograde, l’idée était de conditionner par rapport au premier saut du processus. Pour l’équation de Kolmogorov progressive, nous allons conditionner par rapport au dernier saut avantt ce qui entraˆıne quelques difficultés supplé- mentaires par rapport au cas rétrograde. Avant de prouver ce théorème, on commence par prouver le lemme suivant.

Lemme 2.1 On a

qxnP(Tn6t < Tn+1|Z0 =x0, Z1 =x1, ..., Zn=xn)

=q_x₀P(T_n6t < T_n+1|Z₀ =x_n, ..., Zn−1 =x₁, Z_n=x₀).

(4)

Preuve du lemme. Conditionnellement à Z₀ = x₀, ..., Z_n = x_n, les temps d’attente S₁, ..., S_n+1 sont indépendants et S_k ∼ E(q_x_k−1). Ainsi le membre de droite est donné par

Z

δ(t)

q_x_nexp (−q_x_n(t−s₁−...−s_n))

n

Y

k=1

q_x_k−1exp(−q_x_k−1s_k)ds_k

avec ∆(t) = {(s₁, ..., s_n) : s₁ +...+s_n 6 t et s₁, ..., s_n > 0}. En faisant le changement de variableu1 =t−s1−...−sn etuk =sn−k+2 pour k= 2, ..., n, on obtient

q_x_nP(T_n 6t < T_n+1|Z₀ =x₀, Z₁ =x₁, ..., Z_n=x_n)

= Z

δ(t)

q_x₀exp (−q_x_n(t−u₁−...−u_n))

n

Y

k=1

q_x_n−k+1exp(−q_x_n−k+1u_k)du_k

=q_x₀P(T_n6t < T_n+1|Z₀ =x_n, ..., Z_n−1 =x₁, Z_n=x₀).

ut

Preuve du th´eor`eme. On a P_xy(t) =

∞

X

n=0

X

z6=y

P(T_n6t < T_n+1, Zn−1 =z, Z_n=y|Z₀ =x). (3) Or le lemme pr´ec´edent nous donne

P(T_n6t < T_n+1|Z₀ =x, Zn−1 =z, Z_n=y)

= q_x

q_yP(T_n 6t < T_n+1|Z₀ =y, Z₁ =z, Z_n =x).

En utilisant la propri´et´e de Markov, on a P(T_n6t < T_n+1|Z₀ =x, Zn−1 =z, Z_n=y)

= q_x q_y

Z t

0

P(T_n 6t < T_n+1|Z₀ =y, Z₁ =z, Z_n=x, T₁ =s)P(T₁ ∈ds|Z₀ =y, Z₁ =z, Z_n=x)ds

= q_x q_y

Z t

0

P(Tn−s6t−s < Tn+1−s|Xs=z, Zn=x, T1 =s)P(T1 ∈ds|Z0 =y)

= q_x q_y

Z t

0

P(Tn−1 6t−s < T_n|Z₀ =z, Zn−1 =x)q_ye^−q^y^sds.

On r´eapplique alors une nouvelle fois le lemme pour obtenir P(Tn6t < Tn+1|Z0 =x, Zn−1 =z, Zn=y)

=q_x Z t

0

e^−q^y^sq_z

q_xP(Tn−1 6t−s < T_n|Z₀ =x, Zn−1 =z)ds.

(5)

Ainsi, on peut réinjecter la dernière égalité dans (3) ce qui nous donne, en utilisant le théo- rème d’interversion des signes intégrale et somme pour des fonctions positives,

P_xy(t)

= δ_xye^−q^x^t+

∞

X

n=1

X

z6=y

P(T_n 6t < T_n+1|Z₀ =x, Z_n−1 =z, Z_n =y)P(Z_n−1 =z, Z_n =y|Z₀ =x)

= δ_xye^−q^x^t+

∞

X

n=1

X

z6=y

Z t

0

P(Tn−1 6t−s < T_n|Z₀ =x, Zn−1 =z)P(Zn−1 =z, Z_n =y|Z₀ =x)q_ze^−q^y^sds

= δxye^−q^x^t+

∞

X

n=1

X

z6=y

Z t

0

P(Tn−1 6t−s < Tn, Zn−1 =z|Z0 =x)P(Zn =y|Z0 =x, Zn−1 =z)qze^−q^y^sds

= δ_xye^−q^x^t+ Z t

0

X

z6=y

∞

X

n=1

P(Tn−1 6t−s < T_n, Zn−1 =z|Z₀ =x)Q_zye^−q^y^sds

= δ_xye^−q^x^t+ Z t

0

X

z6=y

P_xz(t−s)Q_zye^−q^y^sds.

En multipliant pare^q^y^t et en faisant le changement de variableu=t−s, l’égalité précédente devient

e^q^y^tP_xy(t) = δ_xy+ Z t

0

X

z6=y

P_xz(u)Q_zye^q^yûdu. (4) D’après (2),u7→e^q^xûP_xz(u) est croissante pour tousx, z ∈E. Ainsi,P_xz(u)Q_zy 6P_xz(t)Q_zye^q^x^t pour tous u ∈ [0, t]. De plus P

z6=yP_xz(t)Q_zy <+∞ car sinon P

z6=yP_xz(s)Q_zy = +∞ pour touss>tce qui est contradictoire avec (4). On peut donc appliquer le théorème de continuité sous le signe intégrale pour pouvoir dériver (4) et obtenir

P_xy⁰ (t) +q_yP_xy(t) =X

z6=y

P_xz(t)Q_zy.

ut

3 D´ efinitions ´ equivalentes des processus markoviens de saut

Théorème 3.1 SoitQune matrice vérifiantQ_xy 60pour tousx6=yetQ_xx =P

y6=xQ_xy 6 0. On pose qx =−Qxx et on définit la matrice Π par Πxy =q_x⁻¹Qxy1x6=y si qx >0 et Πxy = 1x=y si q_x = 0. Alors Π est une matrice stochastique. Soit (Z_n)n∈N une chaˆıne de Markov de matrice de transition Π et (N_t)_t>0 un processus de Poisson d’intensité 1 indépendant de (Zn)n∈N dont les instants de sauts sont notés (Vn)n∈N. On pose

S_n= V_n−Vn−1

q_Z_n−1 1q_Zn−16=0+ (+∞)1q_Zn−1=0

pour tout n > 1 et T₀ = 0, T_n = S₁ +...+S_n. Alors, si la condition de non explosion limT_n = +∞ est satisfaite, le processus

X_t=

∞

X

n=0

Z_n1Tn6t<Tn+1

(6)

est un processus markovien de saut de générateur infinitésimal Q.

Preuve. On commence par montrer que la propriété de Markov faible est vérifiée parX.

Lemme 3.1 Conditionnellement à (X_s =x), (X_t+s)_t>0 est indépendant de F_s^X et à même loi que (Xt)t>0 sachant X0 =x.

On d´efinit ˜X_t = X_t+s et on note ( ˜Z_n)_n>0 la suite des valeurs de ( ˜X) et ( ˜S_n)_n>0 les temps d’attente de ( ˜X). On doit montrer que pour tout A ∈ F_s^X, tous x₁, ..., x_n ∈ E et tous s₁, ..., s_n>0, on a

P(( ˜Z₁ =x₁, ...,Z˜_n =x_n,S˜₁ > s₁, ...,S˜_n> s_n)∩A∩(X_s =x))

=P(Z₁ =x₁, ..., Z_n=x_n, S₁ > s₁, ..., S_n > s_n|X₀ =x)P(A∩(X_s =x)). (5) On peut remarquer que

P(( ˜Z₁ =x₁, ...,Z˜_n =x_n,S˜₁ > s₁, ...,S˜_n> s_n)∩A∩(X_s=x))

=

+∞

X

m=0

P(( ˜Z₁ =x₁, ...,Z˜_n=x_n,S˜₁ > s₁, ...,S˜_n > s_n)∩A∩(X_s =x)∩(T_m 6s < T_m+1(6))).

De plus on a, pour tousm∈N,

P(( ˜Z₁ =x₁, ...,Z˜_n =x_n,S˜₁ > s₁, ...,S˜_n> s_n)∩A∩(X_s=x)∩(T_m 6s < T_m+1))

=P((Z_m =x, Z_m+1 =x₁, ..., Z_m+n =x_n, S_m+1 >(s₁+ (s−T_m)), S_m+2 > s₂, ..., S_m+n > s_n)

∩A∩(06s−T_m < S_m+1))

=P((Z_m+1 =x₁, ..., Z_m+n=x_n, S_m+1 >(s₁+ (s−T_m)), S_m+2 > s₂, ..., S_m+n> s_n)|(Z_m =x)

∩A∩(06s−T_m < S_m+1))×P((X_s=x)∩A∩(T_m 6s < T_m+1)). (7) Si on note A_m = A∩(T_m 6 s < T_m+1) alors on peut remplacer A par A_m dans l’équation précédente et Am ∈ σ(Z0, ...., Zm, S1, ..., Sm)). De plus, conditionnellement à Zm =x, Sm+1

est ind´ependante de (Z_m+1, ..., Z_m+n, S_m+2, ..., S_m+n), T_m etA_m. Donc

P((Z_m+1 =x₁, ..., Z_m+n=x_n, S_m+1 >(s₁+ (s−T_m)), S_m+2 > s₂, ..., S_m+n> s_n)|(Z_m =x)

∩A_m∩(06s−T_m < S_m+1))

=P((Z_m+1 =x₁, ..., Z_m+n=x_n, S_m+2 > s₂, ..., S_m+n > s_n)|(Z_m =x)

∩A_m∩(06s−T_m < S_m+1))

×P((S_m+1 >(s₁+ (s−T_m))|(Z_m =x)∩A_m∩(06s−T_m < S_m+1)). (8) En appliquant la propri´et´e de Markov pour la chaˆıne (Z_n)n∈N nous obtenons

P((Z_m+1 =x₁, ..., Z_m+n=x_n, S_m+1 > s₁, ..., S_m+n > s_n)|(Z_m =x)∩A_m∩(06s−T_m < S_m+1))

=P((Z₁ =x₁, ..., Z_n=x_n, S₁ > s₁, ..., S_n> s_n)|(X₀ =x)).

(7)

De plus, d’après la propriété d’absence de mémoire de la loi exponentielle et comme on a toujours queS_m+1 est indépendante de T_m etA_m, on obtient

P((S_m+1 >(s₁+ (s−T_m))|(Z_m =x)∩A_m∩(06s−T_m < S_m+1))

=P((S_m+1 >(s₁+ (s−T_m))|(Z_m=x)∩(06s−T_m < S_m+1))

= Z +∞

0

P((S_m+1 >(s₁+ (s−t))|(Z_m =x)∩(06s−t < S_m+1))f_T_m(t)dt

= Z +∞

0

P(S_m+1 > s₁|Z_m =x)f_T_m(t)dt

=P(S_m+1 > s₁|Z_m =x).

En réinjectant les deux dernières égalités dans (8), puis (7), puis (6), nous obtenons (5) ce qui prouve le lemme.

Il suffit maintenant d’appliquer le lemme pour montrer le théorème : D’après la propriété de Markov du lemme, on a, pour tousn ∈N, 06t0 < t1 < ... < tn< s < t, x0, ..., xn, x, y ∈ E,

P(X_t=y|X_t₀ =x₀, ..., X_t_n =x_n, X_s =x) = P(X_t=y|X_s=x) =P(Xt−s =y|X₀ =x), Donc (X_t)_t>0 est un processus markovien de saut homogène. On note ˜Q son générateur infinitésimal. Pour conclure il faut montrer que le générateur infinitésimal de X est donné par Q. Si Q_xx 6= 0, on sait que, conditionnellement à (X₀ =x), le premier temps de saut T₁ suit une loi E(−Q˜_xx) et la position après le premier saut Z₁ a pour loi (−Q˜_xy/Q˜_xx, y 6= x).

Or, par d´efinition on aT₁ ∼ E(−Q_xx) et Z₁ a pour loi (−Q_xy/Q_xx, y 6=x). Idem si Q_xx = 0.

Ainsi on peut conclure que ˜Q=Q. ut

4 Condition n´ ecessaire et suffisante de non explosion

Théorème 4.1 On conserve les notations du théorème précédent. La condition de non explosion limn→+∞T_n = +∞ est satisfaite si et seulement si

+∞

X

n=0

1

q_Z_n = +∞ p.s.

preuve. Le critère de non explosion est équivalent à P+∞

n=1S_n = +∞ p.s. On a vu que les v.a.S_npeuvent se réécrire commeS_n =U_n/q_Z_n−1 avec (U_n)n∈N^∗ une suite de v.a. i.i.d. de loi E(1) indépendantes de (Zn)n∈N. On doit donc montrer que

+∞

X

n=0

Un+1

q_Z_n = +∞ ⇔

+∞

X

n=0

1

q_Z_n = +∞ p.s.

pour une suite (U_n)n∈N^∗ de v.a. i.i.d. de loi E(1). Comme (U_n)n∈N^∗ et (Z_n)n∈N sont des v.a.

ind´ependantes, il suffit de montrer que pour toute suite r´eelle positive (λn)_n>0 on a

+∞

X

n=0

Un+1

λ_n = +∞ p.s.⇔

+∞

X

n=0

1

λ_n = +∞.

(8)

Tout d’abord, on a

E

" _∞ X

n=0

U_n+1 λ_n

#

=

∞

X

n=0

1 λ_n

donc +∞

X

n=0

U_n+1 λn

<+∞ p.s.⇐

+∞

X

n=0

1 λn

<+∞.

On suppose maintenant que P+∞

n=0 1

λn = +∞. En utilisant l’ind´ependance des (U_n)n∈N^∗ et leur loi, on obtient par des calculs standards (cf feuille TD1)

E h

e⁻^P^+∞ⁿ⁼⁰^Un+1^λn i

= E

"_+∞

Y

n=0

e⁻^Un+1^λn

#

=

+∞

Y

n=0

E h

e⁻^Un+1^λn i

=

+∞

Y

n=0

λn

λ_n+ 1 =

+∞

Y

n=0

1 + 1

λ_n −1

.

Si 1/λ_n→0 alors log(1 + 1/λ_n)∼1/λ_n est une s´erie divergente `a termes positifs. Donc log

+∞

Y

n=0

1 + 1

λ_n −1!

=−

+∞

X

n=0

log

1 + 1 λ_n

=−∞

et ainsi

E h

e⁻

P+∞

n=0 Un+1

λn

i

= 0 ce qui implique queP+∞

n=0U_n+1/λ_n = +∞ p.s.

Sinon, `a une sous-suite pr`es 1/λ_n >1/c >0 ∀n∈N. Alors on a

+∞

Y

n=0

1 + 1

λ_n −1

6

+∞

Y

n=0

1 + 1

c −1

= 0 et ainsi

E h

e⁻^P^+∞ⁿ⁼⁰^Un+1^λn i

= 0 ce qui implique encore une fois queP+∞

n=0Un+1/λn= +∞ p.s. ut

5 Existence d’une probabilit´ e invariante

Théorème 5.1 Soit (X_t)_t>0 un processus markovien de saut irréductible. Alors les trois propositions suivantes sont équivalentes.

1. Il existe un ´etat x de E r´ecurrent positif.

2. Tous les ´etats de E sont r´ecurrents positifs.

3. Il existe une probabilit´e invariante ν.

Dans ce cas, on a pour toutx dans E,

Ex[R_x] = 1 qxνx

,

avec R_x le premier temps de retour de (X_t)_t>0 en x donn´e par R_x = inf{t>T₁|X_t =x}.

(9)

Preuve. Pour démontrer le résultat on commence par rappeler une propriété des chaˆınes de Markov en temps discret.

Propriété 5.1 Soit (Z_n)n∈N une chaˆıne de Markov de matrice de transition Π irréductible et récurrente sur l’espace d’état dénombrable E. Soit x un état deE et R^Z_x le premier temps de retour en x

R^Z_x = inf{n>1;Z_n=x}.

Soit la mesure γ^x d´efinie par

γ_y^x =Ex[

R^Z_x

X

n=1

1Zn=y]

et représentant le nombre moyen de visites à l’étaty lors d’une excursion de(Z_n)n∈Npartant de x et revenant en x. Alors γ^x est une mesure invariante strictement positive pour Π, et toute autre mesure invariante µ est égale à µ(x)γ^x.

On prouve maintenant le théorème. Il est évident que 2 ⇒ 1. Supposons maintenant que 1 est vraie et montrons 3. Comme x est récurrent positif pour (Xt)_t>0 il est en particulier récurrent pour (X_t)_t>0 et donc pour (Z_n)n∈N. Soit α^x_y le nombre moyen de visites à l’état y lors d’une excursion de (X_t)_t>0 partant de x et revenant enx

α^x_y =Ex[ X

Tn6Rx

1X_Tn=y] =Ex[ X

Tn6Rx

1Zn=y] =Ex[

R^Z_x

X

n=1

1Zn=y] =γ_y^x.

Conditionnellement à (Z_n = y) on sait que le temps de séjour S_n+1 en y de (X_t)_t>0 est indépendant deZ_n et de loi exponentielle de paramètre q_y. On a donc

E^x[Rx] =E[X

y∈E

X

Tn6Rx

1Zn=ySn+1] =X

y∈E

γ_y^x q_y.

On poseν_y^x =γ_y^xq⁻¹_y pour tousx, y ∈E, doncν =D⁻¹γ^x o`u D est la matrice diagonale des (q_x). Alors, d’apr`es le rappel, γ^x est invariante pour Π donc ν =D⁻¹γ^x est invariante pour Q. Finalement, on a

X

y∈E

ν_y^x =X

y∈E

γ_y^x

q_y =E^x[R_x]<+∞

par hypoth`ese puisque x est r´ecurrent positif. Donc ¹

E^x[Rx]ν^x est une probabilit´e invariante pourQ. On a donc bien montr´e que 1⇒3.

Supposons enfin que 3 est vraie et montrons 2. Soit ν une probabilit´e invariante, donc νQ= 0. Alors Dν est invariante par Π, donc d’apr`es le rappel, on a

γ_y^x = q_yν_y q_xν_x, d’o`u

Ex[R_x] =X

y∈E

γ_y^x qy

=X

y∈E

ν_y qxνx

= 1

qxνx

<+∞

car une loi invariante est toujours strictement positive (le processus est irréductible et récur- rent). Donc tous les états de E sont récurrents positifs. Ainsi on a montré que 3⇒2 et on

a obtenu la caract´erisation de la loi invariante. ut

(10)

6 Th´ eor` eme ergodique

Théorème 6.1 (Théorème ergodique) Soit (X_t)_t>0 un processus markovien de saut ir- réductible et récurrent positif, Q son générateur infinitésimal et ν son unique probabilité invariante. Alors pour toute fonction f :E →R positive ou bornée on a

t→+∞lim 1

t Z t

0

f(X_s)ds=X

x∈E

f(x)ν_x p.s.

Preuve. Remarquons tout d’abord que 1

t Z t

0

f(X_s)ds= 1 t

Z t

0

X

x∈E

f(x)1Xs=xds =X

x∈E

f(x)1 t

Z t

0

1Xs=xds

car f est born´ee ou positive. Il suffit donc de montrer que pour tout x∈E, 1

t Z t

0

f(X_s)ds = 1 t

Z t

0

1Xs=xds=ν_x p.s.

On note H{x} le premier temps d’atteinte de x qui est fini car le processus est r´ecurrent, N_x(t) le nombre de visites en x jusqu’`a l’instantt

N^x(t) = X

Tn6t

1Zn=x,

etS_k^x le temps passé dans l’état x au cours de sa k-ième visite. Comme la N^x(t)-ième visite enx n’est pas forcément terminée ent, on a

1 t

N^x(t)−1

X

k=1

S_k^x< 1 t

Z t

0

1Xs=xds 6 1 t

N^x(t)

X

k=1

S_k^x. (9)

De plus, les variables aléatoires (S_n^x) sont indépendantes de loi exponentielle de paramètre q_x. On peut remarquer que l’on a

S_N^xx(t)

t = S_N^xx(t)

N^x(t) × N^x(t) t .

Or, puisque le processus est r´ecurrent,N^x(t)→+∞lorsquet→+∞. Donc une application directe du lemme de Borel-Cantelli nous donne S_N^xx(t)/N^x(t) → 0 p.s. et on verra dans la suite de la preuve que ^N^x_t^(t) tend vers une constante p.s. ce qui implique que S_N^xx(t)/t → 0 p.s. Les deux termes de gauche et de droite dans (9) ont donc la mˆeme limite p.s.(si elle existe) lorsquettend vers l’infini. Par ailleurs, la loi forte des grands nombres pour (S_n^x)n∈N^∗

donne

1 N^x(t)

N^x(t)

X

k=1

S_k^x →Ex[S₁^x] = 1

q_x, t→+∞.

De plus, si on note R^k_x la durée de la k-ième excursion partant de x : les (Rⁿ_x)n∈N^∗ sont des temps d’arrêt et par la propriété de Markov forte ils sont indépendants entre eux, indépen- dants deH{x} et de même loi. Par ailleurs on a

H{x}+R_x¹+...+R^N_x^x^(t)−1 6t 6H{x}+R¹_x+...+R^N_x^x^(t)

(11)

donc

H_{x}

N^x(t)+ N^x(t)−1 N^x(t)

R¹_x+...+R^Nx^x^(t)−1

N^x(t)−1 6 t

N^x(t) 6 H_{x}

N^x(t) +R_x¹+...+R^Nx^x^(t)

N^x(t)

lorsque N^x(t) > 0 (i.e. t assez grand). On a facilement que H_{x}/N^x(t) tend vers 0 p.s. et

N^x(t)−1

N^x(t) tend vers 1 p.s. quandttend vers l’infini. La loi forte des grands nombres nous permet de conclure que t/N^x(t) tend vers E^x[R_x] p.s. Donc finalement on obtient

t→+∞lim 1

t Z t

0

1Xs=xds = lim

t→+∞

1 t

N^x(t)

X

k=1

S_k^x = lim

t→+∞

N^x(t)

t lim

t→+∞

1 N^x(t)

N^x(t)

X

k=1

S_k^x

= 1

E^x[Rx] 1 qx

= ν_xq_x qx

=ν_x p.s.

ut

7 Convergence vers la mesure invariante

Théorème 7.1 Soit (X_t)_t>0 un processus markovien de saut à valeurs dans E, irréductible et récurrent positif et ν son unique probabilité invariante. Alors ∀(x, y)∈E²,

P_xy(t)→ν_y, t→+∞.

Preuve. Soit h > 0 fix´e. On ´echantillonne le processus aux instants (nh)_n > 0 : soit Y_n=X_nh ∀n >0. Alors, comme X est un processus de Markov, on a

P(Y_n+1 =x_n+1|Y_n =x_n, ..., Y₀ =x₀) = P(Y_n+1 =x_n+1|Y_n=x_n) = P_x_n_x_n+1(h).

Donc (Y_n)_n>0 est une chaˆıne de Markov de matrice de transition P(h). Comme (X_t)_t>0 est irréductible, on aPxy(h)>0∀x, y ∈E. La matriceP(h) est donc irréductible et apériodique, donc

P_xy(nh) =P_xy⁽ⁿ⁾(h)→ν_y, n→+∞, car ν est aussi l’unique loi invariante de P(h).

De plus, ∀x, y ∈E,∀t >0,

|P_xy(t)−ν_y|6|P_xy(t)−P_xy(nh)|+|P_xy(nh)−ν_y|.

Or, ∀t, s>0, ∀x, y ∈E,

|P_xy(t)−P_xy(s)| = |X

z∈E

P_xz(t−s)P_zy(s)−P_xz(s)|

= |X

z6=x

P_xz(t−s)P_zy(s)−(1−P_xx(t−s))P_xz(s)|

6 max{X

z6=x

P_xz(t−s)P_zy(s); (1−P_xx(t−s))P_xz(s)}

6 max{X

z6=x

P_xz(t−s); (1−P_xx(t−s))}

= 1−P_xx(t−s)

= Px(Xt−s6=x|X₀ =x)

6 Px(T₁ 6t−s) = 1−e^−q^x^(t−s).

(12)

Soit x, y ∈E et ε >0 fix´es quelconques. Alors il existeh >0 tel que (1−e^−q^x^s)6ε/2 pour touss ∈[0, h]. De plus il existe N ∈Ntel que|P_xy(nh)−ν_y|6ε/2 pour tous n >N. Alors, pour toust>N h, on pose n =bt/hc (i.e. nh6t <(n+ 1)h) et on a

car n>N et t−nh6h. ut

R´ ef´ erences

[1] Norris, J.R., Markov chains, vol. 2 of Cambridge Series in Statistical and Probabilistic Mathematics.Cambridge University Press, Cambridge, 1998. Reprint of 1997 original.

[2] Pardoux, E., Processus de Markov et applications Dunod, 2007.