2.4.1 Processus semi-markovien et semi-markovien compl´et´e (CSMP)
Lorsque nous parlons de processus de renouvellement compl´et´es, nous supposonsque la loi initiale du processus de renouvellement markovien(Y, T)est de la formeN0y,upour un certain(y, u) ∈ F ×R+ tel que F¯y(u) 6= 0, ou est un m´elange de telles lois. Par cons´equent la loi deAtest d´efinie pour toutt∈R+.
Proposition 2.21. Le processus(Zt, At)t≥0est un processus de Markov homog`ene en temps. D´emonstration : Notons Kt = σ((Zs, As),0 ≤ s ≤ t)la tribu engendr´ee par les v.a. (Zs, As),0 ≤s ≤t. Il suffit de montrer que pour tous r´eels positifssettet toute fonction mesurable positiveϕd´efinie surF×R+:
E(ϕ(Zt+s, At+s)/Kt) =E(ϕ(Zt+s, At+s)/ Zt, At). CommeKt⊂ Ft, on a :
E(ϕ(Zt+s, At+s)/Kt) =E(E(ϕ(Zt+s, At+s)/Ft)/Kt).
Or(Zt+s, At+s) est ”le(Zs, As)du processus regard´e `a partir de l’instantt”. Le th´eor`eme 2.17 entraine donc que :
E(ϕ(Zt+s, At+s)/Ft) =ψ(Zt, At, s) avecψ(z, u, s) =E(ϕ(Zs, As)/ Z0 =z, A0 =u), d’o`u le r´esultat.
Il est ´equivalent de se donner le processus de renouvellement markovien(Yn, Tn)n≥1 ou de se donner le processus semi-markovien compl´et´e(Zt, At)t≥0car :
Yn=ZTn, T1 = inf{t >0 :At= 0}, Tn+1 = inf{t > Tn:At= 0} (2.13) avec la conventioninf{∅}= +∞.
D´efinition 2.22. Le processus(Zt)t≥0est le processus semi-markovien associ´e au processus de renouvellement markovien(Y, T). Il est dit de noyauN.
Le processus(Zt, At)t≥0est le processus semi-markovien compl´et´e (CSMP pour Comple-ted Semi-Markov Process) associ´e au processus de renouvellement markovien(Y, T). Inver-sement le processus(Y, T)est le processus de renouvellement markovien associ´e au CSMP (Zt)t≥0.
Le CSMP(Zt, At)t≥0 est dit `a valeurs dansF si les Ztsont `a valeurs dans F. Il est dit sans d´elai si le processus de renouvellement markovien associ´e l’est, c’est-`a-dire siA0 = 0 p.s..
Le noyau du CSMP est le noyau du processus de renouvellement markovien qui lui est associ´e.
Exemple 2.23. SoitV une variable al´eatoire `a valeurs dansF =R. Notonsµx+V la loi de x+V et soitνune loi de probabilit´e surR+v´erifiantν({0}) = 0. PrenonsN(y, dz, dv) = µy+V(dz)ν(dv).Soit(Yn, Tn)n≥0un processus de renouvellement markovien sans d´elai de noyauN tel que Y0 = 0et(Zt, At)t≥0 le CSMP associ´e. Alors(Tn)n≥1 est un processus
de renouvellement de loi inter-arriv´eesν et(Zt)t≥0 est le processus de r´ecompense associ´e, c’est-`a-direZt = PNti=1Vi, lesVi ´etant des variables al´eatoires ind´ependantes de loiµ. Si V = 1 c’est `a dire µx+V = δx+1, le processus(Zt)t≥0 est le processus de comptage du processus de renouvellement markovien.
Remarque 2.24. Nous avonsFt = σ((Zs, As), s ≤ t). En effet, (2.13) montre que les Tn
sont des temps d’arrˆet relativement `a la filtration(σ((Zs, As), s≤t))t≥0, par suite :{Tn ≤
t, Yn ∈ A} = {Tn ≤ t, ZTn ∈ A} ∈ σ((Zs, As), s ≤ t)doncFt ⊂ σ((Zs, As), s ≤ t). D’autre part, si la loi initiale du processus de renouvellement estN0y,u, on a pourB ∈ F :
{Zt∈B, At≤a}={t < T1, Y0 ∈B, u+t≤a} [
n≥1
{Nt=n, Yn∈B, t−Tn≤a} ∈ Ft
d’apr`es le lemme2.12page 27 doncσ((Zs, As), s≤t)⊂ Ft.
Nous avonsPy( · ) = P( · / Z0 = y, A0 = 0). Comme il n’y aura plus de risque de confusion,nous notons
Py,u(·) =P(· / Z0 =y, A0 =u), Ey,u(·) =E(· / Z0=y, A0 =u), (2.14) et nous avonsPy =Py,0, Ey =Ey,0.
Donc, sousPy,u,(Yn, Tn)n≥1est un processus de renouvellement markovien de noyauN et de loi initialeN0y,ud´efinie page28. En particulier :
Py,u(T1 ≥v) = Py(T1≥u+v) Py(T1 > u) , Py,u(T1> v) = Py(T1 > u+v) Py(T1> u) . (2.15) Posons : R=X n≥0 N∗n=I+X n≥1 N∗n.
Lemme 2.25. Pour toute fonction mesurable positiveϕd´efinie surF ×R+, on a pour tout y∈F : Ey(ϕ(Zt, At)) =ϕ(y, t) ¯Fy(t) + Z F×R+ 1{v≤t}Ez(ϕ(Zt−v, At−v)N(y, dz, dv), (2.16) Ey(ϕ(Zt, At)) = (R∗g)(y, t) avecg(z, v) =ϕ(z, v) ¯Fz(v), (2.17) et pour tout(y, u)∈F ×R+:
E(ϕ(Zt, At)/ Z0=y, A0=u) =ϕ(y, u+t)F¯y¯(u+t) Fy(u) + Z F×R+ 1{v≤t}Ez(ϕ(Zt−v, At−v))N0y,u(dz, dv). (2.18)
D´emonstration succinte : Nous avons
Ey(ϕ(Zt, At)) = Ey ϕ(Zt, At) 1{t<T1}
+Ey ϕ(Zt, At) 1{T1≤t}
= ϕ(y, t) ¯Fy(t) +Ey ϕ(Zt, At) 1{T1≤t}
. Or le lemme2.14page 28 donne :
Ey ϕ(Zt, At) 1{T1≤t}=X n≥1 Ey ϕ(Yn, t−Tn) 1{Nt=n} = X n≥1 Ey ϕ(Yn, t−Tn) 1{Tn≤t}F¯Yn(t−Tn) .
En appliquant le corollaire2.8page 25 et en ´ecrivantN∗n=N ∗N∗(n−1)on obtient (2.16). La formule (2.18) se d´emontre de mˆeme.
Enfin : Ey(ϕ(Zt, At)) = Ey 1{t<T1}ϕ(y, t) +X n≥1 Ey 1{Tn≤t<Tn+1}ϕ(Yn, t−Tn) = ϕ(y, t) ¯Fy(t) +X n≥1 Ey 1{Tn≤t}ϕ(Yn, t−Tn) ¯FYn(t−Tn) = (R∗g)(y, t).
D´etails de la d´emonstration page172.
Remarque 2.26. Posons f(z, v) = Ez(ϕ(Zv, Av)), g(z, v) = ϕ(z, v) ¯Fz(v). L’´equation (2.16) s’´ecritf =g+N∗f, c’est une ´equation de renouvellement markovien. Nous donnons des r´esultats sur ces ´equations dans le paragraphe2.5page 36.
Soit
G={(z, v)∈F×R+: ¯Fz(v)6= 0} (2.19) Posons :
t∗(z) = sup{v∈R+: ¯Fz(v)6= 0} ∈R¯+. La fonctionF¯z ´etant continue `a droite, nous avons :
G={(z, v)∈F×R+:v < t∗(z)}.
Le lemme suivant est bien clair intuitivement car `a un instant de sautAtest remis `a0. Lemme 2.27. Nous avonsP(∀t∈R+(Zt, At)∈G) = 1.
D´emonstration page171.
La proposition suivante est une cons´equence imm´ediate de la premi`ere partie du lemme 2.25page 33.
Proposition 2.28. Soit (Zt)t≥0 un processus semi-markovien `a valeurs dans F de noyau semi-markovienN. Alors pour toute fonctionhmesurable positive d´efinie surF on a :
∀y∈F, Ey(h(Zt)) =h(y) ¯Fy(t) +
Z
F×R+
2.4.2 Autres processus classiques associ´es au processus de renouvellement mar-kovien
Rappelons que nous avons d´efiniZ˜tetWtpar : ˜
Zt=Yn+1, Wt=Tn+1−t sur{Nt=n}.
Th´eor`eme 2.29. Les processus (Zt, At,Z¯t, Wt)t≥0 et ( ¯Zt, Wt)t≥0 sont des processus de Markov homog`ene en temps et :
E(f(Zt, At,Z˜t, Wt)/ Z0 =y, A0 =u,Z˜0=z, W0=v)
= f(y, u+t, z, v−t) 1{t<v}+Ez(f(Zt−v, At−v,Z˜t−v, Wt−v)) 1{v≤t} (2.21) pour tout(y, u)∈F×R+et(z, v)∈(F×R+)∪ {(∆,+∞)}et toute fonctionf mesurable positive d´efinie surF ×R+×((F ×R+)∪ {(∆,+∞)}).
D´emonstration page174.
La premi`ere partie du th´eor`eme 2.29 suppose implicitement que la loi de(Y1, T1)est de la formeN0y,uou un m´elange de telles lois puisqu’il suppose queZtetAtsont d´efinis pour tout t. Par contreZ¯tetWtsont d´efinis quelle que soit la loi de(Y1, T1). et le caract`ere markovien du processus( ¯Zt, Wt)t≥0est vrai quelle que soit la loi initiale.
2.4.3 Processus markovien de sauts
La notion de processus semi-markovien g´en´eralise celle de processus markovien de sauts sur un espace fini ou d´enombrable. En effet, soit(It)t≥0 un processus markovien de sauts `a valeurs dans un espace fini ou d´enombrableF, de matrice g´en´eratriceA, notonspla matrice de transition de la chaine immerg´ee et posons pouri∈F,q(i) =|A(i, i)|. La construction d’un processus markovien de sauts et la proposition 2.11 page 26 entrainent que (It)t≥0
est un processus semi-markovien de noyau semi-markovien N donn´e par N(i, j, dv) = p(i, j)q(i)e−q(i)vdvet de loi initialeµ0donn´ee parµ0(i, dv) =P
i∈EP(I0 =i)N(i, j, dv) pour touti∈F.
La proposition suivante, qui est une application imm´ediate de la proposition3.3 page 44 que nous verrons dans le chapitre suivant, permet de consid´erer des processus markoviens de sauts `a valeurs dans un espace non n´ecessairement fini ou d´enombrable. Rappelons que nous supposons quelimn→+∞Tn= +∞, le processus est dit r´egulier.
Proposition 2.30. On suppose que le noyauN est de la forme
N(y, dz, dv) =Q(y, dz)q(y)e−q(y)vdv (2.22) o`uqest une fonction positive d´efinie surF. Alors
∀(y, u)∈F ×R+, N0y,u(·) =N(y, ·) et(Zt)t≥0 est un processus de Markov.
Proposition 2.31. Soit(Zt)t≥0le processus markovien de sauts associ´e au noyauN donn´e par (2.22).
Soit(Pt)t≥0son semi-groupe de transition d´efini par :
∀y∈F, (Ptf)(y) =Ey(f(Zt)) pour toute fonction mesurablef positive ou born´ee.
Alors pour toute fonction mesurablef positive ou born´ee d´efinie surF, on a :
∀y∈F, eq(y)t(Ptf)(y) =f(y) +
t Z 0 Z F (Psf)(z)Q(y, dz) q(y)eq(y)sds. (2.23)
Par suite pour toute fonction f mesurable born´ee et tout y ∈ F, t → (Ptf)(y) est d´erivable.
SoitMb(F)l’ensemble des fonctions mesurables born´ees d´efinies surF `a valeurs r´eelles etLl’op´erateur deMb(F)dansMb(F)donn´e par :
∀y ∈F, (Lf)(y) =
Z
F
(f(z)−f(y)q(y)Q(y, dz).
Nous avons :
∀f ∈ Mb(F), d
dtPtf =LPtf. (2.24) L’´equation (2.24) est l’´equation arri`ere de Chapman-Kolmogorov.
D´emonstration : On d´eduit des ´equations (2.16) page 33 que pour toute fonctionf mesu-rable born´ee et touty∈F :
(Ptf)(y) =f(y)e−q(y)t+
Z
F×[0,t]
(Pt−uf)(z)Q(y, dz)q(y)e−q(y)udu,
ce qui montre d’une part que sif est born´ee, alorst→(Ptf)(y)est continue et d’autre part donne (2.23) en faisant le changement de variabless=t−u.
L’applications → (Psf)(z) ´etant continue, le th´eor`eme de convergence domin´ee de Le-besgue entraine que la fonctions→ R
F(Psf)(z)Q(y, dz)est continue et l’´equation (2.23) donne :
q(y)eq(y)t(Pff)(y) +eq(y)t d
dt(Ptf)(y) =
Z
F
(Ptf)(z)Q(y, dz)q(y)eq(y)t,
d’o`u (2.24).