Processus de renouvellement markovien Processus de Markov déterministes par morceaux

HAL Id: hal-01418366

https://hal.archives-ouvertes.fr/hal-01418366v2

Preprint submitted on 21 May 2018

HAL is a multi-disciplinary open access archive for the deposit and dissemination of sci- entific research documents, whether they are pub- lished or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers.

L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.

Processus de renouvellement markovien Processus de Markov déterministes par morceaux

Christiane Cocozza-Thivent

To cite this version:

Christiane Cocozza-Thivent. Processus de renouvellement markovien Processus de Markov détermin- istes par morceaux. 2018. �hal-01418366v2�

Processus de renouvellement markovien Processus de Markov d´eterministes par morceaux

Christiane Cocozza-Thivent

anciennement membre du Laboratoire d’Analyse et de Math´ematiques Appliqu´ees, UMR CNRS 8050

Universit´e Paris-Est Marne-la-Vall´ee 21 mai 2018

R´esum´e

Un PDMP (Piecewise Deterministic Markov Processes) est un processus de Markov qui

´evolue de mani`ere d´eterministe entre des sauts al´eatoires. La loi de ces sauts (instants et lieux) est fonction de l’´evolution d´eterministe entre ceux-ci. Les PDMP, introduits par M.H.A. Da- vis, servent `a mod´eliser de nombreux ph´enom`enes qui vont de l’assurance `a la biologie, en passant par le transfert de donn´ees informatiques, la gestion de stocks, la sˆuret´e de fonction- nement, etc. Des exemples sont donn´es dans cet ouvrage.

Dans ce livre nous ´etudions des PDMP, un peu plus g´en´eraux que ceux d´efinis par M.H.A.

Davis, en nous appuyant fortement sur le processus de renouvellement markovien sous- jacent. Se donner ce processus de renouvellement markovien(Yn, Tn)n≥0 ´equivaut `a se don- ner le processus(Z<sub>t</sub>, A<sub>t</sub>)t≥0d´efini parZ<sub>t</sub>=Y<sub>n</sub>, A<sub>t</sub>=t−T<sub>n</sub>siT<sub>n</sub>≤t < T<sub>n+1</sub>. Le processus (Zt, At)t≥0, que nous appelons le CSMP (Completed Semi-Markov Process) est un PDMP particuli`erement simple puisque son ´evolution d´eterministe est lin´eaire ; le flot d´eterministe markovienφentrant dans la d´efinition du PDMP initial n’intervient que dans la loi des sauts, c’est-`a-dire dans le noyau de renouvellement markovien du processus(Yn, Tn)n≥0. Les pro- cessus ponctuels marqu´es ont une place de choix dans notre approche. Le PDMP peut s’´ecrire Φ_t=φ(Z_t, A_t)si bien que de nombreux r´esultats sur celui-ci d´ecoulent imm´ediatement de l’´etude du CSMP associ´e.

Dans le dernier chapitre, nous regardons ce que donne notre approche si, dans la d´efinition du PDMP, nous remplac¸ons l’´evolution d´eterministe entre les sauts par un processus de Mar- kov. Les processus obtenus peuvent servir `a mod´eliser des ph´enom`enes avec changements de rythmes, nous les appelons des SP, pour Switching Processes.

Abstract

A PDMP (Piecewise Deterministic Markov Processes) is a Markov process with jumps and the following distinctive feature : a deterministic trajectory between jumps. The jumps distributions (times and locations) depend on the deterministic evolution between them. The PDMP have been introduced by M.H.A. Davis, ours are slightly more general. PDMP’s are used to model various situations in the field of insurance, biology, supply management, de- pendability management and so on. Some examples are provided in this book.

This book’s originality is to strongly link the PDMP study to the underlying Markov rene- wal process. It is equivalent to get the Markov renewal process(Yn, Tn)n≥0 or the process (Zt, At)t≥0 defined byZt=Yn, At =t−TnforTn≤t < Tn+1. The process(Zt, At)t≥0, called the CSMP (Completed Semi-Markov Process), is a PDMP with a very simple determi- nistic behavior since it is linear ; the deterministic flowφ, involved in the PDMP’s definition, only appears in the Markov renewal kernel of the process(Yn, Tn)n≥0. The marked point processes are widely used in our approach. The PDMP can be written asΦ_t = φ(Z_t, A_t), therefore many results on this process can easily be deduced from those on the associated CSMP.

In the last chapter, we consider what we call Switching Processes or SP. They are obtained by replacing the deterministic flow of the PDMP by a Markov process. With the approach used for the PDMP study, we display some results for these new processes.

Au lecteur

L’origine de ce livre ´electronique est un cours de deuxi`eme ann´ee de master. Il a ´et´e consid´erablement ´etoff´e par des travaux de recherche suscit´es par des questions que ce cours a naturellement pos´ees, et par des questions li´ees `a des probl`emes industriels.

Pour que le lecteur ne soit pas noy´e sous de la technique, tout en ayant acc`es `a des d´emons- trations d´etaill´ees, la plupart de celles-ci sont plac´ees en fin d’ouvrage. Des liens hypertextes permettent de naviguer plus facilement. Cependant la technologie n’est pas parfaite ! Pour des raisons myst´erieuses, les renvois aux d´emonstrations d´etaill´ees ne conduisent pas toujours `a la page exacte de ladite d´emonstration. Il est donc n´ecessaire de lire le num´ero de la page

`a laquelle on d´esire se rentre avant de cliquer sur le lien, puis d’avancer ´eventuellement de quelques pages. Par contre, le lien retour a l’air de fonctionner correctement.

Merci de me faire part de vos critiques, conseils, suggestions, commentaires, sur le fond et la forme en m’´ecrivant `a l’adresse suivante :cocozza.christiane@orange.fr

Cette deuxi`eme version ne diff`ere de la premi`ere que par la correction de petites b´evues.

Table des mati`eres

1 Outils 9

1.1 Chaines de Markov `a valeurs dans un espace quelconque . . . 9

1.2 Fonctions `a variations born´ees et fonctions absolument continues . . . 11

1.2.1 Cas des fonctions croissantes . . . 11

1.2.2 Cas g´en´eral . . . 13

1.2.3 Fonctions absolument continues . . . 15

1.3 Taux de hasard, mesure de hasard . . . 15

1.4 Compensateur d’un processus ponctuel marqu´e . . . 19

2 Renouvellement markovien et processus associ´es 21 2.1 Noyaux de renouvellement et convolution . . . 21

2.2 Processus de renouvellement markovien . . . 23

2.3 Changement de l’instant d’observation . . . 27

2.4 Diff´erents processus de Markov . . . 32

2.4.1 Processus semi-markovien et semi-markovien compl´et´e (CSMP) . . . 32

2.4.2 Autres processus classiques associ´es au processus de renouvellement markovien . . . 35

2.4.3 Processus markovien de sauts . . . 35

2.5 Processus semi-r´eg´en´eratifs et ´equations de renouvellement markovien . . . . 36

3 Premiers pas avec les PDMP 43 3.1 PDMP g´en´eraux. . . 43

3.2 CSMP et PDMP param´etr´es . . . 49

3.3 Processus tu´e ou arrˆet´e `a un instant d’entr´ee . . . 56

3.3.1 Motivations et contexte . . . 56

3.3.2 Processus tu´e . . . 58

3.3.3 Processus arrˆet´e. . . 59

4 Mod´elisation 63 4.1 Lois inter-arriv´ees m´elanges de lois `a densit´e et de masses de Dirac. . . 63

4.1.1 Ecriture de la loi . . . 63

4.1.2 CSMP et PDMP associ´es `a ces lois . . . 67

4.1.3 Rˆole fondamental jou´e par le CSMP simple . . . 70

4.2 Exemples de base en sˆuret´e de fonctionnement . . . 72

4.3 Exemples de stocks . . . 81

4.4 Exemples en assurances. . . 84

4.5 Exemples de r´eservoir. . . 87

5 Intensit´es et ´equations de Kolmogorov g´en´eralis´ees 91 5.1 Intensit´e de processus ponctuels . . . 92

5.1.1 Intensit´es li´ees au processus de renouvellement markovien . . . 92

5.1.2 Intensit´es li´ees aux PDMP . . . 99

5.2 Equations avant pour le CSMP . . . 102

5.2.1 Cas homog`ene . . . 102

5.2.2 Cas inhomog`ene . . . 106

5.3 Equations avant pour le PDMP . . . 108

5.3.1 Notations . . . 108

5.3.2 Cas homog`ene . . . 109

5.3.3 Cas inhomog`ene . . . 112

5.4 Propri´et´es des semi-groupes dans le cas sans fronti`ere . . . 113

5.4.1 Cas du CSMP. . . 113

5.4.2 Application aux PDMP . . . 115

6 Martingales et g´en´erateurs 119 6.1 Martingales associ´ees au processus de renouvellement markovien . . . 119

6.2 Martingales associ´ees au CSMP . . . 121

6.3 Martingales associ´ees au PDMP . . . 124

6.4 A propos de g´en´erateur . . . 126

6.4.1 G´en´erateur infinit´esimal . . . 126

6.4.2 Formule de Dynkin . . . 127

6.4.3 G´en´erateur ´etendu . . . 129

7 Stabilit´e 131 7.1 Mesures invariantes pour les processus classiques associ´es `a un processus de renouvellement markovien . . . 132

7.2 Liens entre les mesures invariantes du CSMP et de la chaine induite . . . 133

7.2.1 Mesure invariante pour le processus de renouvellement markovien et le CSMP `a partir de celle de la chaine . . . 133

7.2.2 Mesure invariante pour la chaine `a partir de celle du CSMP. . . 135

7.3 R´ecurrence . . . 136

7.4 Mesure invariante d’un PDMP . . . 137

7.5 Th´eor`emes asymptotiques . . . 139

8 Processus avec changements de rythmes (Switching Processes ou SP) 141 8.1 Le mod`ele g´en´eral. . . 142

8.2 Exemples . . . 143

8.2.1 Processus avec chocs . . . 143

8.2.2 Processus multiphases . . . 143

8.3 SP ind´ependants. . . 146

8.4 Processus d´ecomposable . . . 147

8.5 Semi-r´eg´en´eration, lien avec le CSMP . . . 149

8.6 Cas d’un processus de Markov . . . 151

8.7 Cas d’un processus intrins`eque semi-martingale . . . 152 8.8 Cas des processus non homog`enes en temps . . . 157

9 D´emonstrations du chapitre 2 159

10 D´emonstrations du chapitre 3 177

11 D´emonstrations du chapitre 4 189

12 D´emonstrations du chapitre 5 203

13 D´emonstrations du chapitre 7 223

14 D´emonstrations du chapitre 8 243

Bibliographie 265

Index 269

Notations

A_t=t−T_nsur{T_n≤t < T_n+1}(n≥1)

si la loi de(Y1, T1)estN(y, ·,·):At=tsur{t < T₁}, si la loi de(Y1, T1)estN₀^y,s:At=s+tsur{t < T₁}.

B(E)la tribu bor´elienne de l’espace topologiqueE c`ad-l`ag : continue `a droite et pourvue de limites `a gauche A^c: le compl´ementaire de l’ensembleA

convolution ν1∗ν2 : Z

R

h ν1∗ν2 = Z

R²

h(u+v)ν1(du)ν2(dv).

(N₁∗N₂)(y₀, dz,·) = Z

F

N₁(y₀, dy,·)∗N₂(y, dz,·) µ∗N :

Z

F×R+

ϕ µ∗N = Z

(F×R+)²

ϕ(z2, v1+v2)µ(dz1, dv1)N(z1, dz2, dv2).

(µ∗ϕ)(t) = Z

F×R+

1_[0,t](s)ϕ(y, t−s)µ(dy, ds) (N ∗ϕ)(y₀, t) =

Z

F×R+

1_[0,t](s)ϕ(y, t−s)N(y₀, dy, ds)

CSMP : processus semi-markovien compl´et´e δa: mesure de Dirac en a :R

f(x)δa(dx) =f(a)

∂₂ϕ: voir page105

∂₃ψ: voir page106

∂φf: voir page109

∂_t,φ: voir page108

|| · ||: norme usuelle surR^d

||f||∞= sup_x|f(x)|

F_t: tribu engendr´e par le processus de renouvellement markovien observ´e jusqu’`a l’instant t(voir page27)

F¯_y(u) =Py(T₁> u) =N(y, F×]u,+∞[)

G={(z, v)∈F ×R+: ¯F_z(v)6= 0}

I(y, u) = min{j≥1 :u < α_j(y)}

(Lϕ)(y, u) = ∂ϕ

∂u(y, u) + Z

F

(ϕ(z,0)−ϕ(y, u))`(y, u)β(y, u;dz)

(Lf)(y) = (∂_φf)(y) + Z

F

(f(z)−f(y))λ(y)Q(y;dz)

a∧b= min(a, b)

µ^y₀(dz, dv) =N(y, dz, dv) + (1−N(y, F ×R+))δ_(∆,+∞)(dz, dv) µ^y,u₀ =N₀^y,u+ (1−N₀^y,u(F×R+))δ_(∆,+∞)

N: ensemble des entiers positifs ou nuls

N^∗ : ensemble des entiers sup´erieurs ou ´egaux `a 1 Nt=P

n≥11_{Tn≤t}

N₀^y,u: Z

F×R+

ϕ(z, v)N₀^y,u(dz, dv) = 1 F¯_y(u)

Z

F×R+

ϕ(z, v−u) 1_{v>u}N(y, dz, dv)

R+ = [0,+∞[, R^∗+=]0,+∞[, R¯+=R+∪ {+∞}

r=P

k≥0n^∗k, r₁ =P

k≥1n^∗k R=P

n≥0N^∗n

t^∗(z) = sup{v∈R+: ¯Fz(v)6= 0}

τsµ: Z

R

f(v)τsµ(dv) = Z

R

f(v−s)µ(dv)

v.a. : variable al´eatoire W_t=T_n+1−tsur{P

k≥11_{Tk≤t}=n}) Z_t=Y_nsur{T_n≤t < T_n+1}(n≥1)

si la loi de(Y1, T1)estN(y, ·,·)ouN₀^y,s:Zt=ysur{t < T₁}

Chapitre 1

Outils

1.1 Chaines de Markov `a valeurs dans un espace quelconque

D´efinition 1.1. Un noyau M sur un espace mesur´e (G,G) est une application deG dans l’ensemble des mesures sur(G,G) : z ∈ F → M(z,·), telle que pour toutA ∈ G, z → M(z, A) soit mesurable (ce qui entraine que pour toute fonction mesurable f d´efinie sur (G,G),z→R

f(z1)M(z, dz1)est mesurable).

Le noyau est de masse totale finie si pour toutz,M(z, G)<+∞.

Un noyau de transition est un noyau tel que pour toutz,M(z,·)soit une probabilit´e.

Remarque 1.2. En utilisant les techniques classiques de th´eorie de la mesure, on v´erifie que si M est un noyau de transition sur (G,G) et si f est une fonction mesurable d´efinie sur (G,G), alorsz→R

f(z1)M(z, dz1)est mesurable.

Notations :Etant donn´es deux noyaux de transitionM1etM2sur(G,G), on d´efinit le noyau de transitionM1M2par

(M1M2)(x, dz) = Z

y∈G

M1(x, dy)M2(y, dz), c’est-`a-dire que pour toute fonctionfmesurable positive d´efinie surG:

Z

G

f(z) (M1M2)(x, dz) = Z

G



 Z

G

f(z)M2(y, dz)



M1(x, dy).

Etant donn´es un noyau de transitionM sur(G,G)et une mesuremsur(G,G), on d´efinit la mesuremNsur(G,G)par

(mN)(dz) = Z

y∈G

m(dy)N(y, dz),

c’est-`a-dire que pour toute fonctionfmesurable positive d´efinie surG: Z

f(z)mN(dz) = Z



 Z

f(z)N(y, dz)



m(dy).

D´efinition 1.3. Une suite(Z_n)n≥0 de v.a. d´efinies sur un espace mesur´e (G,G,P) est une chaine de Markov homog`ene en temps si pour toutn ≥ 0, la loi conditionnelle de Z_n+1 sachant(Z0, Z1, . . . , Zn)ne d´epend que deZn.

La fonction (ou noyau) de transition de la chaine de Markov (Z_n)n≥0 est le noyau de transition M d´efini de la mani`ere suivante : pour tout z<sub>0</sub> ∈ F, M(z<sub>0</sub>,·) est la loi deZ<sub>1</sub> sachantZ0=z0, c’est-`a-dire

E(f(Z₁)/ Z₀) = Z

f(z₁)M(Z₀, dz₁), pour toute fonction mesurable positivef d´efinie sur(G,G).

Proposition 1.4. Les assertions suivantes sont ´equivalentes :

1. la suite(Zn)n≥0est une chaine de Markov `a valeurs dansGde noyau de transitionM et de loi initialeµZ0,

2. pour toutn≥0et toutes fonctions mesurables positivesf0, . . . , fnd´efinies surG: E(f0(Z0)f1(Z1). . . fn(Zn)) =

Z

Gⁿ⁺¹

f₀(z₀)f₁(z₁)f₂(z₂). . . f_n(z_n)µ_Z0(dz₀)M(z₀, dz₁)M(z₁, dz₂). . . M(zn−1, dz_n)

3. pour toutn≥0et toute fonction mesurable positivefd´efinie surGⁿ⁺¹: E(f(Z0, Z1, . . . Zn)) =

Z

Gⁿ⁺¹

f(z₀, z₁, z₂, . . . , z_n)µ_Z0(dz₀)M(z₀, dz₁)M(z₁, dz₂). . . M(zn−1, dz_n) (1.1)

4. pour toutn≥0et toute fonction mesurable positivefd´efinie surG^n+p+1: E(f(X₀, . . . , X_n, X_n+1, . . . , X_n+p/ X₀, . . . , X_n) =g(X₀, . . . , X_n) avec :

g(x₀, . . . , x_n) =E(f(x₀, . . . , x_n, X₁, . . . , X_p/ X₀ =x_n).

Notation : Dans les formules faisant intervenir des int´egrales multiples, nous les ´ecrirons souvent en ´ecrivant d’abord la mesure par rapport `a laquelle on int`egre puis la fonction qu’on int`egre. Ainsi en lisant la formule de droite `a gauche, on aura la mani`ere de faire le calcul en appliquant le th´eor`eme de Fubini. Par exemple on ´ecriraR R

f(z1, z2)dz1dz2sous la forme Z

dz₂ Z

f(z₁, z₂)dz₁.

Avec cette mani`ere de noter, la formule (1.1) s’´ecrit sous la forme tr`es intuitive suivante : Z

µZ0(dz0) Z

M(z0, dz1) Z

M(z1, dz2). . . Z

M(zn−1, dzn)f(z0, z1, z2, . . . , zn).

Proposition 1.5. Soit (Z_n)n≥0 une chaine de Markov de fonction de transitionM et de loi initiale m, alors, pour toutn ≥ 1 et pour toute fonction mesurable positivef d´efinie sur (G,G), on a :

E(f(Zn)/ Zn−1) = Z

G

f(z)M(Zn−1, dz),

E(f(Z_n)/ Z₀ =z₀) = Z

G

f(z)Mⁿ(z₀, dz) =E(f(Z_p+n)/ Z_p=z₀), par suite la loi deZnestmMⁿ.

1.2 Fonctions `a variations born´ees et fonctions absolument conti- nues

Nous ne consid´erons ici que des fonctions (respectivement des mesures) d´efinies surR+. 1.2.1 Cas des fonctions croissantes

Proposition 1.6. . Soitf une fonction deR+dansR, croissante et continue `a droite. Alors il existe une unique mesureµpositive d´efinie sur les bor´eliens deR+telle que :

∀t≥0, µ([0, t]) =f(t).

Remarque 1.7. Inversement siµest une mesure positive surR+, la fonctionf(t) =µ([0, t]) est une fonction croissante continue `a droite.

Par cons´equent, se donner une fonctionf d´efinie surR+ qui est croissante et continue `a droite ´equivaut `a se donner une mesureµpositive surR+, la relation entreµetf ´etant :

∀t≥0, µ([0, t]) =f(t), ou, de mani`ere ´equivalente :

pour 0≤a < b µ(]a, b]) =f(b)−f(a), et µ({0}) =f(0).

et on noteµ=df. Exemple 1.8.

1. sif = 1_[a,+∞[alorsdf =δ_a,

2. soitµune mesure positive surR+etgune fonction bor´elienne positiveµ-int´egrable sur[0, t]pour toutt≥0. Posonsf(t) =Rt

0g(s)µ(ds), alors : df(t) =g(t)µ(dt).

Etant donn´ee une fonctionf continue `a droite et pourvue de limite `a gauche, on pose :

∆f(s) =f(s)−f(s−).

En ´ecrivant :

[f(t)−f(0)] [g(t)−g(0)] = (df⊗dg)(]0, t]×]0, t])

= (df⊗dg)({(x, y) : 0< x < y ≤t}) + (df⊗dg)({(x, y) : 0< y≤x≤t}),

Proposition 1.9(formule d’int´egration par parties). Sif etgsont deux fonctions croissantes d´efinies surR+, continues `a droite, on a la formule d’int´egration par parties suivante :

f(t)g(t)

= f(0)g(0) + Z

]0,t]

g(s)df(s) + Z

]0,t]

f(s−)dg(s)

= f(0)g(0) + Z

]0,t]

g(s−)df(s) + Z

]0,t]

f(s−)dg(s) +X

s≤t

∆f(s)∆g(s).

Corollaire 1.10. ([10] Corollaire A6 )

Soitf une fonction `a croissante et continue d´efinie surR+, alors : fⁿ(t) =fⁿ(0) +

t

Z

0

n fⁿ⁻¹(s)df(s), c’est-`a-dire :

d[fⁿ(s)] =n fⁿ⁻¹(s)df(s), et, pour tout r´eela:

e^af(t)=e^af(0)+

t

Z

0

ae^af(s)df(s), c’est-`a dire :

d[e^af(s)] =a e^af(s)df(s).

Proposition 1.11. ([24] proposition 6.2.11, [8] th´eor`eme T4 annexe A4, [10] Annexe A Proposition A7)

Soitf est une fonction croissante, continue `a droite, d´efinie surR+, `a valeurs dans Ret telle quef(0) = 0. Alors pour tout r´eelal’´equation

z(t) =z(0) +a Z

]0,t]

z(s−)df(s)

a une et une seule solution born´ee sur tout compact et cette solution est : z(t) =z(0)



 Y

s≤t

(1 +a∆f(s))



exp (af^c(t)), o`uf^c(t) =f(t)−P

s≤t∆f(s)est la partie continue def.

En particulier sifest une fonction d´efinie surR+, croissante, continue, nulle en0, l’´equation z(t) =z(0) +a

t

Z

0

z(s)df(s) pour t≥0 admet une unique solution born´ee sur tout compact. Cette solution est :

z(t) =z(0) exp



a

t

Z

0

df(s)



.

1.2.2 Cas g´en´eral

D´efinition 1.12. Une fonctionf d´efinie surR+ et `a valeurs dansRest `a variation born´ee si, pour toutt >0:

V_f(t) = sup (_n−1

X

i=0

|f(t_i+1)−f(ti)|:n≥1,0 =t0≤t1< . . . < tn=t )

<+∞. (1.2) La fonctionV_f d´efinie surR+est la variation totale def.

SoitIun intervalle deR+, la fonctionfd´efinie surIest `a variations born´ees surIsi (1.2) est vraie pour toutn ≥1et toust0 < . . . < tnappartenant `aI. Nous laissons au lecteur le soin de transposer les r´esultats de ce paragraphe aux fonctions `a variations born´ees surI. Remarque 1.13. Sif est `a variations born´ees sur[a, b]⊂R+, et si on prolongef `aR+en posantf(s) =f(a)pours≤aetf(s) =f(b)pours≥b, alors la fonction ainsi prolong´ee est `a variations born´ees surR+.

Dans [8], les fonctions que nous appelons `a variations born´ees sont appel´ees fonctions

`a variations localement born´ees. Dans [43] les fonctions consid´er´ees sont d´efinies sur un intervalle[a, b] (−∞< a < b <+∞).

La fonctionV_f est une fonction croissante et elle est continue `a droite sif l’est.

Remarque 1.14. : Sifest une fonction croissante alors elle est `a variation born´ee etV_f(t) = f(t)−f(0).

Th´eor`eme 1.15. ([6] chapitre 6 fin de la section 31)

Une fonctionfdeR+dansRc`ad-l`ag (c’est-`a-dire continue `a droite et pourvue de limites

`a gauche), est `a variation born´ee si et seulement si : f −f(0) = Φ₁−Φ₂,

o`uΦ<sub>1</sub>etΦ<sub>2</sub>sont deux fonctions deR+dansR, croissantes, c`ad-l`ag et nulles en0.

La d´ecompostion ci-dessus n’est pas unique mais il existe un et un seul couple(Φ₁,Φ₂), appel´e d´ecomposition canonique def, tel qu’on ait de plusVf = Φ1+ Φ2.

Proposition 1.16([43], Chapitre 7, exercice 13 p.157). Une fonction `a variations born´ees est d´erivable presque-partout et sa d´eriv´ee est int´egrable par rapport `a la mesure de Lebesgue.

Remarque 1.17. Sif est `a variations born´ees, on v´erifie imm´ediatement que : Vf(t)≤

t

Z

0

|f⁰(s)|ds.

D´efinition 1.18. Soitfune fonction c`ad-l`ag `a variations born´ees et(Φ1,Φ2)sa d´ecomposition canonique. On notedf la mesure sign´ee d´efinie par :

df =f(0)δ₀+dΦ₁−dΦ₂,

et|df|la mesure positive d´efinie par :

|df|=|f(0)|δ0+dΦ1+dΦ2,

Une fonctiongd´efinie surR+estdf-int´egrable si elle est|df|-int´egrable et on pose alors : Z

gdf =g(0)f(0) + Z

g dΦ1− Z

g dφ2.

La fonctiongest localementdf-int´egrable si, pour toutt,g1_[0,t]estdf-int´egrable.

Remarque 1.19. Soit f une fonction c`ad-l`ag `a variations born´ees. Alors df est l’unique mesureµsurR+telle que :

∀t >0, f(t) =µ([0, t]), ou de mani`ere ´equivalente, telle que :

µ({0}) =f(0), ∀0≤a < b, f(b)−f(a) =µ(]a, b]).

Inversement, ´etant donn´ee une mesure sign´eeµsurR+, finie sur tout compact, la fonction f(t) =µ([0, t])est `a variations born´ees et c`ad-l`ag.

Proposition 1.20. Soitf1etf2deux fonctions c`ad-l`ag `a variations born´ees d´efinies surR+

etgune fonction mesurable d´efinie surR²+telle que : Z

R+

Z

R+

|g(s₁, s2)| |df₁|(s₁)

|df₂|(s₂)





= Z

R+

Z

R+

|g(s₁, s2)| |df₂|(s₂)

|df₁|(s₁)





<+∞.

Alors : Z

R+

Z

R+

g(s1, s2)df1(s1)

df2(s2) = Z

R+

Z

R+

g(s1, s2)df2(s2)

df1(s1))

=def

Z

R²+

g(s1, s2)df1(s1)df2(s2),

ces ´egalit´es signifiant que les formules ´ecrites ont un sens (par exemple pour|df₂|-presque touts2,s1 →g(s1, s2)estdf1int´egrable).

Proposition 1.21(formule d’int´egration par parties). ([8] Appendix A4 Theorem T2) Soitf etgdeux fonctions c`ad-l`ag `a variations born´ees d´efinies surR+. Alors :

f(t)g(t) =f(0)g(0) + Z

]0,t]

g(s)df(s) + Z

]0,t]

f(s−)dg(s).

1.2.3 Fonctions absolument continues

D´efinition 1.22. Soit (a, b) ∈ R², a < b. Une fonction f : [a, b] → R est absolument continue sur[a, b]si pour toutε > 0, il existeδ >0tel que pour toute famille finie]ai, bi[, i= 1, . . . , n, d’intervalles disjoints contenus dans[a, b]on ait :

n

X

i=1

(b_i−a_i)< δ =⇒

n

X

i=1

|f(b_i)−f(a_i)|< ε.

Une fonctionf : R → R(respectivementf : R+ → R) est absolument continue si elle absolument continue sur tout intervalle[a, b]⊂R(respectivement[a, b]⊂R+).

Une fonction lipschitzienne est donc absolument continue.

Remarque 1.23. Soitf1etf2des fonctions born´ees et absolument continues sur[a, b]⊂R, alorsf₁f₂est absolument continue sur[a, b]. Si de plus|f₂(s)| ≥c >0pour touts∈[a, b], alorsf₁/f₂est absolument continue sur[a, b].

Th´eor`eme 1.24([43] p.144-149). Une fonction f : R → Rest absolument continue si et seulement si :

1. f est d´erivable presque-partout,

2. f⁰ est int´egrable sur tout intervalle[a, b], 3. pour touta < b:f(b)−f(a) =Rb

af⁰(s)ds.

Dans toute la suite, lorsquef est absolument continue, nous noteronsf⁰ la fonction ´egale

`a la d´eriv´ee def aux points o`u cette fonction est d´erivable et ´egale `a0 aux points o`u cette fonction n’est pas d´erivable. De mˆeme siϕest une fonction d´efinie sur F ×R+ telle que pour touty∈F,v →ϕy(v) =ϕ(y, v)soit absolument continue, nous noterons ^∂ϕ_∂v(y, v)la fonction ´egaleϕ⁰_y(v)lorsqueϕ⁰_y(v)existe et ´egale `a0sinon.

Th´eor`eme 1.25([43], Chapitre 7, exercice 13 p.157). Soitf une fonction continue `a droite.

Elle est absolument continue si et seulement si 1. elle est `a variations born´ees,

2. la mesuredf associ´ee est absolument continue par rapport `a la mesure de Lebesgue.

Remarque 1.26. La formule d’int´egration par parties entraine que sif₁etf₂sont absolument continues, alorsf₁f₂l’est ´egalement et(f₁f₂)⁰ =f₁f₂⁰ +f₁⁰f₂.

1.3 Taux de hasard, mesure de hasard

SoitT une variable al´eatoire `a valeurs dansR¯+ =R+∪ {+∞}de fonction de r´epartition F. PosonsF¯ = 1−F.

Dans les r´ef´erences que nous donnons dans ce paragraphe, les variables al´eatoires consid´e- r´ees sont `a valeurs dansR+et non dansR¯+, mais cela ne modifie pas les d´emonstrations ...

donc les r´esultats.

Soitfune fonction positive d´efinie surR+et telle queR+∞

0 f(s)ds≤1. Nous commenc¸ons par supposer que la loi deTadmet une densit´ef au sens o`u :

P(T ≤t) =

t

Z

0

f(s)ds, (1.3)

c’est-`a-dire que la loi deT est : f(v)dv+

1−

+∞

Z

0

f(s)ds

δ+∞(dv).

D´efinition 1.27. On appelletaux de hasardde la variable al´eatoireT, la fonctionhd´efinie surR+par :

h(v) =





 f(v)

F¯(v) si F(v)¯ 6= 0, 0 si F(v) = 0.¯

(1.4) La fonctionf n’est d´efinie qu’`a une ´equivalence pr`es (relativement `a la mesure de Le- besgue), il en est donc de mˆeme pour le taux de hasard h. Cependant, dans la plupart des applications, la variableT admet pour densit´e une fonction continue surR^∗+. Si tel est le cas nous prendrons pour fonctionfcette fonction continueet nous prendrons pour taux de hasard lafonction continue correspondante.

La terminologie de “taux” est justifi´ee par la proposition suivante :

Proposition 1.28([10] Proposition 1.1). Supposons que la variable al´eatoireTadmette une densit´ef qui soit continue surR+. Alors, pour toutv >0tel queP(T > v)>0:

h(v) = lim

∆→0+

1

∆P(v < T ≤v+ ∆/T > v).

Proposition 1.29. SoitT une variable al´eatoire `a valeurs dansR¯+ethune fonction mesu- rable positive d´efinie surR+. Les assertions suivantes sont ´equivalentes :

1. la variable al´eatoireT a une densit´e et son taux de hasard esth, 2. il existeε >0tel queR_ε

0 h(s)ds <+∞et pour touttpositif : P(T > t) = exp

−

t

Z

0

h(s)ds

.

Lorsque ces conditions sont v´erifi´ees, la loi deT peut s’´ecrire : h(v)e⁻

R_v

0 h(s)dsdv+e⁻

R+∞

0 h(s)dsδ+∞(dv) etT est `a valeurs dansR+si et seulement siR+∞

0 h(s)ds= +∞.

D´emonstration : Supposons la condition 1. v´erifi´ee. Par d´efinition du taux de hasard, nous avons :

P(T ≤t) =

t

Z

0

f(s)ds=

t

Z

0

P(T > s)h(s)ds.

Nous en d´eduisons que la fonctionz(t) =P(T > t)est solution de l’´equation int´egrale : z(t) = 1−

t

Z

0

z(s)h(s)ds.

Or, d’apr`es la proposition A.7 page 374 de [10] (ou [24] proposition 6.2.11 ou [8] th´eor`eme T4 annexe A4), cette ´equation admet une et une seule solutiont→ z(t)qui soit born´ee sur tout compact, et cette solution est :

z(t) = exp

−

t

Z

0

h(s)ds

. Par suite, siRε

0 h(s)ds= +∞pour toutε > 0, alorsP(T > ε) = 0pour tout >0donc T = 0presque-sˆurement, ce qui est en contradiction avec le fait queT ait une densit´e.

R´eciproquement, supposons que la condition 2. soit v´erifi´ee. Posons : f(v) =h(v)e⁻

Rv

0 h(s)ds, A= inf{v≥0 : Zv

0

h(s)ds= +∞}

(avec la convention habituelleinf(∅) = +∞). Nous avons A > 0, et siA < +∞ pour v≥A:Rv

0 h(s)ds= +∞doncf(v) = 0. Le corollaire1.10page 12 appliqu´e `a la fonction s→Rs

0 h(u)duentraine que pour toutα < A:

α

Z

0

h(v)e^−R0vh(s)dsdv= 1−e^{−R0αh(s)ds}. Par cons´equent :

+∞

Z

0

f(v)dv =

A

Z

0

f(v)dv= lim

α↑A α

Z

0

h(v)e^−R0vh(s)dsdv= lim

α↑A

1−e^{−R0αh(s)ds}

= 1−e^−R0Ah(s)ds = 1−e^{−R0+∞h(s)ds} ≤1.

Posons :

m(dv) =f(v)dv+

1−

+∞

Z

0

f(s)ds

δ+∞(dv).

Sit≥A:

m(]t,+∞]) = 1−

+∞

Z

f(s)ds=e^−R0Ah(s)ds=e^−R0th(s)ds,

sit < A:

m(]t,+∞]) = ZA

t

h(v)e⁻

Rv

0 h(s)ds+e⁻

RA

0 h(s)ds =e⁻

Rt 0h(s)ds. donc pour toutt≥0:m(]t,+∞]) =P(T > t), doncmest la loi deT.

Remarque 1.30. Reprenons les notations de la proposition ci-dessus. En proc´edant comme dans celle-ci et en consid´erant successivement les diff´erentes positions deApar rapport `aα etβ, on v´erifie que :

∀0≤α < β≤+∞,

β

Z

α

h(v)e^−R0vh(s)dsdv=e^{−R0αh(s)ds}−e^{−R0βh(s)ds}

Dans le cas d’une variable al´eatoireT `a valeurs dansR¯+ de loidF, la notion de taux de hasardhse g´en´eralise en la notion de mesure de hasarddH, d´efinie par :

dH(v) = 1

1−F(v−)dF(v), lorsque cette mesure est finie sur tout intervalle born´e deR+.

La d´efinition ci-dessus ne pose pas de probl`eme car l’ensemble o`u1−F(v−) est nul est dedF-mesure nulle.

LorsquedF(v) = f(v)dv+ (1−R+∞

0 f(s)ds)δ+∞(dv), nous avonsdH(v) = h(v)dv o`uhest le taux de hasard d´efini par la formule (1.4).

Proposition 1.31([10] Proposition 1.15). Soit T est une variable al´eatoire positive de me- sure de hasarddH, alors :

F¯(t) =P(T > t) = (1−P(T = 0)) Y

s≤t

(1−∆H(s))e^{−R0t dHc(s)}.

En particulier siT est de loi diffuse, c’est-`a-dire siP(T =x) = 0pour toutx, alors pour toutt >0:

F¯(t) =P(T > t) =e⁻

Rt 0 dH(s).

Proposition 1.32([24] 6.2.3 page 189). SoitT une variable al´eatoire positive de mesure de hasarddH. NotonsF_tla tribu engendr´ee par les variables al´eatoires1{T≤s} avecs≤t, et posons

M_t= 1_{T≤t}− Z

[0,t]

1_{s≤T}dH(s). (1.5)

Alors(M_t)t≥0est une martingale relativement `a la filtration(F_t)t≥0.

Plus g´en´eralement soitY une variable al´eatoire `a valeurs dans(F,F). On noteµ_Y,T la loi de(Y, T)etF_tla tribu engendr´ee par les variables al´eatoires1{T≤s,Y∈A} avecs≤tet A∈ F.

Posons

˜

q(dz, ds) = 1

1−P(T < s)µ_Y,T(dz, ds) (1.6) et pourA∈F ett∈R+:

M_t^A= 1_{T≤t}1_A(Y)− Z

A×[0,t]

˜

q(dz, ds).

Alors(M_t∧T^A )t≥0est une martingale relativement `a la filtration(F_t)t≥0. Le paragraphe suivant g´en´eralise ce r´esultat.

1.4 Compensateur d’un processus ponctuel marqu´e

D´efinition 1.33. Soit(F,F)un espace mesur´e et∆∈/ F. Un processus ponctuel marqu´e `a valeurs dansF est une suite(Yn, Tn)n≥1de variables al´eatoires telle que :

• les(Tn)n≥1forment une suite croissante de variables al´eatoires `a valeurs dansR¯+ = R+∪ {+∞},

• lesYnsont `a valeurs dansF ∪ {∆}, et{Y_n= ∆}={T_n= +∞}presque sˆurement.

On consid`ere un processus ponctuel marqu´e(Y_n, T_n)n≥1et on suppose pour simplifier que limnTn= +∞.

On notedqla mesure al´eatoire surF ×R+d´efinie par : dq(z, s) =q(dz, ds) = X

n≥1:Tn<+∞

δYn,Tn(dz, ds).

On d´efinit la mesure al´eatoired˜qsurF×R+de la mani`ere suivante :

• sur]0, T₁],d˜qa la forme (1.6) o`uµ_Y,T est remplac´e par la loi de(Y₁, T₁),

• sur]T_k+1, T_k] (k≥1),d˜qa la forme (1.6) avecµ_Y,T remplac´e par la loi conditionnelle de(Yk+1, Tk+1)sachant(Y1, T1, . . . , Yk, Tk)not´eeµ_{Yk+1,Tk+1/Y1,T1,...Yk,Tk}, autrement dit :

Z

F×R+

h(z, s, ω) 1_]Tk,Tk+1](s) ˜q(dz, ds)

= Z

F×R+

h(z, s, ω) 1_]Tk,Tk+1](s) µ_{Yk+1,Tk+1/Y1,T1,...Yk,Tk}(dz, ds) P(T_k+1≥s / Y₁, T₁, . . . , Y_k, T_k)

= Z

F×R+

h(z, u+T_k, ω) 1_{{0<u≤Tk+1−Tk}} µ_{Yk+1,Tk+1−Tk/Y1,T1,...Yk,Tk}(dz, du) P(T_k+1−T_k ≥u / Y₁, T₁, . . . , Y_k, T_k) o`u µ_{Yk+1,Tk+1−Tk/Y1,T1,...Yk,Tk} est la loi conditionnelle de(Y_k+1, T_k+1 −T_k)sachant (Y₁, T₁, . . . , Y_k, T_k).

On noteF_tla tribu engendr´ee par les variables al´eatoiresP

n≥11_{{Tn,≤s,Yn∈A}}avecs≤t etA∈ F.

Proposition 1.34. [[24] th´eor`eme 6.2.7 page 190, [26] proposition A5.1 page 276]

Avec les notations pr´ec´edentes,d˜q est le compensateur de dqrelativement `a la filtration (F<sub>t</sub>)t≥0, c’est-`a-dire que toutA,t→RR

1{s≤t}1{z∈A}d˜q(z, s)est pr´evisible et M_t^A=

Z Z

1_{s≤t}1_{z∈A}dq(z, s)− Z Z

1_{s≤t}1_{z∈A}d˜q(z, s) est une martingale locale relativement `a la filtration(F_t)t≥0.

D´efinition 1.35. Soith:F×R+×Ω→R. On dit que

— h∈L¹(q)siE(R

|h(z, s, ω)|q(dz, ds))<+∞.

— h∈L¹(˜q)siE(R

|h(z, s, ω)|q(dz, ds))˜ <+∞,

— h∈L¹_loc(q)(resp.L¹_loc(˜q))s’il existe une suite croissanteσ_nde temps d’arrˆet tels que h1{s<σ_n}∈L¹(q)(respL¹(˜q)).

Proposition 1.36. [[26] th´eor`eme 26.2 page 69]

L¹(q) =L¹(˜q), L¹_loc(q) =L¹_loc(˜q).

Sihest pr´evisible et sih ∈L¹_loc(q), alors M_t=

Z Z

h(z, s, ω)1_{s≤t}q(dz, ds)− Z Z

h(z, s, ω)1_{s≤t}q(dz, ds)˜ est une martingale locale.

Si pour toutt∈R+,(z, s, ω)→h(z, s, ω) 1_{s≤t} ∈L¹(q), alorsMtest une martingale.

Dans [26], M.H.A. Davis travaille avec les tribus compl´et´ees. En fait les r´esultats ´enonc´es ci-dessus sont vrais que les tribus soient compl´et´ees ou non.

Chapitre 2

Renouvellement markovien et processus associ´es

Soit(H,H)un espace mesur´e,H0∈ HetH₀la tribu trace deHsurH0. Etant donn´ee une mesureµsur(H₀,H₀) nous la consid`ererons ´egalement comme une mesure sur(H,H)en la prenant nulle surH₀^c, autrement dit pour toutA∈ Hnous avonsµ(A) =µ(A∩H₀).

Soit(F1,F₁) et(F2,F₂) deux espaces mesur´es. Unemesure de transition (respective- ment uneprobabilit´e de transition) deF₁ dansF₂ est une applicationmdeF₁ dans l’en- semble des mesures positivesσ-finies sur(F₂,F₂)(respectivement dans l’ensemble des pro- babilit´es sur(F2,F₂)) telle que pour toutA ∈ F₂, l’applicationx1 ∈ F1 → m(x1, A)soit mesurable. Il s’ensuit que pour toute fonctionf mesurable d´efinie sur(F₂,F₂)et `a valeurs dansR₊, l’applicationx₁ ∈F₁ →R

F2f(x₂)m(x₁, dx₂)est mesurable.

Soit(F,F)un espace mesur´e. On suppose queF est un espace polonais(c’est-`a-dire un espace m´etrique complet `a base d´enombrable) et queF est sa tribu bor´elienne. Soit∆∈/ F.

On munitF ∪ {∆}de la tribu engendr´ee parFet{∆}.

2.1 Noyaux de renouvellement et convolution

D´efinition 2.1. Un noyau de renouvellementN surFest une mesure de transition deF dans F×R+.

Un noyau semi-markovienN surF est un noyau de renouvellement surF tel que pour tout y ∈ F on ait N(y, F ×R+) ≤ 1. Le noyau semi-markovien est dit propre si on a N(y, F ×R+) = 1pour touty∈F.

Le noyau de renouvellement (propre)Iest d´efini par : I(y, dz, dv) =δy,0(dz, dv).

Rappelons que le produit de convolution de deux mesuresν₁ etν₂ surR+ est la mesure ν₁∗ν₂ surR+donn´ee par :

Z

g ν1∗ν2= Z

g(u+v)ν1(du)ν2(dv)

pour toute fonctiongbor´elienne positive d´efinie surR.

Etant donn´es deux noyaux de renouvellementN₁etN₂surF, on d´efinitN₁∗N₂par : (N₁∗N₂)(y, dz,·) =

Z

F

N₁(y, dy₁,·)∗N₂(y₁, dz,·), c’est-`a-dire :

Z

F×R+

ϕ(z, v) (N₁∗N₂)(y, dz, dv) = Z

(F×R+)²

ϕ(z₂, v₁+v₂)N₁(y, dz₁, dv₁)N₂(z₁, dz₂, dv₂)

pour toute fonctionϕmesurable positive d´efinie surF ×R+. On a :

I∗N =N ∗I =N.

On pose :

N^∗0 =I, N^∗(n+1) =N^∗n∗N (n≥0).

Soitµune mesure positive surF ×R₊,N un noyau de renouvellement sur F etϕune fonction mesurable positive d´efinie surF×R+.

Rappelons queµ∗ϕest la fonction d´efinie surR+par ; (µ∗ϕ)(t) =

Z

F×R+

1_[0,t](v)ϕ(z, t−v)µ(dz, dv).

On pose :

(N ∗ϕ)(y, t) = Z

F×R+

1_[0,t](v)ϕ(z, t−v)N(y, dz, dv),

autrement ditN∗ϕest la fonction surF×R+d´efinie par :(N∗ϕ)(y, t) = (N(y, ·)∗ϕ)(t).

On d´efinit la mesureµ∗N surF ×R+par : Z

F×R+

ϕ(z, v) (µ∗N)(dz, dv) = Z

(F×R+)²

ϕ(z2, v1+v2)µ(dz1, dv1)N(z1, dz2, dv2).

On a :

µ∗I =µ,

(N₁∗N₂)∗ϕ=N₁∗(N₂∗ϕ), µ∗(N∗ϕ) = (µ∗N)∗ϕ.

Remarquons que : Z

F×R+

ϕ µ∗N = Z

(F×R+)²

ϕ(z2, v1+v2)µ(dz1, dv1)N(z1, dz2, dv2)

= Z

(F×R+)²

ϕ(z2, v2)(δz1,v1∗N)(dz2, dv2)µ(dz1, dv1). (2.1)

2.2 Processus de renouvellement markovien

Le processus(Y, T) = (Y_n, T_n)n≥1 est un processus de renouvellement markovien `a va- leurs dansF de noyauN si c’est un processus ponctuel marqu´e tel que la suite(Tn)n≥1est strictement croissante et pour toutn≥1la loi de(Y<sub>n+1</sub>, T<sub>n+1</sub>−T<sub>n</sub>)sachant(Y<sub>1</sub>, T<sub>1</sub>, . . . , Y<sub>n</sub>, T<sub>n</sub>) est ´egale `a la loi de (Y_n+1, T_n+1 −T_n) sachant Y_n et est donn´ee par le noyau N. Plus pr´ecisement :

D´efinition 2.2. SoitN un noyau semi-markovien surF tel que :

∀y∈F, N(y, F × {0}) = 0.

Le processus(Y, T) = (Yn, Tn)n≥1 est unprocessus de renouvellement markovien(ho- mog`ene en temps) `a valeurs dansFde noyauN si les(T_n)n≥1forment une suite de variables al´eatoires `a valeurs dansR¯+et lesYnsont des variables al´eatoires `a valeurs dansF∪ {∆}

telles que :

1. pour toutn≥1:

{Y_n= ∆}={T_n= +∞} p.s., (2.2)

autrement dit(Y_n, T_n)∈(F ×R+)∪ {(∆,+∞)},

2. pour toutn≥1et pour toute fonction mesurable positiveϕd´efinie surF ×R+: E(ϕ(Y_n+1, T_n+1−T_n) 1_{Tn+1<+∞}/ Y₁, T₁, . . . , Y_n, T_n)

= 1F(Yn) Z

F×R+

ϕ(z, v)N(Yn, dz, dv). (2.3)

La restriction `aF ×R+ de la loi de (Y₁, T₁) est appel´ee loi initiale du processus de renouvellement markovien(Y, T).

La loi initiale est donc une mesure positiveµ0surF×R+v´erifiantµ0(F×R+)≤1et la loi de(Y1, T1)estµ0+ (1−µ0(F ×R+))δ∆,+∞.

Nous avons :

∀n≥1 P(Tn+1 = +∞/ Y1, T1, . . . , Yn, Tn) = 1−1_F(Yn)N(Yn, F×R+). (2.4) Remarque 2.3. La condition (2.2) ´equivaut `a

P(Y_n= ∆, T_n<+∞) =P(Y_n∈F, T_n= +∞) = 0.

Remarque 2.4. Compte-tenu de (2.2) qui ´equivaut `a{Y_n ∈ F} = {T_n < +∞}presque sˆurement, la formule (2.3) s’´ecrit : pour toute fonctionf d´efinie sur(F ×R+)ⁿ

E(f(Y₁, T₁, . . . , Y_n, T_n)ϕ(Y_n+1, T_n+1−T_n) 1_{Tn+1<+∞})

= E

f(Y₁, T₁, . . . , Y_n, T_n) 1_{Tn<+∞}

Z

F×R+

ϕ(z, v)N(Y_n, dz, dv)

(2.5)

Soity∈F, on d´eduit de (2.3) que pourn≥1,P(T_n+1<+∞/ Y_n=y) =N(y, F×R+).

Par cons´equent :

P(Tn+1= +∞/ Yn=y) =P(Yn+1 = ∆/ Yn=y) = 1−N(y, F ×R+).

Remarque 2.5. Habituellement un processus de renouvellement markovien est index´e parN et nonN^∗. L’indexation parNcorrespond `a la notation usuelle des chaines de Markov et est un prolongement des notations utilis´ees pour les processus de renouvellement. Nous avons choisi une indexation parN^∗pour ˆetre en coh´erence avec les applications que nous ´etudierons (processus markoviens de sauts, processus de Markov d´eterministes par morceaux).

Exemple :La notion de processus de renouvellement markovien g´en´eralise celle de proces- sus de renouvellement, en effet soit(Yn, Tn)n≥1un processus de renouvellement markovien de noyauN :

1. si l’ensembleF est r´eduit `a un point, le noyau semi-markovien se r´eduit `a une proba- bilit´eν sur R+ et les (Tn)n≥1 forment un processus de renouvellement de loi inter- arriv´eesν. La loi initiale du processus de renouvellement markovien est la loi du d´elai du processus de renouvellement.

2. Soitν₁etν₂ deux probabilit´es surR+. PosonsF ={1,2},p(1,2) = 1,p(2,1) = 1, pourietjdansF N(i, j, dt) =p(i, j)νi(dt),µ0(dy, dt) =δ1(dy)ν0(dt),ξ1 =T1, ξ_n+1=T_n+1−T_npourn≥1. Alors les(T_n)n≥1forment un processus de renouvel- lement altern´e, autrement dit les variables al´eatoiresξ_n, n≥1sont ind´ependantes, les variables al´eatoiresξ2n+1, n ≥1ont mˆeme loiν1, les variables al´eatoiresξ2n, n ≥1 ont mˆeme loiν₂.

Proposition 2.6. Soit (Y, T) = (Yn, Tn)n≥1 une suite de variables al´eatoires `a valeurs dans(F ×R+)∪ {(∆,+∞)}telle que les(Tn)n≥1forment une suite croissante etP(Tn=

∆, T_n= +∞) =P(T_n= +∞) =P(Y_n= ∆).

Les assertions suivantes sont ´equivalentes :

1. le processus (Y, T) est un processus de renouvellement markovien de noyau semi- markovienN et de loi initialeµ0,

2. posonsX₀= (Y₁, T₁)et pourn≥1: X_n=

(Y_n+1, T_n+1−T_n) siT_n<+∞

(∆,+∞) siTn= +∞,

la chaine(Xn)n≥0est une chaine de Markov de loi initialeµ0+(1−µ₀(F×R+))δ∆,+∞

et de noyau de transition K1((y, u), dz, dv) = 1F(y)

N(y, dz, dv) + (1−N(y, F ×R+))δ∆,+∞(dz, dv)

+ 1_∆(y)δ∆,+∞(dz, dv),

3. pour toutn≥1et toute fonction mesurable positivefd´efinie sur(F×R+)ⁿ: E f(Y1, T1, Y2, T2−T1, . . . , Yn, Tn−Tn−1) 1_{Tn<+∞}

= Z

(F×R+)ⁿ

f(y₁, u₁, . . . , y_n, u_n) 1_F(y₁)µ₀(dy₁, du₁)N(y₁, dy₂, du₂). . . . . . N(yn−1, dy_n, du_n),

4. pour toutn≥1et toute fonctionfmesurable positive d´efinie sur(F×R+)ⁿ: E f(Y1, T1, Y2, T2, . . . , Yn, Tn) 1_{Tn<+∞}

= Z

1_F(y₁)µ₀(dy₁, du₁) Z

N(y₁, dy₂, du₂)· · · Z

N(yn−1, dy_n, du_n) f(y1, u1, y2, u1+u2,· · · , yn, u1+u2+· · ·+un),

5. le processus(Y, T)est une chaine de Markov `a valeurs dans(F×R+)∪ {(∆,+∞)}, de loi initialeµ0+ (1−µ0(F×R+))δ∆,+∞et de noyau de transition donn´e par :

Z

ψ(z, v)K2((y, u), dz dv) = 1F(y) Z

F×R+

ψ(z, u+v)N(y, dz, dv)

+

1F(y) (1−N(y, F ×R+)) + 1∆(y)

ψ(∆,+∞)

pour tout(y, u) ∈ (F ×R+)∪ {(∆,+∞)} et toute fonctionψ bor´elienne positive d´efinie sur(F×R+)∪ {(∆,+∞)}.

D´emonstration page159.

Remarque 2.7. On suppose que le noyauN est propre et queµ₀est port´ee parF×R+. On poseξ1=T1,etξn=Tn−Tn−1pourn≥2. D’apr`es la proposition1.4page 10, l’assertion 2. ´equivaut `a : le processus(Y, ξ) = (Yn, ξn)n≥1 est une chaine de Markov homog`ene en temps, de loi initialeµ<sub>0</sub>, dont la matrice de transition ne d´epend que de la premi`ere coor- donn´ee et est ´egale `aN,

Notations :Si la loi initiale du processus est N(y, ·,·)on pose Y₀ = y et T₀ = 0 . On notePy la probabilit´e (surΩmuni de la tribu engendr´e par les(Yn, Tn)n≥1) pour laquelle le processus de renouvellement a pour loi initialeN(y, ·,·) etEy l’esp´erance relativement `a la probabilit´ePy.

Nous avons :

Ey(ϕ(Y₁, T₁) 1_{T1<+∞}) = Z

F×R+

ϕ(z, v)N(y, dz, dv), (2.6)

pour toute fonctionϕmesurable positive d´efinie surF ×R+, et : Py((Y1, T1) = (∆,+∞)) = 1−N(y, F ×R+).

Corollaire 2.8. Soit(Y, T)un processus de renouvellement markovien de loi initialeµ₀ et de noyau semi-markovienN.

Alors pour toutn≥1et toute fonction mesurable positiveϕd´efinie surF ×R+: E(ϕ(Yn, Tn) 1_{Tn<+∞}) =

Z

ϕ(z, v) (µ0∗N^∗(n−1))(dz, dv),