Dans cette section on s’intéresse, à partir d’une chaîne de Markov (Xn)n∈N aux pro-priétés de la chaîne retournée ( ˆXnN)0≤n≤N. Pour N ∈Nfixé, elle est définie par :
XˆnN =XN−n,0≤n≤N.
La proposition suivante nous assure que( ˆXnN)0≤n≤N est bien une chaîne de Markov.
Proposition 6 Soit(Xn)n∈N une chaîne de Markov (π,P) avec P irréductible et de pro-babilité invariante π. Alors ( ˆXnN)0≤n≤N est une chaîne de Markov (π,P)ˆ où :
Pˆxy = πy πx
Pyx. (1.7)
Preuve On utilise la Proposition 1. Ainsi on a bien :
P( ˆX0N =x0,Xˆ1N =x1. . .XˆpN =xp) = P(XN =x0,XN−1=x1. . . XN−p =xp)
= πx0Pˆx0x1. . .Pˆxp−1xp, avec Pˆ qui vérifie (1.7).
Définition 12 On dit que (Xn)n∈N est réversible si Pˆ = P, c’est-à-dire si la relation suivante est vérifiée :
πxPxy =πyPyx,∀x,y ∈E.
(1.8)
Il est clair que si (1.8) a lieu, alorsπest une probabilité invariante. Par contre, la réciproque est fausse. En effet, considérons une chaîne irréductible récurrente positive de probabilité invariante π. Alors s’il existe x,y ∈E tels que Pxy >0 et Pyx = 0, la relation (1.8) n’est pas vérifiée. Alors P n’est pas réversible par rapport àπ.
Considérons à présent les deux problèmes suivants :
1. Etant donnéeP matrice markovienne irréductible récurrente positive, trouverπ pro-babilité invariante.
2. Etant donné π probabilité, trouver P matrice markovienne telle queπP =π.
Résoudre 2. est facile et admet beaucoup de solutions. Il suffit de trouverP réversible par rapport àπ. Par contre, pour résoudre 1., on peut chercher P réversible par rapport à π.
Mais ce n’est pas toujours possible (voir exemple ci-dessus).
Pour vérifier siπ est invariante pourP, on peut utiliser l’équivalence suivante.
Proposition 7 SoitP matrice markovienne irréductible,π probabilité strictement positive et Pˆ définie par :
Pˆxy = πy πx
Pyx,∀x,y∈E.
LASSE : (i) ∀x∈E :
X
y∈E
Pˆxy = 1.
(ii) Pˆ matrice de transition de la chaîne retournée etπ probabilité invariante par rapport à P.
15
Chapitre 2
Processus de Poisson
Un processus de Markov est un processus stochastique possédant la propriété de Mar-kov, c’est-à-dire que la loi du futur est indépendante de celle du passé, conditionnellement au présent. Dans le Chapitre 1, nous avons étudié les processus de Markov en temps dis-cret, à valeurs dans un espace d’étatsE fini ou dénombrable. A présent on s’intéresse aux processus de Markov en temps continu, toujours à valeurs dans un espace d’états Efini ou dénombrable, qui sont constants entre leurs sauts se produisant à des instants aléatoires.
On les appelle processus markoviens de sauts. Le prototype des procesus markoviens de sauts est le processus de Poisson.
2.1 Processus ponctuels et f.a. de comptage
Un processus ponctuel surR+ est décrit par une suite croissante de variables aléatoires 0 =T0< T1 < T2< . . . Tn< Tn+1. . . ,
qui vérifient en outre Tn −−→ ∞p.s. lorsque n → ∞. En posant Sn = Tn−Tn−1, on peut interpréter :
• Tn comme l’instant où se produit lenième évènement,
• Sn comme le temps d’attente entre le(n−1)ième et le nième évènement.
Définition 13 Soit {Tn, n ∈ N} un processus ponctuel. On appelle fonction aléatoire de comptage (notée f.a. de comptage) le processus {Nt, t≥0} défini par :
Nt= sup
n∈N
{Tn≤t}= X
j∈N∗
1I(Tj ≤t).
Le processus Nt représente le nombre d’évènements qui se sont produits jusqu’à l’instant t. On a clairement N0 = 0 et∀t∈R+, Nt<∞p.s. puisque Tn
−−→ ∞p.s. lorsquen→ ∞.
Une trajectoire type d’une f.a. de comptage est donnée par une fonction en escalier. De plus, par définition, cette trajectoire est dite c.a.d.l.a.g. (continue à droite, limite à gauche).
Notons enfin que la donnée de{Nt, t∈R+}est équivalente à celle de la suite{Tn, n∈N∗}.
De plus, on a le lemme suivant :
Lemme 4 Soit {Tn, n∈N} un processus ponctuel de f.a. de comptage{Nt, t≥0}. Alors on a :
{Nt≥n}={Tn≤t};{Nt=n}={Tn≤t < Tn+1};{Ns< n≤Nt}={s < Tn≤t}.
La preuve est laissée en exercice.
Définition 14 On dit que le processus ponctuel {Tn, n ∈ N} ou sa f.a. de comptage {Nt, t≥0} est un processus de Poisson si les deux hypothèses suivantes sont satisfaites :
1. ∀t0 < t1< . . . < tn, la suite de v.a. {Ntj−Ntj−1,1≤j≤n} est indépendante.
2. ∀0< s < t, la loi de Nt−Ns ne dépend de t et sque par la différencet−s.
La propriété 1. est appelée l’indépendance des accroissements et la propriété 2. la station-narité des accroissements.
Ainsi un processus de Poisson est un processus ponctuel dont les accroissements sont indépendants et stationnaires. Cela entraîne les propriétés suivantes, justifiant l’appelation de processus de Poisson.
Proposition 8 Soit {Nt, t ≥ 0} un processus de Poisson. Alors il existe λ > 0 tel que
∀0≤s < t:
Nt−Ns∼ P(λ(t−s)).
(2.1)
De plus, on a :
T1∼ E(λ)∼TNs+1−s.
(2.2)
Preuve On va montrer que la fonction génératrice de Nt est celle d’une loi de Poisson.
Pour cela, on remarque que d’après la définition du processus :
ft(u) =E[uNt] =ft−s(u)fs(u),∀t > s.
Ainsi, on peut montrer que ∀t∈R+:
ft(u) = (f1(u))t.
De plus, il est clair quef1(u)>0. Alors il existeλ(u)>0 tel que f1(u) =e−λ(u) et ainsi ft(u) =e−tλ(u).
Etant donné que la fonction génératrice d’une loi de Poisson de paramètre θ vaut f(u) = e−θ(1−u), il reste à montrer que
λ(u) =λ(0)(1−u).
Pour cela, on remarque que :
λ(u) =−δ
δt(ft(u))|0= lim
t→0+
1−ft(u)
t = lim
t→0+
1 t
X
k≥1
(1−uk)P(Nt=k).
De plus,
0≤ 1 t
X
k≥2
(1−uk)P(Nt=k)≤ 1
tP(Nt≥2).
2.1. PROCESSUS PONCTUELS ET F.A. DE COMPTAGE 17 Si on montre à présent que
1
tP(Nt≥2)−−−→
t→0+ 0, (2.3)
la preuve est terminé en notant que dans ce cas :
λ(u) = lim
t→0
1
tP(Nt= 1)(1−u).
Reste à prouver (2.3). Or : [
n∈N
{Nnt = 0,N(n+1)t≥2} ⊂ {T2 < T1+t}.
Ainsi, en remarquant que P(Nt= 0) =ft(0), on a par définition du processus : X
n∈N
P(Nnt = 0,N(n+1)t≥2) = X
n∈N
P(N(n+1)t≥2|Nnt= 0)P(Nnt= 0)
= X
n∈N
P(N(n+1)t−Nnt ≥2|Nnt = 0)e−λ(0)nt
= P(Nt≥2)X
n∈N
e−λ(0)nt
= P(Nt≥2) 1
1−e−λ(0)t <P(T2 < T1+t)−−→
t→0 0.
Or, pour t suffisamment petit, 1
tλ(0)P(Nt≥2)≤ 1
1−e−λ(0)tP(Nt≥2), ce qui conlut la preuve de (2.1).
La preuve de (2.2) est conséquence immédiate de (2.1). En effet : P(T1> t) =P(Nt= 0) =e−λt, caractérisant la loi exponentielle de paramètre λ.
De la même manière, on a :
P(TNs+1−s > t) =P(Ns+t−Ns= 0) =P(Nt= 0) =e−λt.
La dernière partie de la proposition assure que si on considère un processus de Poisson {Nt, t ≥ 0}, la loi du premier saut T1 est une loi exponentielle E(λ). Si on fixe s > 0, alors la loi de TNs+1−s est celle de T1. Or, pour s >0 fixé, TNs+1 représente le premier saut depuis l’instant s. Ainsi, le processus {Nts =Nt+s−Ns, t ≥ 0} est un processus de Poisson d’intensité λ. De plus, les accroissements étant indépendants, il est clair que le futur après l’instant s, à savoir {Nt+s, t ≥ 0} ne dépend du passé {Nt,0 ≤ t ≤ s} que par l’intermédiaire du présent Ns, ou encore le futur et le passé sont conditionnellement indépendants, sachant le présent.C’est la propriété de Markov faible.
2.2 Propriété de Markov forte
Nous allons généraliser la remarque ci-dessus à un certain type de temps aléatoire. Pour cela, il faut définir les temps d’arrêt d’un processus de Poisson, comme nous avons défini les temps d’arrêt des chaînes de Markov dans le chapitre précédent.
Tout d’abord on introduit les notations suivantes. Etant donné une famille de variables aléatoires{Xi, i∈I}oùI est quelconque, on noteraσ{Xi, i∈I}la tribu engendrée par la famille {Xi, i∈I}. C’est la plus petite famille contenant tous lesσ(Xi), i∈I. On notera ainsiFtN =σ{Ns,0≤s≤t} la tribu engendrée par le processusNtjusqu’à l’instantt. On a alors de manière équivalente :
FtN =σ{T1,T2, . . . ,TNt,Nt}.
Définition 15 Etant donné un processus de Poisson{Nt, t≥0}, on appelle temps d’arrêt de Nt une variable aléatoire S à valeurs dans R+∪ {+∞}telle que pour tout t≥0:
{S≤t} ∈ FtN.
Cela signifie qu’on peut décider si l’évènement {S ≤ t} a lieu ou non en observant la trajectoire du processus jusqu’à l’instant t.
Exemple 7 Montrer que pour tout n∈N, Tn est un temps d’arrêt.
Exemple 8 Par contre, on peut vérifier que TNs n’est pas un temps d’arrêt (prendret < s et réécrire l’évènement {TNs ≤t}).
On peut associer à tout temps d’arrêt S la tribu FSN engendrée par la trajectoire de {Nt∧S,0 ≤ t}, c’est-à-dire la trajectoire de Nt arrêtée à S. Elle est définie de manière rigoureuse par :
FSN ={A∈ F∞N;A∩ {S ≤t} ∈ FtN,∀t≥0}.
On peut à présent énoncer la propriété de Markov forte.
Proposition 9 Soit {Nt, t ≥ 0} un processus de Poisson d’intensité λ, et S un temps d’arrêt de Nt. conditionnellement à l’évènement {S < ∞}, le processus {NtS = NS+t− NS, t≥0} est un processus de Poisson d’intensité λindépendant de la tribu FSN.
Le résultat est vrai pour S constant. On généralise àS à valeurs dans(sj)j≥1 suite crois-sante puis à tout temps d’arrêt en remarquant que tout temps d’arrêt peut être approché par une suite décroissante de temps d’arrêt de cette forme.