Chaînes de Markov et Processus markoviens de sauts.
Applications aux files d’attente.
Sébastien Loustau
Ecole Centrale de Marseille, Année 2008-2009.
TABLE DES MATIÈRES 3
Table des matières
1 Chaînes de Markov 1
1.1 Définition et propriétés . . . 2
1.2 Propriété de Markov forte . . . 4
1.3 Récurrence, transcience . . . 6
1.4 Chaînes récurrentes irréductibles . . . 8
1.5 Chaîne apériodique . . . 12
1.6 Chaîne réversible . . . 14
2 Processus de Poisson 15 2.1 Processus ponctuels et f.a. de comptage . . . 15
2.2 Propriété de Markov forte . . . 18
2.3 Théorèmes limites . . . 18
3 Processus markoviens de sauts 21 3.1 Définition et premières propriétés . . . 21
3.2 Générateur infinitésimal . . . 23
3.3 Propriété de Markov forte . . . 25
3.4 La chaîne incluse . . . 25
3.5 Classification des états . . . 27
3.6 Cas irréductible récurrent . . . 28 Travaux Dirigés, Devoir Maison, Travaux Pratiques, Examen. 30
1
Chapitre 1
Chaînes de Markov
Introduction
On considère la marche aléatoire suivante sur le réseau Zd: on part du point 0Zd = (0, . . . ,0)et on se dirige avec même probabilité dans chaque direction. Cela signifie qu’avec probabilitép= 2d1, on choisit une direction. Les questions relatives à une telle marche sont nombreuses et largement étudiées en théorie des probabilités. On peut se demander :
• Quelle est la probabilité de revenir en l’origine ?
• Et en tout autre point ?
• Où finit-on par aller ?
• Quelle est la forme de la trajectoire ?
Pour répondre à ces questions, on modélisera cette marche aléatoire par une chaîne de Markov. Formellement, une chaîne de Markov vérifie la propriété de Markov, à savoir :
"Sachant le présent, le futur est indépendant du passé".
Une façon très simple de construire une chaîne de Markov (Xn)n≥0 est de se donner une suite de variables aléatoiresYn, n≥1indépendantes, et indépendantes deX0, et de poser :
Xn=f(Xn−1,Yn,n), n≥1.
(1.1)
Autrement dit, c’est le modèle le plus simple de variables aléatoires dépendantes. Dans ce chapitre, on va étudier les chaînes de Markov homogènes. Cela revient à choisir f indépendante de ndans la relation (1.2). Si on revient à la marche aléatoire sur Zd, on a bien :
Xn=f(Xn−1,Yn), où f(Xn−1,Yn) =Xn−1+Yn avecYn donnée par
Yn=
ei, i= 1. . . d avec probabilité 2d1
−ei, i= 1. . . d avec probabilité 2d1 , où ei, i= 1. . . d est la base canonique deZd.
1.1 Définition et propriétés
On se place sur un espace de probabilité (Ω,F,P). Dans toute la suite, les variables aléatoires seront définies sur cet espace de probabilité. De plus, par convention, chaque condition faisant intervenir la probabilité conditionnelle P(A|B) n’est supposée vérifiée que pourP(B)>0. On exclut le cas contraire oùP(B) = 0, qui revient à diviser par zéro.
Définition 1 Le processus stochastique (Xn)n≥0 à valeurs dans E ensemble fini ou dé- nombrable est une chaîne de Markov si ∀n∈N, ∀x0, . . . xn,y∈E,
P(Xn+1=y|X0 =x0, . . . Xn=xn) =P(Xn+1 =y|Xn=xn).
On va tout d’abord démontrer qu’une suite de variables aléatoires (Xn)n≥0 vérifiant (1.2) est bien une chaîne de Markov.
Lemme 1 Soit E et F deux ensembles dénombrables. Soitf :N×E×F →E. Soit X0 à valeurs dans E et (Yn)n≥0 à valeurs dans F, indépendantes et indépendantes deX0. Alors le processus définit par:
Xn+1=f(Xn,Yn+1,n),n≥1, est une chaîne de Markov.
Preuve
P(Xn+1=y|X0 =x0, . . . Xn=xn) = P(Xn+1=y,X0 =x0, . . . Xn=xn) P(X0=x0, . . . Xn=xn)
= X
z:f(xn,z,n)=y
P(X0=x0, . . . Xn=xn,Yn+1 =z) P(X0 =x0, . . . Xn=xn)
= X
z:f(xn,z,n)=y
P(Yn+1 =z)
= P(Xn+1=y|Xn=xn).
Cette preuve permet de montrer rigoureusement que la marche aléatoire sur Zd est bien une chaîne de Markov.
Dans le monde déterministe, cela revient à étudier les suites (xn)n≥0 définies par ré- currence de la manière suivante :
xn+1 =f(xn,n).
Dans ce cas la fonctionf(·,n)permet de construire pas à pas à partir dex0 la suite(xn)n≥0. Dans le cadre des chaînes de Markov, ce rôle est joué par la matrice de transition, définie par :
Pxy =P(Xn+1 =y|Xn=x).
La quantité Pxy est la probabilité d’aller de l’état x à l’état y. Dans toute la suite, cette matriceP sera indépendante de l’instantn. On dit que la chaîne de Markov est homogène.
Définition 2 Une matriceP est dite markovienne siP = (Pxy)x,y∈E vérifie les propriétés suivantes :
• ∀x∈E:
X
y∈E
Pxy = 1;
1.1. DÉFINITION ET PROPRIÉTÉS 3
• ∀x,y∈E, Pxy ≥0.
Remarque 1 On indice les lignes et les colonnes de la matrice P par les éléments de E.
Une matrice markovienne est une matrice carré, avec éventuellement une infinité de lignes et de colonnes lorsque E est dénombrable infini.
Remarque 2 Les deux conditions de la définition reviennent à dire que chaque vecteur ligne Px· est un mesure de probabilité sur E.
Comme on va le voir, la loi d’une chaîne de Markov sur E est entièrement déterminé par la donnée d’une loi initiale µsurE et d’une matrice markovienne P qui sera la matrice de transition de la chaîne.
Définition 3 Soit µ une probabilité sur E et P une matrice markovienne. Un processus stochastique (Xn)n≥0 à valeurs dans E et défini sur un espace de probabilité (Ω,F,P) est une chaîne de Markov (µ,P) si :
(i) P(X0 =x) =µx, ∀x∈E.
(ii) P(Xn+1=y|X0 =x0, . . . Xn=x) =Pxy, ∀x0, . . . x,y∈E.
La probabilité µest appelé loi initiale de la chaîne et la matrice P matrice de transition.
Proposition 1 (Xn)n≥0 est une chaîne de Markov si et seulement si ∀n∈N: P(X0 =x0, . . . Xn=xn) =µx0Px0x1. . . Pxn−1xn.
(1.2)
Preuve ⇒) Si (Xn)n≥0 est une chaîne de Markov, alors on a :
P(X0 =x0, . . . Xn=xn) = P(Xn=xn|X0 =x0,, . . . Xn−1=xn−1)P(X0=x0, . . . Xn−1 =xn−1)
= P(Xn=xn|Xn−1 =xn−1)P(X0 =x0, . . . Xn−1=xn−1)
= . . .
= Pxn−1xn. . . Px0x1P(X0=x0).
⇐) Si (1.2) est vérifiée, alors:
P(Xn+1 =y|X0=x0, . . . Xn=xn) = P(X0 =x0, . . . Xn=xn,Xn+1 =y) P(X0 =x0, . . . Xn=xn)
= µx0P x0x1. . . P xn−1xnP xnxn+1 µx0P x0x1. . . P xn−1xn
= P(Xn+1 =y|Xn=xn).
Dans ce cours, une probabilité µ surE sera toujours définie comme un vecteur ligne.
Une applicationg:E →Rsera représentée par un vecteur colonne, de sorte que:
(µP)y = X
x∈E
µxPxy,
et
(P g)x=X
y∈E
Pxygy.
Enfin, l’intégrale d’une fonction g par rapport à une mesureµ s’écrit, lorsqu’elle existe : µ(g) =X
x∈E
µxgx.
Proposition 2 Soit(Xn)n∈N une chaîne de Markov (µ,P). Alors : – P(Xn=y) = (µPn)y.
– P(Xn=y|X0=x) =P(Xn+p=y|Xp =x) = (Pn)xy. – E(g(Xn)|X0 =x) = (Png)x.
Preuve Exercice !
Exemple 1 (Somme de variables aléatoires) Soit (Xn) une suite de variables aléa- toires indépendantes à valeurs dans Z.Sn=X1+. . .+Xn est une chaîne de Markov. De plus, si les variablesXn sont de même loiµ, alors(Sn)est une chaîne de Markov homogène de matrice de transition Pij =µ(j−i).
Exemple 2 (Modèle de diffusion d’Ehrenfest) On répartiN particules dans deux com- partiments. Entre l’instant net n+ 1, une particule au hasard (avec probabilité uniforme) et une seule passe d’un compartiment à un autre. On note Xn le nombres de particules dans le premier compartiment à l’instantn. Alors Xn est une chaîne de Markov à valeurs dans {0, . . . N}de matrice de transition Pij telle que pour touti, Pi,i−1 = Ni ,Pi,i+1= NN−i et Pij = 0 sinon.
Exemple 3 (File d’attente en temps discret) On considère une file d’attente à un gichet. On note (Xn)n≥0 le nombre de personnes dans la file à l’instant n. Entre l’ins- tant n et n+ 1, Yn+1 clients arrivent et si Xn > 0, Zn+1 clients partent. On suppose que les variables X0,Y1,Z1,Y2,Z2, . . . sont indépendantes telles que P(Yn = 0) < 1 et P(Zn= 1) =p= 1−P(Zn= 0). (Xn)n≥0 est une chaîne de Markov.
1.2 Propriété de Markov forte
On se donne une chaîne de Markov (Xn)n≥0 à valeurs dans E, définie sur l’espace de probabilité(Ω,F,P). Soitµune probabilité surE. On noteraPµune probabilité surE telle que la chaîne de Markov(Xn)n≥0 a pour loi initiale µ, c’est-à-dire :
Pµ(X0 =x) =µx,∀x∈E.
Dans le cas où µ = δx, on notera Pδx = Px qui représente la probabilité conditionnelle sachant {X0=x}. On notera Fn la tribu engendrée par (X0, . . . Xn), c’est-à-dire :
Fn={{ω∈Ω : (X0(ω), . . . ,Xn(ω))∈Bn},Bn∈ P(En+1)}.
C’est l’ensemble des évènements se produisant jusqu’à l’instantn.
Le théorème suivant est une conséquence directe de la définition des chaînes de Markov.
On l’appelle parfois propriété de Markov (faible).
Théorème 1 Soit(Xn)n≥0 une chaîne de Markov(µ,P). Alors, quelquesoitn∈N,x∈E, conditionnellement à{Xn=x},(Xn+p)p≥0 est une chaîne de Markov(δx,P)indépendante de (X0, . . . ,Xn). On peut écrire, quelquesoitA∈ Fn:
P(A∩Xn+1 =x1, . . . Xn+p=xp|Xn=x) =P(A|Xn=x)Px(X1 =x1, . . . Xp=xp).
1.2. PROPRIÉTÉ DE MARKOV FORTE 5 Preuve Il suffit de montrer le théorème pour B ={X0 =y0, . . . Xn = yn} puisque tout evènementA∈ Fn est une réunion au plus dénombrable d’évènements disjoints de la forme B (on conclut parσ-additivité de P). De plus, siyn6=x, les deux membres de l’égalité sont nuls. On a donc, en prenant B ={X0 =y0, . . . Xn=x}:
P(B∩ {Xn+1 =x1, . . . Xn+p =xp}|Xn=x) = P(X0 =y0, . . . Xn=x,Xn+1 =x1, . . . Xn+p) P(Xn=x)
= P(B)
P(Xn=x)Pxx1. . . Pxp−1xp
= P(B|Xn=x)Px(X1=x1, . . . Xp =xp), où l’on a utilisé la Proposition 1.
Ce théorème est l’illustration de l’affirmation de l’introduction. Sachant la position à l’ins- tant n, le passé et le futur sont conditionnellement indépendants.
La propriété de Markov forte permet d’établir ce résultat en remplaçant l’instant fixe n par un instant aléatoire vérifiant une certaine propriété.
Définition 4 Une variable aléatoire T à valeurs dans N∪+∞ est appelée temps d’arrêt si pour tout n∈N,
{T =n} ∈ Fn, ou de manière équivalente {T ≤n} ∈ Fn.
Cela signifie qu’en observant la chaîne jusqu’à l’instant n, on peut décider si {T = n} a lieu ou non.
Exemple 4 On définit la variable Sx par:
Sx= inf{n∈N:Xn=x},
avec la convention inf∅= +∞.Sx représente le temps de premier passage à l’état x de la chaîne. Alors il est clair que Sx est un temps d’arrêt :
{Sx =n}={X06=x} ∩ · · · {Xn−1 6=x} ∩ {Xn=x} ∈ Fn. Exemple 5 On définit la variable Tx par:
Tx= inf{n > Sx:Xn=x}.
Tx représente le temps du premier retour à l’étatx de la chaîne. On montre aisément que Tx est un temps d’arrêt.
Exemple 6 On définit la variable Lx par:
Lx= sup{n∈N:Xn=x}.
Lx représente le temps du dernier passage à l’état x de la chaîne. Lx n’est pas un temps d’arrêt.
Théorème 2 (Propriété de Markov forte) Soit(Xn)n≥0 une chaîne de Markov(µ,P).
Alors, quelquesoit x ∈ E, conditionnellement à {XT = x} ∩ {T < ∞}, (XT+p)p≥0 est une chaîne de Markov (δx,P) indépendante de (X0, . . . ,XT). On peut écrire, quelquesoit A∈ FT:
P(A∩XT+1=x1, . . . XT+p =xp|XT =x,T <∞) =P(A|XT =x,T <∞)Px(X1 =x1, . . . Xp =xp).
Preuve Il suffit de montrer que∀n∈N, on a d’après le Théorème 1 :
P(A∩ {T =n} ∩ {XT+1=x1, . . . XT+p=xp}|XT =x,T <∞)
= P(A|XT =x,T <∞)Px(X1=x1, . . . Xp=xp).
En sommant sur n, on obtient le résultat.
1.3 Récurrence, transcience
Dans ce paragraphe, on s’intéresse aux passages successifs d’une chaîne de Markov à un étatx∈E. On note Tx le temps d’arrêt défini par:
Tx = inf{n≥1 :Xn=x}.
On défini le nombre de retour à l’étatx par : Nx=X
n≥1
1I(Xn=x).
Définition 5 On dit qu’un état x∈E est récurrent si Px(Tx <∞) = 1. Sinon, il est dit transitoire (i.e. Px(Tx <∞)<1).
Proposition 3 Soitx∈E. Alors on a, pour tout k≥1:
Px(Nx≥k) = (Px(Tx<∞))k. (1.3)
Par conséquent, les assertions suivantes sont équivalentes (LASSE) : (i) x est récurrent.
(ii) Px(Nx = +∞) = 1.
(iii) P∞
n=0(Pn)xx=∞.
(iv) Px(Nx = +∞)>0.
Si x est transitoire, Nx suit une loi géométrique de paramètrePx(Tx <∞).
Preuve On noteTx2 le temps du deuxième retour en x:
Tx2= inf{n > Tx:Xn=x}=Tx+ inf{n≥1 :XTx+n=x}.
Tx2 est clairement un temps d’arrêt et on a, d’après le Théorème 2 : Px(Tx2 <∞) = Px(Tx2<∞|Tx <∞)Px(Tx <∞)
= X
k≥1
Px(Tx2 =Tx+k|Tx<∞)Px(Tx<∞)
= X
k≥1
Px(Tx=k)Px(Tx<∞)
= (Px(Tx<∞))2=Px(Nx≥2),
1.3. RÉCURRENCE, TRANSCIENCE 7 où on utilise le fait que si la chaîne revient2fois enxen un temps fini, le nombre de visite de l’étatx est au moins 2. De la même manière, en répétant le raisonnement ci-dessus, on montre (1.3).
Alors si x est récurrent, Px(Nx ≥k) = 1 pour tout k, ce qui entraîne (ii). (iii) se déduit aisément de (ii) en notant que :
ExNx=X
n≥1
(Pn)xx. (1.4)
En remarquant que {Nx=k}={Nx ≥k}\{Nx≥k+ 1}, et en utilisant (1.3), il est clair que :
Px(Nx=k) = (Px(Tx<∞))k(1−Px(Tx<∞)),∀k≥1.
Ainsi (iii)⇒(i) puisque six est transitoire, en utilisant (1.4): ExNx=X
k≥1
kPx(Tx<∞)k(1−Px(Tx <∞) = Px(Tx <∞)
1−Px(Tx <∞) <∞.
Enfin (iv)⇔ (ii) puisque si Px(Nx = ∞) >0, alors Nx ne suit pas une loi géométrique.
Ainsi x n’est pas transitoire, il est donc récurrent d’où Px(Nx =∞) = 1.
Définition 6 On dit que l’état yest accessible à partir dex (notéx→y) s’il existen≥0 tel que (Pn)xy >0. On dit que x et y communiquent si x→y et y→x (noté x↔y).
Lemme 2 La relation ↔ est une relation d’équivalence.
Preuve Exercice !
On peut alors partitionner l’espace d’état d’une chaîne de Makov en classes d’équivalences modulo la relation↔.
Théorème 3 SoitC⊂E une classe d’équivalence pour la relation↔. Alors tous les états de C sont soit récurrents soit transitoires.
Preuve Il suffit de montrer que
∀x,y∈C,x transitoire ⇒y transitoire,
puisque par définition d’un état récurrent, la contraposé montrera le cas récurrent.
Soit x,y∈C avec x transitoire. Alors on peut écrire : Pxxn+r+m≥PxynPyyr Pyxm, où Pxyn >0 et Pyxm >0. De plus,
ENy =X
r>0
Pyyr ≤ 1 PxynPyxm
X
r>0
Pxxn+r+m,
qui est fini puisque x est transitoire (Proposition 3). En utilisant encore la Proposition 3, y est transitoire.
Définition 7 Une chaîne de Markov est dite irréductible si E est constitué d’une seule classe d’équivalence. Elle est dite récurrente irréductible si tous ses états sont récurrents.
Autrement dit, une chaîne est irréductible si tous les états de cette chaîne communiquent.
D’après le Théorème 3, pour montrer qu’une chaîne est récurrente irréductible, il suffit de montrer qu’un état est récurrent. SInon, tous les états seront transitoires.
Proposition 4 Une chaîne de Markov irréductible sur un espace d’état E fini est récur- rente irréductible.
Preuve Puisque E est fini, il existe au moins un état visité une infinité de fois avec probabilité non nulle. Donc cet état est récurrent d’après la Proposition 3 et la chaîne est réccurente.
1.4 Chaînes récurrentes irréductibles
On suppose(Xn)n≥0récurrente irréductible. On s’intéresse tout d’abord aux excursions successives de la chaîne entre deux retours à l’étatx, notées:
k= (XTk x,XTk
x+1, . . . ,XTk+1 x ),
où Txk est le temps du kième passage en x. L’ensemble des valeurs possibles pour les excursions k est noté U = {u = (x,x1, . . . ,xn,x),xl 6= x,1 ≤ l ≤ n;}. Cet ensemble est dénombrable et on peut s’intéresser à la loi d’une excursion, caractérisé par les quantités :
{P(k=u), u∈U}.
Proposition 5 SousPx, la suite 0,1, . . . des excursions est i.i.d.
Preuve On veut montrer que ∀(u0, . . . ,uk)∈Uk+1, P(0=u0, . . . ,k=uk) = Πkl=0pul, où {pul, l∈N} loi de 0 sur U dénombrable.
On remarque que{0 =u0} ∈ FTx. De plus,
{1=u1, . . . ,k =uk}={XTx+1 =x1, . . . ,XTx+p=xp}.
En appliquant la propriété de Markov forte, on obtient :
P(0 =u0, ldots,k=uk) = Px({0=u0} ∩ {XTx+1=x1, . . . ,XTx+p =xp}|Tx<∞)
= Px({0=u0})Px({XTx+1=x1, . . . ,XTx+p=xp}|Tx <∞)
= Px({0=u0})Px({X1=x1, . . . ,Xp =xp}|Tx<∞)
= Px({0=u0})Px({0=u1, . . . ,k−1 =uk}) ...
= Πkl=0pul.
1.4. CHAÎNES RÉCURRENTES IRRÉDUCTIBLES 9 Définition 8 SoitP une matrice markovienne. On dit queµmesure sur E est invariante par P si
µP =µ.
On voit alors clairement qu’une probabilité µ est invariante par une chaîne de Markov (µ,P) si et seulement siµest la loi de Xnpour tout n∈N.
Théorème 4 Soit(Xn)n≥0une chaîne de Markov de matrice de transitionP récurrente ir- réductible. Alors il existe une unique mesure invariante strictement positive à une constante multiplicative près.
Preuve existence : Soit γyx le nombre moyen de visites à l’état x lors de 0 la première excursion entre deux retours à x. Alors :
γyx = Ex Tx
X
n=1
1I(Xn=y) =
∞
X
n=1
P(Xn=y,n≤Tx)
= X
z∈E
∞
X
n=1
P(Xn−1=z,Xn=y,n−1< Tx)
= X
z∈E
∞
X
n=2
P(Xn−1=z,n−1≤Tx)Pzy
= (γxP)y.
De plus la chaîne étant irréductible, pour tout y∈E il existe n tel que : 0< Pyxn =γxxPxyn ≤(γxPn)y =γyx.
Ainsi la mesure γx est strictement positive.
unicité : Soit λmesure invariante telle que λx = 1. Alors :
λy = X
z∈E
λzPzy=Pxy+ X
z16=x
λz1Pz1y
= Pxy+ X
z16=x
Pxz1Pz1y + X
z16=x
X
z26=x
λz2Pz2z1Pz1y
≥ Pxy+
∞
X
n=1
X
z1,zn6=x
PxznPznzn−1...Pz1y
=
∞
X
n=0
Px(Xn+1 =y,Tx≥n+ 1)
= γyx.
Alors on a µ=λ−γx mesure invariante telle que µx = 0.
Soit y∈E, etn∈Ntel que Pyxn >0. Alors :
0 =µx=µPxn≥µyPynx.
Ainsi µy = 0 etλ=γx.
Définition 9 On dit qu’un étatxest récurrent positif si mx=ExTx<∞. Sinon il est dit récurrent nul.
Ainsi un état est récurrent positif lorsque le temps d’attente moyen pour un retour en x est fini.
Théorème 5 Soit (Xn)n≥0 une chaîne de Markov irréductible récurrente.
LASSE :
(i) x est récurrent positif.
(ii) Tous les états sont récurrents positifs.
(iii) Il existe une probabilité invariante.
Dans ce cas, elle est donnée par
πx = 1 mx
,∀x∈E.
Preuve (ii) ⇒ (i) ⇒ (iii) On est dans le cas récurrent irréductible, alors d’après le Théorème 4, il existe une mesure invarianteγx. Six∈E est récurrent positif, alors :
mx =ExTx=X
z∈E
γzx <∞.
Ainsi on obtient{mγyx
x,y∈E} probabilité invariante.
(iii)⇒(ii) Soitπ une probabilité invariante. Alors si on poseλ={λy = ππy
x,y∈E},λest une mesure invariante qui vérifieλx= 1. Alors d’après le Théorème 4,λcoïncide avec γx et on a :
mx =X
z∈E
γzx=X
z∈E
πz πx
= 1 πx
.
De plus,π est strictement positive (Théorème 4), ce qui entraîne quexest récurrent positif.
Cela étant vrai quel que soit x∈E, (ii) a lieu.
Par conséquent, on distingue dans le cas récurrent irréductible, deux cas de figures :
• Le cas récurrent positif : tous les états sont récurrents positifs et il existe une unique probabilité invariante.
• Le cas récurrent nul : tous les états sont récurrents nuls et toutes les mesures invariantes sont de masse infinie.
Il est clair que lorsque|E|<∞, le cas récurrent nul disparaît et tout étatx∈E récurrent est récurrent positif.
Dans le cas non irréductible, si on suppose que |E|<∞, il existe au moins une classe d’équivalence récurrente. Dans ce cas il existe une probabilité invariante qui ne charge que les états de cette classe. De la même manière, à toute classe d’équivalence récurrente est associé une unique probabilité invariante. Toutes les probabilités invariantes s’obtiennent par combinaisons linéaires convexes des précédentes. Ainsi dès qu’il y a deux classes récur- rentes, il existe une infinité non dénombrable de probabilités invariantes.
Théorème 6 (théorème ergodique) Soit (Xn)n∈N une chaîne de Markov irréduc- tible récurrente positive, de probabilité invariante π. Soit f :E → Rune fonction bornée.
1.4. CHAÎNES RÉCURRENTES IRRÉDUCTIBLES 11 Alors
1 n
n
X
k=1
f(Xk)−−−→p.s.
n→∞
X
x∈E
πxf(x).
(1.5)
Preuve Soit x∈E. On note
Nx(n) = X
1≤k≤n
1I(Xk=x),
le nombre de retour à x jusqu’à l’instant n. Si on note Sx0, Sx1, . . . les longueurs des excursions 0, 1, . . ., on obtient :
Sx0+S1x+. . .+SN0
x(n)−1 ≤n < Sx0+Sx1+. . .+SN0
x(n). Donc
Sx0+Sx1+. . .+SN0
x(n)−1
Nx(n) ≤ n
Nx(n) < Sx0+Sx1+. . .+S0N
x(n)
Nx(n) .
On sait que sous Px, 0, 1, . . . est une suite i.i.d., il en est donc de même pour la suite Sx0, Sx1, . . .. En appliquant la loi des grands nombres :
Sx0+Sx1+. . .+SN0
x(n)
Nx(n)
Px−p.s.
−−−−−→
n→∞ ExTx=mx. Donc par l’encadrement précédent, on obtient
n Nx(n)
Px−p.s.
−−−−−→
n→∞ mx, ou bien
Nx(n) n
Px−p.s.
−−−−−→
n→∞
1 mx
.
D’après la propriété de Markov forte, la limite de (Xn)n∈N est la même que(XTx+n)n∈N. Donc cette limite a lieu Pµ−p.s. pour toute loi initiale µ.
Soit F ⊂E. On note f¯=P
x∈Eπxf(x), etc= sup|f(x)|. On a :
1 n
n
X
k=1
f(Xk)−f¯
=
X
x∈E
Nx(n) n −πx
f(x)
≤ cX
x∈F
Nx(n) n −πx
+cX
x /∈F
Nx(n) n +πx
= cX
x∈F
Nx(n) n −πx
+cX
x∈F
πx−Nx(n) n
+ 2cX
x /∈F
πx
≤ 2cX
x∈F
Nx(n) n −πx
+ 2cX
x /∈F
πx.
Soit >0. On choisit F fini tel queP
x /∈Fπx≤ 4c etN(ω) tel que ∀n≥N(ω), X
x∈F
Nx(n) n −πx
≤ 4c. On obtient le résultat.
Ce théorème est une généralisation de la loi des grands nombres au cas où la suite(Xn)n∈N
n’est pas indépendante. En effet on peut écrire (1.5) comme suit : 1
n
n
X
k=1
f(Xk)−−−→p.s.
n→∞ Eπf(X),
oùX est de loiπ la probabilité invariante. Une conséquence du théorème ergodique est la suivante : si on munit la chaîne de la loi initialeπ, alors la suite est identiquement distribuée et la moyenne empirique converge vers l’espérance.
Dans la section suivante, on va établir un théorème de la limite centrale dans le cas d’une chaîne de Markov irréductible récurrente positive, ayant une propriété supplémentaire.
1.5 Chaîne apériodique
Le théorème ergodique nous assure en particulier que si(Xn)n∈Nest irréductible récur- rente positive, alors
1 n
n
X
k=1
1I(Xk=y)−−−→p.s.
n→∞ πy,∀y ∈E.
Puisque la convergence p.s. entraîne la convergence en moyenne, on a en particulier que : 1
n
n
X
k=1
(Pk)xy −−−→
n→∞ πy,∀x,y∈E.
On peut se demander si dans le cas irréductible récurrent positif, on a : (Pn)xy −−−→
n→∞ πy,∀x,y∈E.
(1.6)
La réponse est non. On peut construire facilement un contrexemple en considérant une chaîne de Markov de matrice de transitionP qui vérifieP2k=I etP2k+1=P,∀k∈N.
De plus, on peut remarquer que pour vérifier (1.6), il faut qu’à partir d’un certain rang, (Pn)xy >0 puisqueπ est strictement positive.
Définition 10 Un état x∈E est dit apériodique s’il existe N ∈N tel que :
∀n≥N,(Pn)xx >0.
1.5. CHAÎNE APÉRIODIQUE 13 On peut remarquer que dans ce cas, si la chaîne est irréductible, on a bien à partir d’un certain rang (Pn)xy >0:
Lemme 3 Soit (Xn)n∈Nune chaîne de Markov de matrice de transitionP irréductible. Si x∈E est apériodique, alors :
∀y,z∈E,∃M : ∀n≥M,(Pn)yz>0.
En particulier, tous les états sont apériodiques.
Preuve Il suffit de construire un chemin pour aller dey à z qui passe parx(possible par irréductibilité). On conclut par apériodicité de x.
Définition 11 On appelle période d’un étatxle PGCD des entiersnvérifiant(Pn)xx >0.
On peut remarquer que si P est irréductible, tous les états ont la même période. De plus, un étatx est apériodique si et seulement si sa période vaut1.
Théorème 7 Soit(Xn)n∈N une chaîne de Markov de matrice de transitionP irréductible récurrente positive apériodique. Soit π la probabilité invariante. Alors :
P(Xn=y)−−−→
n→∞ πy,∀y∈E.
En particulier, (1.6) a lieu.
On peut à présent énoncer le théorème de la limite centrale.
Théorème 8 (TLC) Soit (Xn)n∈N une chaîne de Markov de matrice de transition P irréductible récurrente positive et apériodique telle que :
X
y∈E
|(Pn)xy −πy| ≤M tn,∀x∈E, n∈N, pour M ∈R ett∈]0,1[, oùπ est la probabilité invariante.
Soit f :E →Rune fonction bornée telle que : X
z∈E
πzf(z) = 0 et X
z∈E
πzf2(z)<∞.
Alors, on a :
√n σf
1 n
n
X
k=1
f(Xk)
!
−−−→L n→∞ Z, où Z ∼ N(0,1) et
σ2f = X
x∈E
πx(Qf)2x−X
x∈E
πx(P Qf)2x et (Qf)x=
∞
X
n=0
Exf(Xn).
1.6 Chaîne réversible
Dans cette section on s’intéresse, à partir d’une chaîne de Markov (Xn)n∈N aux pro- priétés de la chaîne retournée ( ˆXnN)0≤n≤N. Pour N ∈Nfixé, elle est définie par :
XˆnN =XN−n,0≤n≤N.
La proposition suivante nous assure que( ˆXnN)0≤n≤N est bien une chaîne de Markov.
Proposition 6 Soit(Xn)n∈N une chaîne de Markov (π,P) avec P irréductible et de pro- babilité invariante π. Alors ( ˆXnN)0≤n≤N est une chaîne de Markov (π,P)ˆ où :
Pˆxy = πy πx
Pyx. (1.7)
Preuve On utilise la Proposition 1. Ainsi on a bien :
P( ˆX0N =x0,Xˆ1N =x1. . .XˆpN =xp) = P(XN =x0,XN−1=x1. . . XN−p =xp)
= πx0Pˆx0x1. . .Pˆxp−1xp, avec Pˆ qui vérifie (1.7).
Définition 12 On dit que (Xn)n∈N est réversible si Pˆ = P, c’est-à-dire si la relation suivante est vérifiée :
πxPxy =πyPyx,∀x,y ∈E.
(1.8)
Il est clair que si (1.8) a lieu, alorsπest une probabilité invariante. Par contre, la réciproque est fausse. En effet, considérons une chaîne irréductible récurrente positive de probabilité invariante π. Alors s’il existe x,y ∈E tels que Pxy >0 et Pyx = 0, la relation (1.8) n’est pas vérifiée. Alors P n’est pas réversible par rapport àπ.
Considérons à présent les deux problèmes suivants :
1. Etant donnéeP matrice markovienne irréductible récurrente positive, trouverπ pro- babilité invariante.
2. Etant donné π probabilité, trouver P matrice markovienne telle queπP =π.
Résoudre 2. est facile et admet beaucoup de solutions. Il suffit de trouverP réversible par rapport àπ. Par contre, pour résoudre 1., on peut chercher P réversible par rapport à π.
Mais ce n’est pas toujours possible (voir exemple ci-dessus).
Pour vérifier siπ est invariante pourP, on peut utiliser l’équivalence suivante.
Proposition 7 SoitP matrice markovienne irréductible,π probabilité strictement positive et Pˆ définie par :
Pˆxy = πy πx
Pyx,∀x,y∈E.
LASSE : (i) ∀x∈E :
X
y∈E
Pˆxy = 1.
(ii) Pˆ matrice de transition de la chaîne retournée etπ probabilité invariante par rapport à P.
15
Chapitre 2
Processus de Poisson
Un processus de Markov est un processus stochastique possédant la propriété de Mar- kov, c’est-à-dire que la loi du futur est indépendante de celle du passé, conditionnellement au présent. Dans le Chapitre 1, nous avons étudié les processus de Markov en temps dis- cret, à valeurs dans un espace d’étatsE fini ou dénombrable. A présent on s’intéresse aux processus de Markov en temps continu, toujours à valeurs dans un espace d’états Efini ou dénombrable, qui sont constants entre leurs sauts se produisant à des instants aléatoires.
On les appelle processus markoviens de sauts. Le prototype des procesus markoviens de sauts est le processus de Poisson.
2.1 Processus ponctuels et f.a. de comptage
Un processus ponctuel surR+ est décrit par une suite croissante de variables aléatoires 0 =T0< T1 < T2< . . . Tn< Tn+1. . . ,
qui vérifient en outre Tn −−→ ∞p.s. lorsque n → ∞. En posant Sn = Tn−Tn−1, on peut interpréter :
• Tn comme l’instant où se produit lenième évènement,
• Sn comme le temps d’attente entre le(n−1)ième et le nième évènement.
Définition 13 Soit {Tn, n ∈ N} un processus ponctuel. On appelle fonction aléatoire de comptage (notée f.a. de comptage) le processus {Nt, t≥0} défini par :
Nt= sup
n∈N
{Tn≤t}= X
j∈N∗
1I(Tj ≤t).
Le processus Nt représente le nombre d’évènements qui se sont produits jusqu’à l’instant t. On a clairement N0 = 0 et∀t∈R+, Nt<∞p.s. puisque Tn
−−→ ∞p.s. lorsquen→ ∞.
Une trajectoire type d’une f.a. de comptage est donnée par une fonction en escalier. De plus, par définition, cette trajectoire est dite c.a.d.l.a.g. (continue à droite, limite à gauche).
Notons enfin que la donnée de{Nt, t∈R+}est équivalente à celle de la suite{Tn, n∈N∗}.
De plus, on a le lemme suivant :
Lemme 4 Soit {Tn, n∈N} un processus ponctuel de f.a. de comptage{Nt, t≥0}. Alors on a :
{Nt≥n}={Tn≤t};{Nt=n}={Tn≤t < Tn+1};{Ns< n≤Nt}={s < Tn≤t}.
La preuve est laissée en exercice.
Définition 14 On dit que le processus ponctuel {Tn, n ∈ N} ou sa f.a. de comptage {Nt, t≥0} est un processus de Poisson si les deux hypothèses suivantes sont satisfaites :
1. ∀t0 < t1< . . . < tn, la suite de v.a. {Ntj−Ntj−1,1≤j≤n} est indépendante.
2. ∀0< s < t, la loi de Nt−Ns ne dépend de t et sque par la différencet−s.
La propriété 1. est appelée l’indépendance des accroissements et la propriété 2. la station- narité des accroissements.
Ainsi un processus de Poisson est un processus ponctuel dont les accroissements sont indépendants et stationnaires. Cela entraîne les propriétés suivantes, justifiant l’appelation de processus de Poisson.
Proposition 8 Soit {Nt, t ≥ 0} un processus de Poisson. Alors il existe λ > 0 tel que
∀0≤s < t:
Nt−Ns∼ P(λ(t−s)).
(2.1)
De plus, on a :
T1∼ E(λ)∼TNs+1−s.
(2.2)
Preuve On va montrer que la fonction génératrice de Nt est celle d’une loi de Poisson.
Pour cela, on remarque que d’après la définition du processus :
ft(u) =E[uNt] =ft−s(u)fs(u),∀t > s.
Ainsi, on peut montrer que ∀t∈R+:
ft(u) = (f1(u))t.
De plus, il est clair quef1(u)>0. Alors il existeλ(u)>0 tel que f1(u) =e−λ(u) et ainsi ft(u) =e−tλ(u).
Etant donné que la fonction génératrice d’une loi de Poisson de paramètre θ vaut f(u) = e−θ(1−u), il reste à montrer que
λ(u) =λ(0)(1−u).
Pour cela, on remarque que :
λ(u) =−δ
δt(ft(u))|0= lim
t→0+
1−ft(u)
t = lim
t→0+
1 t
X
k≥1
(1−uk)P(Nt=k).
De plus,
0≤ 1 t
X
k≥2
(1−uk)P(Nt=k)≤ 1
tP(Nt≥2).
2.1. PROCESSUS PONCTUELS ET F.A. DE COMPTAGE 17 Si on montre à présent que
1
tP(Nt≥2)−−−→
t→0+ 0, (2.3)
la preuve est terminé en notant que dans ce cas :
λ(u) = lim
t→0
1
tP(Nt= 1)(1−u).
Reste à prouver (2.3). Or : [
n∈N
{Nnt = 0,N(n+1)t≥2} ⊂ {T2 < T1+t}.
Ainsi, en remarquant que P(Nt= 0) =ft(0), on a par définition du processus : X
n∈N
P(Nnt = 0,N(n+1)t≥2) = X
n∈N
P(N(n+1)t≥2|Nnt= 0)P(Nnt= 0)
= X
n∈N
P(N(n+1)t−Nnt ≥2|Nnt = 0)e−λ(0)nt
= P(Nt≥2)X
n∈N
e−λ(0)nt
= P(Nt≥2) 1
1−e−λ(0)t <P(T2 < T1+t)−−→
t→0 0.
Or, pour t suffisamment petit, 1
tλ(0)P(Nt≥2)≤ 1
1−e−λ(0)tP(Nt≥2), ce qui conlut la preuve de (2.1).
La preuve de (2.2) est conséquence immédiate de (2.1). En effet : P(T1> t) =P(Nt= 0) =e−λt, caractérisant la loi exponentielle de paramètre λ.
De la même manière, on a :
P(TNs+1−s > t) =P(Ns+t−Ns= 0) =P(Nt= 0) =e−λt.
La dernière partie de la proposition assure que si on considère un processus de Poisson {Nt, t ≥ 0}, la loi du premier saut T1 est une loi exponentielle E(λ). Si on fixe s > 0, alors la loi de TNs+1−s est celle de T1. Or, pour s >0 fixé, TNs+1 représente le premier saut depuis l’instant s. Ainsi, le processus {Nts =Nt+s−Ns, t ≥ 0} est un processus de Poisson d’intensité λ. De plus, les accroissements étant indépendants, il est clair que le futur après l’instant s, à savoir {Nt+s, t ≥ 0} ne dépend du passé {Nt,0 ≤ t ≤ s} que par l’intermédiaire du présent Ns, ou encore le futur et le passé sont conditionnellement indépendants, sachant le présent.C’est la propriété de Markov faible.
2.2 Propriété de Markov forte
Nous allons généraliser la remarque ci-dessus à un certain type de temps aléatoire. Pour cela, il faut définir les temps d’arrêt d’un processus de Poisson, comme nous avons défini les temps d’arrêt des chaînes de Markov dans le chapitre précédent.
Tout d’abord on introduit les notations suivantes. Etant donné une famille de variables aléatoires{Xi, i∈I}oùI est quelconque, on noteraσ{Xi, i∈I}la tribu engendrée par la famille {Xi, i∈I}. C’est la plus petite famille contenant tous lesσ(Xi), i∈I. On notera ainsiFtN =σ{Ns,0≤s≤t} la tribu engendrée par le processusNtjusqu’à l’instantt. On a alors de manière équivalente :
FtN =σ{T1,T2, . . . ,TNt,Nt}.
Définition 15 Etant donné un processus de Poisson{Nt, t≥0}, on appelle temps d’arrêt de Nt une variable aléatoire S à valeurs dans R+∪ {+∞}telle que pour tout t≥0:
{S≤t} ∈ FtN.
Cela signifie qu’on peut décider si l’évènement {S ≤ t} a lieu ou non en observant la trajectoire du processus jusqu’à l’instant t.
Exemple 7 Montrer que pour tout n∈N, Tn est un temps d’arrêt.
Exemple 8 Par contre, on peut vérifier que TNs n’est pas un temps d’arrêt (prendret < s et réécrire l’évènement {TNs ≤t}).
On peut associer à tout temps d’arrêt S la tribu FSN engendrée par la trajectoire de {Nt∧S,0 ≤ t}, c’est-à-dire la trajectoire de Nt arrêtée à S. Elle est définie de manière rigoureuse par :
FSN ={A∈ F∞N;A∩ {S ≤t} ∈ FtN,∀t≥0}.
On peut à présent énoncer la propriété de Markov forte.
Proposition 9 Soit {Nt, t ≥ 0} un processus de Poisson d’intensité λ, et S un temps d’arrêt de Nt. conditionnellement à l’évènement {S < ∞}, le processus {NtS = NS+t− NS, t≥0} est un processus de Poisson d’intensité λindépendant de la tribu FSN.
Le résultat est vrai pour S constant. On généralise àS à valeurs dans(sj)j≥1 suite crois- sante puis à tout temps d’arrêt en remarquant que tout temps d’arrêt peut être approché par une suite décroissante de temps d’arrêt de cette forme.
2.3 Théorèmes limites
Si on considère un processus de Poisson d’intensité λ, alors il est clair que d’après la Proposition 8 :
E Nt
t
=λet var Nt
t
= λ t.
2.3. THÉORÈMES LIMITES 19 Cela entraîne que Ntt converge en moyenne quadratique versλ, lorsquet→ ∞. On a aussi la loi forte des grands nombres.
Proposition 10 (Loi Forte des Grands Nombres) Soit {Nt, t ≥ 0} un processus de Poisson d’intensité λ. Alors
Nt
t
−−−→p.s.
t→∞ λ.
Preuve On applique la loi des grands nombres à la suite de variables i.i.d.{Ni−Ni−1,1≤ i≤n} pour montrer que
Nn n
−−−→p.s.
n→∞ λ.
En remarquant que :
Nt= N[t]
[t] × [t]
t +Nt−N[t]
t ,
il suffit alors de montrer que
sup
n<t<n+1
Nt−Nn
n
−−−→p.s.
n→∞ 0.
On a aussi un théorème de la limite centrale.
Proposition 11 (Théorème de la Limite Centrale) Soit {Nt, t≥0} un processus de Poisson d’intensité λ. Alors
Nt−λt
√ λt
−−−→L t→∞ Z, où Z est une loi normale centrée réduite.
Preuve On raisonne comme dans la preuve de la loi des grands nombres. On montre que d’après le théorème de la limite centrale classique :
Nn−λn
√ λn
−−−→L n→∞ Z.
En remarquant que :
Nt−λt
√
λt = N[t]−λ[t]
pλ[t] × r[t]
t + Nt−N[t]
√
λt × r[t]
t +√
λ[t]−t
√t ,
et que Nt√−N[t]
λt →0 en probabilité, on conclut.
21
Chapitre 3
Processus markoviens de sauts
Dans ce chapitre on s’intéresse aux processus de Markov en temps continu, à valeurs dans un ensemble fini ou dénombrableE. Ces processus généralisent la notion de processus de Poisson au cas où le saut (se produisant à un instant aléatoire) est lui-même aléatoire.
En quelque sorte, un processus markovien de saut, ou encore chaîne de Markov en temps continu, combine un processus de Poisson et une chaîne de Markov, appelé la chaîne incluse.
3.1 Définition et premières propriétés
On considère un processus{Xt, t≥0}constant entre des sauts aléatoires se produisant à des instants aléatoires. La donnée d’une telle trajectoire (toujours supposée cadlag) Xt est équivalente à celle de la double suite {Tn,Zn, n≥0}telle que :
• Tn représente le temps dunième saut,
• Zn représente la valeur prise au tempsTn.
On supposera par la suite que la suite des instants de sauts vérifie : 0 =T0 ≤T1≤T2. . .≤Tn. . .
avecTnà valeurs dansR+∪ {+∞}etTn< Tn+1 siTn<∞. Cela signifie que l’on n’exclut pas le cas d’un étatx∈E absorbant, c’est-à-dire qui vérifie
{XTn =x} ⊂ {Tn+1 = +∞}.
On suppose toujours la non explosion du processus, c’est-à-dire que Tn→+∞ p.s.
Définition 16 On appelle fonction aléatoire de sauts de la double suite {Tn,Zn, n≥0} la fonction {Xt, t≥0} définie par :
Xt=X
n≥0
Zn 1I[Tn;Tn+1[(t).
On peut aisément vérifier que la fonction aléatoire de saut est la trajectoire décrite précé- demment.
Définition 17 Une fonction aléatoire de saut {Xt, t ≥ 0} à valeurs dans E est appelée processus markovien de sauts (ou chaîne de Markov en temps continu) si ∀0 < s < t,
∀n∈N, ∀t0< t1. . . tn< s, ∀x0,x1, . . . xn,x,y ∈E:
P(Xt=y|Xt0 =x0,Xt1 =x1, . . . ,Xtn =xn,Xs=x) =P(Xt=y|Xs =x).
Cela signifie que la loi deXtsachant{Xu,0≤u≤s}ne dépend que deXs. Cela généralise la notion de chaîne de Markov au temps continu.
De plus, si la quantité P(Xt=y|Xs =x) ne dépend de set tque par la différence t−s, alors le processus markovien de sauts Xt est dit homogène. Par la suite, on n’étudiera que les processus homogènes et on notera
Pxy(t−s) =P(Xt=y|Xs=x).
Pourt >0,P(t) est une matrice markovienne à valeurs dansE×E. On l’appelle matrice de transition du processus au tempst. Chaque composantePxy(t)représente la probabilité d’aller eny en un temps t, en partant dex.
De la même manière, on noteraµ(t) la loi de probabilité surE de la variable aléatoireXt. Dans ce cas µ(0) est appelée loi initiale du processus{Xt, t≥0}.
Proposition 12 Soit {Xt, t≥0} un processus markovien de sauts de loi initiale µ et de matrices de transition {P(t), t≥0}. Alors, ∀0< s < t:
(i) µ(t) =µP(t).
(ii) E[g(Xt)|X0 =x] = (P(t)g)x.
(iii) L’ensemble des matrices de transition{P(t), t≥0}vérifie la relation de semi-groupe : P(s+t) =P(s)P(t),∀s,t >0.
Preuve (i) D’après la définition du processus markovien, on a clairement une relation équivalente à la Proposition 1 du Chapitre 1 :
P(3.1)(X0 =x0,Xt1 =x1, . . . Xtn =xn) =µx0Px0x1(t1)Px1x2(t2−t1). . . Pxn−1xn(tn−tn−1).
En utilisant cette relation pour n= 1, on obtient :
P(X0=x,Xt=y) =µxPxy(t).
En sommant sur x∈E, on obtient : X
x∈E
P(X0 =x,Xt=y) =µ(t)y =X
x∈E
µxPxy(t) = (µP(t))y. (ii) Par définition de l’espérance :
E[g(Xt|X0 =x] = X
y∈E
g(y)Pxy(t) = (P(t)g)x.
(iii) On applique (3.1) pour n= 2. En posant t1 =set t2−t1 =t, on obtient : P(Xs =x,Xt+s=y|X0 =x0) =Px0x(s)Pxy(t)
En sommant sur x, on obtient le résultat.
Exemple 9 Un processus de Poisson {Nt, t ≥ 0} est un processus markovien de sauts à valeurs dans N, de matrices de transition :
Pxy(t) = (
e−λt(λt)(y−x)!y−x,siy≥x, 0 sinon.
