3.2 Irréductibilité et unicité des mesures invariantes
3.2.3 Construction de la mesure de probabilité invariante
Le théorème 3.4 a permis d’obtenir l’existence d’une mesure invariante de façon im-plicite. Dans cette section, nous allons construire la mesure invariante et en donner une expression explicite qui pourra se généraliser facilement aux espaces d’états dénom-brables.
On rappelle la définition du premier temps d’atteinteTxd’un élémentxdeE Tx =inf
n>0; Xn =x . On définit aussi
Tx+=inf
n>1; Xn= x .
Ces deux temps d’arrêt coïncident sauf si le site initial estxcar dans ce casTx =0 etTx+ est lepremier temps de retourenx.
Une propriété importante des temps de retour dans le cas des espaces finis est la suivante :
Lemme 3.9. Pour une chaîne de Markov irréductible sur un espace d’états E fini
∀x,y∈ E, Ex(Ty+)<∞.
Démonstration. La chaîne étant irréductible etEfini, il existeε >0 et un entierntels que pour tousx,ydansE
∃j6n, Pj(x,y)>ε.
La valeurjpeut varier selon les couplesx,ymais reste bornée parn. La probabilité d’at-teindreyavant le temps nen partant de n’importe quel point est au moinsε. L’inégalité suivante est donc vraie uniformément enx,y
Px Ty+ >n
61−ε.
Nous allons itérer ce résultat en conditionnant le processus par le passé jusqu’au temps (k−1)n Px Ty+ >kn =
∑
z∈E z6=y Px {Ty+ >(k−1)n} ∩ {X(k−1)n =z} n \ i=1 {X(k−1)n+i 6=y} =∑
z∈E z6=y Px {Ty+ >(k−1)n} ∩ {X(k−1)n =z} P\n i=1 {X(k−1)n+i 6=y} {Ty+ >(k−1)n} ∩ {X(k−1)n =z}44 CHAPITRE 3. MESURES INVARIANTES où zreprésente toutes les valeurs possibles pouvant être prises par X(k−1)n. Par la pro-priété de Markov appliquée au temps (k−1)n (cf. théorème 2.4), on en déduit que le conditionnement ne dépend que de la valeur deX(k−1)n
Px Ty+>kn =
∑
z∈E z6=y Px{Ty+>(k−1)n} ∩ {X(k−1)n= z} P\n i=1 {X(k−1)n+i 6=y} X(k−1)n= z Le dernier terme peut s’exprimer par la propriété de Markov comme l’évènement{Ty+ >n}pour la chaîne décalée en temps P n \ i=1 {X(k−1)n+i 6=y} X(k−1)n=z=P n \ i=1 {Xi 6=y} X0 =z=PzTy+ >n. Conditionnellement à{X(k−1)n = z}, on peut le borner uniformément enz(avecz 6= y) par 1−εpour obtenir
Px Ty+>kn
6(1−ε)PxTy+ >(k−1)n. En itérant on obtient
Px Ty+ >kn
6(1−ε)k.
Pour toute variable aléatoireZà valeurs dansN, on rappelle l’identité classique E(Z) =
∑
`>1 P(Z>`). On obtient donc Ex Ty+ =∑
`>1 Px Ty+>` 6n∑
k>0 Px Ty+> kn 6n∑
k>0 (1−ε)k <∞. Ce qui permet de conclure le lemme.Le théorème suivant permet d’exprimer la mesure invariante en fonction de la fré-quence à laquelle la chaîne de Markov visite les sites deE.
Théorème 3.10. Pour une chaîne de Markov irréductible{Xn}n>0sur un espace d’états E fini, l’unique mesure de probabilité invariante est donnée par
∀x∈ E, π(x) = 1 Ex(Tx+).
Démonstration. Étant donnéxdeE, nous définissons la mesure ˜πcomme la moyenne du temps passé en chaque site par la chaîne de Markov entre deux passages parx
∀y∈ E, π˜(y) =Exnombre de visites enyavant de retourner enx
=
∑
n>0
3.2. IRRÉDUCTIBILITÉ ET UNICITÉ DES MESURES INVARIANTES 45 A priori, ˜πdépend du choix dex, mais nous allons montrer que ce n’est pas le cas.
Le lemme 3.9 implique que ˜π(y)est bien définie pour toutycar ˜
π(y)6
∑
n>0
PxTx+ >n=Ex(Tx+)<∞.
Par contre ˜πn’est pas une mesure de probabilité car elle n’est pas normalisée. Pour montrer que ˜πest stationnaire, nous calculons
∑
z∈E ˜ π(z)P(z,y) =∑
z∈E∑
n>0 PxXn=z,Tx+>nP(z,y).Le point clef de la preuve est de constater que l’évènement {Tx+ > n} = {Tx+ > n+1}
ne dépend que de{X0, . . . ,Xn}(on sait juste que la marche n’est pas revenue enxavant le tempsn). Par conséquent, on peut appliquer la propriété de Markov et écrire
PxXn =z, Tx+ >n+1,Xn+1 =y=PxXn =z, Tx+ >nPXn+1 =y
Xn=z, Tx+>n =PxXn =z, Tx+ >nP(z,y).
On déduit de cette relation que
∑
z∈E ˜ π(z)P(z,y) =∑
z∈E∑
n>0 PxXn=z,Tx+>n+1,Xn+1=y =∑
n>0 PxTx+>n+1,Xn+1=y=∑
n>1 PxTx+>n,Xn =y. Cette expression est très proche de la définition de ˜π∑
n>1 PxTx+>n,Xn=y =∑
n>0 PxXn=y,Tx+>n−PxTx+>0,X0 =y+∑
n>1 PxTx+=n,Xn=y =π˜(y)−Px X0 =y +Px XT+ x =y . Il suffit maintenant de considérer les deux cas :— Siy=xalorsPx(X0 =y) =Px(XT+
x =y) =1.
— Siy6= xalorsPx(X0=y) =Px(XT+
x =y) =0.
On a donc prouvé que la mesure ˜πest invariante, i.e.∑z∈Eπ˜(z)P(z,y) = π˜(y). Pour obtenir une mesure de probabilité, il suffit de la normaliser. Comme∑z∈Eπ˜(z) =Ex(Tx+), la mesure de probabilité
∀y∈ E, π(y) = π˜(z) Ex(Tx+)
est l’unique mesure de probabilité invariante (cf. théorème 3.7). En particulier, elle vérifie
π(x) = π˜(x)
Ex(Tx+) = 1 Ex(Tx+).
Le site x qui servait de site de référence pour indexer les excursions de la chaîne a été choisi arbitrairement. L’identité ci-dessus est donc vérifiée pour toutx car la mesure de probabilité invariante est unique pour une chaîne de Markov irréductible.
46 CHAPITRE 3. MESURES INVARIANTES
3.3 Réversibilité et ThéorèmeH
3.3.1 Réversibilité
Les mesures invariantes sont caractérisées par le système d’équations linéaires
∀y∈ E, π(y) =
∑
x∈E
π(x)P(x,y)
dont le nombre d’inconnues est proportionnel au cardinal deE. Dans la pratique, ce car-dinal est très grand (parfois infini) et il est souvent difficile de déterminerπ analytique-ment. Laréversibilitéest une condition suffisante et facile à vérifier qui assure l’existence d’une mesure invariante.
Définition 3.11. Une chaîne de Markov de matrice de transition P sur E est diteréversiblepar rapport à la mesureπsi elle satisfait
∀x,y∈E, π(x)P(x,y) =π(y)P(y,x).
La réversibilité caractérise les systèmes à l’équilibre. Sous la mesure initialeπ, si on observe une trajectoirex0,x1, . . . ,xnpour une chaîne de Markov réversible alors la trajec-toire inverse aura la même probabilité
Pπ X0 =x0,X1= x1, . . . ,Xn=xn
=Pπ X0= xn,X1 =xn−1, . . . ,Xn= x0 . Pour prouver cette relation, on écrit la propriété de Markov
Pπ X0 =x0,X1=x1, . . . ,Xn =xn
=π(x0)P(x0,x1)P(x1,x2). . .P(xn−1,xn). En itérant de proche en proche la relation de réversibilité, on obtient
Pπ X0 =x0,X1 =x1, . . . ,Xn =xn
=P(x1,x0)π(x1)P(x1,x2). . .P(xn1,xn) =P(x1,x0)P(x2,x1)π(x2). . .P(xn1,xn) =π(xn)P(xn,xn−1)P(xn−1,xn−2). . .P(x1,x0). Exemples.
•D’après l’exercice 3.2, la marche aléatoire sur{1, . . . ,L}avec conditions périodiques et probabilités de sauts
P(x,x+1) = p, P(x,x−1) =1−p a pour mesure invariante la mesure uniformeπ(x) = 1
L pour toutp∈ [0, 1]. Cette chaîne de Markov n’est réversible que pourp = 1
2 car pour p6= 1 2
π(x)P(x,x+1)6=π(x+1)P(x+1,x).
En effet, sip 6= 1
2 la marche va tourner systématiquement dans le même sens et la proba-bilité de la voir tourner en sens inverse sera très faible. Sip= 1
2, la marche est symétrique et toute fluctuation dans un sens sera aussi probable qu’une fluctuation en sens inverse.