Université Paris 13, Institut Galilée Préparation à l’agrégation Année universitaire 2013-2014
Fin du cours sur les chaînes de Markov
3 Mesures invariantes
Dans toute cette partie, on supposera a priori la chaîne de Markov (Xn)n≥0 irréductible. Dans le cas général, on pourra néanmoins appliquer les théorèmes suivants à la chaîne de Markovrestreinte à une classe fermée et en déduire alors des résultats sur certaines chaînes de Markov non irréductibles (voir plus loin).
Ayons en tête le cas récurrent : chaque état est visité infiniment souvent. Les définitions suivantes sont surtout pertinentes dans ce cas-ci.
Tandis que la question de la récurrence ou la transience ont trait au comportement asymptotique de(Xn)n de façon qualitative (est-ce que X visite tel état infiniment souvent ?), on s’intéresse maintenant à des questions plus quantitatives, à savoir :
– Combien de temps la suite(Xn)npasse-t-elle dans les divers états ? (en proportion, pendant un tempsn→ ∞) – Combien de temps faut-il à la suite(Xn)n pour revenir à son point de départ ? (en espérance)
– La loi deXnadmet-elle une limite quandnest grand ? Peut-on espérer une propriété de « mélange », à savoir que la loi deXn ne dépend presque plus de celle deX0 et s’approche d’un équilibre ?
Pour toutn, on noteµn = P(Xn=x)
x∈E la loi deXn (on considéreraµn comme un vecteur-ligne). On a vu que, pour toutn∈N,
µn+1=µnP.
Ainsi, siµn→µ(et P est continue),µdoit vérifierµ=µP.
Définition
Une mesureµsurE est invariante(pourP) siµ=µP, c’est-à-dire : pour touty∈E, µ(y) =X
x∈E
µ(x)P(x,y).
On parle de loi invariantesi de plusµest une probabilité (µ(E) = 1).
(On dit aussiloi/probabilité invariante/stationnaire)
Vu la relationµn+1=µnP, on constate de suite que, siµ est une loi invariante etX0∼µ, alorsXn∼µ pour toutn.
3.1 Existence et « unicité » des mesures invariantes
On va voir qu’une chaîne de Markovrécurrenteadmet toujours une mesure invariante (non nulle), et celle-ci sera unique à un facteur près dès lors que la chaîne de Markov est irréductible.
En particulier, une chaîne de Markov finie irréductible admet toujours une mesure invariante, unique à un facteur près.
On donne un argument direct dans le cas fini, et un argument général ensuite.
Cas fini. Dans le cas fini, la relationµ =µP signifie queµ est un vecteur propre à gauche deP pour la valeur propre 1, ou encore quetµ est un vecteur propre (à droite) detP. Vu que 1 est valeur propre de P (la somme des lignes vaut 1), on sait que 1 est valeur propre detP, donc il existeµ6= 0 tel queµP =µ.
On définit la mesureπparπ(x) =|µ(x)|. Alors on constate que, pour touty∈E, vu queµest invariante, π(y) =|µ(y)|=
X
x∈E
µ(x)P(x,y)
≤X
x∈E
|µ(x)|P(x,y) = X
x∈E
π(x)P(x,y) = (πP)(y), (∗)
et par ailleurs la somme des membres de droite de (∗), lorsquey parcourtE, vaut X
y∈E
(πP)(y) =X
y∈E
X
x∈E
π(x)P(x,y) =X
x∈E
π(x)X
y∈E
P(x,y) =X
x∈E
π(x)
donc est égale à la somme des membres de gauche de (∗). On en déduit que les deux membres sont égaux pour chaquey∈E, ce qui signifie queπP =π:πest une mesure invariante, non nulle.
SupposonsP irréductible et montrons l’unicité à un facteur près, toujours en exploitant le spectre detP. Il suffit de montrer que 1 est valeur propre simple deP (à droite) vu quePettPsont semblables. Soitf = (f(x))x∈E 6= 0 vérifiantP f =f. On noteQ=Pn une puissance deP dont tous les coefficients sont strictement positifs (existe par l’irréductibilité) ; on a toujoursQf =f. Alors, pour un indicex∈E qui rend f(x)maximal,
f(x) =X
y∈E
Q(x,y)f(y)≤X
y∈E
Q(x,y)f(x) =f(x),
de sorte que, pour touty∈E,f(y) =f(x)vu queQ(x,y)>0. Ceci conclut :f ∈Vect(1), d’oùdimE1(P) = 1 etdimE1(tP) = 1, ce que l’on voulait.
On peut aussi voir ceci comme une conséquence d’un important théorème plus général : Théorème (de Perron-Frobenius)
Soit A une matrice carrée de taille N à coefficients positifs. On suppose A irréductible : pour tous i,j, il existen≥0 tel que(An)i,j>0.
Alors le rayon spectral de A, ρ = max{|λ| |λ ∈ Sp(A)}, est une valeur propre simple deA, et admet un vecteur propre (non nul) à composantes positives.
Cas général. On peut donner un argument général de nature probabiliste, qui donne même une expression des mesures invariantes :
Proposition
Si X est récurrente irréductible, alors il existe une mesure invariante (non nulle), unique à un facteur près, et on peut en donner une expression : si on se donnex0∈E, la mesuremx0 définie par
mx0(x) =Ex0
τ
+ x0−1
X
n=0
1{Xn=x}
(♦)
oùτx+
0 est le temps de retour enx0, est l’unique mesure invariante telle quem(x0) = 1.
En toutes lettres, mx0(x)est, pour la chaîne de Markov issue dex0, le nombre moyen de visites àxavant de retourner enx0.
mx0 est aussi une mesure invariante si la chaîne n’est pas irréductible ; elle donne une masse0 hors de la classe dex0.
La preuve de la proposition consisterait à vérifier que cette mesure mx0 est bien invariante (à l’aide de la propriété de Markov au temps 1, et de la récurrence), et ensuite que c’est bien une mesure (il n’est pas évident quemx0(x)est fini ! Maismx0(x0) = 1 évidemment et par l’invariance et l’irréductibilité une valeur infinie en un état se propagerait à toutEd’où une contradiction en arrivant enx0) ; l’unicité est plus délicate à expliquer.
Proposition
S’il y a un nombre fini d’états transients, alors toute mesure invariante est nulle sur ceux-ci.
Démonstration : En effet, supposons queyest transient etµ=µP. Alors pour toutnon a µ=µPn et on note que Pn(x,y) = 0sixest récurrent, donc
µ(y) = X
xtransient
µ(x)Pn(x,y).
Et si y est transient alorsPn(x,y) → 0 (on aPn(x,y) = Px(Xn =y) ≤ Px((dernière visite eny) ≥n) &n 0 car la dernière visite enyest finie p.s.), donc on peut conclureµ(y) = 0dès lors que la somme est finie.
Attention, il est possible pour une chaîne de Markov transiente d’avoir des mesures invariantes non nulles. Par exemple, la mesureµ=1pour la marche aléatoire simple surZ3.
3.2 Mesure réversible
Définition
Une mesureµsurE est réversible(pourP) si, pour tousx,y∈E, µ(x)P(x,y) =µ(y)P(y,x).
La première remarque est qu’une telle mesure est invariante : pour touty∈E, (µP)(y) =X
x∈E
µ(x)P(x,y) =X
x∈E
P(y,x)µ(x) =µ(x).
Cependant, la plupart des mesures invariantes ne sont pas réversibles.
Un intérêt pour les mesures réversibles vient du fait qu’elles sont plus faciles à trouver (si elles existent) que les mesures invariantes : le système ci-dessus se résout immédiatement (si on fixe µ(x), on déduit µ(y) pour tout y tel queP(x,y) >0, etc., et il faut juste vérifier que ceci ne mène pas à des incohérences) Il peut donc être bénéfique de commencer par chercher d’éventuelles mesures réversibles.
L’intérêt principal est cependant théorique : on montre que, siX0suit la loi réversible (donc stationnaire), alors la suite(X0,X1, . . . ,Xn)a même loi que la suite(Xn,Xn−1, . . . ,X0), ce qui justifie l’appellation. Une chaîne de Markov réversible a même loi, sous la probabilité stationnaire, lorsque l’on retourne le temps. Des parallèles avec l’étude des réseaux électriques existent pour les chaînes de Markov réversibles, et une grande quantité de résultats, souvent d’inspiration physique, leur sont spécifiques.
Exemple : urne d’Ehrenfest. Cherchons les mesures réversibles. Si on fixeµ(0) = 1, on doit avoir µ(1) =µ(0)P(0,1)
P(1,0) =N puis
µ(2) = µ(1)P(1,2)
P(2,1) =N(N−1)
2 ,
et en général
µ(k) =µ(0)P(0,1)P(1,2)· · ·P(k−1,k)
P(k,k−1)· · ·P(1,0) = N(N−1)· · ·(N−k+ 1)
k! =
N k
.
Les mesures invariantes sont donc les multiples positifs de celle-ci.
Exemple : marche aléatoire simple sur un graphe. Soit G = (S,A) un graphe non orienté (S est l’ensemble des sommets, et A⊂ P2(S) est l’ensemble des arêtes, formées de paires de sommets). La marche aléatoire simplesurGest la chaîne de Markov d’espace d’étatsE=S et de probabilités de transition
P(x,y) = ( 1
deg(x) si{x,y} ∈A
0 sinon,
oùdeg(x)est le degré du sommetx, c’est à dire le nombre d’arêtes issues dex:deg(x) = Card({e∈A|x∈e}).
Autrement dit, cette chaîne de Markov choisit à chaque pas une arête de façon uniforme parmi celles issues du sommet où elle se trouve, et saute vers l’autre sommet de l’arête choisie.
On voit immédiatement queπ(x) = deg(x)est une mesure invariante : si{x,y} ∈A, deg(x)P(x,y) = 1 = deg(y)P(y,x).
3.3 Récurrence positive
La formule explicite (♦) pour les mesures invariantes a un intérêt fondamental. Pour commencer, on note que sa masse totale est : (échange espérance/série justifié car v.a. positives)
mx0(E) =X
x∈E
mx0(x) =Ex0
X
n<τx+0
X
x∈E
1{Xn=x}
=Ex0
X
n<τx+0
1
=Ex0[τx+0].
Définition
Un état x∈E est récurrent positifsiEx0[τx+0]<∞.
Si un état est récurrent et n’est pas récurrent positif, il est ditrécurrent nul.
Par la remarque précédente, si un étatx0est récurrent positif, la mesure invariantemx0 est finie (c’est-à-dire de masse totale finie), et vice-versa ; en particulier, en divisantmx0 par cette masse totaleEx0[τx+0], on obtient une loi invarianteπ, unique (tout court) si la mesure invariante est unique à un facteur près. Etπ(x0) = 1
Ex0[τx+0]. On en déduit la seconde partie de ce qui suit.
Proposition
– Si xest récurrent positif etx↔y, alorsy aussi.
Pour P irréductible, on dit queP estrécurrente positivesi un état (ou tous) est récurrent positif.
– Si P est irréductible, P est récurrente positive si, et seulement s’il existe une loi invariante π.
Et, dans ce cas, pour tout étatx,
π(x) = 1 Ex[τx+].
Dans le cas oùEest fini, la masse totale d’une mesure invariante est toujours finie. Par suite : Corollaire
Toute chaîne de Markov irréductible sur un espace d’états fini est récurrente positive.
La proposition s’applique de diverses façons : en supposant la chaîne irréductible,
– (le + fréquent) si on trouve une loi invariante π, alors la chaîne de Markov est récurrente positive, donc récurrente, et on a
Ex[τx+] = 1 π(x).
– si les mesures invariantes sont de masse totale infinie (ou 0, pour la mesure nulle), alors pour toutx∈E Ex[τx+] =∞.
– (rarement) si on sait calculerEx[τx+], et que cette valeur est finie, alors il existe une mesure invariante, donnée par la formule précédente.
Exemple 1 : marche aléatoire simple sur un graphe fini. Si G= (S,A)est un graphe fini (S est fini) connexe, alors la marche aléatoire simple surGest une chaîne de Markov irréductible, donc récurrente positive, et on a vu queπ(x) = deg(x)est une mesure réversible, donc invariante. En particulier, partant d’un sommetx, le temps moyen de retour enxest
Ex[τx+] = 1 deg(x).
Exemple 2 : urne d’Ehrenfest. On a vu que la mesure µ donnée, pour0 ≤k ≤N, par µ(k) = Nk , est invariante. Ainsi, la loiπ= 2−Nµ=B(N,12)(loi binomiale) est invariante. La chaîne de Markov est récurrente positive (on le savait : chaîne finie irréductible) et, par exemple,
E0[τ0+] = 1
π(0) = 2N.
C’est une quantité intéressante : partant d’un récipient vide (et l’autre plein), le temps moyen pour qu’il redevienne vide croît exponentiellement avec le nombre de particules. Dans la situation réelle (gaz), le nombre de molécules est de l’ordre de N = 1023 (s’il y a 10 litres de gaz dans le récipient plein, par exemple), donc même si on suppose (largement) que N échanges ont lieu à chaque seconde, alors le temps moyen avant qu’à nouveau le premier récipient soit vide est de l’ordre de
N−12N = 10log10(N−12N)= 10Nlog102−log10N '103·1022 secondes,
ce qui est... colossal (il y a seulement 3 milliards de secondes par siècle). Ceci explique le paradoxe apparent entre la récurrence de la chaîne de Markov (il y a un retour p.s. à la situation initiale) et l’absence d’observation de situations où spontanément un récipient se viderait pour remplir l’autre. Le paradoxe est d’ailleurs accru par le fait que la dynamique de cette chaîne de Markov est réversible, là où l’observation témoigne au contraire d’une forte irréversibilité.
Exemple 3 : marche aléatoire réfléchie en 0. On cherche les mesures invariantes. Une mesure µ est invariante si, et seulement si
µ(0) =µ(1)q, µ(1) =µ(0) +µ(2)q,
µ(x) =µ(x−1)p+µ(x+ 1)q for allx≥2.
On a doncµ(x+ 1)−µ(x) = pq(µ(x)−µ(x−1))et on obtient par récurrenceµ(x+ 1)−µ(x)puis, pourx≥1, µ(x) =µ(0)
q p
q x
. Si p < 12, pq <1doncP
xµ(x)<∞:X est récurrente positive (donc récurrente, comme on l’a vu plus tôt). Si p=12, les mesures invariantes ont une masse infinie doncX est récurrente nulle (car on a déjà vu la récurrence).
Sip > 12, les mesures invariantes ont bien sûr une masse totale infinie (la chaîne est transiente).
4 Théorèmes limites
4.1 Comportement presque sûr : théorème ergodique
On considère le temps passé en un état au cours d’une longue trajectoire de la chaîne de Markov.
Le théorème ergodique énonce que, si la chaîne de Markov est récurrente positive, alors elle passe une proportion strictement positive de son temps dans chaque état, et cette proportion est donnée par sa loi invariante. Si elle est récurrente nulle, alors elle passe en chaque point une proportion de son temps qui converge vers zéro.
Ceci se comprend via la formule π(x) = 1
Ex[τx+] : entre deux visites enx, il se passe un temps moyen Ex[τx+], donc sur une période de longueurn, on peut s’attendre à ce que X passe un temps de l’ordre de n
Ex[τx+] enx (par la loi des grands nombres).
Théorème (Théorème ergodique, dans le cas récurrent positif)
On suppose la chaîne de Markov irréductible et récurrente positive, de probabilité invarianteπ.
Pour tout état x, pour toute loi initialeµ, Pµ-p.s., 1
n
n−1
X
k=0
1{Xk=x} −→
n→∞π(x).
Plus généralement, pour toute fonctionf :E→Rintégrable par rapport àπ, pour toute loi initialeµ, Pµ-p.s., 1
n
n−1
X
k=0
f(Xk) −→
n→∞
Z
E
f dπ=X
x∈E
f(x)π(x).
Ce théorème s’applique donc notamment, on le rappelle, aux chaînes de Markov finies irréductibles.
La version dans le cas récurrent nul est nettement moins utile que la précédente. La voici néanmoins : Théorème (Théorème ergodique, dans le cas récurrent nul)
On suppose la chaîne de Markov irréductible et récurrente nulle, ayant une mesure invarianteλ.
Pour tout état x, pour toute loi initialeµ,
Pµ-p.s., 1 n
n−1
X
k=0
1{Xk=x} −→
n→∞0.
Pour toutes fonctionsf,g:E→Rbornées, telles queR
Egdλ6= 0, pour toute loi initialeµ, Pµ-p.s.,
Pn−1 k=0f(Xk) Pn−1
k=0g(Xk) −→
n→∞
R
Ef dλ R
Egdλ = P
x∈Ef(x)λ(x) P
x∈Eg(x)λ(x).
Par exemple, la proportion de temps passé en x tend vers0, mais le rapport entre le temps passé en x et le temps passé eny converge vers λ(x)λ(y) (prendref =1{x} etg=1{y}).
4.2 Convergence en loi
À partir du théorème ergodique dans le cas récurrent positif, le théorème de convergence dominée permet de déduire (en prenant l’espérance) :
1 n
n−1
X
k=0
Pµ(Xk=x)−→
n π(x).
Ainsi, la suite de terme généralPµ(Xn=x)(autrement dit, la loi deXn) converge en moyenne de Cesàro vers π(x)dès que la chaîne de Markov est irréductible et récurrente positive.
Cependant, ceci ne suffit pas à ce que Pµ(Xn =x) converge vers π(x). Voici un contre-exemple typique : la chaîne de Markov sur{0,1}, de matrice de transition
P = 0 1
1 0
vérifie P0(Xn = 0) = 0si nest pair et 1 sinest impair, et on vérifie immédiatement que π= 1/2 1/2 est la loi invariante. La chaîne de Markov alterne entre les deux états, donc la fréquence d’occupation de chacun converge bien sûr vers 1/2 (c’est ce que dit le théorème ergodique). Néanmoins, la probabilité d’être dans un état donné au tempsnne converge pas.
Pour un exemple moins artificiel, il suffit de considérer l’urne d’Ehrenfest, où se pose exactement le même problème : la parité de Xn change à chaque pas donc la suite de terme général P0(Xn = x) ne peut pas converger. Comme on le voit, un obstacle tient à une notion depériodicité; c’est en fait le seul.
Définition
Lapérioded’un étatx∈E est
d(x) = pgcd({n≥1|Pn(x,x)>0}).
Si d(x) = 1,xest ditapériodique.
C’est donc le pgcd des longueurs des chemins depuisxversx(dans le graphe associé à la chaîne de Markov).
On trouve dans l’exemple précédent et l’urne d’Ehrenfest (et les marches aléatoires simples) qued(x) = 2pour tout étatx. Pour la ruine du joueur,d(x) = 2si1≤x≤N−1, etd(0) =d(N) = 1.
Notons que siP(x,x)>0, alors immédiatementd(x) = 1.
Proposition
Si x↔y, alorsd(x) =d(y): la période est la même pour tous les états d’une même classe.
Démonstration : Soitntel quePn(x,x)>0. Il existek,ltels quePk(x,y)>0etPl(y,x)>0. Alors Pn+k+l(y,y)≥Pl(y,x)Pn(x,x)Pk(x,y)>0
doncd(y)divisen+k+l. Mais on a aussi
Pk+l(y,y)≥Pl(y,x)Pk(x,y)>0
doncd(y)divisek+l, de sorte qued(y)divise(n+k+l)−(k+l) =n. Ainsid(y)divise tous les multiples ded(x), donc d(y)≤d(x). Par symétrie, on a aussid(x)≤d(y), d’oùd(x) =d(y).
Pour une chaîne de Markov irréductible, on pourra donc parler sans ambiguïté de sa période, et de chaîne apériodiquesi, pour un étatx(et donc pour tous),d(x) = 1.
Théorème
On suppose que la chaîne de Markov (Xn)n≥0 est irréductible, récurrente positive et apériodique. Alors, pour toute loi initialeµ, pour tout étatx,
Pµ(Xn =x)−→
n π(x),
où πest l’unique loi invariante. Autrement dit, la loi de Xn converge vers la loi invariante. En particulier, pour tousx,y∈E,
Pn(x,y)−→
n π(y),
doncPn converge vers une matrice dont les lignes sont toutes égales au vecteur-ligneπ.
Plus généralement, pour toute loi initiale µ, pour toute fonction bornéef :E→R, Eµ[f(Xn)]−→
n
Z
f dπ=X
x∈E
f(x)π(x).
Démonstration : Admis (et la preuve est même officiellement hors-programme).
1
2
3 4
5
1
2 3
Figure1 – Graphes de chaînes de Markov de période 3 et 1, respectivement
Deux extensions
∗Et si la chaîne n’est pas irréductible ? Si C est une classe fermée, on peut étudier la chaîne de Markov restreinte àC. Ceci revient à ne garder que les lignes et colonnes deP appartenant àC, et la fermeture garantit que l’on obtient une matrice stochastique. Tous les théorèmes relatifs aux chaînes irréductibles peuvent donc être appliqués aux diverses classes récurrentes.
La seule différence vient du fait que si le point de départ est un état transient, et s’il y a plusieurs classes récurrente, il peut falloir appliquer le théorème à une classe ou à une autre. Attention, pour garantir que la chaîne de Markov atteigne l’une des classes de récurrence, il faut demander à ce qu’il n’y ait qu’un nombre fini d’états transients (elle passe un temps fini sur chacun, donc finit par les quitter tous). Voici quelques résultats de ce type, qui découlent directement des théorèmes précédents.
Théorème
Soit(Xn)n≥0 une chaîne de Markov. On noteT l’ensemble des états transients, etC1, . . . ,CN les classes ré- currentes. On supposeT fini. Toute classe récurrenteCiadmet une demi-droiteR+µi de mesures invariantes.
L’ensemble des mesures invariantes de(Xn)n≥0 est alors le cône R+µ1+· · ·+R+µN.
Si chaque classe Ci admet une probabilité invariante πi, alors l’ensemble des probabilités invariantes de (Xn)n≥0 est l’enveloppe convexe de{π1, . . . ,πN}, qui s’écrit aussi
n
λ1π1+· · ·+λNπN
λ1, . . . ,λN ≥0et λ1+· · ·+λN = 1o .
Théorème
Soit (Xn)n≥0 une chaîne de Markov. On note T l’ensemble des états transients, et C1, . . . ,CN les classes récurrentes. On suppose T fini. On suppose que toute classe récurrenteCi admet une (unique) probabilité invariante πi. Pour toute loi initialeµ, on a, pour tout x∈ Ci,
Pµ-p.s., 1 n
n
X
k=0
1{Xk=x}−→
n 1{τC
i<∞}πi(x)
(ouτCi est le temps d’atteinte de la classeCi) et plus généralement pour toute fonction bornée f :E→R,
Pµ-p.s., 1 n
n
X
k=0
f(Xk)−→
n N
X
i=1
1{τC
i<∞}
Z f dπi,
(c’est-à-dire que la limite est aléatoire, et vaut R
f dπi siτCi<∞; un seul terme de la somme est non nul, à savoir celui de la classe qui absorbe la chaîne).
Théorème
Soit (Xn)n≥0 une chaîne de Markov. On note T l’ensemble des états transients, et C1, . . . ,CN les classes récurrentes. On suppose T fini. On suppose que toute classe récurrenteCi admet une (unique) probabilité invariante πi, et que toutes les classes sont apériodiques. Pour toute loi initiale µ, on a, pour toutx∈ Ci,
Pµ(Xn=x)−→
n Pµ(τCi <∞)πi(x)
et plus généralement pour toute fonction bornéef :E→R, Eµ[f(Xn)]−→
n N
X
i=1
Pµ(τCi <∞) Z
f dπi.
Et si la chaîne est périodique ? Une première option est de modifier la chaîne pour la rendre apériodique.
Par exemple, on peut considérer la chaîne(Yn)n≥0de matrice de transitionQ= (1−ε)P+εI oùε∈(0,1) est quelconque. Elle est apériodique vu queQ(x,x) =ε >0(siP soit périodique, on aP(x,x) = 0). L’interprétation est la suivante : à chaque instant, on tire à pile ou face : avec probabilitéεon aYn+1=Yn, et avec probabilité 1−εon définitYn+1à l’aide de la matriceP (comme pour la chaîne de Markov initiale). On a donc simplement ralenti la chaîne de Markov de façon aléatoire en lui permettant de rester sur place avec probabilitéε. On parle de chaîne de Markov « paresseuse ». On vérifie tout de suite que les mesures invariantes sont les mêmes pourP etQ.
Une autre option est d’appliquer le théorème précédent à la chaîne de Markov accélérée (Xnd)n≥0, qui est apériodique (et une chaîne de Markov), mais non irréductible. Fixons x0 ∈ E. Pour tout x ∈ E, il existe rx∈ {0, . . . ,d−1} tel que, siPn(x0,x)>0, alorsn≡rx (modd). En effet, siPn(x0,x)>0 et Pm(x0,x)>0, alors comme il existektel quePk(x,x0)>0, on a
Pk+m(x,x)≥Pk(x,x0)Pm(x0,x)>0 et Pk+n(x,x)≥Pk(x,x0)Pn(x0,x)>0
ce qui montre queddivisek+m etk+n, et donc aussi(k+m)−(k+n) =m−nd’oùm−n≡0 (modd).
On note C(r) (où 0 ≤ r < d) l’ensemble des états x ∈ E pour lesquels rx = r. On a ainsi une partition E = C(0)∪ · · · ∪ C(d−1) (ce sont en fait les classes de Pd). Si Xn ∈ C(r), alors Xn+1 ∈ C(r+1) (en lisant les exposants modulod). On voit donc que(Xn)n passe autant de temps dans chaque « classe cyclique » C(·). Proposition
On suppose la chaîne de Markov (Xn)n irréductible, récurrente positive et de période d. Pour tout état initial x∈ C(0), pour touty∈ C(r) (où0≤r≤d−1),
Pnd+r(x,y) =Px(Xnd+r=y)−→
n d π(y), oùπest l’unique loi invariante.
