Probabilités Chapitre 11 : Chaînes de Markov

Probabilités

Chapitre 11 : Chaînes de Markov

Lucie Le Briquer 8 décembre 2017

Table des matières

1 Premiers exemples 1

2 Formalisation 2

2.1 Définitions. . . 2

2.2 Exemples . . . 3

2.3 Renforcement . . . 4

2.4 Plusieurs pas . . . 6

3 Existence de chaînes de Markov à µ0,Q fixé 8 4 Comportement asymptotique des chaînes de Markov 19 4.1 Existence de mesures invariantes . . . 23

4.2 Exemples . . . 27

4.3 Comportement asymptotique . . . 30

1 Premiers exemples

Une filtration canonique Fn =σ(X0, ..., Xn)structure le temps : pour un instantn, le présent, on aFn=événements du passé,Xn+1 dans le futur.

Idée. Une chaîne de Markov est un processus tel que le futur ne dépend du passé qu’au travers du présent.

Exemple. Par exemple on veut modéliser la vie d’un hamster. Chaque il est dans un des trois états{dormir, manger, faire de la roue}.

• Après avoir mangé, il dort avec probabilité ³₄, il joue avec probabilité ¹₄.

• Après avoir dormi, il mange avec probabilité ¹₂, il dort à nouveau avec probabilité ¹₃, il joue avec probabilité ¹₆.

• Après avoir joué, il mange avec probabilité ¹₂, il dort avec probabilité ¹₂. Et ce, indépendamment du passé.

SoitXnl’état du hamster dans lan−ième heure.Xn∈ {Mange, Dort, Joue}.X = (Xn)n∈Nsera

Représentation graphique.

Mange

Dort

Joue

3 4

1 2

1 2

1 4

1 2

1 6 1 3

Si on numérote les états Mange= 1, Dort= 2, Joue= 3; toutes les données sont codées dans la matrice3×3:

Q=P(passer deià j) =

Ñ0 ³₄ ¹₄

1 2

1 3

1 1 6 2

1 2 0

é

appelénoyau (ou matrice) de transition.

But. Quelle proportion de temps passe-t-il à manger ? Que vaut lim

n→+∞

1 b

n−1

X

i=0

1^Xi=1 ?

2 Formalisation

2.1 Définitions

SoitEun ensemble fini ou infini dénombrable qu’on appeleraespace d’état.Qest unnoyau de transitionsurE (ou matrice de transition) siQ:E×E−→[0,1]et tel que :

∀x∈E, X

y∈E

Q(x, y) = 1 Définition 1(noyau de transition)

Remarque.SiE fini, on identifieE à{1, ..., n}. Alors un noyau de transition surEs’identifie à la matrice(Q(i, j))16i,j6n. C’est une “matrice stochastique”, i.e. coefficients dans[0,1]et somme sur les lignes= 1.

Remarque.Q(x, .) est une suite de nombre positifs de somme 1, s’identifie à une mesure de probabilité. On veut que ce soit la loi deXn+1 siXn =x.

SiQest un noyau de transition sur l’espace d’état E(fini ou infini dénombrable) etµ0une mesure de probabilité surE. AlorsX = (Xn)_n∈N∈E^Nest la chaîne de Markov de mesure initialeµ0 et de noyau de transitionQsi :

P(Xn+1=y |X0=x0, ..., Xn =xn) =Q(xn, y) pour toutx0, ..., xn, ytels que P(X0=x0, ..., Xn=xn)6= 0. EtX0∼µ0.

Définition 2(chaîne de Markov homogène)

Remarque.

• Martingales−→processus à valeurs dansR

• Chaînes de Markov−→processus à valeurs dans un espace discret (graphe)

Remarque.Cette définition correspond aux chaînes de Markovhomogènes. En toute généralité, on demande :

P(X_n+1=y |..., X_n=x_n) =Q_n(x_n, y)

avec(Qn)une famille de noyau de transition. On supposera toujours nos chaînes homogènes.

2.2 Exemples

Exemple.SoitS_n^x=x+X₁+...+X_nmarche aléatoire oùx∈Z^d et(X_i)_i>1v.a. indépendantes dansZ^d de même loiµ. Alors :

P(S_n+1^x =y |(S₀^x, ..., S_n^x) =x₀, ..., x_n) =P(S_n^x+X_n+1=y |(S₀^x, ..., S^x_n) =x₀, .., x_n)

=P(xn+Xn+1=y |(S₀^x, ..., S_n^x) =x0, .., xn)

=P(Xn+1=y−xn) par indépendance

=µ({y−x_n})

(si P(S₀^x, ..., S_n^x =x0, ..., xn)⊥). DoncS^x est une chaîne de Markov de mesure initiale δx et de noyau de transitionQ(x, y) =µ({y−x}).

Contre-exemple.Regardons :

• (S_n⁰)n>1 la marche aléatoire simple issue de 0 avec S_n⁰ =X1+...+Xn et P(Xi = 1) = P(X_i=−1) = ¹₂.

• SoitZ indépendant de S tel queP(Z= 1) =P(Z =−1) = ¹₂. ConsidéronsY_n=Z|S_n⁰|. Alors au tempsnon a :

Yn n’est pas une chaîne de Markov, on a bien ∀x ∈ Z P(Yn+1 = x±1 | Yn = x) = ¹₂ si P(Yn=x)6= 0.

Mais :

P(Y₃= 1| (Y₀, Y₁, Y₂) = (0,1,0)

| {z }

impliqueZ=1

) = 1

P(Y3= 1 |(Y0, Y1, Y2) = (0,−1,0)

| {z }

impliqueZ=−1

) = 0

Contre-exemple.(autre contre-exemple)

S_n⁰ marche simple issue de0. ConsidérerVn= sup_06k6nS_k⁰. Montrer queVnn’est pas une chaîne de Markov.

Exemple.(processus de Galton-Watson) ß Z0= 1

Zn=X₁ⁿ+...+X_Zⁿ_n−1 où(X_jⁿ)n>1, j>1 v.a.i. de loiµprobabilité surN Alors,

P(Z_n+1=y |(Z₀, ..., Z_n) =x₀, ..., x_n)

=P(X₁ⁿ⁺¹+...+X_xⁿ⁺¹_n =y |(Z0, ..., Zn) =x0, ..., xn)

=

idpP(X₁ⁿ⁺¹+...+X_xⁿ⁺¹

n

| {z }

∼µ^∗xn

=y)

=µ^∗sn({y})

DoncZ est une chaîne de Markov de noyau de transitionµ^∗x({y}).

Exemple.(marche aléatoire sur un graphe)

Si G = (S, A)oùS est un ensemble non vide de sommets, et Aun ensemble de (x, y, p) arêtes orientées pondérées avec pourxfixéP

y,(x,y,p)∈Ap= 1. Alors la marche aléatoire sur ce graphe est la chaîne de Markov de noyau de transition :

Q(x, y) =

ß p si(x, y, p)∈A

0 sinon

Reste à montrer l’existence. Toute chaîne de Markov se représente par un graphe avecS= espace d’état.

2.3 Renforcement

On veut renforcer “ne dépend du passé qu’au travers du présent”.

E espace d’état,Qnoyau de transition.

X C.M. (chaîne de Markov) de noyau de transitionQ

⇔ ∀n∈N, ∀p∈N^∗, ∀(y₁, . . . , y_p)∈E^p, ∀x_n ∈E, ∀A∈ F_n^X, siP(X_n=x_n, A)6= 0, alors P

(Xn+1, . . . , Xn+p) = (y1, . . . , yp)|Xn=xn, A

=Q(xn, y1)×Q(y1, y2)×. . .×Q(y_p−1, yp)

⇔ ∀n∈N, ∀x0, . . . , xn ∈Eⁿ⁺¹, P(X0=x0, . . . , Xn =xn) =P(X0=x0)×Q(x0, x1)×. . .×Q(xn−1, xn) Propriété 1

Preuve.

• (i)⇒(ii): récurrence surp

– sip= 1:A∈σ(X₀, . . . , X_n)donc∃Γ⊂Eⁿ⁺¹ tel queA={X0, . . . , X_n ∈Γ}

P(X_n+1 =y₁|X_n=x_n, A)

= 1

P(Xn=xn, A)P(X_n+1=y₁, X_n=x_n, A)

= 1

P(X_n, x_n, A) X

z₀,...,z_n∈Γ

P

X_n+1=y, X_n=x_n,(X₀, ..., X_n) = (z₀, ..., z_n)

= 1

P(X_n=x_n, A)

X

z0,...,zn−1∈Γ(xn)

P

X_n+1=y |X_n =x_n, (X₀, . . . , X_n−1) =z₀, . . . , z_n−1

| {z }

Q(x_n,y)

×P(Xn =xn, (X0, . . . , X_n−1) =z0, . . . , z_n−1) (oùΓ(x_n) ={z₀, . . . , z_n−1 |z₀, . . . , z_n−1, x_n∈Γ})

= Q(xn, y) P(Xn=xn, A)

X

z0,...zn∈Γ

P(Xn, xn, (X0, . . . Xn) =z0, . . . zn)

=Q(xn, y) – p⇒p+ 1

P(X_n+1, . . . , X_n+p+1=y₁, . . . , y_p+1 |Xn=x_n, A)

=P(Xn+p+1=yp+1 |Xn+1, . . . , Xn+1=y1, . . . , yp, Xn =xn, A)

| {z }

p=1

×P(X_n+1. . . , X_n+p=y₁, . . . , y_p |X_n=x_n, A)

| {z }

H.R.

=Q(yp, yp+1)×Q(x0, y1)×. . .×Q(y_p−1, yp)

Sauf si {Xn+1, . . . , Xn+p =y1, . . . , yp} incompatible avec{Xn =xn, A}, dans ce cas les termes= 0donc ok.

• (ii)⇒(iii): ok

• (iii)⇒(i):

P(Xn+1=y |X0, . . . , Xn=x0, . . . , xn

| {z }

siP(.)6=0

)

= P(X₀, . . . , X_n+1=x₀, . . . , x_n, y) P(X0, . . . , Xn=x0, . . . , xn)

= P(X0, x0)×Q(x0, x1)×Q(xn−1, xn)×Q(xn, y) P(X0, x0)×Q(x0, x1)×Q(x_n−1, xn)

=Q(x_n, y)

Remarque.La loi d’une C.M X est déterminée par la mesure initiale µ₀ et la matrice de transitionQ. La loi deXcorrespond à la probabilité surCla tribu cylindrique, elle est déterminée par ses valeurs :

P((X₀, . . . , X_n)∈A) avecA⊆Eⁿ⁺¹ Or,

P((X0, . . . , Xn)∈A) = X

x₀,...,x_n∈A

µ0({x0})×Q(x0, x1)×. . .×Q(x_n−1, xn) Interprétation deQ:Q(x, y) =P(Xn+1=y |Xn=x).

2.4 Plusieurs pas

Comment faire d’un coup plusieurs pas ?

SiSet Qsont deux noyaux de transitions surE. On définit : S·Q:x, y7−→ X

y∈E

S(x, y)Q(y, z) Définition 3(produit de chaînes de Markov)

Remarque.Tout est positif. C’est un noyau de transition : X

z

(S·Q)(x, z) =X

y,z

S(s, y)Q(y, z) =X

y

S(x, y) Ç

X

z

Q(y, z) å

| {z }

=1

= 1

Donc(S·Q)(x, z)∈[0,1].

SiQest un noyau de transition on noteQ¹=QetQⁿ⁻¹=Q·Qⁿ. Définition 4

Remarque.Par convention,Q⁰(x, y) =1{x=y}.

Remarque.S,Q−→S·Qest associative : ((S·Q)·R)(x, y) = X

(z,t)∈E²

S(x, z)Q(z, t)R(t, y)

Remarque.SiE est fini et qu’on identifie la matrice de transition avec de vraies matrices alors cette opération est le vrai produit matriciel.

SiX C.M. de transitionQ,∀n, p, ∀A∈ F_n^X :

P(Xn+p=y |Xn=xn, A) =Q^p(xn, y) Propriété 2

Remarque.Une conséquence est que(Xnp)_n∈Nest une chaîne de Markov de noyau de transition Q^p. Q^p transition deppas de la chaîne.

Preuve.

P(Xn+p=y| Xn=xn, A)

= X

y1,...,yp−1∈E^p−1

P(Xn+1, . . . , Xn+p=y1, . . . , y_p−1, y |Xn =xn, A)

= X

y₁,...y_p−1∈E^p−1

Q(xn, y1)Q(y1, y2). . .Q(yp−1, y)

=Q^p(x_n, y)

Exemple.(revenons au hamster)

Si initialement il mange(1), quelle est la probabilité que7heures plus tard il dorme(2)? P(X7= 2|X0= 1 = (Q⁷)1,2

Q est explicite donc c’est du calcul matriciel. Pour de grandes puissances on aura intérêt à diagonaliser la matrice.

Quelle est la probabilité que jusqu’au jour7il ne dorme pas ?

P(Xn 6= 2, ∀16n67 |X0= 1) =P((X1, . . . , X7) = (3,1,3,1,3,1,3)| X0= 1)

=Q(1,2)⁴Q(2,1)³

= Å1

4 ã⁴Å1

2 ã³

= 1 2048

3 Existence de chaînes de Markov à µ

, Q fixé

SoitQ noyau de transition sur E. Soit Ω0 = E^N et C la tribu cylindrique. ∃(Px)_x∈E une famille de probabilités telle que siX: Ω0−→Ω0est l’identité alors la loi deX sur(Ω,C,Px) est celle d’une C.M. de transitionQet de mesure initialeδx.

Théorème 1(réalisation canonique des C.M.)

Preuve.

Soient(Z_yⁿ)n∈N, y∈E des v.a. indépendantes etZ_yⁿ ∼Q(y,·), Z_yⁿ∈E.

SoitX0=xet pourn>1Xn=Z_Xⁿ_n−1.X0∼δx. P(Xn+1=xn+1 |X0, . . . , Xn=x0, . . . , xn) =P(Z_Xⁿ⁺¹

n =xn+1 |X0, . . . , Xn=x0, . . . , xn)

=P(Z_xⁿ⁺¹_n =xn+1 |X0, . . . , Xn=x0, . . . , xn

| {z }

∈σ(Z_y^k|k6n)

)

=

idpQ(x_n, x_n+1)

On définitPx= la loi deX, identité surΩ₀,C, µ_X =Pxa même loi que X donc ok.

Remarque.X ∼Px ⇔ X C.M. de transition Q et X0 =x p.s. On peut changer le point de départ en cageantPx.

Siµest une probabilité surE, on définit : P_µ=X

x∈E

µ({x})Px

qui est une probabilité surE^N. Définition 5

Remarque.Si sur(E^N,C,Pµ)X est l’identité alors X est une CM de transitionQet X0 ∼µ.

Car :

Pµ((X₀, . . . , X_n) =x₀, . . . , x_n) =X

x∈E

µ({x})Px((X₀, . . . , X_n) =x₀, . . . , x_n)

| {z }

0six06=x

=µ({x0})Px₀((X1, . . . , Xn) =x1, . . . xn)

=µ({x0})Q(x1, x2). . .Q(x_n−1, xn) caractérise bien CMQ, µ0.

Remarque.Différence avec ce qu’on a fait jusque là lorsqu’on travaille avec la réalisation cano- nique :

• on travaille avec un espace de probabilité fixé (E^N,C,P^µ)(P^µune famile de probabilités)

• notations :

– Ex espérance sousPx

– Eµ espérance sousPµ

On y gagne en souplesse en permettant de changer le point de départ.

Remarque.Si on prouve pour un certain événement A, ∀µ, X ∈ A P^µ p.s. (propriété de la réalisation canonique), alors on a prouvé que pour toute CMY de transitionQ,Y ∈Ap.s.

Intérêt de la réalisation canonique. Pouvoir renforcer la propriété que le futur ne dépend du passé qu’au travers du présent. On a deux énoncés traduisant cela : les propriétés de Markov simple et forte.

θ:

ß E^N −→ E^N (x0, x1, . . .) 7−→ (x1, x2, . . .) Définition 6(shift)

Remarque.On a si x= (x₀, x₁, . . .), θⁿx= (x_n, x_n+1, . . .). Si X = (X_n)_n∈N est un procesus, on voirθⁿX = (X_n, X_n+1, . . .)comme le futur.

Qtransition surE, sous la réalisation canonique.∀B∈ C, ∀A∈ F_n^X, ∀x∈E, ∀µprobabilité surE:

Pµ(θⁿX ∈B |Xn=x, A) =Px(X ∈B) (siPµ(X_n=x, A)6= 0

Propriété 3(de Markov simple)

Remarque.⇔Pµ(θⁿX ∈B, Xn=x, A) =Px(X∈B)Pµ(Xn=x, A) Preuve.

On veut identifier la loi deθⁿX: (E^N,C,Pµ(.|A, X_n =x))−→E^Net celle deX: (E^N,C,Px)−→

E^N. Donc il suffit de le vérifier sur une classe génératrice stable par ∩finie.

SoitB={(x0, x1, . . .)|x0=b0, . . . xp=bp}oùb0, . . . , bp sont des éléments deE fixés. Cela forme une classe stable par∩finie qui engendre tout.

Pµ((X_n, . . . , X_n+p= (b₀, . . . , b_p)|X_n=x, A) =

? Px((X₀, . . . , X_p) =b₀, . . . , b_p) C’est le cas puisque l’on sait que les deux valent1b0=xQ(b₀, b₁). . .Q(b_p−1, b_p).

Remarque.(reformulations)

Sous les mêmes hypothèses∀f mesurable borné :

Eµ[f(θⁿX)|F_n^X]1Xn=x=Ex[f(X)]1Xn=x Pµ p.s.

Autre reformulation qui en découle :

E^µ[f(θⁿX)|F_n^X] =E^Xn[f(X)]

| {z }

(∗)

P^µ p.s.

où(∗)est la v.a. qui vautP

xEx[f(X)]1^Xn=x

Preuve. E^x[f(X)] est Fn−mesurable. Il suffit de montrer le résultat pour f = 1^B on l’aura alors pour tous lesf étagées par linéarité puis pour toutf par TCM. Alors pourA∈ F_n^X,

Eµ[1^θnX∈B

| {z }

f(θⁿX)

1^A] = X

x∈E

Pµ(θⁿX∈B, A, Xn =x)

=X

x∈E

Px(X∈B)Pµ(A, Xn=x)

=Eµ

h X

x∈E

Px(X∈B)1^Xn=x

| {z }

Fn−mesurable

1^Ai

Donc :

Eµ[f(θⁿX)|F_n^X] =X

x∈E

Ex[f(X)]1Xn=x Pµ p.s.

On multiplie alors des deux côtés par1^Xn=x.

Qnoyau de transition surE, T temps d’arrêt par rapport à F^X, A∈ FT, B quelconque.

Alors :

Pµ(θ^TX ∈B |T <+∞, X_T =x, A) =Px(X∈B) (siPx(T <+∞, X_T =x, A)6= 0)

Propriété 4(de Markov forte)

Remarque.plus utile :

Pµ(θ^TX∈B, XT =x, T <+∞, A) =Px(X ∈B)Pµ(XT =x, T <+∞, A) Preuve.

Pµ(θ^TX ∈B, X_T =x, T <+∞

| {z }

=tn∈N{T=n}

, A) =X

n∈N

Pµ(θⁿX ∈B, X_n =x,(T =n∩A)

| {z }

∈F_n^X

)

=

Markov simple

X

n∈N

Px(x∈B)Pµ(X_n =x, T =n, A)

=Px(x∈B)X

n∈N

Pµ(Xn=x, T =n, A)

=Px(X ∈B)Pµ(XT =x, T <+∞, A)

Remarque.(reformulation)

∀f mesurable borné :

Eµ[f(θ^TX)| FT]1^{T <+∞,X}T=x=Ex[f(X)]1^XT=x,T <+∞ Pµ p.s.

Preuve. SoitA∈ FT.

Eµ[f(θ^TX) 1T <+∞,XT=x

| {z }

=P

n∈N1T=n,Xn=x

1^A] =X

n∈N

Eµ[f(θⁿX)1^T=n,A1^Xn=x]

=X

n∈N

Eµ

h

Eµ[f(θⁿX)| F_n]1T=n,A1Xn=x

i

=

Markov simpleEx[f(X)]X

n∈N

Eµ[1^T=n,A1^Xn=x]

| {z }

Eµ[1T <+∞1A1_XT=x]

Donc :

Eµ[f(θ^TX)1XT=x1T <+∞

| {z }

Fn−mesurable

|Fn] =Ex[f(X)]1T <+∞1XT=x Pµ p.s.

D’où le résultat.

Objectif Savoir si un CMX passe souvent en un point ou non.

SoitT˜x=“premier retour enx”= inf{n>1 |Xn=x}

Définition 7

Remarque.T˜x6=la première atteinte de x. SiX0=xon a quand mêmeT˜x>0.

N_x=“nombre de passage enx” =Card{n∈N| X_n=x}=X

n>0

1Xn=x

Définition 8

Exemple. On a vu que si X est la MAS sur Z alors elle passe une infinité de fois sur chaque site :∀x, y Ny = +∞Pxp.s. etT˜y<+∞Pxp.s. (partant dexje passe enyet même une infinité de fois).

Qnoyau de transition surE, six∈E, il y a deux possibilités :

• T˜x<+∞Pxp.s. (on revient toujours enx), alorsNx= +∞Px p.s., on dit alors que xest récurrent

• ou bienPx( ˜Tx=x)>0alorsNx<+∞Px p.s., on dit quexesttransitoire (et mêmeNx∼ G(Px( ˜Tx= +∞)), Ex[Nx] = ¹

Px( ˜Tx=+∞)) Propriété 5(récurrentn transitoire)

Preuve.

Les deux conditions s’excluent,X0=xP^x p.s. doncNx>1 P^xp.s. Calculons pourk>1 : Px(Nx>k+ 1) =Px(Nx>k+ 1,T˜x<+∞) +Px(Nx>k+ 1,T˜x= +∞)

| {z }

=0 ˜(T_x=+∞⇒Nx=1)

=Px(N_x>k+ 1,T˜_x<+∞)

=Px

nx(X)

| {z }

1+n_x(θ^Tx˜ X)carX₀=x

>k+ 1,T˜x<+∞, XT˜x =x

=Px

n_x(θ^T˜xX)>k,T˜_x<+∞, XT˜x=x

=

Markov fortPx(nx(X)>k)Px( ˜Tx<+∞, XT˜x =x) oùNx=nx(X)avecnx(y0, y1, . . .) =P

n∈N1^yn=x. Donc :

Px(N_x>k+ 1) =Px(N_x>k)Px( ˜T_x<+∞) Donc puisquePx(N_x>1) = 1:

Px(N_x>k) =Px( ˜T_x<+∞)^k−1

• Si T˜x<+∞Pxp.s. alorsPx(Nx>k) = 1doncNx= +∞Pxp.s.

• Si Px( ˜Tx<+∞)<1:

Px(Nx=k) =Px(Nx>k)−Px(Nx>k+ 1)

=Px( ˜Tx<+∞)^k−1Px( ˜Tx= +∞)

= (1−Px( ˜Tx= +∞))^k−1Px( ˜Tx= +∞)

E[f(θ^TX)|F_T]1T <+∞,XT=x.

Pµ(θ^TX∈B, A, X_T =x, T <+∞) =Eµ[E[1θ^TX∈B|F_T]1XT=x1T <+∞1A] =Eµ[Ex[1X∈B]

| {z }

Px(X∈B)

1XT=x,T <+∞,A]

Remarque.On a proué :

Px(Nx=k) =Px( ˜Tx<+∞)^k−1Px( ˜Tx= +∞)

signifieP(kpassages enx) =P(on revientk−1fois puis on s’échappe). La propriété de Markov permet de découper dans le temps en événements indépendants.

Cas peu intéressant.

Si Q= Ü₁

2 1

2 0 0

1 0 0 0

0 0 ¹₂ ¹₂ 0 0 ¹₂ ¹₂

ê

L’étude se ramène à 2 chaînes de Markov disjointes.

Autre cas. Partant de x on va avec 1 chance sur 2 en hat et on ne va jamais vers le bas. On voudrait une notion qui dise si 2 sites peuvent communiquer entre eux.

Qfixé. On définit le potentiel de la marche par U:E×E−→E: U(x, y) =Ex[ Ny

|{z}

=P

1Xn=y

] =

+∞

X

n=0

Px(Xn=y) =

+∞

X

n=1

Qⁿ(x, y) Définition 9

On a une équivalence pourx6=y dansE

Px( ˜Ty <+∞)>0⇔ Px(∃n>0, Xn=y)>0

⇔ ∃n>0, Px(X_n=y)6= 0

⇔ ∃n>0, Qⁿ(x, y)6= 0

⇔ U(x, y)6= 0

Si c’est vrai on note x y “xcommunique avec y” (dans la représentation graphique, il existe un chamine dexà y). On note!la relation d’équivalence engendrée.

On dit queQest irréductible s’il y a une seule classe pour cette relation.

krécurrent ⇔ U(x, x) = +∞

Propriété 6

Preuve.

xrécurrent ⇒ Nx= +∞Px p.s.⇒ Ex[Nx]

| {z }

=U(x,x)

= +∞

xtransitoire ⇒U(x, x) =Ex[N_x] = ¹

Px( ˜T_x=+∞)<+∞

Applications.(MAS surZ^d)

• d= 1:S=x+Y₁+. . .+Y_n avec(Y_i)_i>1 indépendant de loiP(Y_i= 1) =P(Y_i=−1) = ¹₂ est une CM surZde transition :







Q(i, i+ 1) = ¹₂ Q(i, i−1) = ¹₂ Q(i, j) = 0sinon CalculonsU(y, y).

U(y, y) =

+∞

X

n=0

Py(Xn=y) =

+∞

X

n=0

P(Y1+. . .+Yn= 0

| {z }

∅sinimpair

) =

+∞

X

n=0

P(S_2n⁰ = 0)

Or,

P(S_2n⁰ = 0) =P

Card{16i62n| Y_i= 1}

| {z }

∼B(2n,1/2)

=n

= Å2n

n ã 1

2²ⁿ = 2n!

n!n!

1 4ⁿ

∼

Stirling

2n 2

²ⁿ√ 2π2n

n 2

ⁿ n 2

ⁿ√ 2πn√

2πn 1 4ⁿ = 1

√πn Ainsi U(y, y) = P

n>0

√1

πn(1 +o(1)) = +∞. On retrouve bien que tous les sites sont récurrents.

• d= 2:S_n^x=x+X1+. . .+Xn∈Z²avecXiindépendants etXi∼ U(){(1,0),(0,1),(−1,0),(0,−1)}.

rotation d’angle ^π₄ et dilatation de√

2(opération notéϕ, linéaire). On se déplace désormais selon les diagonales. On poseY˜ =ϕ( ˜Y)etS˜_n⁰ = ˜Y1+. . .+ ˜Tn =ϕ(S_n⁰). Désormais :

Y˜i∼ U {(1,1),(1,−1),(−1,1),(−1,−1)}= Å1

2(δ1+δ−1) ã

⊗ Å1

2(δ1+δ−1) ã

Donc en notant S˜_n⁰ = ( ˜S_n^0,1,S˜_n^0,2) et S˜_n^0,k = Pn

i=1Y˜_i^k (k ∈ {1,2}), on a S˜^0,1_n et S˜_n^0,2 indépendants et de loi la MAS sur Z.

U(y, y) =X

n60

P(S_n⁰ = 0_Z²) =

parité

X

n>0

P(S⁰_2n = 0) =X

n>0

P( ˜S_2n⁰ = 0_Z²) Donc :

U(y, y) =

idp

X

n>0

P( ˜S_2n^0,1= 0)P( ˜S_2n^0,2= 0) =X

n>0

√1

πn(1 +o(1)) 1

√πn(1 +o(1))∼X

n

1 n =∞ Donc tout site est récurrent pour la MAS dans Z².

• d>3dans le cas de la MA sur les diagonales : on prend( ˜Yi)i>1indépendant uniforme sur {(x₁, . . . , x_d)| x_i∈ {−1,1}}. S˜_n^x=x+ ˜Y₁+. . .+ ˜T_n, ses coordonnées sont indépendantes et sont des MAS surZ. Alors comme précédemment :

U(y, y) =X

n>0

P( ˜S_2n⁰ = 0)

=

idp

X

n>0

P( ˜S_2n^0,1= 0)×. . .P( ˜S_2n^0,d= 0)

=X

n>0

Å 1

√πn(1 +o(1)) ã^d

<+∞ pourd>3 Tout site est transitoire.

oCela ne permet pas de savoir si c’est aussi le cas pour la MAS surZ^d.

• dquelconque pour la MAS : soient(Yi)indépendants dansZ^d,ei= (0, . . . ,0,1,0, . . . ,0)la base canonique.Yi∼ U({e1,−e1, . . . , ed,−ed}).

S_n =Y₁+. . .+Y_n MAS surZ^d issur de0

on ne peut revenir en 0 qu’au bout d’un nombre pair de pas. CalculonsU(0,0): U(0,0) =X

n>0

=X

n>0

P(S_n= 0) =X

n>0

P(S_2n= 0) CalculonsφS_2n.

φY₁( λ

|{z}

∈R^d

) =E[e^ihλ,Y1i]

= 1 2d

e^ihλ|e1i+e^ihλ|−e1i+. . .+e^ihλ|edi+e^ihλ|−edi

= 1

2(cos(λ₁) +. . .+ cos(λ_d)) Donc par indépendance :

φS_2n(λ) =φY₁+...Y_2n(λ) =

Åcos(λ1) +. . .cos(λd) d

ã²ⁿ

Or :

ϕ_S2n(λ) =E[e^ihλ|S2ni] = X

k∈Z^d

e^ihλ|kiP(S_2n=k) En intégrant :

Z

λ∈[−π,π]^d

ϕS_2n(λ)dλ= (2π)^dP(S2n = 0) Donc :

U(0,0) =X

n>0

P(S2n = 0)

= 1

(2π)^d X

n>0

Z

[−π,π]^d

φ_S2n(λ)dλ

= 1

(2π)^d X

n>0

Z

[−π,π]^d

cos(λ1) +. . .+ cos(λd) d

| {z }

∈[0,1]

dλ

=

Fub>0

1 (2π)^d

Z

[−π,π]^d

1

1−Ä_cos(λ1)+...+cos(λd) d

ä²

| {z }

(∗)

Problème :(∗)−→+∞lorsque lesλi−→0ouπ. Restreignons les bornes de l’intégrale : U(0,0) = 1

(2π)^d Z

]−ε,ε[^d

1

1−Ä_cos(λ1)+...+cos(λd) d

ä²λ +

Z

(π+]−ε,ε[)^d

1

1−Ä_cos(λ1)+...+cos(λd) d

ä²λ

+I

!

avecI <+∞

Par symétrie λ7→π−λles deux premières intégrales sont égales. Alors : U(0,0)<+∞ ⇔ 1

(2π)^d Z

]−ε,ε[^d

1

1−Ä_cos(λ1)+...+cos(λ_d) d

ä²λ <+∞

Commecosx= 1−^x₂² +o(x²), on a : 1−

Åcosλ1+. . .+ cosλd

d

ã2

= 1−

Å1−λ²₁/2 +. . .+ 1−λ²_d/2

d +o(ε²)

ã²

= 1− Å

1−λ²₁+. . .+λ²_d

2d +o(ε²) ã²

=λ²₁+. . .+λ²_d

2d +o(ε²) Ainsi :

U(0,0)<+∞ ⇔ Z

]−ε,ε[^d

1

kλk²₂dλ ⇔ Z

kλk<ε

1 kλk²₂dλ Changement de coordonnée polaire dansRⁿ,f mesurable positif

Z

Rⁿ

f(kxk)dx=c_n Z

r>0

f(r)rⁿ⁻¹dr IciU(0,0)<+∞ ⇔. . .⇔Rε

0 n^d−3<+∞ ⇔d>3

• xrécurrent etx y ⇒y récurent ety x. De plusNy = +∞Pxp.s.

• y transitoire etx y ⇒xtransitoire. Et∀z, Ny<+∞Px p.S.

• être transitoire ou récurrent est une propriété de classe :

six!y alors xrécurrent ⇔y récurrent Propriété 7

Preuve.

x y donc∃ntel quePx(Xn=y)>0, or(Xn=y)⊆( ˜Ty<+∞), donc :

0<Px( ˜Ty<+∞) =Px( ˜Ty<+∞, Nx= +∞) carxrécurrent doncNx= +∞Px p.s.

=Px( ˜T_y<+∞, n_x(θ^T˜y(X)) = +∞, XT˜y =y

| {z }

gratuit

)

=

Markov fortPy(n_x(X) = +∞)Px( ˜T_y <+∞, XT˜y=y)

Ainsi :

0<Px( ˜T y <+∞) =Py(Nx= +∞)Px( ˜Ty<+∞) DoncNx= +∞Py p.s. doncU(y, x) = +∞doncy x.

On ax y donc∃l, Q^l(x, y)>0 ety xdonc∃p, Q^p(y, x)>0. Calculons : U(y, y) =X

n>0

Qⁿ(y, y)>X

n>0

Q^l+n+p(y, y)>X

n>0

Q^l(y, x)Qⁿ(x, x)Q^p(x, y) Donc,

U(y, y)>Q^l(y, x)

| {z }

>0

U(x, x)

| {z }

+∞

Q^p(x, y)

| {z }

>0

= +∞

Aisniyest récurrent.

On a vu que x récurrent et x y ⇒ Nx = +∞ Py p.s. On saity récuurent et y xdonc Ny= +∞Pxp.s.

Contraposée :

ß x y

ytransitoire ⇒ xtransitoire Calculons siy transitoire etz6=y :

U(z, y) =Ez[N_y]

=Ez[1T^˜_y<+∞Ny] +Ez[1T^˜_y=+∞Ny]

| {z }

=0

=Ez

h Ez

ny(θ^T˜yX)| FT˜y

1T^˜y<+∞,XTy˜ =y

i

=Ez

h

Ey[n_y(X)]1T^˜y<+∞,XTy˜ =y

i

=Ey[Ny]Pz( ˜Ty<+∞) Bilan :

U(z, y) = U(y, y)

| {z }

<+∞car transitivte

Pz( ˜T_y <+∞)<+∞

doncEz[Ny]<+∞doncNy<+∞Pz p.s.

SoientQ, E fixés.

• On dit queQest irréductible s’il n’y a qu’une seule classe dansE.

• On dit queQest réccurent si en plus tous les points sont récurrents.

• Et sinon (tous les points sont transitoires) on dit queQest transitoire.

Définition 10

Remarque.On attribue aussi les attributs irréductible, transitoire, récurrent au processusX. Application.Les MAS surZ^dsont irréductibles et elles sont récurrentes sid= 1ou2pour tout x, y Ny= +∞P^xp.s. Elles sont transitoires sid>3,Ny <+∞P^x p.s.

Alors :

Card{n| kXnk6R}= X

kyk6R

Ny Pxp.s.

lim_nkX_nk>R Pxp.s. Vrai pour toutRdonc :

SiQ, Efixés. Soit :

T ={x∈E |xtransitoire} R={x∈E| xrécurrent}=R1∪. . .Rn∪. . . où lesRi sont les classes d’équivalence pour!.

Alors on a :

• ∀n, X_n∈ T et(N_y<+∞, ∀y∈E), (N_y== 0, ∀y∈ R)

• ou bienT = inf{n|X_n∈ R}<+∞, et siiest tel queX_T ∈ R_i alors : – Ny<+∞ ∀y∈ T

– Ny= 0∀y∈ R\Ri

– Ny= +∞ ∀y∈ Ri

Pxp.s. pour toutx.

Théorème 2(décomposition d’une chaîne de Markov)

Preuve.

Six∈ R_i, ∀y /∈ R_i, x6 y doncN_y= 0 Px p.s., mais siy∈ R_i, x y alorsN_y= +∞Pxp.s.

Soit :

Ai=

∀y∈ Ri, Ny= +∞, ∀y6∈ Ri, Ny= 0 On a∀x∈ Ri, Px(Ai) = 1.

Si x∈ T, soit T_i = inf{n | X_n ∈ Ri} ceux qui sont finis sont distincts, soit T = inf{Ti}. Si T = +∞ok, sinon siT <+∞,∃itel queT =T_i.

Px

T <+∞, ∀n>T, Xn ∈ Ri,(Ny= +∞,∀y∈ Ri),(Ny = 0,∀y∈ R\Ri)

=Px

T <+∞, G

y∈R_i

X_T =y, θ^TX ∈A_i

= sup

y∈Ri

Px

θ^TX ∈Ai, T <+∞, XT =y

=

Markov fort sup

y∈R_iPy(A_i)

| {z }

=1

P(T <+∞, XT =y)

=P(T=Ti<+∞)

Remarque.Si E fini,Qirréductible alorsQrécurrent car : X

y∈E

Ny=X

y∈E

X

n>0

1^Xn=y=X

n>0

X

y∈E

1^Xn=y= +∞

SiQétait transitoire elle serait finiePx p.s.

4 Comportement asymptotique des chaînes de Markov

Que devientXn lorsquen→+∞?

• Comportement p.s.deX_n peu intéressant,E discret donc siX_n −−−−−→^p.s.

n→+∞ X_∞ alorsX_n est constant à partir d’un certain rang doncXns’arrête sur un sitextel queQ(x, y) =1^y=X; un tel site est appelépoint absorbant

Par exemple dans le processus de Galton-Watson 0 est absorbant et siE[Xj]61 et de loi 6=δ1alorsZn

−−−−−→p.s.

n→+∞ 0

• Convergence en loi. µ_Xn loi surE. A-t-elle une limite µ_∞?

• Temps d’occupation. Correspond à la proportion du temps passé en un site : 1

n

n−1

X

k=0

1^Xn=y−−−−−→

n→+∞ µ∞(y)Pxp.s. ? Désormais siν est une mesure sur E, on noteraν(x) =ν({x}).

CalculonsµX_n+1 à partir deµX_n : µX_n+1(y) =P(Xn+1=y) =X

x∈E

P(Xn=x, Xn+1=y)

| {z }

P(X_n+1=y|X_n=x)P(X_n=x)

=X

x∈E

Q(x, y)µX_n(x) =X

x∈E

µX_n(x)Q(x, y)

• Si E est fini = {e1, . . . , en}, on identifie une mesure ν sur E et le vecteur ligne (ν(e1), . . . , ν(en)).

• PourE quelconque,Qnoyau de transition etν mesure surE on définit la mesureνQ surE par :

(νQ)(y) =X

x∈E

ν(x)Q(x, y) Définition 11

Remarque.Ceci coïncide avec le calcul matriciel.

Remarque.On définit cela pour des ν mesures par forcément de probabilité mais telles que ν(y)<+∞ ∀y(mais éventuellementν(E) = +∞).

On a µ_Xn+1 = µ_XnQ, par récurrence immédiate µ_Xn = µ_X0Qⁿ. On s’attend à ce que µ_Xn converge vers un point fixe deµ7→µQ.

Qfixé,µmesure surE avecµ(y)<+∞ ∀y etµ(E)6= 0, est dite invariante siµQ=µ.

Définition 12(mesure invariante)

Ce sont les bons candidats pour les mesures limites.

Qfixé,X réalisation canonique,µprobabilité, alors : (i)µest invariante

⇔(ii)∃µ0tel que sousPµ₀, xn

−−−−−→(L)

n→+∞ Z v.a.∼µ

⇔(iii)Si Xn∼µalors∀k>n, Xk∼µ Propriété 8

Preuve.

(i)⇒(ii): Soitµ₀=µ, alorsµ_Xn=µ_X0Qⁿ=µdoncX_n−−−−−→^(L)

n→+∞ Z∼µ (iii)⇒(ii): On poseµ0=µdonc∀n, µX_n=µ

(i)⇒(iii): SiX_n∼µ, etk>n,µ_Xk=µ_XnQ^k−n =µ (ii)⇒(i): SiX_n−−−−−→^(L)

n→+∞ Z ∼µ, X_n+1−−−−−→^(L)

n→+∞ Z.µ_Xn+1(y)−−−−−→

n→+∞ µ(y), or : µX_n+1(y) = (µX_nQ)(y) =X

x

µX_n(x)

| {z }

−−−−−→

n→+∞

µ(x)

Q(x, y)

Donc par Fatou : X

x∈E

µ(x)Q(x, y) =X

x∈E

limµ_Xn(x)Q(x, y)6limX

x∈E

µ_Xn(x)Q(x, y) =µ(y) En sommant eny :

X

y∈E

X

x∈E

µ(x)Q(x, y)

| {z }

=P

x∈Eµ(x)=1

6X

y∈E

µ(y) = 1

Si une des inégalités était stricte on aurait 1<1 ce qui est absude. Ce sont donc des égalités.

Désormais on cherche les mesures invariantes donc à résoudreµQ=µ. Donc on veut connaître les conditions d’existence et d’unicité de cette équation.

Application.

Q=

Ñ0 ³₄ ¹₄

1 2

1 3

1 1 6 2

1 2 0

é

La somme sur les lignes vaut 1 donc :

Q Ñ1

1 1

é

= Ñ1

1 1

é

Donc1est une valeur propre deQdonc aussi deQ^T, ainsi∃µvecteur ligne telle queQ^Tµ^T =µ^T, doncµQ=µ. C’est bien une mesure invariante si les coefficients sont positifs.

Réduction deQ.Qa trois valeurs propres : 1, x= −1 +i√

2

3 , y=−1−i√ 2

3 |x|,|y|<1

un vecteur propre associé à1pourQ^T est(¹₃ ¹₂ ¹₆)^T Doncµ= (¹₃ ¹₂ ¹₆)est une mesure invariante.

Q^T =P

Ñ1 0 0 0 x 0 0 0 y

é

P⁻¹ avecP = Ñ1

31 2 ∗

1 6

é

(Q^T)ⁿ =P

Ñ1 0 0 0 xⁿ 0 0 0 yⁿ

é

P⁻¹−−−−−→

n→+∞ P

Ñ1 0 0 0 0 0 0 0 0

é P⁻¹=

Ñ1 3 0 0

1 2 0 0

1 6 0 0

é P⁻¹

µ^T_Xn= (Q^T)ⁿµ^T −−−−−→

n→+∞

Ñ1 3 0 0

1 2 0 0

1 6 0 0

é

P⁻¹µ^T₀ =αµ^T₀ Donc :

3

X

i=1

µX_n(i)

| {z }

1

−−−−−→

n→+∞ α

3

X

i=1

µ(i)

| {z }

1

Doncα= 1, doncµ_Xn(i)−−−−−→

n→+∞ µ(i).

Sur E, Qnoyau de transition. X C.M. de transitionQ. On sait que siXn

−−−−−→(L)

n→+∞ Z ∼µalors µmesure invariante (µQ=µ) de probabilité.

Objectifs.

• existence et unicité des mesures invariantes

• comment les trouver ?

Q, E fixés.µmesure surE est ditesymétrique, ou réversible si :

∀x, y, µ(x)Q(x, y) =µ(y)Q(y, x) Définition 13

µréversible ⇒ µinvariante Propriété 9

Intérêt.Il est plus facile de trouver des mesures réversibles, mais il y a plein de cas sans mesures réversibles.

Remarque.Le nom vient du fait que siµest une mesure réversible alors sous P^µ :

L

Preuve.

Siµest réversible alors :

(µQ)(y) =X

z

µ(z)Q(z, y)

=X

z

µ(y)Q(y, z)

=µ(y)X

z

Q(y, z)

| {z }

=1

=µ(y)

Exemple.Si S est la M.A.S. surZ^d Q(x, y) =

ß 1

2d sikx−yk₁= 1

0 sinon

Cherchons les mesures symétriques. On doit avoir :

∀x, y, µ(x)Q(x, y) =µ(y)Q(y, x)

Donc∀x, y, tels quekx−yk1= 1µ(x)_2d¹ =µ(y)_2d¹ i.e.µ(x) =µ(y). Par connexité on obtient :

∀x, µ(x) =µ(0) Doncµ=αµcomptage qui n’est pas une probabilité.

Exemple.(urnes d’Ehrenfest)

NotonsN le nombre de boules etX_nle nombre de boules rouges au bout denétapes. À chaque étape n choisit une boule uniformément parmi les N et on change sa couleur. X C.M. sur E={0,1, . . . , N}avec :







Q(i, i+ 1) = ^N_N⁻ⁱ Q(i, i−1) = _Nⁱ

Q(i, j) = 0 sinon Cherchonsµréversible :

µ(i)Q(i, j) =µ(j)Q(j, i) On doit donc avoir pour touti∈ {1, . . . , N} :

µ(i−1)Q(i−1, i) =µ(i)Q(i, i−1) ⇒ µ(i−1)N−i+ 1

6N =µ(i) i 6N

µ(i) =µ(i−1)N+ 1−i i

=µ(i−2)N+ 1−(i−1) i−1

N+ 1−i i

=. . .

=µ(0)N+ 1−1 1

N+ 1−2

2 ×. . .×N+ 1−i i

=µ(0) N! (N−i)!i!

Les mesures symétriques sont les mesuresµtelles que pour un certainα,∀i, µ(i) =α ÅN

i ã

. Il y a une probabilité réversible pourα=₂¹_N,µ=B(N,1/2).

4.1 Existence de mesures invariantes

Dans le cas fini chercherµinvariante correspond à résoudreµQ=µdonc à chercher un vecteur propre à gauche pour la valeur propre1.

SiE est fini, alors il existe une mesure invariante pourQ. Propriété 10

Preuve.

Le somme des lignes vaut 1, donc :

Q Ö1

... 1

è

= Ö1

... 1

è

Donc1est une valeur propre deQ, donc aussi deQ^T. Ainsi,∃v= (v₁, . . . , v_p)avecp=Card(E) tel quevQ=v. Il reste à montrer qu’on peut trouverwun vecteur à coefficients positifs tel que wQ=w. Posonsw_i=|vi|.w= (w₁, . . . , w_p)est à coefficients positifs. Et on a :

A_i=

p

X

j=1

w_jQj,i−w_i

=

p

X

j=1

|vj|Qj,i− |vi|

>

p

X

j=1

vjQj,i

− |vi|

=|vi| − |vi|= 0 Donc∀i, A_i>0. Or :

p

X

i=1

Ai =X

i,j

wjQj,i−X

i

wi =X

j

wj−X

i

wi = 0

Alors∀i, Ai= 0. DoncwQ−w= 0.ws’identifie alors à une mesure invariante.

Remarque.Automatiquement sur un espace fini, si µest une mesure invariante alors _µ(E)^µ est une probabilité invariante.

Q, E fixés. Six∈E est un point récurrent, on définit :

νx(y) =“nombre moyen de passages en ylors d’une boucle dexàx”

=Ex





T˜_x−1

X

n=0

1^Xn=y





C’est une mesure invariante. Etνx(y)>0 ⇔ y!x.

Théorème 3

Remarque.

ν_x(x) = 1 ν_x(y) =Ex





T˜x

X

n=1

1Xn−1=y





Preuve.

CalculonsνxQ.

νxQ(y) =X

z∈E

νx(z)Q(z, y)

=X

z∈E

Ex





T˜_x−1

X

n=0

1^Xn=ZQ(z, y)





=X

z∈E +∞

X

n=0

Px

T˜x< n

| {z }

∈F_n^x

, Xn=z Q(z, y)

=X

z∈E +∞

X

n=0

Px

T˜_x< n, X_n=z, X_n+1=y

=

+∞

X

n=0

P^x

T˜x> n, Xn+1=y

Fubini>0puis G

{Xn=z}= Ω

=Ex

"_+∞

X

m=1

1T^˜_x>m+11Xm=y

#

=Ex





T˜x

X

m=1

1Xm=y





=ν_x(y)

On saitνx(x) = 1>0.

• six6 y alorsνx(y) = 0 (Xn6=y ∀nPx p.s.)

• six y alors∃ntel queQⁿ(x, y)>0alors : νx(y) = (νxQⁿ)(y) =X

z

νx(z)Qⁿ(z, y)>νx(x)Qⁿ(x, y)>0