La chaˆıne de Markov canonique - Intégration, probabilités et processus aléatoires

Nous commen¸cons par un résultat d’existence de chaˆıne de Markov associée à une matrice de transition donnée.

Proposition 13.3.1 Soit Q une matrice stochastique sur E. On peut trouver un espace de probabilit´e (Ω′_,_F′_{, P}′_{) sur lequel il existe, pour tout x}_{∈ E, un processus (X}x

n)n∈N qui est une

chaˆıne de Markov de matrice de transition Q, issue de Xx 0 = x.

Preuve. On peut prendre Ω′ _{= [0, 1[, muni de la tribu bor´elienne et de la mesure de}

Lebesgue. A partir du d´eveloppement dyadique (propre) d’un r´eel ω ∈ [0, 1[, ω =

∞

n=0

εn(ω) 2−n−1, εn(ω)∈ {0, 1}

on construit une suite (εn)n∈N de v.a. ind´ependantes de mˆeme loi P (εn = 1) = P (εn = 0) =

1/2. Si ϕ est une injection de N×N dans N, les v.a. ηi,j = εϕ(i,j), i, j ∈ N sont (´evidemment)

encore ind´ependantes et de mˆeme loi. En posant Ui =

∞

j=0

ηi,j2−j−1

on obtient une suite U0, U1, U2, . . . de v.a. ind´ependantes de loi uniforme sur [0, 1] (pour voir

que Ui suit la loi uniforme, noter que Pp_j=0ηi,j2−j−1 a mˆeme loi que Pp_n=0εn2−n−1, pour

tout entier p, et faire tendre p vers ∞).

Soit y1, y2, . . . , yk, . . . une énumération des éléments de E. Fixons aussi x∈ E. On pose

Xx 0 = x puis X₁x = yk si X 1≤j<k Q(x, yj) < U1 ≤ X 1≤j≤k Q(x, yj)

de sorte qu’il est clair que P (Xx

1 = y) = Q(x, y) pour tout y ∈ E. On continue par r´ecurrence

en posant X_n+1x = yk si X 1≤j<k Q(X_nx, yj) < Un+1 ≤ X 1≤j≤k Q(X_nx, yj).

En utilisant l’indépendance des v.a. Ui, on vérifie très facilement que pour tout k≥ 1,

P (X_n+1x = yk | X0x = x0, X1x = x1, . . . Xnx = xn) = P ( X 1≤j<k Q(xn, yj) < Un+1 ≤ X 1≤j≤k Q(xn, yj)| X0x = x0, X1x = x1, . . . Xnx = xn) = P ( X 1≤j<k Q(xn, yj) < Un+1 ≤ X 1≤j≤k Q(xn, yj)) = Q(xn, yk), de sorte que (Xx

n)n∈N est une chaˆıne de Markov de transition Q.

Dans la suite, il sera utile de faire un choix canonique de l’espace de probabilité sur lequel sera définie la chaˆıne de Markov étudiée. On prendra

Ω = EN.

Un élément ω de Ω est donc une suite ω = (ω0, ω1, ω2, . . .) d’élements de E. Les applications

coordonn´ees Xn, n∈ N sont alors d´efinies par

Xn(ω) = ωn.

On munit Ω de la plus petite tribu, notée F, qui rende mesurables les applications coor- données. C’est aussi la tribu engendrée par les “cylindres”, c’est-à-dire les ensembles C de la forme

C =_{{ω ∈ Ω : ω}0 = x0, ω1 = x1, . . . , ωn= xn}

o`u n∈ N et x0, x1, . . . xn∈ E.

Lemme 13.3.2 Soit (G,_{G) un espace mesurable, et soit ψ une application de G dans Ω.} Alors ψ est mesurable ssi Xn◦ ψ l’est pour tout n ∈ N.

Preuve. Il suffit bien sˆur de montrer que si Xn◦ ψ est mesurable pour tout n, alors ψ l’est

aussi. Or,

{A ∈ F : ψ−1(A)_{∈ G}}

est une tribu sur Ω qui par hypoth`ese contient tous les ensembles de la forme X−1

n (y), y ∈ E,

donc rend mesurables toutes les applications coordonn´ees Xn. Cette tribu est n´ecessairement

F tout enti`ere.

Théorème 13.3.3 Soit Q une matrice stochastique sur E. Pour tout x_{∈ E, il existe une} unique probabilité, notée Px, sur Ω = EN telle que sous Px, le processus des coordonnées

Preuve. Soit x_{∈ E. La proposition 13.3.1 permet de construire sur un espace de probabilit´e} (Ω′_,_F′_{, P}′_{) un processus (X}x

n)n∈N qui est une chaˆıne de Markov de transition Q telle que

0 = x. On d´efinit alors Px comme la mesure image de P′ par l’application

Ω′ _{−→ Ω}

ω′ _{−→ (X}x

n(ω′))n∈N.

Cette application est mesurable grâce au lemme précédent. On a Px(X0 = x) = P′(X0x =

x) = 1 et de plus pour tous x0, x1, . . . , xn∈ E,

P_x(X0 = x0, X1 = x1, . . . , Xn= xn) = P′(X0x = x0, X1x = x1, . . . , Xnx = xn)

= P′(X₀x = x0)Q(x0, x1) . . . Q(xn−1, xn)

= Px(X0 = x0)Q(x0, x1) . . . Q(xn−1, xn)

ce qui montre que sous Pxle processus des coordonn´ees est une chaˆıne de Markov de transition

Q (cf proposition 13.1.1).

Pour l’unicit´e, on remarque que si P′

x est une autre mesure de probabilit´e satisfaisant la

propriété du théorème, les mesures Px et P′x co¨ıncident sur les cylindres. Or les cylindres

forment une classe stable par intersection finie et qui engendre la tribu _{F. Le lemme de}

classe monotone montre alors que Px= P′x (cf Corollaire 1.4.2).

Remarques. (a) De la derni`ere assertion de la proposition 13.1.1, on d´eduit que, pour tout n≥ 0 et tous x, y ∈ E,

P_x(Xn = y) = Qn(x, y).

(b) Si µ est une mesure de probabilit´e sur E, on notera

P_µ=X

x∈E

µ(x) Px

qui définit une mesure de probabilité sur Ω. En écrivant la formule explicite pour Pµ(X0 =

x0, . . . , Xn= xn), on v´erifie imm´ediatement que sous Pµ, (Xn)n∈N est une chaˆıne de Markov

de transition Q, et X0 a pour loi µ.

n)n∈N est une chaˆıne de Markov de matrice de transition Q et de loi initiale µ, alors

pour toute partie mesurable B de Ω = EN_{, on a}

P ((X_n′)_n∈N ∈ B) = Pµ(B).

En effet cette égalité est vraie lorsque B est un cylindre, et on peut ensuite utiliser le même argument qu’à la fin de la preuve ci-dessus. Cette égalité montre que tous les résultats que nous établirons dans la suite pour la chaˆıne de Markov canonique (celle fournie par le théorème 13.3.3) se transporteront à une chaˆıne de Markov quelconque de même matrice de transition.

L’un des avantages importants de la chaˆıne de Markov canonique est de pouvoir utiliser les op´erateurs de translation. Pour tout k∈ N on d´efinit l’application θk : Ω−→ Ω en posant

Le lemme 13.3.2 montre que ces applications sont mesurables.

On noteFn= σ(X0, X1, . . . , Xn) la filtration canonique sur Ω. On utilise aussi la notation

E_x pour désigner l’espérance sous la probabilité Px.

Théorème 13.3.4 (Propriété de Markov simple) Soient F et G deux fonctions mesurables positives sur Ω et soit n_{≥ 0. Supposons que F est F}n-mesurable. Alors, pour tout x∈ E,

E_x[F _{· G ◦ θ}n] = Ex[F EXn[G]].

De mani`ere ´equivalente,

E_x[G◦ θn | Fn] = EXn[G],

ce qu’on peut traduire en disant que la loi conditionnelle de θn(ω) connaissant (X0, X1, . . . , Xn)

est PXn.

Remarque. Cet énoncé se généralise aussitôt au cas où on remplace Ex par Eµ pour

n’importe quelle loi initiale µ. Il en sera de même pour l’énoncé suivant.

Preuve. Il suffit de montrer la premi`ere assertion, et pour cela de traiter le cas o`u F = 1_{X0=x0,X1=x1,...,Xn=xn}

pour x0, x1, . . . , xn∈ E. Considérons d’abord le cas où G est du même type :

G = 1_{X₀=y0,X1=y1,...,Xp=yp}

o`u p_{≥ 0 et y}0, . . . , yp ∈ E. Dans ce cas, si y ∈ E,

E_y[G] = 1_{y0=y}Q(y0, y1) . . . Q(yp−1, yp)

et par ailleurs

E_x[F · G ◦ θn] = Px(X0 = x0, X1 = x1, . . . , Xn= xn, Xn = y0, Xn+1= yn+1, . . . , Xn+p = yp)

= 1_{x0=x}Q(x0, x1) . . . Q(xn−1, xn) 1{y0=xn}Q(y0, y1) . . . Q(yp−1, yp)

de sorte qu’on obtient facilement le r´esultat. Un argument de classe monotone montre ensuite que le r´esultat reste vrai pour toute fonction G = 1A, A∈ F, ce qui permet de conclure.

Le théorème précédent donne une forme générale de la propriété de Markov (simple) : la loi conditionnelle du futur θn(ω) connaissant le passé (X0, X1, . . . , Xn) ne dépend que

du présent Xn. Il sera très important de pouvoir étendre cette propriété au cas où n est

remplac´e par un temps al´eatoire T .

Pour illustrer l’intérêt de cette extension, considérons le problème de savoir si partant d’un point x la chaˆıne y revient infiniment souvent. Autrement dit, en notant

Nx = ∞

n=0

a-t-on Px(Nx=∞) = 1 ? Il suffit en fait de v´erifier que la chaˆıne revient au moins une fois

en x. Si

Hx = inf{n ≥ 1 : Xn= x}

avec la convention habituelle inf ∅ = +∞, on a l’´equivalence P_x(Nx =∞) = 1 ⇔ Px(Hx <∞) = 1.

L’implication _{⇒ est triviale. Dans l’autre sens, supposons P}x(Hx < ∞) = 1. Mod-

ulo l’extension de la propriété de Markov mentionnée ci-dessus, on sait que θHx(ω) =

(ωHx(ω)+n)n∈N a pour loi Px. Mais alors, en ´ecrivant

Nx(ω) = 1 + Nx(θHx(ω))

on voit que Nx a mˆeme loi que 1 + Nx sous Px, ce qui n’est possible que si Nx =∞, Px p.s.

Le théorème qui suit permet de rendre ce raisonnement rigoureux (le résultat obtenu sera repris et détaillé dans la partie suivante).

Théorème 13.3.5 (Propriété de Markov forte) Soit T un temps d’arrêt de la filtration (_Fn). Soient F et G deux fonctions mesurables positives sur Ω. Supposons que F est FT-

mesurable. Alors, pour tout x_{∈ E,}

E_x[1_{{T <∞}}F _{· G ◦ θ}T] = Ex[1{T <∞}F EXT[G]].

De mani`ere ´equivalente,

E_x[1_{{T <∞}}G◦ θT | FT] = 1{T <∞}EXT[G].

Remarque. La v.a. XT, d´efinie sur l’ensemble FT-mesurable {T < ∞}, est FT-mesurable

(cf Proposition 12.2.3 - dans le chapitre précédent on considère des processus à valeurs réelles, mais l’argument reste le même). La v.a. EXT[G], définie aussi sur l’ensemble {T < ∞}, est

la compos´ee des applications ω _{−→ X}T(ω) et x → Ex[G].

Preuve. Pour tout entier n _{≥ 0,}

E_x[1_{{T =n}}F · G ◦ θT] = Ex[1{T =n}F · G ◦ θn] = Ex[1{T =n}F EXn[G]]

d’après la propriété de Markov simple (théorème 13.3.4) appliquée en observant que 1_{{T =n}}F est_Fn-mesurable parce que F estFT-mesurable (cf définition de la tribuFT dans le chapitre

précédent). Il suffit ensuite de sommer l’égalité obtenue sur toutes les valeurs de n_{∈ N.} Corollaire 13.3.6 Soit T un temps d’arrêt tel que Px(T <∞) = 1. Supposons qu’il existe

y_{∈ E tel que P}x(XT = y) = 1. Alors sous Px, θT(ω) est ind´ependant de FT et de loi Py.

Preuve. Avec les notations du th´eor`eme, on a

E_x[F _{· G(θ}T(ω))] = Ex[F EXT[G]] = Ex[F Ey[G]] = Ex[F ] Ey[G]

Dans le document Intégration, probabilités et processus aléatoires (Page 195-200)