D´ efinition 1. Soit (X n ) n≥0 une suite de v.a. ` a valeurs dans un espace E fini ou d´ enombrable. On dit que (X n ) n≥0 est une chaˆıne de Markov si ∀n ∈ N et ∀x 0 , x 1 , · · · , x n+1 ∈ E,

Chaˆınes de Markov

TD3-MAPI3 2016-2017

1 G´ en´ eralit´ es

D´ efinition 1. Soit (X _n ) _n≥0 une suite de v.a. ` a valeurs dans un espace E fini ou d´ enombrable. On dit que (X n ) _n≥0 est une chaˆıne de Markov si ∀n ∈ N et ∀x 0 , x 1 , · · · , x n+1 ∈ E,

P (X n+1 = x n+1 |X 0 = x 0 , · · · , X n = x n ) = P (X n+1 = x n+1 |X n = x n ).

E s’appelle l’espace des ´ etats de la chaˆıne (X n ) _n≥0 .

D´ efinition 2. On dit que (X n ) n≥0 est une chaˆıne de Markov homog` ene si ∀x, y ∈ E, la probabilit´ e de transition de l’´ etat x ` a l’´ etat y est ind´ ependante de n c.a.d. pour tout n ∈ N ,

P (X _n+1 = y|X n = x) = P (x, y).

Pour caract´ eriser la loi d’une chaˆıne de Markov homog` ene (X _n ) _n≥0 , il suffit de connaitre la loi ν de X ₀ , appel´ ee loi initiale de la chaˆıne, ainsi que la matrice de transition P donn´ ee par

P = (P(x, y)) _x,y∈E .

P est une matrice stochastique c.a.d. ∀x, y ∈ E, P(x, y) ≥ 0 et la somme de chacune des lignes de P est ´ egale

`

a 1. Pour tout n ≥ 1 et ∀x 0 , x 1 , · · · , x n ∈ E, on a

P (X 0 = x 0 , · · · , X n = x n ) = ν (x 0 )P (x 0 , x 1 ) · · · P (x n−1 , x n ).

Exercice 1. Soit (ε _n ) _n≥0 une suite de variables al´ eatoires ind´ ependantes et de mˆ eme loi de Rademacher R(p) avec 0 < p < 1 et, pour tout n ≥ 0, soit X n = ε 0 + ε 1 + · · · + ε n . Montrer que (X n ) _n≥0 est une chaˆıne de Markov homog` ene dont on pr´ ecisera la matrice de transition P. Cr´ eer un code Matlab permettant de simuler cette chaˆıne de Markov, o` u la valeur du param` etre p est affect´ ee par l’utilisateur.

Th´ eor` eme 1. Th´ eor` eme de Perron-Frobenius. Toute chaˆıne de Markov homog` ene ` a valeurs dans un espace d’´ etats fini E poss` ede au moins une mesure invariante µ c.a.d. une mesure positive sur E telle que µP = µ.

2 Convergence.

D´ efinition 3. On dit qu’une chaˆıne de Markov (X n ) n≥0 est ergodique s’il existe une probabilit´ e µ telle que, pour toute loi initiale ν, la suite (X n ) n≥0 converge en loi vers µ.

Th´ eor` eme 2. Loi des Grands Nombres. Soit (X _n ) _n≥0 une chaˆıne de Markov ergodique et soit µ l’unique mesure invariante de la chaˆıne. Alors, pour toute fonction f int´ egrable pour µ et pour toute loi initiale ν , on a

n→∞ lim 1 n

n

X

k=0

f (X _k ) = Z

E

f (x) dµ(x) p.s.

Exercice 2. Une information sous la forme de oui ou non est transmise ` a travers n individus. On suppose que chaque interm´ ediaire transmet l’information avec la probabilit´ e p et son contraire avec la probabilit´ e 1 − p o` u 0 < p < 1. De plus, on suppose que les interm´ ediaires sont ind´ ependants. Mod´ eliser cette situation par une chaˆıne de Markov (X n ) _n≥0 ` a deux ´ etats E = {−1, 1} et d´ eterminer sa matrice de transition P . Calculer de deux mani` eres diff´ erentes la probabilit´ e que le n ^e individu transmette fid` element l’information initiale et calculer sa

1

limite lorsque n tend vers l’infini. Cr´ eer un code Matlab permettant d’illustrer cette convergence, o` u la valeur du param` etre p est affect´ ee par l’utilisateur.

Exercice 3. On consid` ere la chaˆıne de Markov (X _n ) _n≥0 d’espace d’´ etats E = {0, 1} et de matrice de transition P =

1 − a a b 1 − b

avec 0 < a, b < 1. Montrer que

P ⁿ = 1 a + b

b a b a

+ (1 − a − b) ⁿ a + b

a −a

−b b

puis d´ eterminer la limite de P ⁿ lorsque n tend vers l’infini. Calculer l’unique probabilit´ e invariante µ de la chaˆıne de Markov (X _n ) _n≥0 . Si S _n = X ₁ + X ₂ + · · · + X _n , montrer la convergence en probabilit´ e sous µ

n→∞ lim S _n

n = a a + b .

Cr´ eer un code Matlab permettant de simuler cette chaˆıne de Markov et d’illustrer ce r´ esultat de convergence, o` u les param` etres a et b sont affect´ es par l’utilisateur.

Exercice 4. Soit d boules num´ erot´ ees de 1 ` a d avec d > 1, r´ eparties dans deux urnes A et B. On tire un nombre i au hasard entre 1 et d et la boule num´ ero i est chang´ ee d’urne. On note X <sub>n</sub> le nombre de boules dans l’urne A apr` es n tirages ind´ ependants. Montrer que (X _n ) _n≥0 est une chaˆıne de Markov homog` ene d’espace d’´ etats fini E = {0, 1, · · · , d}, appel´ ee chaˆıne d’Ehrenfest. D´ eterminer sa matrice de transition P ainsi que son unique probabilit´ e invariante µ. Montrer qu’il existe deux constantes a, b ∈ R telles que, ∀x ∈ E,

X

y∈E

yP (x, y) = ax + b.

En d´ eduire que E [X n |X 0 ] → d/2. Cr´ eer un code Matlab permettant de simuler une chaˆıne d’Ehrenfest et d’illustrer ce r´ esultat de convergence.

Exercice 5. On consid` ere la chaˆıne de Markov (X _n ) _n≥0 d’espace d’´ etats E = {1, 2, 3, 4} et de matrice de transition

P =









0 1 0 0

1

2 0 ¹ ₄ ¹ ₄

1 2

1

2 0 0

0 0 1 0







 .

Calculer l’unique probabilit´ e invariante µ de la chaˆıne de Markov (X n ) n≥0 . A partir de la loi des grands nombres, montrer que

n→∞ lim 1 n

n

X

k=0

X k = a et lim

n→∞

1 n

n

X

k=0

X _k ² = b p.s.

avec a et b ` a d´ eterminer. Cr´ eer un code Matlab permettant de simuler cette chaˆıne de Markov et de v´ erifier ces r´ esultats de convergence.

3 Chaˆıne de Markov sur le tore

Soient x ₀ , . . . , x _k−1 les racines k-` eme de l’unit´ e (x _j = exp ^2ijπ _k , j = 0 . . . k − 1) et 0 < p < 1. Soit (X _n ) une suite de variables al´ eatoires dont la loi est d´ efinie par:

X ₀ = x ₀

P(X n+1 = x j+1 |X n = x j ) = 1 − P (X n+1 = x j−1 |X n = x j ) = p, (n > 0 et 0 < j < k − 1) P (X n+1 = x 0 |X n = x _k−1 ) = 1 − P (X n+1 = x _k−2 |X n = x _k−1 ) = p, (n > 0)

P (X _n+1 = x ₁ |X n = x ₀ ) = 1 − P (X _n+1 = x _k−1 |X n = x ₀ ) = p, (n > 0).

1. Montrer que (X _n ) est une chaˆıne de Markov irr´ eductible.

2. Etudier la p´ eriodicit´ e de la chaˆıne en fonction de la parit´ e de k.

2

3. Ecrire la matrice de transition P de la chaˆıne.

4. Quels sont les vecteurs v de R ^k satisfaisant v ^T P = v ^T ?

5. A partir de maintenant on se place dans le cas o` u la chaˆıne est ap´ eriodique. Que vaut lim _n→∞ P ⁿ ? 6. Montrer que _n ¹ P n

i=1 1 _{X

_=x

_} , j = 0 . . . k − 1 converge en probabilit´ e quand n tend vers l’infini vers une limite ind´ ependante de j.

7. V´ erifier num´ eriquement les points 2 et 6.

4 La ruine du joueur

Soit (ε n ) une suite de variables al´ eatoires i.i.d. avec

P (ε 1 = 0) = 2 P (ε 1 = 1) = 2 P (ε 1 = −1) = 1 2 .

Soit α la solution positive de l’´ equation cosh x = 3. On rappelle que la fonction cosh x vaut, pour x ∈ R , 1/2(exp(x) + exp(−x)). On pose, S 0 = M 0 = 0, N 0 = 1 et pour n ∈ N ^∗

S n :=

n

X

j=1

ε j , M n = S _n ² − n

2 , N n := 1

2 ⁿ exp(αS n ).

Soit a > 0, on pose T a = inf{n ∈ N : S n 6∈] − a, a[}. Le but du probl` eme est d’´ etudier la loi de S T

et de calculer E (T _a ) (on fera l’hypoth` ese que cette esp´ erance est finie).

1. Calculer α.

2. Les suites (S _n ), (M _n ) et (N _n ) sont-elles des chaˆınes de Markov? Montrer que les trois suites (S _n ), (M _n ) et (N _n ) sont des martingales.

3. Montrer que T a est un temps d’arrˆ et pour les suites (S n ), (M n ) et (N n ).

4. Appliquer le th´ eor` eme de Wald aux suites (S n ) et (M n ). En d´ eduire la loi de S T

et la valeur de E (T a ).

5. V´ erifier num´ eriquement les r´ esultats obtenus ` a la question pr´ ec´ edente.

3