Les chaînes de Markov

(1)

Notation et notions de base Classi…cation des états Probabilités d’absorption Loi stationnaire Références

Les chaînes de Markov

3-602-84

Modèles probabilistes et stochastiques de la gestion

Geneviève Gauthier

HEC Montréal

Janvier 2011

(2)

Notation et notions de base

Processus Markoviens Dé…nitions Exemple 1 Graphe de transition Proc non markovien Exemple 2 Distribution Classi…cation des états Probabilités d’absorption Loi stationnaire Références

Chaîne de Markov

Introduction

Ce texte a été librement inspiré de notes prises au cours de

Denis Labelle, professeur au département de mathématique de

l’Université du Québec à Montréal, du chapitre 2 de A First

Course in Stochastic Processes, deuxième édition de S. Karlin

et H. M. Taylor ainsi que de notes de cours écrites par Jean

Vaillancourt.

(3)

Dé…nition I

Processus markoviens

De…nition

Un processus stochastique X = f ^X ^t ^: ^t 2 T g ^{, où} T ^{est un} ensemble d’indices ^a , est dit markovien si, pour tout t 1 < t 2 < ... < t n 2 T , la distribution conditionnelle de X t

n

étant donné X t

1

, ..., X t

n 1

est égale à la distribution

conditionnelle de X _t

_n

étant donné X _t

_n ₁

, c’est-à-dire que pour tout x 1 , ..., x n 2 R ,

P [ X _t

_n

x _n j ^X ^t

1

= x ₁ , ..., X _t

_n ₁

= x _n ₁ ]

= P [ X _t

_n

x _n j ^X ^t

n 1

= x _n ₁ ] .

a Par exemple, T = f ^0, ^1, ^{2, ...} g ^, T = f ^0, ^1, ^{2, ...,} ^T g ^où ^T est un entier

positif, T = [ 0, T ] où T est un nombre réel positif, T = [ 0, ∞ ) , etc.

(4)

Dé…nition II

Processus markoviens

Intuitivement, si nous supposons que les indices t sont temporels, le processus X est markovien si sa distribution dans le futur, étant donné le présent et le passé, ne dépend que du présent.

”Une chaîne de Markov est donc un phénomène aléatoire sans mémoire : la distribution d’une observation à venir, étant donné la connaissance actuelle du système et de toute son histoire, est la même lorsque nous n’avons accès qu’à la

connaissance de son état actuel” (Jean Vaillancourt)

De…nition

L’ensemble des valeurs pouvant être prises par le processus est

appelé l’ espace d’états de X et nous le dénotons par E ^X ^.

(5)

Dé…nition III

Processus markoviens

De…nition

Soit X = f ^X ^t ^: ^t 2 T g , un processus stochastique. Si T ^est un ensemble …ni ou dénombrable, alors le processus X est dit à temps discret, sinon, il est dit à temps continu.

De…nition

Un processus markovien X est appelé chaîne de Markov si l’espace de ses états est un ensemble …ni

( E X = f ^x ⁰ ^, ^x ¹ ^{, ...,} ^x ^m g ) ou dénombrable ( E X = f ^x ⁰ ^, ^x ¹ ^, ^x ² ^... g ) .

(6)

Dé…nition IV

Processus markoviens

De…nition

La loi de transition d’une chaîne de Markov à temps discret est donnée par une suite fP ⁿ ^: ⁿ 2 f ^0, ^1, ^{2, ...} gg de matrices de dimension Card ( E ^X ) Card ( E ^X ) où l’élément situé à

l’intersection de la i ième ligne et de la j ième colonne de la matrice P ⁿ ^est

p _ij ( n ) = P [ X _n = x _j j ^X ⁿ ¹ = x _i ] , ( x _i , x _j ) 2 E ^X E ^X ^. Si la loi de transition ne dépend pas du temps, c’est-à-dire que

8 ⁿ 2 ^N ^, ^P [ X _n = x _j j ^X ⁿ ¹ = x _i ] = p _ij , ( x _i , x _j ) 2 E ^X E ^X ^,

alors la chaîne de Markov est dite homogène et la matrice P ^,

constituée des probabilités de transition p _ij , est appelée la

matrice de transition.

(7)

Dé…nition V

Processus markoviens

Une chaîne de Markov homogène à temps discret X est entièrement caractérisée par la donnée de

son espace d’états E X , sa matrice de transition P ^,

ainsi que sa distribution initiale ! _p ( 0 ) dont la i ième composante est la probabilité que la chaîne démarre dans l’état x _i , c’est-à-dire que

p _i ( 0 ) = P [ X 0 = x _i ] .

(8)

Dé…nition VI

Processus markoviens

Dès à présent et tout au long de ce chapitre,

X = f ^X ⁿ ^: ⁿ 2 f ^0, ^1, ^{2, ...} gg représente une chaîne de Markov homogène à temps discret.

Il est sous-entendu que son espace d’états est E ^X ^et

qu’elle est gouvernée par la matrice de transition P ^ainsi

que la distribution initiale ! _p ( 0 ) .

(9)

Exemple I

Di¤usion des gaz

Cas particulier du modèle de Bernoulli-Laplace pour la di¤usion des gaz

Une boîte à deux compartiments contient r boules noires et r boules blanches, distribuées de sorte que chaque compartiment contienne r boules en tout.

Si X 0 représente le nombre de boules blanches dans le compartiment de gauche et si, à la n ième étape, nous choisissons au hasard une boule dans chaque

compartiment et nous les échangeons a…n d’obtenir un nombre X _n de boules blanches à gauche, alors

f ^X ⁿ ^: ⁿ 2 f ^0, ^1, ^{2, ...} gg forme une chaîne de Markov.

Son espace d’états est E X = f ^0, ^{1, ...,} ^r g ^.

(10)

Exemple II

Di¤usion des gaz

Déterminons maintenant sa matrice de transition. Si, au temps n, le compartiment de gauche contient i boules blanches alors :

Compartiment de gauche Compartiment de droite i boules blanches

r i boules noires

r i boules blanches i boules noires P [ tirer une boule blanche ] = ⁱ _r

P [ tirer une boule noire ] = ^r _r ⁱ

P [ tirer une boule blanche ] = ^r _r ⁱ

P [ tirer une boule noire ] = ⁱ _r

(11)

Exemple III

Di¤usion des gaz

Compartiment de gauche Compartiment de droite i boules blanches

r i boules noires

r i boules blanches i boules noires Parce que les tirages des boules dans chacun des compartiments se font de façon indépendante,

P tirer une boule blanche dans le compartiment de gauche

et tirer une boule blanche dans le compartiment de droite X

n

= i

= ⁱ r

r i r ,

P tirer une boule blanche dans le compartiment de gauche et tirer une boule noire dans le compartiment de droite X

n

= i

= ⁱ

r

i

r ,

(12)

Exemple IV

Di¤usion des gaz

Compartiment de gauche Compartiment de droite i boules blanches

r i boules noires

r i boules blanches i boules noires Poursuivons :

P tirer une boule noire dans le compartiment de gauche

et tirer une boule blanche dans le compartiment de droite X

n

= i

= ^r ⁱ r

r i r ,

P tirer une boule noire dans le compartiment de gauche

et tirer une boule noire dans le compartiment de droite j ^X

ⁿ

= i

= ^r ⁱ r

i

r .

(13)

Exemple V

Di¤usion des gaz

Di¤usion des gaz.xls

(14)

Exemple VI

Di¤usion des gaz

Dans les première et dernière situations, le nombre X _n ₊ ₁ de boules blanches dans le compartiment de gauche après l’échange n’est pas modi…é, c’est-à-dire que X n + 1 = i.

Dans le deuxième cas, il diminue de 1 à condition que i 6 = 0

Dans le troisième cas, il augmente de 1 si i 6 = r.

Par conséquent,

p _ij = 8 >

> >

<

> >

> :

i

²

r

²

si i 6 = 0 et j = i 1

( r i )

²

r

²

si i 6 = r et j = i + 1 2 ⁱ ⁽ ^r _r

2

ⁱ ⁾ si i 6 = 0, i 6 = r et j = i

0 sinon

.

(15)

Exemple VII

Di¤usion des gaz

Question. Quelle est la distribution initiale de cette chaîne de Markov?

Réponse. Il en existe une in…nité, car rien n’est

mentionné dans la donnée du problème quant à la

situation initiale de la chaîne. Cependant, nous pouvons

considérer quelques cas.

(16)

Exemple VIII

Di¤usion des gaz

Rappelons-nous que cette chaîne se veut un modèle pour la di¤usion des gaz. Si, au départ, les deux gaz sont complètement séparés, alors ! _p ( 0 ) = ! _e ₁ _{ou encore}

! _p ( 0 ) = ! _e _r _.

Il est courant, en algèbre vectorielle, de dénoter par ! _e _i _le vecteur élémentaire formé d’un 1 à la i ième position et de 0 partout ailleurs :

0, ..., 0, 1

i ième position , 0, ..., 0

>

.

Une autre situation est celle ou parmi les 2r boules, nous en choisissons r au hasard que nous plaçons dans le compartiment de gauche.

Comme c’est un tirage sans remise, le nombre X ₀ de boules

blanches dans le compartiment de gauche suit une loi

hypergéométrique de paramètres N ₁ = r , N ₂ = r et n = r .

(17)

Exemple IX

Di¤usion des gaz

Par exemple, si r = 5, alors

! _p > ( 0 )

= ( ⁵ ₀ )( ⁵ ₅ ) ( ¹⁰ ₅ ) ^,

( ⁵ ₁ )( ⁵ ₄ ) ( ¹⁰ ₅ ) ^,

( ⁵ ₂ )( ⁵ ₃ ) ( ¹⁰ ₅ ) ^,

( ⁵ ₃ )( ⁵ ₂ ) ( ¹⁰ ₅ ) ^,

( ⁵ ₄ )( ⁵ ₁ ) ( ¹⁰ ₅ ) ^,

( ⁵ ₅ )( ⁵ ₀ ) ( ¹⁰ ₅ )

!

= ¹

252 , 25 252 , 100

252 , 100 252 , 25

252 , 1 252

= ( 0, 00397; 0, 09921; 0, 39683; 0, 39683; 0, 09921; 0, 00397 ) .

(18)

Exemple X

Di¤usion des gaz

Nous pouvons aussi déterminer la matrice de transition :

P = 0 B B B B B B B B

@

0 1 0 0 0 0

1 25

8 25

16 25 0 0 0

0 ₂₅ ⁴ ¹² ₂₅ ₂₅ ⁹ 0 0 0 0 ₂₅ ⁹ ¹² ₂₅ ₂₅ ⁴ 0 0 0 0 ¹⁶ ₂₅ ₂₅ ⁸ ₂₅ ¹

0 0 0 0 1 0

1 C C

C C

A

(19)

Graphe de transition

De…nition

Lorsque le nombre d’états n’est pas trop grand, il est possible de représenter l’évolution de la chaîne de Markov à l’aide du graphe de transition : les états forment les sommets tandis qu’une ‡èche joint l’état x _i à l’état x _j si p _ij > 0.

Dans l’exemple précédent, le graphe de transition est

4 5 3

1 2

0

(20)

Exemple I

Processus non markovien

Reprenons l’exemple illustrant l’évolution du prix d’un titre.

Supposons que l’ensemble fondamental est Ω = f ^ω ¹ ^, ^ω ² ^, ^ω ³ ^, ^ω ⁴ g ^{et que} T = f ^0, ^1, ^2, ³ g ^. Le processus stochastique X = f ^X ^t ^: ^t 2 f ^0, ^1, ^2, ³ gg représente l’évolution du prix d’une action, X _t = le prix de l’action à la fermeture de la bourse au t ième jour,

l’instant t = 0 représentant aujourd’hui.

(21)

Exemple II

Processus non markovien

ω X 0 ( ω ) X 1 ( ω ) X 2 ( ω ) X 3 ( ω ) P ( ω )

ω 1 1 ¹ ₂ 1 ¹ ₂ ?

ω 2 1 ¹ ₂ 1 ¹ ₂ ?

ω 3 1 2 1 1 ³ ₈

ω 4 1 2 2 2 ² ₈

(22)

Exemple III

Processus non markovien

Ce processus n’est pas markovien car P X ₃ = ¹

2 X ₂ = 1 = ^P f ^ω ¹ ^, ^ω ² g P f ^ω ¹ ^, ^ω ² ^, ^ω ³ g = ³

8 8 6 = ¹

2 et

P X ₃ = ¹

2 X ₁ = ¹

2 et X ₂ = 1 = ^P f ^ω ¹ ^, ^ω ² g P f ^ω ¹ ^, ^ω ² g = 1.

c’est-à-dire que la connaissance de l’histoire du processus

contribue à une meilleure prévision du comportement futur du

processus.

(23)

Exemple I

La ruine du joueur

Deux joueurs possédant initialement des fortunes de r et n r dollars respectivement (r et n sont des entiers positifs tels que r < n), misent et jouent jusqu’à la ruine de l’un d’eux.

Disons que le deuxième joueur représente le croupier tandis que le premier joueur détermine la mise.

Ce dernier gagne sa mise avec probabilité p ( 0 < p < 1 ) ou la perd avec probabilité q = 1 p, et ce,

indépendamment de l’histoire du jeu.

Les seules mises possibles sont des multiples d’un dollar et

il n’y a pas d’emprunt possible.

(24)

Exemple II

La ruine du joueur

Étudions deux stratégies populaires pour ce jeu :

a l’ approche audacieuse qui consiste pour le premier joueur à miser à chaque tour le minimum entre sa fortune

personnelle et le montant requis pour sa victoire;

b l’ approche timide qui consiste pour le premier joueur à miser un dollar à chaque tour.

Supposons que X _n représente la fortune du premier joueur après le n ième jeu.

La distribution initiale est ! _p ( 0 ) = ( 0, ..., 0, 1, 0, ..., 0 ) ^>

où le 1 se situe en position r .

(25)

Exemple III

La ruine du joueur

Pour l’approche timide, le graphe de transition est

n -1 n ...

1 2 0

et la matrice de transition est

P b = 0 B B B B B B B B

@

1 0 0 0 0 ... 0 0 0

q 0 p 0 0 ... 0 0 0

0 q 0 p 0 ... 0 0 0

0 0 q 0 p ... 0 0 0

... ... ... ... ... ... ... ... ...

0 0 0 0 0 ... q 0 p

0 0 0 0 0 ... 0 0 1

1 C C C C C C C C A

( n + 1 ) ( n + 1 )

(26)

Exemple IV

La ruine du joueur

Dans le cas de l’approche audacieuse,

P

^a

= 0 B B B B B B B B B @

1 0 0 0 0 0 0 ... 0 0 0 0 0

q 0 p 0 0 0 0 ... 0 0 0 0 0

q 0 0 0 p 0 0 ... 0 0 0 0 0

q 0 0 0 0 0 p ... 0 0 0 0 0

... ... ... ... ... ... ... ... ... ... ... ... ...

0 0 0 0 0 0 0 ... q 0 0 0 p

0 0 0 0 0 0 0 ... 0 0 q 0 p

0 0 0 0 0 0 0 ... 0 0 0 0 1

1 C C C C C C C C C A

(n+1) (n+1)

En fait,

p _ij = 8 >

> <

> >

:

1 si i = j = 0 ou si i = j = n

p si 1 i < ⁿ ₂ et j = 2i ou si ⁿ ₂ i n 1 et j = n q si 1 i ⁿ ₂ et j = 0 ou si ⁿ ₂ < i n 1 et j = 2i n

0 sinon

.

(27)

Exemple V

La ruine du joueur

Y a-t-il une stratégie meilleure que l’autre?

Pour répondre à cette question, nous allons nous

approfondir l’étude des chaînes de Markov en général et

nous reviendrons périodiquement à cet exemple.

(28)

Exemple VI

La ruine du joueur

La ruine du joueur.xls

(29)

Distribution au temps n I

Chaîne de Markov

Soit p _i ( n ) , la probabilité que le processus soit dans l’état x _i au temps n :

p i ( n ) = P [ X n = x i ] . Vectoriellement, nous pouvons écrire

! _p ( n ) = 0 B B

@

p ₁ ( n ) p ₂ ( n )

...

p m ( n ) 1 C C

A ou ! _p ( n ) = 0

@ p ₁ ( n ) p ₂ ( n )

...

1 A

selon que l’espace E ^X des états est …ni (ci-dessus, cet ensemble

comprend m éléments) ou dénombrable.

(30)

Distribution au temps n II

Chaîne de Markov

La donnée de la matrice de transition P et la distribution initiale ! _p ( 0 ) permet de déterminer ! _p ( n ) à tout instant. En e¤et, pour tout entier positif n ainsi que pour tout x _j 2 E ^X ^,

p _j ( n ) = P [ X n = x _j ]

= ∑

x

i

2E

^X

P [ X n = x j et X n 1 = x i ]

= ∑

x

i

2E

^X

P [ X _n = x _j j ^X ⁿ ¹ = x _i ]

| {z }

= p

ij

P [ X _n ₁ = x _i ]

| {z }

= p

i

( n 1 )

= ∑

x

_i

2E

X

p ij p i ( n 1 ) .

Vectoriellement, cette relation s’exprime sous la forme suivante:

! _p ( n ) = P ^> ! _p ( n 1 ) (1)

où P ^> représente la transposée de la matrice de transition P ^.

(31)

Distribution au temps n III

Chaîne de Markov

Rappel : ! _p ( n ) = P ^> ! _p ( n 1 ) Ainsi, lorsque n = 1,

! _p ( 1 ) = P ^> ! _p ( 0 ) . Si n = 2,

! _p ( 2 ) = P ^> ! _p ( 1 )

| {z }

= P

^>

! _p ( 0 )

= P ^> P ^> ! _p ( 0 ) = P ^> ² ! _p ( 0 ) .

Notre intuition nous laisse croire que ! _p ( n ) devrait être

égal à P ^> ⁿ ! _p ( 0 ) , ce qui est établi au lemme suivant.

(32)

Distribution au temps n IV

Chaîne de Markov

Theorem

Lemme 4.1. Soit X = f ^X ⁿ ^: ⁿ 2 f ^0, ^1, ^{2, ...} gg , une chaîne de Markov homogène à temps discret ayant P comme matrice de transition. Alors pour tous entiers non négatifs m et n,

! _p ( m + n ) = P ^> ⁿ ! _p ( m ) . (2) Lorsque m = 0, nous avons que

! _p ( n ) = P ^> ⁿ ! _p ( 0 ) ,

ce qui con…rme notre intuition. Notons que P ^> ⁰ = I ^ou I

représente la matrice identité.

(33)

Distribution au temps n V

Chaîne de Markov

Démonstration. Rappelons que

! _p ( n ) = P ^> ! _p ( n 1 ) . (3)

Cette preuve se fait par induction. L’équation (3) démontre que l’équation (2) est déjà véri…ée dans le cas où n = 1.

Supposons maintenant que l’équation (2)

! _p ( m + n ) = P ^> ⁿ ! _p ( m )

(34)

Distribution au temps n VI

Chaîne de Markov

est véri…ée pour un certain entier positif n et montrons qu’elle est alors aussi véri…ée pour l’entier n + 1 suivant:

! _p ( m + n + 1 )

= P ^> ! _p ( m + n ) par l’équation (3)

= P ^> P ^> ⁿ ! _p ( m ) par hyp. d’induction

= P ^> ⁿ ⁺ ¹ ! _p ( m ) .

(35)

Distribution au temps n VII

Chaîne de Markov

Exercice. Montrez que pour tous entiers m, n 0,

( P ^m ) _ij = P [ X ( m + n ) = x _j j ^X ( n ) = x _i ] , x _i , x _j 2 E ^X

où ( P ^m ) _ij représente l’élément à l’intersection de la i ième

ligne et de la j ième colonne de la matrice P ^m ^.

(36)

Exemple I

Distribution du processus au temps n

Cas particulier du modèle de Bernoulli-Laplace pour la di¤usion des gaz

Reprenons le modèle de di¤usion des gaz. Rappelons que X n

représente le nombre de boules blanches dans le compartiment de gauche après le n ième échange. Nous avons déjà établi que lorsque r = 5, la matrice de transition est

P = 0 B B B B B B B B

@

0 1 0 0 0 0

1 25

8 25

16 25 0 0 0

0 ₂₅ ⁴ ¹² ₂₅ ₂₅ ⁹ 0 0 0 0 ₂₅ ⁹ ¹² ₂₅ ₂₅ ⁴ 0 0 0 0 ¹⁶ ₂₅ ₂₅ ⁸ ₂₅ ¹

0 0 0 0 1 0

1 C C

C C

A

(37)

Exemple II

Distribution du processus au temps n

Supposons que ! _p > ( 0 ) = ( 1, 0, 0, 0, 0, 0 ) , c’est-à-dire qu’avant le premier échange, le compartiment de gauche ne contient que des boules noires. Alors

! _p ( 1 ) = P ^> ¹ ! _p ( 0 ) = 0 B B B B B B B B B @

0 ₂₅ ¹ 0 0 0 0

1 ₂₅ ⁸ ₂₅ ⁴ 0 0 0 0 ¹⁶ ₂₅ ¹² ₂₅ ₂₅ ⁹ 0 0 0 0 ₂₅ ⁹ ¹² ₂₅ ¹⁶ ₂₅ 0 0 0 0 ₂₅ ⁴ ₂₅ ⁸ 1

0 0 0 0 ₂₅ ¹ 0

1 C C C C C C C C C A

0 B B B B B B

@ 1 0 0 0 0 0

1 C C C C C C A

= 0 B B B B B B

@ 0 1 0 0 0 0

1 C C

C C

A

(38)

Exemple III

Distribution du processus au temps n

! _p ( 2 ) = P ^> ² ! _p ( 0 )

= 0 B B B B B B B B B @

0 ₂₅ ¹ 0 0 0 0

1 ₂₅ ⁸ ₂₅ ⁴ 0 0 0 0 ¹⁶ ₂₅ ¹² ₂₅ ₂₅ ⁹ 0 0 0 0 ₂₅ ⁹ ¹² ₂₅ ¹⁶ ₂₅ 0 0 0 0 ₂₅ ⁴ ₂₅ ⁸ 1

0 0 0 0 ₂₅ ¹ 0

1 C C C C C C C C C A

2 0 B B B B B B

@ 1 0 0 0 0 0

1 C C C C C C A

= 0 B B B B B B B B

@

1 25

8 25 16 25

0 0 0

1 C C

C C

A

(39)

Exemple IV

Distribution du processus au temps n

! _p ( 3 ) = 0 B B B B B @

0,0128 0,2448 0, 512 0,2304

0 0

1 C C C C C A

; ! _p ( 4 ) = 0 B B B B B @

0, 00979 0, 17306 0, 48538 0, 29491 0, 03686

0 1 C C C C C A

; ! _p ( 5 ) = 0 B B B B B @

0,00692 0, 14283 0,44990 0, 33989 0,05898 0,00147

1 C C C C C A

! _p ( 10 ) = 0 B B B B B @

0, 00418 0, 10245 0, 40114 0, 3925 0, 09597 0, 003 75

1 C C C C C A

; ! _p ( 20 ) = 0 B B B B B @

0,00397 0,09923 0,39685 0,3968 0,09919 0,00397

1 C C C C C A

; ! _p ( 30 ) = 0 B B B B B @

0, 00397 0, 09921 0, 39683 0, 39683 0, 09921 0, 00397

1 C C

C C

C A

(40)

Exemple V

Distribution du processus au temps n

Il semble que la distribution de la variable aléatoire X _n

converge vers une loi hypergéométrique ( 5, 5, 5 ) lorsque n

grandit. Cela dépend-il de la distribution initiale que nous

avons choisie?

(41)

Exemple VI

Distribution du processus au temps n

Modèle de Bernoulli-Laplace pour la di¤usion des gaz (suite)

Refaisons l’exercice avec de nouvelles conditions initiales, disons ! _p ( 0 ) = ¹ ₆ , ¹ ₆ , ¹ ₆ , ¹ ₆ , ¹ ₆ , ¹ ₆ ^> :

! _p ( 1 ) = 0 B B B B B B

@

0, 00667 0, 24667 0, 24667 0, 24667 0, 24667 0, 00667

1 C C C C C C A

; ! _p ( 2 ) = 0 B B B B B B

@

0, 00987 0, 12507 0, 36507 0, 36507 0, 12507 0, 00987

1 C C C C C C A

; ! _p ( 3 ) = 0 B B B B B B

@ 0, 0050 0, 1083 0, 3867 0, 3867 0, 1083 0, 0050

1 C C C C C C A

! _p ( 4 ) = 0 B B B B B B

@

0, 00433 0, 10153 0, 39414 0, 39414 0, 10153 0, 00433

1 C C C C C C A

; ! _p ( 5 ) = 0 B B B B B B

@

0, 00406 0, 09988 0, 39606 0, 39606 0, 09988 0, 00406

1 C C C C C C A

; ! _p ( 10 ) = 0 B B B B B B

@

0, 00397 0, 09921 0, 39682 0, 39682 0, 09921 0, 00397

1 C C

C C

A

(42)

Exemple VII

Distribution du processus au temps n

Il semble que, encore une fois, la distribution de la variable aléatoire X n converge vers une loi

hypergéométrique ( 5, 5, 5 ) lorsque n grandit.

(43)

Exemple VIII

Distribution du processus au temps n

Que se passe-t-il si la distribution initiale est justement hypergéométrique ( 5, 5, 5 ) ?

!_p(0) = 0 BB BB BB BB BB

@ 1 252

25 252 100252 100252 25225 1 252

1 CC CC CC CC CC A

;!_p(1) = 0 BB BB BB BB BB

@

0 ₂₅¹ 0 0 0 0

1 ₂₅⁸ ₂₅⁴ 0 0 0

0 ¹⁶₂₅ ¹²₂₅ ₂₅⁹ 0 0 0 0 ₂₅⁹ ¹²₂₅ ¹⁶₂₅ 0

0 0 0 ₂₅⁴ ₂₅⁸ 1

0 0 0 0 ₂₅¹ 0

1 CC CC CC CC CC A 0 BB BB BB BB BB

@ 1 252

25 252 100252 100252 25225 1 252

1 CC CC CC CC CC A

= 0 BB BB BB BB BB

@ 1 252

25 252 100252 100252 25225 1 252

1 CC CC CC CC CC A

et, par conséquent, pour tout entier positif n,

! _p > = ¹ 252 , 25

252 , 100 252 , 100

252 , 25 252 , 1

252 ,

c’est-à-dire que la distribution du nombre X _n de boules blanches

dans le compartiment est la même quel que soit le moment.

(44)

Exemple IX

Distribution du processus au temps n

Attention! D’a¢ rmer que la distribution de X n est la même que celle de X _m ne veut pas nécessairement dire que X _n = X _m .

Est-ce que toutes les chaînes de Markov possèdent une

distribution limite ou si cela est une particularité de cet

exemple? Nous tenterons de répondre à ces questions

éventuellement. Pour le moment, nous devons nous

développer quelques outils...

(45)

Notation et notions de base Classi…cation des états

Périodicité Récurrence Marche aléatoire Marche aléatoire d=2 Résultats Probabilités d’absorption Loi stationnaire Références

Classi…cation des états I

De…nition

Un état x _j d’une chaîne de Markov X est dit accessible de l’état x i s’il existe un entier non négatif m tel que la probabilité d’atteindre l’état x _j à partir de l’état x _i en m périodes est positive, c’est-à-dire que

9 ^m 2 f ^0, ^1, ^2... g ^{tel que} ( P ^m ) _ij = P [ X _n + m = x _j j ^X ⁿ = x _i ] > 0.

De…nition

Deux états x _i et x _j communiquent si x _i est accessible de x _j et

si x _j est accessible de x _i .

(46)

Classi…cation des états II

La relation de communication entre deux états est une relation d’équivalence. En e¤et,

Ré‡exivité. 8 ^x ⁱ 2 E ^X ^, ^x ⁱ communique avec lui-même Symétrie. 8 ^x ⁱ ^, ^x ^j 2 E ^X ^{, si} ^x ⁱ communique avec x j alors x j

communique avec x _i

Transitivité. 8 ^x ⁱ ^, ^x ^j ^, ^x ^k 2 E ^X ^{, si} ^x ⁱ communique avec x _j

et x _j communique avec x _k alors x _i communique avec x _k .

Exercice. Démontrez les trois propriétés ci-dessus

(47)

Classi…cation des états III

De…nition

Cette relation d’équivalence permet de partager les états d’une chaîne de Markov en classe :

( a ) Tous les états d’une même classe communiquent entre eux.

( b ) Deux états appartenant à deux classes distinctes

ne communiquent pas.

(48)

Classi…cation des états IV

De…nition

Une classe C E ^X ^{est dite} ^stable ^ou ^fermée (nous utiliserons le terme stable) si

f ^x ^j 2 ^C ^c ^: 9 ^x ⁱ 2 ^C ^{tel que} ^x ^j est accessible de x _i g = ? ^, c’est-à-dire qu’il n’est pas possible de s’échapper de la classe C .

Cette dé…nition est équivalente à la condition 8 ^x ⁱ 2 ^C ^, ∑

x

j

2 ^C

p _ij = 1,

c’est-à-dire qu’en partant de n’importe quel état x _i de la

classe C , il est certain (avec probabilité 1) de demeurer

dans cette classe.

(49)

Classi…cation des états V

En e¤et,

x ∑

j

2 ^C

p _ij = ∑

x

j

2 ^C

P [ X _n ₊ ₁ = x _j j ^X ⁿ = x _i ]

= P 2 4 ^[

x

_j

2 ^C

f ^X ⁿ ⁺ ¹ = x j g j ^X ⁿ = x i

3 5 car ces événements sont disjoints.

= P [ X _n + 1 2 ^C j ^X ⁿ = x _i ] .

(50)

Classi…cation des états VI

De…nition

Par opposition, une classe C E X est dite instable ou ouverte (nous utiliserons le terme instable) si

f ^x ^j 2 ^C ^c ^: 9 ^x ⁱ 2 ^C ^{tel que} ^x ^j est accessible de x _i g 6 = ? ou, de façon équivalente, si

9 ^x ⁱ 2 ^C ^, ∑

x

j

2 ^C

p _ij < 1.

De…nition

Une chaîne de Markov est dite irréductible si elle n’est formée

que d’une seule classe (nécessairement stable).

(51)

Classi…cation des états VII

Exemple 1. La chaîne de Markov de cet exemple est irréductible.

4 5 3

1 2 0

Exemple 2. En ce qui concerne la stratégie timide, la chaîne est formée de trois classes : les deux premières, C 1 = f ⁰ g ^et C 2 = f ⁿ g sont stables tandis que la troisième,

C ₃ = f ^1, ^{2, ...,} ⁿ ¹ g est instable.

n -1 n ...

1 2

0

(52)

Périodicité I

De…nition

La période d ( i ) de l’état x _i 2 E ^X de la chaîne de Markov X est le plus grand commun diviseur de

f ⁿ 2 f ^1, ^{2, ...} g ^: ( P ⁿ ) _ii > 0 g si cet ensemble est non vide et 0 sinon.

Exemple. Considérons la chaîne de Markov X ayant E ^X = f ^x ⁰ ^, ^x ¹ ^, ^x ² g comme espace d’états et

P = 0

@

0 1 0

1 4 0 ³ ₄

0 1 0

1 A x 0 x 1 x 2

(53)

Périodicité II

comme matrice de transition. Puisque, pour tout entier k non négatif,

P ^2k = 0

@

1 4 0 ³ ₄

0 1 0

1 4 0 ³ ₄

1 A , P ^2k ⁺ ¹ = 0

@

0 1 0

1 4 0 ³ ₄

0 1 0

1 A .

alors

f ⁿ 2 f ^1, ^{2, ...} g ^: ( P ⁿ ) ₀₀ > 0 g = f ^2, ^4, ^6, ^{8, ...} g

ce qui implique que la période de l’état x ₀ est 2. Cela signi…e

que si nous initialisons la chaîne à l’état x 0 , alors nous ne

pourrons revenir à cet état qu’aux instants pairs.

(54)

Périodicité III

Exemple. Considérons la chaîne de Markov X ayant E ^X = f ^x ⁰ ^, ^x ¹ ^, ^x ² g comme espace d’états et

P = 0 B B

@

0 1 0

0 ¹ ₄ ³ ₄ 0 ¹ ₄ ³ ₄

1 C C A

x 0

&

x ₂ x ₁

Comme

f ⁿ 2 f ^1, ^{2, ...} g ^: ( P ⁿ ) ₀₀ > 0 g = ? ^,

alors la période de l’état x ₀ est 0.

(55)

Périodicité IV

Exemple. Considérons la chaîne de Markov X ayant E ^X = f ^x ⁰ ^, ^x ¹ ^, ^x ² g comme espace d’états et

P = 0

@

0 1 0

0 0 1

3 4

1 4 0

1 A

x 0

" &

x ₂ x ₁

Comme

f ⁿ 2 f ^1, ^{2, ...} g ^: ( P ⁿ ) ₀₀ > 0 g = f ^3, ^5, ^{6, ...} g ^,

alors la période de l’état x ₀ est 1.

(56)

Périodicité V

De…nition

Lorsqu’un état est de période 1, il est dit apériodique. Une chaîne de Markov est quali…ée d’ apériodique si tous ses états le sont.

Theorem

Lemme 4.2. Tous les états d’une même classe ont la même

période.

(57)

Preuve I

Périodicité

Preuve . Soit x _i et x _j deux états quelconques appartenant à la même classe. Supposons dans un premier temps que d ( j ) > 0.

Puisque ces deux états communiquent, il existe des entiers non

négatifs m et n tels que la probabilité d’atteindre l’état x j à

partir de l’état x _i en m étapes, ( P ^m ) _ij > 0 est positive et que

la probabilité d’atteindre l’état x _i à partir de l’état x _j en n

étapes, ( P ⁿ ) _ji > 0 est aussi positive.

(58)

Preuve II

Périodicité

Ainsi,

P ^m ⁺ ⁿ _jj

= P [ X m + n = x j j ^X ⁰ = x j ]

= ∑

x

k

2E

^X

P [ X m + n = x j j ^X ⁿ = x k ] P [ X n = x k j ^X ⁰ = x j ] P [ X _m ₊ _n = x _j j ^X ⁿ = x _i ] P [ X _n = x _i j ^X ⁰ = x _j ]

= ( P ^m ) _ij ( P ⁿ ) _ji > 0

ce qui implique que d ( j ) est un diviseur de m + n car d ( j ) = PGCD n

n 2 f ^1, ^{2, ...} g ^: ( P ⁿ ) _jj > 0 o

.

(59)

Preuve III

Périodicité

Plus généralement, nous avons que pour tout entier non négatif r tel que ( P ^r ) _ii > 0,

P ^m ⁺ ^r ⁺ ⁿ _jj

= P [ X m + r + n = x j j ^X ⁰ = x j ]

= ∑

k 2E

X

e ∑

k 2E

X

0 @

P [ X m + r + n = x j j ^X ⁿ ⁺ ^r = x k ] P X _n + r = x _k X _n = x _e _k

P X _n = x _e _k j ^X ⁰ = x _j 1 A P [ X _m + r + n = x _j j ^X ⁿ ⁺ ^r = x _i ] P [ X _n + r = x _i j ^X ⁿ = x _i ]

P [ X n = x i j ^X ⁰ = x j ]

= ( P ^m ) _ij ( P ^r ) _ii ( P ⁿ ) _ji > 0

ce qui implique que d ( j ) est un diviseur de m + r + n.

(60)

Preuve IV

Périodicité

Mais comme nous avons déjà établi que d ( j ) est diviseur de m + n, alors il doit aussi être diviseur de r . En e¤et,

r

d ( j ) = ^m + r + n d ( j )

| {z }

2 N

m + n d ( j )

| {z }

2 N

2 ^N ^.

Par conséquent, d ( j ) est un diviseur commun aux éléments de

l’ensemble f ^r 2 f ^0, ^1, ^{2, ...} g ^: ( P ^r ) _ii > 0 g ^.

(61)

Preuve V

Périodicité

Rappel : Par conséquent, d ( j ) est un diviseur commun aux éléments de l’ensemble f ^r 2 f ^0, ^1, ^{2, ...} g ^: ( P ^r ) _ii > 0 g ^. Mais comme d ( i ) est le plus grand commun diviseur des éléments de cet ensemble, d ( j ) est un diviseur de d ( i ) . Comme le choix de i et de j est arbitraire (en autant que les deux états appartiennent à la même classe), nous en déduisons que d ( i ) est un diviseur de d ( j ) . Par conséquent,

d ( i ) = d ( j ) .

Supposons maintenant que d ( j ) = 0, c’est-à-dire lorsque ( P ^r ) _jj = 0 pour tout r. Alors

0 = P ^m ⁺ ^r ⁺ ⁿ _jj ( P ⁿ ) _ji

| {z }

> 0

( P ^r ) _ii ( P ^m ) _ij

| {z }

> 0

ce qui implique que ( P ^r ) _ii = 0. Comme r est un entier non

négatif quelconque, d ( i ) = 0.

(62)

Exemple 2 I

Périodicité

Exemple 2. En ce qui concerne la stratégie timide, la chaîne est formée de trois classes : les deux premières, C 1 = f ⁰ g ^et C ₂ = f ⁿ g sont stables tandis que la troisième,

C ₃ = f ^1, ^{2, ...,} ⁿ ¹ g est instable.

n -1 n ...

1 2

0

(63)

Exemple 2 II

Périodicité

d ( 0 ) = PGCD f ⁿ 2 f ^1, ^{2, ...} g ^: ( P ⁿ ) ₀₀ > 0 g

= PGCD f ^1, ^{2, ...} g ^car ( P ⁿ ) ₀₀ = 1 8 ⁿ 2 f ^1, ^{2, ...} g

= 1

d ( 1 ) = PGCD f ⁿ 2 f ^1, ^{2, ...} g ^: ( P ⁿ ) ₁₁ > 0 g

= PGCD f ^2, ^4, ^{6, ...} g = 2 d ( 2 ) = ... = d ( n 1 ) = d ( 1 ) = 2

car les états x ₁ , x ₂ , ..., x _n ₁ appartiennent à la même classe d ( n ) = PGCD f ^m 2 f ^1, ^{2, ...} g ^: ( P ^m ) _nn > 0 g

= PGCD f ^1, ^{2, ...} g = 1

(64)

Récurrence I

De…nition

Un état x _i est récurrent si, en partant de x _i , la probabilité que la chaîne retourne éventuellement à l’état x _i est de 1. Si x _i n’est pas récurrent, alors il est transitoire.

De…nition

La probabilité f _ij ⁽ ⁿ ⁾ est la probabilité du premier passage à l’état x _j en partant de l’état x _i en exactement n périodes :

f _ij ⁽ ⁿ ⁾ = P [ X _n = x _j , X _n ₁ 6 = x _j , ..., X ₁ 6 = x _j j ^X ⁰ = x _i ] .

(65)

Récurrence II

La probabilité f _ij d’un éventuel passage à l’état x _j en partant de l’état x _i s’obtient des probabilités de premier passage :

f

ij

= P [ un éventuel passage à l’état x

j

j ^X

⁰

= x

i

]

= P

"

_∞

[

n=1

f le premier passage à l’état x

j

est e¤ectué au temps n g j ^X

⁰

= x

i

#

= ∑

^∞

n=1

P [ le premier passage à l’état x

j

est e¤ectué au temps n j ^X

⁰

= x

i

] car les événements impliqués sont disjoints

=

∑

∞ n=1

f

_ij⁽ⁿ⁾

(66)

Récurrence III

De…nition

Utilisant cette nouvelle notation, nous pouvons réécrire qu’un état x i est récurrent si et seulement si f ii = 1 et qu’il est transitoire si 0 f _ii < 1.

L’état x _i est dit absorbant si f _ii ⁽ ¹ ⁾ = 1, c’est-à-dire qu’en

partant de cet état, il est certain que la chaîne de Markov

restera dans cet état à la période suivante et à toutes les

périodes subséquentes.

(67)

Récurrence IV

Theorem

Théorème 4.3 . La probabilité de retourner une in…nité de fois en x _j en partant de x _i est égale à

P X n = x j pour une in…nité d’entiers n 2 f ^1, ^{2, ...} g j ^X ⁰ = x i

= ⁰ ^{si f} ^jj < 1 f _ij si f _jj = 1

Ce théorème signi…e que si un état est récurrent, alors la chaîne peut le visiter une in…nité de fois tandis que si un état est transitoire, la chaîne ne le visitera qu’un nombre

…ni de fois.

(68)

Récurrence V

Preuve. Il su¢ t de montrer que pour tous états x _i et x _j ainsi que pour tout entier m 2 f ^1, ^{2, ...} g ^,

P X n = x j pour au moins m valeurs

di¤érentes d’entiers n 2 f ^1, ^{2, ...} g ^X ⁰ = x _i = f _ij f _jj ^m ¹ . (4) car en laissant m tendre vers l’in…ni, le membre de droite s’annule si f _jj < 1 et est égal à f _ij si f _jj = 1.

Lorsque m = 1, l’équation (4) est satisfaite par la dé…nition même de f _ij . En e¤et,

f ij = P [ un éventuel passage à l’état x j j ^X ⁰ = x i ]

= P [ X _n = x _j pour au moins un n 2 f ^1, ^{2, ...} g j ^X ⁰ = x _i ] .

(69)

Récurrence VI

Nous faisons en détail le cas m = 2, le cas général se traitant de la même façon quoique la notation s’alourdisse.

P [ X

n

= x

j

pour au moins 2 valeurs d’entiers n 2 f ^1, ^{2, ...} g j ^X

⁰

= x

i

]

= P 2 4 ^[

^∞

n_1,n₂=1

X

n₁+n₂

= x

j

, X

n₁+n₂ 1

6 = x

j

, ...,X

n₁+1

6 = x

j

X

n₁

= x

j

,X

n₁ 1

6 = x

j

, ..., X

1

6 = x

j

X

0

= x

_i

3 5

=

∑

∞ n₁=1

∑

∞ n₂=1

P X

n₁+n₂

= x

j

,X

n₁+n₂ 1

6 = x

j

, ..., X

n₁+1

6 = x

j

X

n₁

= x

j

, X

n₁ 1

6 = x

j

, ...,X

1

6 = x

j

X

0

= x

i

car ces événements sont disjoints

= ∑

^∞

n₁=1

∑

∞ n₂=1

P [ f ^X

ⁿ1+n₂

= x

j

,X

n₁+n₂ 1

6 = x

j

, ..., X

n₁+1

6 = x

j

gj ^X

ⁿ1

= x

j

]

P [ f ^X

ⁿ1

= x

j

,X

n₁ 1

6 = x

j

, ..., X

1

6 = x

j

gj ^X

⁰

= x

i

]

(70)

Récurrence VII

=

∑

∞ n1=1

∑

∞ n2=1

P [ f ^X

ⁿ2

= x

j

,X

n₂ 1

6 = x

j

, ..., X

1

6 = x

j

gj ^X

⁰

= x

j

] P [ f ^X

ⁿ1

= x

j

,X

n₁ 1

6 = x

j

, ..., X

1

6 = x

j

gj ^X

⁰

= x

i

] car la chaîne est homogène

=

"

_∞

n

∑

₂=1

P [ f ^X

ⁿ2

= x

j

, X

n₂ 1

6 = x

j

, ...,X

1

6 = x

j

gj ^X

⁰

= x

j

]

#

"

_∞

n

∑

₁=1

P [ f ^X

ⁿ1

= x

j

,X

n₁ 1

6 = x

j

, ..., X

1

6 = x

j

gj ^X

⁰

= x

i

]

#

=

"

∑

∞ n₂=1

f

_jj⁽ⁿ²⁾

# "

∑

∞ n₁=1

f

_ij⁽ⁿ¹⁾

#

= f

_jj

f

_ij

Les chaînes de Markov