Universit´ e de Nice L2MASS, Option MPAD2, ann´ ee 2010-2011 D´ epartement de Math´ ematiques Mod` eles Probabilistes Appliqu´ es au D´ eveloppement Durable
Cours 1 : Introduction aux chaˆ ınes de Markov
Pour mod´ eliser l’´ evolution au cours du temps (la dynamique) de syst` emes biologiques, par exemple celle d’un organisme, d’une substance, d’un ´ ecosyst` eme, on choisit souvent des mod` eles al´ eatoires. Les plus simples de ces mod` eles al´ eatoires sont les chaˆınes de Markov qui, dans le cas particulier ´ etudi´ e ici sont faciles ` a utiliser car il n’y a pratiquement aucun pr´ erequis math´ ematique. Elles nous donneront l’occasion d’une premi` ere familiarisation avec le calcul matriciel que nous approfondirons lors des le¸ cons suivantes.
1 Un exemple en ´ ecologie
On s’int´ eresse au d´ eveloppement d’une forˆ et naturelle en r´ egion temp´ er´ ee sur une parcelle en friche (par exemple par abandon d’une zˆ one cultiv´ ee ou suite ` a un incendie). Notre mod` ele simplifi´ e comporte 3 ´ etats. L’´ etat 1 est celui d’une v´ eg´ etation constitu´ ee d’herbes ou d’autres esp` eces pionni` eres ; l’´ etat 2 correspond ` a la pr´ esence d’arbustes dont le d´ eveloppement rapide n´ ecessite un ensoleillement maximal et l’´ etat 3 celui d’arbres plus gros qui peuvent se d´ evelopper dans un environnement semi ensoleill´ e. Si l’on note respectivement h, a, f ces trois ´ etats (pour herbe, arbustes, forˆ et), l’ensemble des ´ etats possibles pour un point donn´ e de cette parcelle est l’ensemble S = {h, a, f }. Sur la parcelle on rep` ere au sol un grand nombre de points (un millier) r´ epartis sur un maillage r´ egulier et on enregistre ` a intervalle de temps fix´ e (tous les 3 ans) l’´ etat de la v´ eg´ etation en chacun de ces points (en choisissant celui des trois ´ etats qui est le plus proche).
En observant l’´ evolution durant un intervalle de temps, on peut d´ eterminer pour chaque ´ etat i ∈ {h, a, f } la proportion de points qui sont pass´ es ` a l’´ etat j ∈ {h, a, f }, et noter p
ijcette proportion. Si les diff´ erentes proportions ainsi relev´ ees (il y en a 9) ´ evoluent peu d’un intervalle de temps au suivant, on peut les suppos´ ees inchang´ ees au cours du temps et on peut regarder comme les probabilit´ es pour un point quelconque de passer de l’´ etat i ` a l’´ etat j pendant un intervalle de temps. Supposons par exemple que dans cette parcelle, ces probabilit´ es soient les suivantes :
P =
h a f
0, 5 0, 45 0, 05 0, 1 0, 5 0, 4
0 0, 1 0, 9
h a f
Si X
0d´ esigne l’´ etat d’un point ` a l’instant t = 0 et X
1l’´ etat du mˆ eme point en t = 1, on par exemple la probabilit´ e de passage de l’´ etat arbuste en t = 0 ` a l’´ etat forˆ et en t = 1 s’´ ecrit P (X
1= f /X
0= a) est vaut P (X
1= f /X
0= a) = 0, 4. De mˆ eme P (X
1= h/X
0= h) = 0, 5.
L’ensemble des ´ etats S = {h, a, f } et la matrice de transition P constituent un exemple de chaˆıne de Markov. On peut aussi repr´ esenter cette chaine de Markov par le diagramme en points et fl` eches suivant (1).
Fig. 1 – Diagramme en points et fl` eches correspondant ` a l’exemple de la dynamique de la forˆ et naturelle
`
a trois ´ etats, herbe, arbustes et forˆ et, ´ etudi´ ee ci dessous. Notez qu’une forˆ et qui brˆ ule ne devient pas de l’herbe mais est remplac´ ee par des arbustes.
Dans ce diagramme, chaque ´ etat est repr´ esent´ e par une lettre encercl´ ee et chaque coefficient non nul de la matrice de transition P par une fl` eche allant d’un ´ etat ` a un autre ´ etat.
1
Dans ce mod` ele, on peut ainsi calculer la probabilit´ e de n’importe quelle succession d’´ etats, appel´ ee trajectoire de la chaˆıne de Markov. Par exemple la probabilit´ e, qu’en un point de la parcelle, on observe la succession d’´ etats (h, h, a, f, f ) se calcule de la fa¸ con suivante :
P (X
0= h, X
1= h, X
2= a, X
3= f, X
4= f )
= π
0(h)P (X
1= h/X
0= h)P (X
2= a/X
1= h)P (X
3= f /X
2= a)P (X
4= f /X
3= f )
= π
0(h)p
hhp
hap
afp
f f= π
0(h)(0, 5)(0, 45)(0, 4)(0, 9) = 0, 081π
0(h).
o` u π
0(h) est la probabilit´ e d’ˆ etre dans l’´ etat h ` a l’instant initial t = 0.
2 Evolution de la r´ epartition des ´ etats au cours du temps
L’observation de l’´ etat dans lequel se trouve les diff´ erents points de la parcelle ` a l’instant initial t
0permet de d´ eterminer les proportions initiales de chacun des 3 ´ etats π
0= (π
0(h), π
0(a), π
0(f )). Pour cela, on rel` eve pour chaque point l’´ etat dans lequel il se trouve et on calcule la proportion de points de chacun des ´ etats possibles. On peut voir chaque proportion comme la probabilit´ e pour un point de la parcelle d’ˆ etre dans l’un des ´ etats ` a l’instant initial. Ainsi, si l’on a par exemple π
0= (
12,
14,
14), cela signifie que la moiti´ e des points de la parcelle sont au d´ epart dans l’´ etat h, un quart dans l’´ etat a et un quart dans l’´ etat f . Mais on peut aussi interpr´ eter cela en consid´ erant qu’un ´ etat quelconque a 50% de chance d’ˆ etre dans l’´ etat h, 25% d’ˆ etre dans l’´ etat a et 25% dans l’´ etat f . C’est pour cela que proportion d’individus de la population ´ etudi´ ee se trouvant dans chacun des ´ etats,
S h a f
π
0π
0(h) π
0(a) π
0(f )
s’appelle la loi de probabilit´ e initiale π
0ou encore la distribution initiale. Lorsqu’on choisit une mod´ elisation par une chaˆıne de Markov, l’objectif est souvent de d´ eterminer l’´ evolution de la r´ epartition des ´ etats au cours du temps. Par exemple, si la parcelle consid´ er´ ee ci-dessus est recouverte pour un tiers de forˆ et ` a l’instant initial, cette proportion va-t-elle grandir, tendre vers 100%, au contraire tendre vers z´ ero ou bien s’approcher d’une valeur limite sorte d’´ equilibre ´ ecologique ?
Nous allons voir que si l’on connait la distribution initiale on peut calculer la distribution ` a l’instant t = 1, puis ` a l’instant t = 2 et ainsi de suite. En d’autres termes, on calcule la loi π
1S h a f
π
1π
1(h) π
1(a) π
1(f )
et plus g´ en´ eralement la loi π
tpour tous les t > 0 et ainsi mod´ eliser la dynamique de cette population.
Voici comment on proc` ede. Pour calculer les probabilit´ es π
1des trois ´ etats ` a l’instant t = 1 π
1:= (P (X
1= h), P (X
1= a), P (X
1= f )) = (π
1(h), π
1(a), π
1(f )),
on remarque que, du fait de la formule des probabilit´ es totales
1, la probabilit´ e π
1(h) est ´ egale ` a P (X
1= h/X
0= h)P (X
0= h) + P (X
1= h/X
0= a)P(X
0= a) + P (X
1= h/X
0= f )P(X
0= f ) ce qui peut s’´ ecrire ici π
1(h) = 0, 5· π
0(h) + 0, 1 · π
0(a) + 0 · π
0(f ) compte tenu des valeurs des probabilit´ es de transition donn´ ees par la premi` ere colonne de la matrice P.
On en d´ eduit que π
1(h) est le produit scalaire du vecteur π
0avec la premi` ere colonne de la matrice P. De mˆ eme, on v´ erifie que π
1(a) est le produit scalaire du vecteur π
0avec la deuxi` eme colonne de la matrice P et que π
1(f ) est le produit scalaire du vecteur π
0avec la troixi` eme colonne de la matrice P.
On r´ esume cela en disant que le vecteur π
1est le produit du vecteur π
0par la matrice P, ce qui s’´ ecrit simplement
π
1= π
0· P
ou, encore plus simplement π
1= π
0P, comme s’il s’agissait du produit de deux nombres (mais ici il s’agit du produit d’un vecteur et d’une matrice). Cette formule tr` es courte signifie que le vecteur π
1= (π
1(h), π
1(a), π
1(f )) est le produit du vecteur π
0= (π
0(h), π
0(a), π
0(f )) par la matrice P, ce qui s’´ ecrit encore de fa¸ con matricielle :
(π
1(h), π
1(a), π
1(f )) = (π
0(h), π
0(a), π
0(f ))
0, 5 0, 45 0, 05 0, 1 0, 5 0, 4
0 0, 1 0, 9
.
1Si Ω =B1∪B2etB1∩B2=∅, on a
P
(A) =P
(A/B1)P
(B1)+P
(A/B2)P
(B2). Et plus g´enaralement, si Ω =B1∪. . .∪BnetBi∩Bj=∅sii6=j, on a
P
(A) =P
(A/B1)P
(B1) +. . .+P
(A/Bn)P
(Bn).2
3 Aper¸ cu de la situation g´ en´ erale
L’exemple de la dynamique d’une forˆ et naturelle en r´ egion temp´ er´ ee que nous avons ´ etudi´ e dans les deux paragraphes pr´ ec´ edents est un cas particulier de chaˆıne de Markov. Plus g´ en´ eralement, on mod´ elise au moyen d’une chaˆıne de Markov l’´ evolution au cours du temps de quantit´ es X qui peuvent prendre un nombre fini d’´ etats X = x
1, X = x
2, . . ., X = x
net qui passent de l’´ etat x
i` a l’instant t ` a l’´ etat x
j` a l’instant suivant t + 1 avec une probabilit´ e p
ijdonn´ ee. Les nombres p
ij= P (X
t+1= x
j/X
t= x
i) v´ erifient donc tous les in´ egalit´ es 0 ≤ p
ij≤ 1 et leur somme vaut 1, P
nj=0
p
ij= 1 (puisque si la chaˆıne est dans l’´ etat x
i` a un instant, elle sera n´ ecessairement dans l’un des ´ etats possibles x
1, . . . , x
nl’instant suivant et donc p
i1+ p
i2+ . . . + p
in= 1). L’expression P(X
t+1= x
j/X
t= x
i) s’appelle une probabilit´ e conditionnelle et repr´ esente la “probabilit´ e que la quantit´ e X vaille x
j` a l’instant t + 1 sachant qu’elle valait x
i` a l’instant t”.
Pour d´ efinir une chaˆıne de Markov, il faut donc deux ingr´ edients de base : 1. L’espace des ´ etats S := {x
1, . . . , x
n} que l’on supposera fini
2. La matrice
2de transition (ou de passage)
P = (p
ij)
1≤i≤n,1≤j≤n=
x
1x
2. . . x
n
p
11p
12· · · p
1n.. . .. .
p
n1p
n2· · · p
nn
x
1.. . x
nA noter que cette matrice est appel´ ee matrice stochastique parce que ses coefficients sont tous compris entre 0 et 1 et que la somme des coefficients de chaque ligne vaut 1 (ce qui n’est pas vrai en g´ en´ eral pour les colonnes).
On appelle distribution initiale ou loi de probabilit´ e initiale le vecteur π
0S x
1x
2.... x
nπ
0π
0(x
1) = P (X
0= x
1) π
0(x
2) = P(X
0= x
2) .... π
0(x
n) = P (X
0= x
n)
dont chaque composante repr´ esente la probabilit´ es de se trouver dans l’un des ´ etats ` a l’instant initial. La somme des composantes de ce vecteur de probabilit´ es est ´ egale ` a 1 puisqu’on se trouver de fa¸ con certaine dans l’un des ´ etats possibles. La connaissance de la matrice de passage P permet de calculer l’´ evolution au cours du temps de cette distribution initiale. Pour cela, on fait simplement le produit du vecteur π
0par cette matrice, une fois pour obtenir la distribution π
1` a l’instant t = 1, puis une nouvelle fois pour la connaitre ` a l’instant t = 2 etc...
4 Pertinence des mod` eles Markoviens
Ajoutons pour finir quelques commentaires concernant la pertinence de la mod´ elisation par des chaines de Markov. Les chaˆınes de Markov fournissent en effet des mod` eles tr` es utiles, notamment en biologie mais ils pr´ esentent aussi, bien entendu, des d´ efauts. Parmi eux, l’hypoth` ese simplificatrice d’un nombre fini d’´ etats possibles est relativement facile ` a contourner (lorsque c’est n´ ec´ essaire) car il existe des chaˆınes de Markov ayant un nombre infini d’´ etats. De mˆ eme on peut s’affranchir de l’hypoth` ese de l’invariance dans le temps des probabilit´ es de transitions (on a en effet suppos´ e que la probabilit´ e de passer d’un ´ etat x
i` a un ´ etat x
jne changeait pas au cours du temps) en consid´ erant des chaˆınes de Markov qui ne sont pas homog` enes, c’est-` a-dire ayant des matrices de transition modifiables au cours du temps. Bien entendu l’´ etude de ces mod` eles g´ en´ eralis´ es (chaˆınes de Markov infinies ou non homog` enes) n´ ecessitent le recours ` a des outils math´ ematiques plus ´ elabor´ es.
Par contre, il y a un autre d´ efaut qui, lui est une r´ eelle limite du mod` ele : c’est l’invariance spatiale.
Pour le calcul des probabilit´ es de transition, on a fait en effet implicitement une hypoth` ese d’homog´ en´ eit´ e spatiale qui est bien rarement satisfaite dans la pratique. Par exemple un site v´ eg´ etal n’a certainement pas la mˆ eme probabilit´ e d’ˆ etre occup´ e la p´ eriode suivante par une esp` ece donn´ ee selon que les sites voisins le sont d´ ej` a ou qu’ils ne le sont pas. Et, malheureusement ceci ne peut pas ˆ etre pris en compte par les mod` eles markoviens que nous avons pr´ esent´ es ici. On retiendra donc qu’il convient d’utiliser avec prudence une chaˆıne de Markov lorsque ce caract` ere d’isotropicit´ e du milieu n’est pas du tout satisfait.
2On a coutume de noter les coefficients d’une matrice (pij), i´etant l’indice de ligne etj l’indice de colonne, donc le nombre not´epij figure dans lai-`emeLigne et laj-`emeColonne ; retenez “LiCo”.
