L2: cours I4c Graphes et probabilit´es (chaˆınes de Markov)
L2: cours I4c
Graphes et probabilit´ es (chaˆınes de Markov)
Olivier Togni, LE2I (038039)3887
olivier.togni@u-bourgogne.fr
Modifi´e le 6 mars 2008
Introduction
Th´eorie utilis´ee pour mod´elisation et simulation - files d’attentes =>r´eseaux
- traitement du signal - linguistique, ...
Un processus dynamique peut ´evoluer de deux fa¸cons : - d´eterministe⇒ il peut ˆetre mod´elis´e par un automate
- al´eatoire (le hasard intervient)⇒ son comportement peut ˆetre d´ecrit en utilisant la mod´elisation propos´ee par A. A. Markov en 1907.
L2: cours I4c Graphes et probabilit´es (chaˆınes de Markov)
Exemple
Transmission de donn´ees sur r´eseau bruit´e : on veut envoyer un bit d’une stationAvers une station B s´epar´ees parn tron¸cons (lignes) dont le taux d’erreur est de 16.
Quelle est la probabilit´e que le message arrive sans erreur en B ?
On peut montrer que quandn est grand, cette probabilit´e tend vers 12.
Graphe de l’´etat du message :
1/6
1/6 5/6 5/6
1 V F
Exemple
Transmission de donn´ees sur r´eseau bruit´e : on veut envoyer un bit d’une stationAvers une station B s´epar´ees parn tron¸cons (lignes) dont le taux d’erreur est de 16.
Quelle est la probabilit´e que le message arrive sans erreur en B ? On peut montrer que quandn est grand, cette probabilit´e tend vers 12.
Graphe de l’´etat du message :
1/6
1/6 5/6 5/6
1 V F
L2: cours I4c Graphes et probabilit´es (chaˆınes de Markov)
Chaˆınes de Markov
On observe un syst`eme stochastique (dont l’´evolution d´epend du temps) en certains temps 0,1,2, ...,t.
A chaque instant, le syst`` eme peut se trouver dans l’un des ´etats d’un ensemble fini d’´etats possibles Ω ={E1,E2, . . . ,Er} Definition
Un syst`eme forme une chaˆıne de Markov ssi la probabilit´e que le syst`eme soit dans l’´etat Ej `a l’instantt+ 1 sachant qu’il ´etait `a l’´etatEi `a l’instantt ne d´epend pas det.
Soitpij cette probabilit´e et soitqi la probabilit´e que le syst`eme soit dans l’´etat Ei `a l’instant 0.
On a donc∀i,qi ≥0 etPr
i=1qi = 1 et
∀i,∀j,pij ≥0 etPr
k=1pik = 1,
Exemple de Chaˆıne non Markovienne
Une urne contientb boules blanches et r boules rouges.
On tire une boule au hasard et on la remet dans l’urne ainsi quec boules de la mˆeme couleur et on recommence le processus. Soit Xn∈ {B,R}= Ω la couleur de la boule tir´ee au ni`eme tirage. La suite (Xn)n≥1 n’est pas une chaˆıne de Markov. En effet,
P(X2=B/X1=B) = b+c b+r+c et
P(X3 =B/X2 =B/X1=B) = b+ 2c b+r+ 2c.
L2: cours I4c Graphes et probabilit´es (chaˆınes de Markov)
Matrice et graphe de transition
Une chaˆıne Markovienne peut ˆetre repr´esent´ee par la matrice
P =
p11 p12 . . . p1r p21 . . . ...
... ...
pr1 . . . prr
que l’on peut voir comme la matrice d’adjacence d’un graphe orient´e valu´e : Le grapheG de la chaˆıne de Markov avec pour ensemble de sommets Ω (l’ensemble des ´etats) et pour arcs les couples (Ei,Ej) tels quepij >0, l’´etiquette de l’arc ´etant alorspij.
Exemple
P =
0.3 0.7 0 0 0.5 0 0 0.5 0 0.1 0 0.9
0 0 1 0
L2: cours I4c Graphes et probabilit´es (chaˆınes de Markov)
Classification des ´ etats
On dit qu’on peut atteindre l’´etat Ej `a partir de l’´etat Ei ssi la probabilit´e d’arriver `aEj en partant deEi est strictement positive (il existe un chemin deEi `a Ej dans G).
D´efinition
une chaˆıne est dite irr´eductible ssi tout ´etat peut ˆetre atteint `a partir de n’importe quel autre ´etat (G est fortement connexe).
Ex pr´ec´edent : la chaˆıne est irr´eductible
Classification des ´ etats
D´efinition
I Un ´etat Ei est absorbant si le seul arc sortant de Ei est une boucle (´etiquet´ee 1).
I Une chaˆıne de Markov est absorbante ssi : - il y a au moins un ´etat absorbant
- de tout ´etat non absorbant, on peut atteindre un ´etat absorbant.
Proposition
Pour toute chaˆıne absorbante, la probabilit´e de se trouver dans un
´etat absorbant au temps t tend vers 1 quand t tend vers l’infini
L2: cours I4c Graphes et probabilit´es (chaˆınes de Markov)
Classification des ´ etats
D´efinition
Un ´etat Ei est dit persistantour´ecurrentsi la probabilit´e que, parti de Ei le syst`eme y revienne est ´egale `a1. Sinon il est transitoire.
En terme de graphes, Ei est persistant ssi il fait partie d’un circuit duquel on ne peut sortir (donc un circuit ou tous les arcs on une
´etiquette ´egale `a 1).
Th´eor`eme
Tous les ´etats d’une chaˆıne irr´eductible sont du mˆeme type (soit persistants soit transitoires).
R´ egime permanent
Soitq(n)i la proba (inconditionnelle) que la chaˆıne soit dans l’´etat Ei `a l’instantn.
Soitp(n)ij la proba de passer de l’´etatEi `a l’´etat Ej enn ´etapes.
Proposition
Les p(n)ij sont les coefficients de la matrice Pn obtenue en multipliant n fois la matrice P par elle mˆeme.
Proposition
∀i = 1. . .r, qj(n)=Pr
i=1qipij(n),
Sous forme matricielle : Qn=QPn o`u Q est le vecteur constitu´e
n n
L2: cours I4c Graphes et probabilit´es (chaˆınes de Markov)
Exemple
P = 1
3 2 3
1 0
et soitQ = (12 12). On a
P2= 7
9 2 1 9 3
2 3
et doncQ2= (59 49). On a donc un peu plus de chance d’ˆetre dans l’´etat z´ero que dans l’´etat un `a l’instant 2.
Chaˆıne ergodique
QuandP∗ = limn→∞Pn existe, la chaˆıne est diteergodique. On dit encore qu’il existe un r´egime permanentQ∗ =QP∗.
Rem : il existe des m´ethodes pour calculer, dans certains cas, P∗ `a l’aide des valeurs propres en utilisant les s´eries g´en´eratrices.
Ex pr´ec´edent :
P∗ = 6
10 4 6 10 10
4 10
et doncQ∗ = (106 104).
