L2: cours I4c Graphes et probabilit´es (chaˆınes de Markov)
L2: cours I4c
Graphes et probabilit´ es (chaˆınes de Markov)
Olivier Togni, LE2I (038039)3887
olivier.togni@u-bourgogne.fr
Modifi´e le 6 mars 2008
1 de 13
L2: cours I4c Graphes et probabilit´es (chaˆınes de Markov)
Introduction
Th´eorie utilis´ee pour mod´elisation et simulation - files d’attentes => r´eseaux
- traitement du signal - linguistique, ...
Un processus dynamique peut ´evoluer de deux fa¸cons : - d´eterministe ⇒ il peut ˆetre mod´elis´e par un automate
- al´eatoire (le hasard intervient)⇒ son comportement peut ˆetre d´ecrit en utilisant la mod´elisation propos´ee par A. A. Markov en 1907.
2 de 13 L2: cours I4c Graphes et probabilit´es (chaˆınes de Markov)
Exemple
Transmission de donn´ees sur r´eseau bruit´e : on veut envoyer un bit d’une station A vers une station B s´epar´ees par n tron¸cons (lignes) dont le taux d’erreur est de 16.
Quelle est la probabilit´e que le message arrive sans erreur en B ?
On peut montrer que quand n est grand, cette probabilit´e tend vers 12.
Graphe de l’´etat du message :
1/6
1/6 5/6 5/6
1 V F
3 de 13
L2: cours I4c Graphes et probabilit´es (chaˆınes de Markov)
Exemple
Transmission de donn´ees sur r´eseau bruit´e : on veut envoyer un bit d’une stationA vers une station B s´epar´ees par n tron¸cons (lignes) dont le taux d’erreur est de 16.
Quelle est la probabilit´e que le message arrive sans erreur en B ? On peut montrer que quand n est grand, cette probabilit´e tend vers 12.
Graphe de l’´etat du message :
1/6
1/6 5/6 5/6
1 V F
3 de 13
L2: cours I4c Graphes et probabilit´es (chaˆınes de Markov)
Chaˆınes de Markov
On observe un syst`eme stochastique (dont l’´evolution d´epend du temps) en certains temps 0,1,2, ...,t.
A chaque instant, le syst`` eme peut se trouver dans l’un des ´etats d’un ensemble fini d’´etats possibles Ω ={E1,E2, . . . ,Er}
Definition
Un syst`eme forme une chaˆıne de Markov ssi la probabilit´e que le syst`eme soit dans l’´etatEj `a l’instantt + 1 sachant qu’il ´etait `a l’´etat Ei `a l’instant t ne d´epend pas de t.
Soit pij cette probabilit´e et soit qi la probabilit´e que le syst`eme soit dans l’´etat Ei `a l’instant 0.
On a donc ∀i,qi ≥0 et Pr
i=1qi = 1 et
∀i,∀j,pij ≥0 et Pr
k=1pik = 1,
4 de 13
L2: cours I4c Graphes et probabilit´es (chaˆınes de Markov)
Exemple de Chaˆıne non Markovienne
Une urne contient b boules blanches et r boules rouges.
On tire une boule au hasard et on la remet dans l’urne ainsi que c boules de la mˆeme couleur et on recommence le processus. Soit Xn ∈ {B,R}= Ω la couleur de la boule tir´ee au ni`eme tirage. La suite (Xn)n≥1 n’est pas une chaˆıne de Markov. En effet,
P(X2=B/X1=B) = b+c b+r +c et
P(X3=B/X2=B/X1=B) = b+ 2c b+r + 2c.
5 de 13 L2: cours I4c Graphes et probabilit´es (chaˆınes de Markov)
Matrice et graphe de transition
Une chaˆıne Markovienne peut ˆetre repr´esent´ee par la matrice
P =
p11 p12 . . . p1r p21 . . . ...
... ...
pr1 . . . prr
que l’on peut voir comme la matrice d’adjacence d’un graphe orient´e valu´e : Le graphe G de la chaˆıne de Markov avec pour ensemble de sommets Ω (l’ensemble des ´etats) et pour arcs les couples (Ei,Ej) tels que pij >0, l’´etiquette de l’arc ´etant alors pij.
6 de 13
L2: cours I4c Graphes et probabilit´es (chaˆınes de Markov)
Exemple
P =
0.3 0.7 0 0 0.5 0 0 0.5 0 0.1 0 0.9
0 0 1 0
7 de 13
L2: cours I4c Graphes et probabilit´es (chaˆınes de Markov)
Classification des ´ etats
On dit qu’on peut atteindre l’´etat Ej `a partir de l’´etat Ei ssi la probabilit´e d’arriver `aEj en partant deEi est strictement positive (il existe un chemin de Ei `a Ej dans G).
D´ efinition
une chaˆıne est dite irr´eductible ssi tout ´etat peut ˆetre atteint `a partir de n’importe quel autre ´etat (G est fortement connexe).
Ex pr´ec´edent : la chaˆıne est irr´eductible
8 de 13
L2: cours I4c Graphes et probabilit´es (chaˆınes de Markov)
Classification des ´ etats
D´ efinition
I Un ´etat Ei est absorbant si le seul arc sortant de Ei est une boucle (´etiquet´ee 1).
I Une chaˆıne de Markov est absorbante ssi : - il y a au moins un ´etat absorbant
- de tout ´etat non absorbant, on peut atteindre un ´etat absorbant.
Proposition
Pour toute chaˆıne absorbante, la probabilit´e de se trouver dans un
´etat absorbant au temps t tend vers 1 quand t tend vers l’infini (quel que soit l’´etat de d´epart).
9 de 13 L2: cours I4c Graphes et probabilit´es (chaˆınes de Markov)
Classification des ´ etats
D´ efinition
Un ´etat Ei est ditpersistant our´ecurrentsi la probabilit´e que, parti de Ei le syst`eme y revienne est ´egale `a1. Sinon il est transitoire.
En terme de graphes, Ei est persistant ssi il fait partie d’un circuit duquel on ne peut sortir (donc un circuit ou tous les arcs on une
´
etiquette ´egale `a 1).
Th´ eor` eme
Tous les ´etats d’une chaˆıne irr´eductible sont du mˆeme type (soit persistants soit transitoires).
10 de 13
L2: cours I4c Graphes et probabilit´es (chaˆınes de Markov)
R´ egime permanent
Soit qi(n) la proba (inconditionnelle) que la chaˆıne soit dans l’´etat Ei `a l’instant n.
Soit pij(n) la proba de passer de l’´etat Ei `a l’´etat Ej en n ´etapes.
Proposition
Les p(n)ij sont les coefficients de la matrice Pn obtenue en multipliant n fois la matrice P par elle mˆeme.
Proposition
∀i = 1. . .r, qj(n) =Pr
i=1qipij(n),
Sous forme matricielle : Qn =QPn o`u Q est le vecteur constitu´e des qi, i = 1. . .r Qn =QPn.
11 de 13
L2: cours I4c Graphes et probabilit´es (chaˆınes de Markov)
Exemple
P = 1
3 2 3
1 0
et soit Q = (12 12). On a
P2 = 7
9 2 1 9 3
2 3
et donc Q2 = (59 49). On a donc un peu plus de chance d’ˆetre dans l’´etat z´ero que dans l’´etat un `a l’instant 2.
12 de 13
L2: cours I4c Graphes et probabilit´es (chaˆınes de Markov)
Chaˆıne ergodique
QuandP∗ = limn→∞Pn existe, la chaˆıne est dite ergodique. On dit encore qu’il existe un r´egime permanent Q∗ =QP∗.
Rem : il existe des m´ethodes pour calculer, dans certains cas, P∗ `a l’aide des valeurs propres en utilisant les s´eries g´en´eratrices.
Ex pr´ec´edent :
P∗ = 6
10 4 6 10 10
4 10
et donc Q∗ = (106 104).
13 de 13
