M´ethodes Formelles Approche Probabiliste
Arnaud Sangnier IRIF - Universit´e de Paris
Cours 8
Propri´et´es qualitatives
• On compare la probabilit´e d’un ´ev´enement avec>0 ou=1
• Par exemple :
• A-t-onPM(s|=FGB)>0 ?
• A-t-onPM(s|=FB) =1 ?
• On va voir que pour les chaˆınes de Markov avec un nombrefini d’´etats, les propri´et´es qualitatives d´ependent seulement du
’graphe’ de la chaˆıne de Markov et pas des probabilit´es
• Attention :Cela n’est plus vrai pour les chaˆınes de Markov avec un nombre infini d’´etats !
Notions de graphes sur les chaˆınes de Markov
SoitM = (S,P,sin,PA,L)une chaˆıne de Markov (avecSfini).
• Un ensembleT ✓Sestfortement connexessi pour toute paire d’´etats(s,t)2T⇥T il existe un chemin finis0. . .sntelle que si 2T pour tout 0i nets0=setsn=t.
T est appel´ee unecomposante fortement connexe(CFC)
• UneCFC puits(CFCP) est une CFC T dont on ne peut pas sortir. C’est-`a-dire, pour touts2T, on aP
t2TP(s,t) =1.
• Un ´etats2Sest ditabsorbantsiP(s,s) =1. Un ´etat absorbant est une CFCP.
Notations :
• CFC(M) ={T ✓S|T est une CFC}
• CFCP(M) ={T ✓S|T est une CFCP}
Exemple
'
Un petit r´esultat
Lemme
SiT,T02CFCP(M)etT 6=T0alorsT \T0 =; Preuve :
• SoientT,T02CFCP(M)telles queT 6=T0etT \T06=;.
• Soits2T \T0 ets0 2T\T0 (si il n’y a pas de telles0on inverse T etT0)
• Commes02T, il existe un chemin desverss0, mais du coup ce chemin part deT0 et sort deT0
• Contradiction avecT02CFCP(M)
Observer les ´etats qui se r´ep´etent
SoitM = (S,P,sin,PA,L)une chaˆıne de Markov (avecSfini).
• Si⇡=s0s1. . .est une ex´ecution deM(un chemin infini partant
desinalors on note :
inf(⇡) ={s2S| |{i 2N|si =s}|est infini}
inf(⇡)sont les ´etats qui apparaissent infiniment souvent dans⇡
• PourT ✓S, l’ensemble{⇡2Exec(M)|inf(⇡) =T}est mesurable
• En effet,{⇡2Exec(M)|inf(⇡) =T}=T
t2TGF{t}\FGT
• De mˆeme{⇡2Exec(M)|inf(⇡)2CFCP(M)}est mesurable
• En effet,{⇡2Exec(M)|inf(⇡)2CFCP(M)}=S
T2CFCP(M){⇡2 Exec(M)|inf(⇡) =T}
Propri´et´e fondamentale
• Elle nous dit que siM a un ensemble fini d’´etats l’ensemble des ex´ecutions⇡telles queinf(⇡)2CFCP(M)est de mesure 1
• En d’autres termes, presque toutes les ex´ecutions finissent dans une CFCP deM (et celles qui ne finissent pas dedans ont une probabilit´e 0)
Th´eor`eme
SiM est une chaˆıne de Markov avec un nombre fini d’´etats, alors : PM(⇡2Exec(M)|inf(⇡)2CFCP(M)) =1
Preuve - I
• CommeM est fini, on a Exec(M) =S
T2CFC(M){⇡2Exec(M)|inf(⇡) =T}(dans un graphe fini tout chemin infini finit dans une CFC).
• De plus, siT 6=T0 alors
{⇡2Exec(M)|inf(⇡) =T}\{⇡2Exec(M)|inf(⇡) =T0}=;
• Donc
PM(Exec(M)) =1=P
T2CFC(M)PM(⇡2Exec(M)|inf(⇡) =T)
• Le probl`eme est que nous int´eressons au CFCP et non au CFC, il faut donc montrer que siT 2CFC(M)\CFCP(M)alors PM(⇡2Exec(M)|inf(⇡) =T) =0.
Preuve - II
• SoitT 2CFC(M)\CFCP(M). Il existe donct 2T et¯t2/ T tels quek =P(t,¯t)>0
• On note alorsTnt l’ensemble des ex´ecutions qui visitenttau moinsnfois qui ne vont jamais dansS\T.
• On a alorsPM(T1t)(1 k)etPM(Tnt)(1 k)n
• On noteT1t =T
n 1Tnt. Il s’agit des ex´ecutions o`ut est vue infiniment souvent maisS\T n’est pas vu.
• On aPM(T1t )limn!+1(1 k)n=0.
• Mais du coup on a que{⇡2Exec(M)|inf(⇡) =T}✓T1t .
• Par cons´equencePM(⇡2Exec(M)|inf(⇡) =T)PM(T1t ) =0
• On a de plus :
PM(Exec(M)) =1=
PT2CFCP(M)PM(⇡2Exec(M)|inf(⇡) =T)+
PT2CFC(M)\CFCP(M)PM(⇡2Exec(M)|inf(⇡) =T)
• D’o`uPM(⇡2Exec(M)|inf(⇡)2CFCP(M)) =1
Accessibilit´e presque s ˆure
• SoitM = (S,P,sin,PA,L)une chaˆıne de Markov (avecSfini).
• Pours2S, on d´enote parpost⇤(s)l’ensemble {t 2S| il existe un chemin fini desverst}
• post⇤(s)sont les ´etats que l’on peut atteindre depuiss(y compriss)
• etpre⇤(t) ={s2S|t2post⇤(s)}
• pre⇤(t)sont les ´etats depuis lesquels on peut atteindres
• Pour un ensembleT ✓S, onpost⇤T =S
t2Tpost⇤(t)et pre⇤T =S
t2Tpre⇤(t)
Th´eor`eme
Pours2SetB✓Sun ensemble d’´etats absorbants (pour toutt 2B, on aP(b,b) =1), les trois propri´et´es suivantes sont ´equivalentes :
1 PM(sin|=FB) =1
post⇤(t)\B6=;pour toutt 2post⇤(s )
b
Preuve - I
• 1)2. Par contradiction.
• Soitt2post⇤(sin)tel quepost⇤(t)\B=;. DoncBn’est accessible depuist.
• AlorsPM(sin|=FB)1 PM(sin|=Ft)
• Commet2post⇤(sin), on aPM(sin|=Ft)>0, d’o`u PM(sin|=FB)<1
• 2,3. Les points suivants sont ´equivalents:
• post⇤(t)\B6=;pour toutt2post⇤(sin)
• post⇤(sin)✓pre⇤(B)
• post⇤(sin)\S\pre⇤(B) =;
• sin2/pre⇤(S\pre⇤(B))
• sin2S\pre⇤(S\pre⇤(B))
Preuve - II
• 2)1.
• Supposons quepost⇤(t)\B6=;pour toutt2post⇤(sin).
• Comme les ´etats deBsont absorbants, on a : CFCP(M) =[
t2B
{{t}}[ [
T2CFCP(M),T\B=;
{T}
• Montrons quePM(sin|=FB) =1
• SoitT 2CFCP(M)tel queT\B=;
• SiPM(sin|=FT)>0, alors il existe une ex´ecution qui fini dansT (carT 2CFCP(M)). Prenons un ´etatsdansT de cette ex´ecution.
Alorspost⇤(s)\B=;ets2post⇤(sin)Contradiction.
• DoncPM(sin|=FT) =0
• D’o`u 1=PM(⇡2Exec(M)|inf(⇡)2CFCP(M)) =P
t2BPM(⇡2 Exec(M)|inf(⇡) ={t})) =P
t2BPM(sin|=Ft) =PM(sin|=FB)
En franc¸ais + Exemple
• speut atteindre presque sˆurement un ensemble d’´etats absorbantsBssi depuisson ne peut pas atteindre d’´etatst depuis lesquelsBn’est pas accessible.
a
P
a \ '
f ¥7
- ⑨O on
Plot FB ) -1 Pls E FB) 51
En pratique
Comment calculer l’ensemble d’´etatss2Stels que PM(s|=FB) =1pour unB✓S
1 Transforme tous les ´etats deBen ´etat absorbant. On obtient une nouvelle chaˆıne de MarkovMB.
2 Calculer l’ensembleS\pre⇤(S\pre⇤(B))
3 L’ensemble obtenu est celui recherch´e
Accessibilit´e r´ep´et´ee presque s ˆure
• SoitM = (S,P,sin,PA,L)une chaˆıne de Markov (avecSfini).
Th´eor`eme
Pours 2Set B ✓Sun ensemble d’´etats , les deux propri´et´es suiv- antes sont ´equivalentes :
1 PM(sin|=GFB) =1
2 T \B6=;pour chaque CFCPT telle queT ✓post⇤(sin)(ie accessible depuissin)
Preuve - I
• 1)2. Par contradiction,
• Supposons qu’il existeT 2CFCP(M)telle queT\B=;et T ✓post⇤(sin)
• Alors il existe une ex´ecution desinversT (qui reste toujours dans T ensuite carT 2CFCP(M)). Prenonssun ´etat deT sur cette ex´ecution.
• On aPM(s|=GFB) =0 (carT \B=;)
• EtPM(sin|=GFB)1 PM(sin|=Fs).
• mais commesest accessible depuissin, alorsPM(sin|=Fs)>0.
d’o`uPM(sin|=GFB)<1
Preuve - II
• 2)1.
• On a 1=PM(⇡2Exec(M)|inf(⇡)2CFCP(M))
• etPPM(⇡2Exec(M)|inf(⇡)2CFCP(M)) =
T2CFCP(M),T✓post⇤(sin)PM(⇡2Exec(M)|inf(⇡) =T)
• Mais on a aussiPM(sin|=GFB) =PM(⇡2Exec(M)|inf(⇡)✓B) = PM(⇡2Exec(M)|9T2CFCP(M).inf(⇡) =TetT \B6=;)
• Cette derni`ere ´egalit´e est du au fait que les chemins ne finissant pas dans une CFCP ont une probabilit´e nulle
• Mais du coup
PM(sin|=GFB) = X
T2CFCP(M) T✓post⇤(sin),T\B6=;
PM(⇡2Exec(M)|inf(⇡) =T)
• Mais commeT ✓post⇤(sin)impliqueT\B6=;(par 2) alors, on a : PM(sin|=GFB) = X
T2CFCP(M) T✓post⇤(sin
PM(⇡2Exec(M)|inf(⇡) =T) =1
En pratique
Comment calculer l’ensemble d’´etatss2Stels que PM(s|=GFB) =1pour unB✓S
1 On calcule les CFCP deM
2 On aPM(s|=GFB) =1 ssi il n’y a pas de CFCPT deM atteignable depuisset telle queT\B=;
Une autre application
• Nous avons vu que tous les chemins finissent presque sˆurement dans une CFCP, cela nous permet de calculer la probabilit´e pour l’accessibilit´e r´ep´et´ee en utilisant le calcul pour l’accessibilit´e
• Il faut aussi remarquer que quand on rentre dans une CFCP, alorstous les ´etatsde la CFCP seront visit´es presque sˆurement (avec probabilit´e 1)
Th´eor`eme
SoitM = (S,P,sin,PA,L)une chaˆıne de Markov (avecS fini),B✓S etU=S
T2CFCP(M),T\B6=;T alors
PM(sin|=GFB) =PM(sin|=FU)
• Donc pour calculerPM(sin|=GFB), on peut se servir de la m´ethode avec syst`eme lin´eaire permettant de calculer PM(sin|=FU)vue au cours pr´ec´edent
Un dernier point
• De mˆeme on aPM(sin|=FGB) =1 ssiT ✓Bpour chaque CFCP T telle queT ✓post⇤(sin)
• etPM(sin|=FGB) =PM(s|=FV)avecV =S
T2CFCP(M),T✓BT