M´ethodes Formelles Approche Probabiliste

M´ethodes Formelles Approche Probabiliste

Arnaud Sangnier IRIF - Universit´e de Paris

Cours 7

Propri´et´es d’accessibilit´e

• On consid`ere une chaˆıne de Markov M = (S, P, s _in , PA, L) et un ensemble B ✓ S

• B peut ˆetre soit un ensemble de ’mauvais ´etats’ qui doivent ˆetre visit´es avec une faible probabilit´e ou un ensemble de ’bons ´etats’

`a atteindre avec une forte probabilit´e

• ´Etant donn´e un ´etat s 2 S, on va voir comment calculer

automatiquement P M (s | = FB)

Exemple - I

d

.

Onveatcalake

t -

PIsint-fh.si/%femoE.pa@.CalaldelPnNoCylf Int ⁾

oitn-sinenvoilpadnenooilhliri.0nlnllylhinll.fi/n.Fodr

pomn-hicylftnhcykhnt-0.onclpnhink-rlire.tn?.oPnhykInl

)

.

Toking.nu?.ofToI a

item . ÷ .÷=e

Calcul de P M (s | = FB) - I

• Pour s 2 S, on note x s = P M (s | = FB)

• Si s 2 B alors x _s = 1

• Si il n’existe pas de chemin entre s et un ´etat de B, alors x _s = 0

• On consid`ere _⇠

S = { s 2 S \ B | 9 s ₀ . . . s _k 2 CheminFin(M , s) tel que s _k 2 B }

• S: les ´etats hors de ^⇠ B `a partir desquels il existe un chemin vers B

• Pour s 2 ^⇠ S, on a : x s = X

t2 ^⇠ S

P(s, t ) · x t + X

u2B

P(s, u)

Calcul de P M (s | = FB) - II

• Le vecteur ~ x = (x s )

s2 ^⇠ S est la solution du syst`eme d’´equations :

~ x = A · ~ x + ~ b

• o`u A est la matrice carr´ee telle que `a la ligne s et `a la colonne t (pour s , t 2 ^⇠ S), on a P(s , t)

• et ~ b = (b s ) _s

2 ^⇠ S avec b s = P

u 2 B P(s, u) (probabilit´e d’atteindre B en un coup depuis s)

• Ainsi ~ x est la solution du syst`eme d’´equation lin´eaire : (I A) · ~ x = ~ b

• o`u I est la matrice identit´e

• Pour trouver x _s , il n’y a plus qu’`a r´esoudre le syst`eme

Exemple - I

d

.

On tend ^B :L ^limit

t -

On a day

⇒%empa⑨ ^I

^Isin

^envoi

^{pack )}

k uptime ^{d ' equation est ;} Xs in ⁼ Xenia

fxenni.to ^{X perdu} eight ⁱ Xenon ^{% - /} %) ! !

^innate ! ^/

La violation ^donne _resin

Kenai

^{t perdu =D}

Exemple - II

Retour _sue la simulation ^du di i 6 faces arcane piece

? ^{Ii I ④ h \ , . . O B sina.sr.us a =D pad h}

' it ^{'t ' '}

titi

' e ④ ④ ④ ^④ ne ^{④ o .}

Exemple - III

Et ^le uptime ^{d ' i} gratin

_pom E. _Iso

. so . s _s

.

so )

x ne Ihr

hi

K ^{his t} to ^{Xs ,}

¢ ^{, = z He Amis t resolution trick . on offiah}

"

so

I ku x

so if etxs

Accessibilit´e contrainte - I

• Qu’en est-il pour v´erifier P M (s | = AUB) avec A, B ✓ S ?

• On veut atteindre un ensemble B en passant uniquement par un ensemble A.

• On proc`ede de la mˆeme fac¸on, en notant y s = P M (s | = AUB)

• Si B n’est pas accessible depuis s en ne passant que par des

´etats de A, on a y _s = 0

• Si s 2 B, on a y s = 1

• On note:

• S =1 = B

• S =0 = {s 2 S \ B | ¬9s 0 . . . s k 2 CheminFin(M , s) tel que s k 2 B et s i 2 A pour tout i 2 { 0, . . . , k 1 }}

• S =? = S \ (S 1 , S =0 )

Accessibilit´e contrainte - II

• Comme pr´ec´edemment, on pose alors ~ y = (y s ) _{s2S =?}

• ~ y est la solution du syst`eme d’´equations :

~ y = A · ~ y + ~ b

• o`u A est la matrice carr´ee telle que `a la ligne s et `a la colonne t (pour s, t 2 S =? ), on a P(s, t)

• et ~ b = (b s ) s2S _=? avec b s = P

u 2 B P(s , u) (probabilit´e d’atteindre B en un coup depuis s)

• L`a encore, il suffit de r´esoudre un syst`eme d’´equations.

Correction - I

• Il est clair que ~ x = (x s )

s2 ^⇠ S est solution du syst`eme ~ x = A · ~ x + ~ b

• Mais ce syst`eme admet-il une unique solution ? OUI

• On montre que si A · ~ x = ~ x alors ~ x = ~ 0

• Et du coup si on a deux solutions ~ x et ~ y au syst`eme, alors on a A · (~ y ~ x ) = ~ y ~ x d’o`u l’on d´eduit ~ x = ~ y .

Il faut donc montrer que si si A · ~ x = ~ x alors ~ x = ~ 0.

• On raisonne par contradiction et on suppose qu’il existe ~ x 6 = ~ 0 tel que A · ~ x = ~ x .

• On prend M = max

s2 ^⇠ S ( | x s | ) et on d´efinit T = { s 2 S ^⇠ | | x s | = M }

• Comme ~ x 6 = ~ 0, on a M > 0 et de plus on a T ✓ S ^⇠ = { s 2 S \ B |

9 s 0 . . . s _k 2 CheminFin(M , s) tel que s _k 2 B } et T 6 = ;

Correction - II

• Pour s 2 T , on a : M = | x s |  X

t2 ^⇠ S

P(s, t ) | x t |  M · X

t2 ^⇠ S

P(s, t)  M

• Donc M = M · P

t2 ^⇠ S P(s, t) et comme M > 0, on a P

t2 ^⇠ S P(s, t) = 1 et | x t | = M for all t 2 S ^⇠ tel que P(s, t ) > 0.

• Par cons´equent, si s 2 T , alors pour tout t 2 S tel que P(s, t) > 0, on a t 2 T .

• Donc si s ₀ s ₁ . . . s _k 2 CheminFin(M , s) avec s 2 T , on a s _i 2 T pour tout i 2 { 0, . . . , k }

• Mais B \ T = ; car T ✓ S ^⇠

• Donc tout chemin fini partant de T ne visite jamais B, mais comme T ✓ ^⇠ S et que pour tout ´etat dans S ^⇠ il existe un chemin visitant B, on en d´eduit que T = ; ) CONTRADICTION

• Par cons´equence si A · ~ x = ~ x alors ~ x = ~ 0