Mesures stationnaires et mesures reversibles

Soit E = ^fi;j;:::^g un ensemble ni. Soit P = (pij) la matrice de transition d'une cha^ne de Markov homogene sur l'ensemble niE(voir 3.1.2). La somme des coecients de chaque ligne deP vaut 1. Autrement dit, le vecteur

11

^E dont toutes les coordonnees valent 1 est vecteur propre de P, associe a la valeur propre 1. Donc 1 est egalement valeur propre de ^tP. Les mesures de probabilite, vecteurs propres de ^tP associes a la valeur propre 1 sont les etats d'equilibre de la cha^ne.

Denition 4.1

^{Soit p = (p}i)i²E une mesure de probabilite sur E. On dit que p est une mesure stationnaire de la cha^ne de Markov de matrice de transition P, ou que la matrice P est p-stationnaire, si

tP p = p :

Il faut comprendre cette denition par reference a la proposition 3.3. Soit (Xn);n²IN une cha^ne de Markov de matrice de transition P. Supposons que la loi deX⁰ soit une mesure stationnaire p, alors pour tout n 1, la loi de Xn est encore p (d'ou le nom

87

de mesure stationnaire). On demontre que toute matrice de transition admet au moins une mesure stationnaire. La reversibilite est un cas tres particulier de stationnarite.

Denition 4.2

^Soit p = (pi)i²E une mesure de probabilite sur E. On dit que p est une mesure reversible pour la cha^ne de Markov de matrice de transition P, ou que la matrice P est p-reversible, si

pipij = pjpji; ⁸i;j ²E : (4.1) Le livre de Kelly [49] est une bonne reference generale sur la reversibilite et ses appli-cations. La relation (4.1) s'appelle condition de bilan detaille. Observons tout d'abord qu'une mesure reversible est necessairement stationnaire. En eet si on somme par rapport a j l'equation (4.1), on obtient

pi = ^X

j²E pjpji ; ⁸i²E ; qui est la condition de stationnarite.

Sipest une mesure reversible et si la loi de Xm est p, alors non seulement la loi de Xm⁺¹ est encore p (stationnarite), mais on a :

IP[Xm =i etXm⁺¹ =j] = IP[Xm =j et Xm⁺¹ =i]:

C'est la raison pour laquelle on parle de mesure reversible. Soit P une matrice de transitionp-reversible. Soienti etj deux etats tels que pi >0 et pj = 0. Alors pij = 0.

Donc la restriction de P a l'ensemble des etats itels que pi >0 est encore une matrice de transition, qui est reversible par rapport a la restriction de pa son support. Quitte a reduire l'espace d'etats, on peut donc se ramener au cas ou la mesure reversible pest strictement positive (pi >0;⁸i²E). C'est ce que nous supposerons desormais.

La condition de bilan detaille (4.1) s'ecrit sous une forme matricielle qui nous sera tres utile par la suite. Soit p = (pi)i²E une mesure de probabilite strictement positive sur E. Notons Dla matrice diagonale dont le coecient d'ordre (i;i) est ^ppi.

D = Diag( (^ppi ); i²E ):

On verie immediatement que la matrice de transitionP estp-reversible si et seulement si la matrice DPD ¹ est symetrique.

Pour donner des exemples de cha^nes admettant une mesure reversible, nous com-mencons par observer qu'on peut toujours \symetriser" une matrice de transition ad-mettant p comme mesure stationnaire, pour la rendre p-reversible.

Proposition 4.3

^{Soit P} une matrice de transition et p = (pi)i²E une mesure sta-tionnaire pour P, telle que pour tout i, pi > 0. Soit P la matrice D ^2tPD², et Q = (P + P)=2. Alors les matrices P et Q sont des matrices de transition, P est p-stationnaire et Q est p-reversible.

La matriceP est celle de l'adjoint de l'operateur de matriceP dansL²(p). Une matrice de transitionP est p-reversible si l'operateur est auto-adjoint dans L²(p). Par souci de

88

simplicite, nous avons choisi de nous en tenir a une presentation matricielle elementaire, m^eme si beaucoup de resultats s'ecrivent de maniere beaucoup plus elegante avec le formalisme de l'analyse hilbertienne.

L'observation suivante est immediate, mais elle contient bon nombre d'applications.

Proposition 4.4

Supposons queP soit une matrice de transition symetrique, alors P admet la loi uniforme sur E comme mesure reversible.

Exemple :

Marches aleatoires symetriques.

Supposons E muni d'une structure de graphe non oriente G = (E;A), ou A designe l'ensemble des ar^etes :

A^nfi;j^g; i;j²E^o: Soit r le degre maximal d'un sommet du graphe.

r = max_i

2E

n

fj ²E : ^fi;j^g2A^go;

ou ^j:^j designe le cardinal d'un ensemble ni. Denissons la matrice de transition P = (pij) par

pij = 1r ^sifi;j^g2A ;

= 0 si^fi;j^g2= A ;

les coecients diagonaux etant tels que la somme des elements d'une m^eme ligne vaut 1. La cha^ne de Markov de matrice de transition P s'appelle marche aleatoire symetrique sur le graphe G. La matrice P est, a une transformation pres, ce que les combinatoriciens nomment le laplacien du graphe G (voir [11]). Cet exemple est a rapprocher de la proposition 3.6.

Il existe une analogie etroite entre les cha^nes de Markov symetriques et les reseaux electriques (voir [28]). Les etats deEsont vus comme les sommets d'un reseau, relies par des lignes electriques. L'analogue de la probabilite de transition pij est la conductance (inverse de la resistance) de la ligne reliant i a j.

Des criteres pour verier si une matrice de transition donnee admet ou non une mesure reversible ont ete donnes par Kolmogorov (voir [49]). Nous nous interesserons plut^ot ici a la construction d'une matrice de transition p-reversible, quand p est une mesure donnee. Voici une methode generale.

Proposition 4.5

^{Soit Q= (q}ij) une matrice de transition sur E, veriant qij >0 =⁾ qji >0; ⁸i;j ²E :

Soitp= (pi)i²E une loi de probabilite strictement positive surE. Denissons la matrice de transition P = (pij) de la facon suivante : pour i⁶=j

pij = qij min

(pjqji

piqij ; 1

)

si qij ⁶= 0;

= 0 sinon: ^(4.2)

89

Les coecients diagonaux sont tels que la somme des elements d'une m^eme ligne vaut 1.

La matrice de transition P est p-reversible.

On peut voir la proposition ci-dessus comme une extension de la methode de rejet qui permet de simuler une loi de probabilite quelconque a partir d'une autre. Dans la proposition 4.5, la matriceQs'appellematrice de selection. L'algorithme correspondant porte le nom d'algorithme de Metropolis.

InitialiserX

t 0

Repeter

i X

choisir j avec probabiliteqij

(pj qji)=(piqij) Si (1) alors

X j

Sinon

Si (Random < ) alors

X j

nSi nSi t t+1

Jusqu'a (arr^et de la simulation)

Tel qu'il est ecrit, cet algorithme n'est evidemment pas optimise. Dans la plupart des applications, la matrice de transition Q est symetrique, ce qui simplie le calcul du coecient de rejet (remarquer qu'il vaut mieux dans ce cas tester si pj < pi avant de faire le calcul de ). Tres souvent, l'espace des etats est naturellement muni d'une structure de graphe deduite du contexte d'application, et on choisit alors pour Q la matrice de transition de la marche aleatoire symetrique sur ce graphe.

Exemple :

Ensemble des stables d'un graphe.

Soit G = (S;B) un graphe ni non oriente, dont S est l'ensemble des sommets et B SS l'ensemble des ar^etes. On considere l'ensemble E des stables de ce graphe.

Un sous-ensemble R de S est dit stable si

8x;y ²R ; ^fx;y^g2= B :

L'algorithme suivant simule une cha^ne de Markov irreductible et aperiodique qui admet la loi uniforme sur E pour mesure reversible.

R ^;

t 0

Repeter

choisir x au hasard dans S Si (x²R)

90

alors R R^nfx^g sinon

Si (⁸y²R; ^fx;y^g2= B) alors R R^[fx^g nSi nSi

t t+ 1

Jusqu'a (arr^et de la simulation)

L'ensemble des stables E est un sous-ensemble de l'ensemble E⁰ de tous les sous-ensembles deS.E⁰ est naturellement muni d'une structure de graphe (hypercube), pour laquelle deux sous-ensembles sont voisins s'ils dierent en un seul element. L'algorithme ci-dessus simule la marche aleatoire sur cet hypercube (a chaque pas on choisit un element de S au hasard, on le rajoute a l'ensemble courant s'il n'y etait pas, on le retranche sinon). Pour obtenir une marche aleatoire symetrique sur l'ensemble des stables, il sut d'imposer la contrainte que l'on ne peut rajouter un elementxaRque si R^[fx^g est encore stable.

Supposons maintenant que l'on veuille simuler la loi de probabilite sur E telle que la probabilite de tout stable R est donnee par

pR = 1Z ^jRj;

ou est un reel strictement positif, et Z = ^PR²E^jRj. Il est inutile de calculer la constante de normalisation Z pour appliquer l'algorithme de Metropolis (proposition 4.5). Pour >1, l'algorithme est le suivant (on le modierait de maniere evidente pour <1).

R ^;

t 0

Repeter

choisir x au hasard dans S Si (x²R)

alors

Si (Random <1=)alors R R ^fx^g sinonnSi

Si (⁸y²R; ^fx;y^g2= B) alors R R^[fx^g nSi nSi

t t+ 1

Jusqu'a (arr^et de la simulation)

Dans la section suivante, nous decrivons une premiere application des methodes MCMC au denombrement de grands ensembles.

91

Dans le document en economie et en nance (Page 91-96)