Estimation par plug-in du taux d'entropie d'un processus markovien de sauts à espace d'état fini

HAL Id: inria-00386587

https://hal.inria.fr/inria-00386587

Submitted on 22 May 2009

HAL is a multi-disciplinary open access archive for the deposit and dissemination of sci- entific research documents, whether they are pub- lished or not. The documents may come from teaching and research institutions in France or

L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de recherche français ou étrangers, des laboratoires

Estimation par plug-in du taux d’entropie d’un processus markovien de sauts à espace d’état fini

Philippe Regnault

To cite this version:

Philippe Regnault. Estimation par plug-in du taux d’entropie d’un processus markovien de sauts à espace d’état fini. 41èmes Journées de Statistique, SFdS, Bordeaux, 2009, Bordeaux, France, France.

�inria-00386587�

proessus markovien de sauts à espae d'état ni

PhilippeRegnault

LaboratoiredeMathématiquesNiolasOresme,UniversitédeCaenBP5186,

14032 CAENedex

Résumé

L'entropie d'une loi à valeurs dans un ensemble ni est largement utilisée dans

toutes lesappliations impliquant desvariablesaléatoires. L'équivalentnaturel pour

unproessusaléatoireestsontauxd'entropie,s'exprimantommeunefontiondela

probabilité invarianteetdugénérateurpourunproessusmarkoviendesautshomo-

gène,ergodique,àespaed'étatni.

Ononstruitunestimateurparplug-indeetauxd'entropiedansleasdel'obser-

vationd'unetrajetoireduproesssussurunelonguepériodedetemps.Ondémontre

queetestimateuradebonnespropriétésasymptotiques,ilestonvergentetasymp-

totiquementnormal;savarianeasymptotiqueestexpliitedanslaplupartdesas.

Leas des proessusàdeuxétats,partiulièrementliéàl'étudededuréesdevie

oudelaabilitéd'unsystème,faitl'objetd'uneétudenumériquedétaillée.

Abstrat

Theentropyofadistributionwithnitesupportiswidelyusedinall appliations

involvingrandomvariables.Anaturalequivalentfor randomproessesistheentropy

rate. For ergodi pure-jump nite state Markov proesses, this rate is an expliit

funtionoftheasymptotidistributionandtheinnitesimalgenerator.

Weestimatetheentropyratebyplug-infromtheobservationofonelongtrajetory

oftheproess.Thisestimatorisproventobestronglyonsistentandasymptotially

normalwithexpliitvarianeinmostoftheases.

Theaseoftwo-stateMarkovproessess,widelyusedinreliabilityorsurvivaldata

analysisisdetailledandillustrated.

Mots-lés:Statistiquemathématique,statistiquedesproessus,proessusmar-

koviensdesauts,ergodiité,tauxd'entropie,estimationparamétrique.

1 Introdution

L'entropied'uneloi

P

^{surunensembleni}

E

^,

H (P) = − X

x∈E

P (x) log P (x)

^,

aétéintroduiteparShannon[7℄en 1948dansleadrede l'étudedesodesde

ompression :ilamontré quesi

(X

n

)

n∈N ^{est unehaînedeMarkovergodique}

àespaed'étatni,lequotient

1

n

H (P

(X1,...,Xn)

)

^{admetune limite}

H(X )

^lorque

n

^{tend vers l'inni,appeléetaux d'entropie de lahaîne,} représentant letaux deompressionoptimaldeodesdeompression.

outilsstatistiqueomplèteaétédéveloppéeetappliquéedansungrandnombre

dedomaines(voir[3℄).

Lanotiondetauxd'entropieintroduiteparShannons'adapteauxproessus

markoviensdesauts ergodiquesàespaed'étatniommesuit.

Soit

X = (X

t

)

_t∈R+ ^{un proessus markovien de sauts ergodique à valeurs}

dansunensembleni

E

^.Onnote

X

(T)^{larestritionde}

X

^àl'intervalle

[0, T ]

^.

Dénition:

L'entropie partielle de

X

^est

H

T

(X ) = Z

f

X(T)

log f

X(T)

dm

^où

f

X(T) ^{est la}

vraisemblanede

P

X(T) ^{parrapportàune mesuredominante}

m

^.

Le taux d'entropie

H(X)

^de

X

^{est lalimite de} _T¹

H

T

(X )

^lorsque

T

^{tend vers}

l'inni.

0.0 0.2 0.4 0.6 0.8 1.0

12345

Fig.1Unetrajetoired'unproessusdemarkovàinqétats

Une mesuredominante

m

^de

P

X(T) ^{aété onstruite parAlbert dans [1℄ et}

repriseparBadDumitresudans[4℄.Lavraisemblaneassoiéeyestexpliitée,

permettant d'établir une formule expliite du taux d'entropie d'un proessus

de Markov ergodique, fontion de son générateur

A = (a

i,j

)

(i,j)∈E^{2 et de sa}

probabilitéinvariante

π

^,soit

H(X ) = − X

i∈E

π(i) X

j∈E,j6=i

a

i,j

log a

i,j

+ X

i∈E

π(i) X

j∈E,j6=i

a

i,j

.

⁽¹⁾

2 Estimation du taux d'entropie

L'estimationdutauxd'entropied'unehaînedeMarkovaété abordéepar

G. Ciuperaet V. Girardin dans [2℄puis parV. Girardinet A. Sesboüé dans

[5℄.Lesauteursyproposentunestimateurparplug-indutauxd'entropie,basé

surl'estimationdelamatriedetransitiondelahaîneetdesaloistationnaire.

Onadapteiiettedémarheauasd'unproessusàtempsontinu.

Laprobabilité invariante

π

^{d'un proessus de Markovergodique est ara-}

tériséeparl'égalité

π.A = 0

^.Laprobabilitéinvarianteestdonunefontiondu générateur.A. Albertaétablidans[1℄ uneformuleexpliite,préisément

π(i) = a

^(i,i)

P

k∈E

a

^(k,k),

où

a

^{(i,i) estle}

(i, i)

^{-ièmeofateurde}

A

^.

Ce résultat, joint au théorème de Bad Dumitresu, implique que le taux

d'entropieest unefontiondugénérateur,

H(X ) = h(A)

^.

Ononstruitalorsunestimateurparpluginde

H(X )

^,

H b

T

= h( A b

T

)

^,

où

A b

T ^{estunestimateurdu}générateur.

A.Albert([1℄)aonstruitunestimateur

A b

T ^parmaximumdevraisemblane dugénérateurd'unproessusergodique.Expliitement,

A b

T

(i, j) =

 

 

 

 

 



n

T

(i, j)

r

T

(i)

^si

i 6 = j

^et

r

T

(i) 6 = 0, 0

^si

i 6 = j

^et

r

T

(i) = 0,

− X

j6=i

A b

T

(i, j)

^si

i = j.

où

n

T

(i, j)

^{estlenombrede}transitionsdel'état

i

^àl'état

j

^et

r

T

(i)

^estletemps

de séjour en

i

^durant l'intervalle de temps

[0, T ]

^{. Cet estimateur possède de}

bonnespropriétésasymptotiques:

A b

T ^{onvergepresquesûrementvers}

A

^,

√ T

A b

T

− A

_L

→ N (0, Σ

²_A

)

^où

Σ

²_A ^{estune matriediagonaledontleso-}

eientsdiagonauxsont

a

i,j

ρ/a

i,i^,où

ρ

^{estleproduitdesvaleurspropres}

nonnullesde

A

^.

3 Propriétés asymptotiques de l'estimateur

L'estimateur

H b

T

= h( A b

T

)

^{héritealorsdespropriétésde}

A b

T^.

Théorème :Aveslesnotationsdonnéesplushaut,

1.

H b

T ^{est fortementonsistant,soit}

H b

T

p.s.

→ H(X)

^,

2. si ladérivée

D

h

(A)

^de

h

^en

A

^{est non nulle,}

H b

T ^est asymptotiquement normalet devarianeasymptotiqueexpliite, soit

√ T

H b

T

− H(X)

_L

→ N (0, Σ

²_H

)

^où

Σ

²_H

= X

(i,j)∈E²,i6=j

a

i,j

a

^(i,i)

ρ ∂h

∂a

i,j

(A)

2

,

3. Si

D

h

(A) = 0

^,alors

2T

H b

T

− H(X)

_L

−→ X

(i,j)∈E,i6=j

λ

i,j

χ

²

(1)

^,

ave

λ

i,j

= a

i,j

ρ/a

^(i,i).

1. Puisque

A b

T ^{onvergepresquesûrementvers}

A

^etque

h

^estontinue,

H b

T

= h( A b

T

)

^{onvergepresquesûrementvers}

h(A) = H(X )

^.

2.,3. Pourlesditributionsasymptotiques,onproposeladémonstrationduas

partiulierd'unproessusàdeuxétatsdanslasetionsuivante.Leleteur

pourrasereporterà[6℄pourunedémonstrationdansleasgénéral.

Dans le as où

D

h

(A)

^{ne s'annule pas, la variane} asymptotique est une fontionexpliitedugénérateur

A

^,soit

Σ

²_H

= s(A)

^{.Sonestimateurparplug-in}

Σ d

²_{H T}

= s( A b

T

)

^{estfortementonsistant,d'oùlerésultatsuivant.}

Corollaire:Si

D

h

(A) 6 = 0

^alors

√

T ( H b

T

− H(X))/d Σ

H T

−→ N

L

(0, 1)

^.

4 Cas d'un proessus à deux états

Dansle as partiulierd'un proessus àdeux états, onpeutpréiser leré-

sultat duthéorèmepréédentommesuit.

Théorème :

1. Si legénérateur n'estpas uniforme,alors

√ T ( H b

T

− H(X )) → N (0, Σ

²_H

)

quand

T

^{tendversl'inni,}

où

Σ

²_H

= a

1,2

a

2,1

(a

1,2

+ a

2,1

)

³

( − a

1,2

− a

2,1

log(a

1,2

a

2,1

) + a

2,1

)

²

+( − a

2,1

+ a

1,2

− a

1,2

log(a

1,2

a

2,1

)

²

)

.

2. Si le générateur est uniforme, alors

2T (H(X ) − H b

T

) → χ

²

(2)

^quand

T

tendversl'inni.

Démonstration:

1. Ladérivéede

h

^en

A

^{estnullesietseulementsilegénérateurestuniforme}

(

a

1,2

= a

2,1

= 1

^{).Eneet,laformule(1)devient,pour}

n = 2

^,

H(X ) = a

1,2

a

2,1

a

1,2

+ a

2,1

(2 − log(a

1,2

a

2,1

))

où

A =

− a

1,2

a

1,2

a

2,1

− a

2,1

et

a

1,2

, a

2,1

> 0

don

∂h

∂a

1,2

(a

1,2

, a

2,1

) = − a

1,2

a

2,1

+ a

²_2,1

− a

²_2,1

log a

1,2

a

2,1

(a

1,2

+ a

2,1

)

²

,

∂h

∂a

2,1

(a

1,2

, a

2,1

) = − a

1,2

a

2,1

+ a

²_1,2

− a

²_1,2

log a

1,2

a

2,1

(a

1,2

+ a

2,1

)

²

.

Lesystèmed'équations

− a

1,2

a

2,1

+ a

²_2,1

− a

²_2,1

log a

1,2

a

2,1

= 0

− a

1,2

a

2,1

+ a

²_1,2

− a

²_1,2

log a

1,2

a

2,1

= 0

admetpouruniquesolution

(a

1,2

, a

2,1

) = (1, 1)

^.

2. Si

A

^{n'est pas uniforme, le résultat est une onséquenede la méthode}

delta.

3. Si

A

^{est uniforme,un}développementdeTaylorde

h

^àl'ordre

2

^donne

H b

T

− H(X ) = −

¹4

A b

T

(1, 2) − a

1,2

²

+

A b

T

(2, 1) − a

2,1

²

+ o

k A b

T

− A k

²

,

ladérivéeroiséeétantnullepourlegénérateuruniforme.

Or

√ T

_Ab

T(1,2)−a1,2

ΣA(1,2)

,

^AbT_Σ^(2,1)−a2,1

A(2,1)

_L

−→ N (0, Id)

^,don

T



 

A b

T

(1, 2) − a

1,2

²

Σ

²_A

(1, 2) +

A b

T

(2, 1) − a

2,1

²

Σ

²_A

(2, 1)



  −→

^L

χ

²

(2).

Lerésultatendéouleimmédiatementpuisque

Σ

²_A

(1, 2) = Σ

²_A

(2, 1) = 2

^.

Les gures

2

^et

3

^illustrent respetivement la onvergene pontuelle de l'estimateur

H b

T ^{dans le as d'un générateur non uniforme et dans le as du}

générateur uniforme. L'estimateuraété alulé àpartirde lasimulation d'un

proessus de Markovpour unintervallede temps

[0, 5000]

^{.Dans lesdeux as,}

la onvergene est très rapide, d'autant plus que le générateur est prohe du

générateuruniforme(laonvergeneyétantplusrapidepuisqueladérivéeyest

nulle).

0 100 200 300 400 500

0.00.10.20.30.40.5

Index

cvh

Fig. 2 Convergene de

H b

T ^pour

(a

1,2

, a

2,1

) = (2, 3)

0 100 200 300 400 500

0.920.940.960.981.00

Index

cvh

Fig. 3 Convergene de

H b

T ^pour

(a

1,2

, a

2,1

) = (1, 1)

Lesgures

4

^et

5

^illustrentrespetivementlaonvergenedelafontionde répartitionempiriquede

√ T ( H b

T

− H (X))/Σ

H ^{verselled'uneloinormalepour}

leasd'unproessusdegénérateurnonuniformeetlaonvergenedelafontion

de répartitionempirique de

2T ( H b

T

− H(X ))

^{verselle d'uneloidu}

χ

^{2 àdeux}

degrésdelibertépourunproessusdegénérateuruniforme.Danslesdeuxas,

lesfontionsde répartitionempiriques ontété obtenuesaprès lasimulationde

200

trajetoiressurlesintervalles detemps

[0, 1000]

^,

[0, 2000]

^et

[0, 3000]

^.

−4 −2 0 2 4

0.00.20.40.60.81.0

T=1000

x

function(x) pnorm(x) (x)

−4 −2 0 2 4

0.00.20.40.60.81.0

T=2000

x

function(x) pnorm(x) (x)

−4 −2 0 2 4

0.00.20.40.60.81.0

T=3000

x

function(x) pnorm(x) (x)

Fig. 4 Convergene de la fontion de répartition empirique de

√ T ( H b

T

− H (X))/Σ

H ^{verselledelaloinormaleentréeréduitepour}

(a

1,2

, a

2,1

) = (2, 3)

0 1 2 3 4

0.00.20.40.60.8

T=1000

x

function(x) pchisq(x, 2) (x)

0 1 2 3 4

0.00.20.40.60.8

T=2000

x

function(x) pchisq(x, 2) (x)

0 1 2 3 4

0.00.20.40.60.8

T=3000

x

function(x) pchisq(x, 2) (x)

Fig.5Convergenedelafontionderépartitionempiriquede

2T ( H b

T

− H (X))

verselledelaloidu

χ

²

(2)

^pour

(a

1,2

, a

2,1

) = (1, 1)

Référenes

[1℄ A.Albert.EstimatingTheInnitesimalGeneratorofaContiniousTime,

Finite State Markov Proess. Annals of mathematial statistis, Vol. 33,

p.727-753.1962.

[2℄ G.CiuperaandV.Girardin.EstimationoftheEntropyRateofaCoun-

tableMarkovChain.Communiations inStatistis -TheoryandMethods,

Vol.36,p.1-15.2007.

[3℄ T.M.CoverandJ.A.Thomas.ElementsofInformationTheory.Edition

Wiley.1991.

[4℄ M. Bad Dumitresu. Some Informational Properties of Markov Pure-

Jump Proesses. Casopis Pro Pestovani Matematiky Vol. 4, p. 429-434.

1986.

[5℄ V.GirardinandA.Sesboüé.ComparativeConstrutionofPlug-inEsti-

matorsoftheEntropyRateofTwo-stateMarkovChains.Aparaîtredans

Methodology andComputingin Applied Probability.2009.

[6℄ P. Regnault. Etude et estimation dutaux d'entropie d'un proessus de

Markov.Mémoirede nde master.UniversitéParis-Sud.2008.

[7℄ C.E.Shannon.AMathematialTheoryofCommuniation.TheBellSys-

temTehnial Journal Vol.27,p. 379-423,623-656.1948.