Distribution de maximum d'entropie de moyenne contrainte

HAL Id: inria-00180739

https://hal.inria.fr/inria-00180739

Submitted on 24 Oct 2007

HAL is a multi-disciplinary open access

archive for the deposit and dissemination of

sci-entific research documents, whether they are

pub-lished or not. The documents may come from

teaching and research institutions in France or

abroad, or from public or private research centers.

L’archive ouverte pluridisciplinaire HAL, est

destinée au dépôt et à la diffusion de documents

scientifiques de niveau recherche, publiés ou non,

émanant des établissements d’enseignement et de

recherche français ou étrangers, des laboratoires

publics ou privés.

Distribution de maximum d’entropie de moyenne

contrainte

Pierre Dangauthier

To cite this version:

Pierre Dangauthier.

Distribution de maximum d’entropie de moyenne contrainte.

[Rapport de

a p p o r t

d e r e c h e r c h e

IS

S

N

0

2

4

9

-6

3

9

9

IS

R

N

IN

R

IA

/R

R

--6

2

7

9

--F

R

+

E

N

G

Thème NUM

INSTITUT NATIONAL DE RECHERCHE EN INFORMATIQUE ET EN AUTOMATIQUE

Maximum Entropy Distribution with Constrained

Mean

Pierre Dangauthier

N° 6279

Unité de recherche INRIA Rhône-Alpes

655, avenue de l’Europe, 38334 Montbonnot Saint Ismier (France)

Téléphone : +33 4 76 61 52 00 — Télécopie +33 4 76 61 52 52

Pierre Dangauthier

∗

ThèmeNUMSystèmesnumériques ProjetE-motion

Rapportdere her he n°6279Août20078pages

Abstra t: Thisnotepresentsthederivationofthemaximumentropydistributionofareal variableontheunitsegment,when itsrstmomentis onstrained. Thefun tional formof theresulting distributionis an exponentialwith twoLagrange multipliers. We show that there isuniquesolutionfor thosemultipliers. Howeverthis solutionhasto be numeri ally approximated. As a spe ial ase, wend the uniform distribution when the onstrained meanis entered.

Key-words: probability,bayes,maximumentropyprin iple

∗

ontrainte

Résumé : Cettenote présente la dérivation dela distribution d'entropie maximaleet de moyennexéepourunevariable réelledansl'intervalleunité. Lasolutionest unefon tion exponentielleave deuxmultipli ateursdeLagrange. Nousmontronsqu'ilexisteuneunique solutionpour esmultipli ateursquelque soitla ontrainte. Cependant ette solutiondoit êtreapproximéenumériquement. En parti ulier,lorsque lamoyenneimposéeest undemi, nousobtenonsladistributionuniforme.

1 Système d'équation

Soit

X

une variablealéatoireréelleàvaleurdans

[0, 1]

. Soit

m

= E

p

[X] ∈ [0, 1]

l'espéran e de sa distributionde probabilité

p

. Nous her hons la distribution maximisant l'entropie diérentielledénie par:

H(p) = −

Z

1

0

p(x) ln p(x) dx.

(1)

Comme

p

doitêtrenormalisée,lesdeux ontraintessont:

E

p

[1] =

Z

1

0

p(x) dx = 1

(2)

E

p

[X] =

Z

1

0

x p(x) dx = m.

(3)

Lelagrangienàmaximiserest :

H[p] + λ

0

Z

1

0

p(x) dx − 1



+ λ

1

Z

1

0

x p(x) dx − m



(4)

Alorsle al ulvariationnelnousdonne

p

ommelasolutiondusystème

S

:























p(x) = e

λ

0

+λx

Z

1

0

p(x) dx = 1

Z

1

0

x p(x) dx = m.

2 Solution générale

Levaleurdu ouple

(λ

0

, λ)

est xéeparlesdeuxéquationsintégrales. Noustrouvonsaprès uneétudede as

λ

0

= ln



λ

e

λ

_{− 1}



ave

λ

uniquesolutionde

m

=

e

λ

e

λ

_{− 1}

−

1

λ

.

Leproblèmeestquelafon tion

M

(λ) =

e

λ

e

λ

_{− 1}

−

1

λ

n'estpasinversibleanalytiquement. Don ,endehorsdu as

m

=

1

2

traitédanslase tion3, nousdevronstrouver

(λ

0

, λ)

defaçonnumérique. Cependant, e oupleexisteet estunique arlafon tionM(voir ourbe1)est bije tivede

R

∗

dans

[0,

1

2

[ ∪ ]

1

2

,

1]

.

Cette bije tion, démontrée dans lase tion 5, est ohérente ave l'existen eet l'uni ité deladistributiondemaximumd'entropie.

1

0,8

0,6

0,4

0,2

0

l

100

50

0

-50

-100

Figure 1:

m

= M (λ)

. L'axedesabs isses représente

λ

. Allure dela fon tionpermettant detrouvernumériquement

λ

sa hantlamoyenne

m

. Cettefon tionn'estpasdénie en0, maiss'yprolongepar ontinuité.

3 Cas parti ulier

m = 1/2

Le as

m

=

1

2

est parti ulierpourdeuxraisons:

ˆ Nous onnaissonsintuitivementlerésultat:

p(x) = 1

ˆ Les al ulssontdiérents ardans e as

λ

= 0

,etdon nousnepouvonspasfaireles intégrationsdelamêmefaçon.

Nousmontronsproprement(se tion4)quesi

m

=

1

2

alorsl'uniquesolutionest

λ

0

= λ = 0

etdon

p

est uniforme.

Ce ipeutseretrouverdansle asgénéral ar,bienquelafon tion

M

nesoitpasdénie en

0

, elles'yprolongepar ontinuitépourprendrelavaleur

1

2

. Ainsi,parabusdenotation

M

−1

₍

1

2

) = 0

.

4 Démonstration

Notons A l'intégrale de normalisation et B elle de la ontrainte. Nous her hons

S

=

{(λ, λ

0

)|A, B}

ave :

A

:

Z

1

0

e

λ

0

+λx

_dx

_{= 1}

B

:

Z

1

0

x e

λ

0

+λx

_dx

_{= m.}

INRIA

Pour pouvoir déterminer les primitives il faut séparer le as

λ

= 0

des autres. Notons l'ensembledessolutions

S

= S

1

∪ S

2

.

4.1 Cas

λ = 0

Dans e as

A

⇒ e

λ

0

_{= 1 ⇒ λ}

0

= 0

. Mais

B

⇒

1

2

= m

. Don il ydeux sous- as: soit

m

=

1

2

et alors

(0, 0)

estsolution. Soit

m

6=

1

2

etil n'y a pasdesolutionsdelaforme

(0, λ

0

)

.

S

1

=



{(0, 0)}

si m =

1

2

∅

sinon.

4.2 Cas

λ 6= 0

Dans e asnouspouvonsintégrerAet Bparpartie. Nousobtenonsalorslesystème:



















λ

0

= ln



λ

e

λ

_{− 1}



m

=

e

λ

e

λ

_{− 1}

−

1

λ

= M (λ)

qui admet une solution unique

(λ

∗

_{, λ}

∗

0

)

pour tout

m

6=

1

2

. Il n'y a pas de solution pour

m

=

1

2

ar

M

−1

n'estpasdénieen

1

2

. Notons :

S

2

=



{(λ

∗

_{, λ}

∗

0

)}

si m 6=

1

2

∅

sinon.

4.3 Réuni ation des as

S

= S

1

∪ S

2

=



{(λ

∗

_{, λ}

∗

0

)}

si m 6=

1

2

(0, 0)

si m =

1

2

.

5 Bije tivité de la fon tion M

Nousmontronsdans ettepartiequelafon tion

M

(λ) =

e

λ

e

λ

_{− 1}

−

1

λ

estbije tivede

R

∗

dans

[0,

1

2

[ ∪ ]

1

2

,

1]

etquedon l'équation

M

(λ) = m

yadmetunesolution unique.

Pour ela, nous traçons le tableau de variation de M en étudiant le signe se dérivée. Comme ettedérivéen'estpassimplenousallonsl'étudierenladérivant. Finalementnous devronsdériver

5

fois avantdepouvoir on lure.

M

′

_{(x) =}

(e

x

_{− 1)}

2

_{− x}

2

_e

x

(e

x

_{− 1)}

2

_x

2

Commeledénominateurestpositif,étudionslesignedunumérateurquenousnotons

f

(x)

:

f

′

_{(x) = e}

x

(2(e

x

− 1) − 2x − x

2

).

Comme

e

x

estpositif,étudionslesignede

g(x) = 2(e

x

_{− 1) − 2x − x}

2

:

g

′

_{(x) = 2e}

x

_{− 2x − 2}

g

′′

_{(x) = 2e}

x

_{− 2}

g

′′′

_{(x) = 2e}

x

>

0.

De plus omme

g

′′

_{(0) = g}

′

_{(0) = g(0) = f (0) = 0}

, nous avonsle tableau devariation 2 permettantdepropagerlessigneset don de on lureque

M

est roissantesur

[0,

1

2

[

etsur

]

1

2

,

1]

. Mais omme

lim

x→0

+

M

(x) = lim

_x→0

−

M

(x) =

1

2

,

nous pouvonsarmerque

M

est stri tement roissante surson domainede dénition. Le al uldelalimitesefaitpardéveloppementlimité àl'ordre2de

M

.

Lambda

− infini

+ infini

M

M’

f

f’

g

g’

g’’

g’’’

0

0

0

0

0

0

1

2

+

_

+

+

+

+

+

+

_

_

+

0

1

+

+

+

Figure2: Tableaudevariationde

M

.

6 Exemples de distributions

Voi iquelquesexemplesdedistributionsdemaximumd'entropieenfon tionduparamètre

m

.

10

8

6

4

2

0

x

1

0,8

0,6

0,4

0,2

0

10

8

6

4

2

0

x

1

0,8

0,6

0,4

0,2

0

10

8

6

4

2

0

x

1

0,8

0,6

0,4

0,2

0

m

= 0.001

m

= 0.121

m

= 0.232

10

8

6

4

2

0

x

1

0,8

0,6

0,4

0,2

0

10

8

6

4

2

0

x

1

0,8

0,6

0,4

0,2

0

10

8

6

4

2

0

x

1

0,8

0,6

0,4

0,2

0

m

= 0.343

m

= 0.454

m

= 0.565

10

8

6

4

2

0

x

1

0,8

0,6

0,4

0,2

0

10

8

6

4

2

0

x

1

0,8

0,6

0,4

0,2

0

10

8

6

4

2

0

x

1

0,8

0,6

0,4

0,2

0

m

= 0.676

m

= 0.787

m

= 0.898

INRIA

Unité de recherche INRIA Rhône-Alpes

655, avenue de l’Europe - 38334 Montbonnot Saint-Ismier (France)

Unité de recherche INRIA Futurs : Parc Club Orsay Université - ZAC des Vignes

4, rue Jacques Monod - 91893 ORSAY Cedex (France)

Unité de recherche INRIA Lorraine : LORIA, Technopôle de Nancy-Brabois - Campus scientifique

615, rue du Jardin Botanique - BP 101 - 54602 Villers-lès-Nancy Cedex (France)

Unité de recherche INRIA Rennes : IRISA, Campus universitaire de Beaulieu - 35042 Rennes Cedex (France)

Unité de recherche INRIA Rocquencourt : Domaine de Voluceau - Rocquencourt - BP 105 - 78153 Le Chesnay Cedex (France)

Unité de recherche INRIA Sophia Antipolis : 2004, route des Lucioles - BP 93 - 06902 Sophia Antipolis Cedex (France)

Éditeur

INRIA - Domaine de Voluceau - Rocquencourt, BP 105 - 78153 Le Chesnay Cedex (France)

http://www.inria.fr