Comparaison entre les tests bayesiens et le facteur de bayes

I

J

I

-l

I

{

J

I

{

J

@"ou

nEPuBrre^arca,ryarlrn^n_

-trrinisftrede,c

roriffffwcanQuEE?

^"*"#;::

;;;;:".'

et de to

_a""n

","J

WIVEngnE

r.

---'ztcfiQa€

.-

_'tcLtz€

Facuhd

_des!",**

seddt

ut**,

_a*nl

Ben

Yahia

-

Jiiel

Ddpan"n2sal

de

_furatht

et

rnformAique

maiqaes

J

J

J

I

fuIimoire

Pour

_I,obtet

irr,4STEn*:'#:;:#;;;;,

apion

_{: PRnBABILTTEs_s}

TA

_Trs

_TrQ

UE

PTisident

_:

_SELLEfoII

_NAWEL

Encadreur

_:

_ABDf

_ZEWNEB

Examinateur

_:

_GHOUIL

_DJOWEWDA

MQZ

qE$1W

BEKOIICHE

_KIIADIDJA

_A

BOTIfuTELTA

_SONIA

{:v

-'!"**"

-[t

_{! ,l}

dffi

I ; i l I

-. vv*

trous

_renfon'r

t:::

'ebu

{ui

nous

a

_fontt

w

potience

et

_fe

_couwe

poo',

_nrro*pfir

r,

:

ta^votow4

faide,

'odeste

_fe

trovaif

tro16

_{tends d}

remzrcie

vive_en+

p^-

?

I

tatfe

_et

_fes

_{,",;:.:;':T::*ent}

rencadt

cotueifsqu'e[[enou-r",":'::.':y'a66zqnu6pour

'1

""^

-'

nowaProdigws'

:\ ow

_amenon

rprtto.yn)^-.

, ,

t

'

"*yu&r'

L

pr,tfe

s s

eu,

[,

;",:::'b

:':i

t

sin

c

i

re me

ft

d

s

rn*;

&

nosJury.

uruaersitti

ft Jllt[

fli

a

nrrrori

ro;;;;ffifr

*

;i,"rm,!:f

::::.dreltercurgnouitDjnwyraW)

-foit

f

fronntur

'

f,nr.on*.--r--,

_doccepter

"'<'r

gruawl

Q$'

fepger

_nos

_tuavaif

A

toutcs

fes

ensrignantes

_{fe spdcwfit|}

qui

ont

sa

f,onner

une

_formation

cursus.

\

\

Table

_des

_rnatidres

lll 1 1 't 2 3 3 v_t Fl t 8

I

11

Ioi

a

priori

conjugud

1.4.1

La famille exponentielle

1.5

_{Le poids de la}

_loi

_a

_priori

_{dans Ia r6ponse bay6sienne}

1.6

Lois a

priori

impropre

Les bases de

la

th6orie de ddcision

Fonction de oorlt, risques et estimateur _{de Baves}

1.8.1

Fonction _{de co0t}

1.8.2

Les risques

1.8.3

L'estimateur _{de Bayes}

i

11 72 12

I4

15

Intr,oduction

I

Lrinf€neae

_ba'dsienne

I.I

Intmduction

1.2

_hincipe

_{de l,analyse} ba},6sienne

1.2.1

_Mo&le

_sratisrique

1.2.2

_Modlle

_statistique param6trique

1.2.3

modCle _{statistique bay€sien} [,ois a

priori

_{non informatives}

7.7

1.8

1.3

MBLE

DES

MATIERES

2

Les

tests

bay6siens

2.7

Introduction

2.2

l'approche standard

2.3

Une premidre approche d,la th6orie des tests

2.3.1

Approche par

la

fonction de co0t de

type

&.1

.

.

2.4

Une deuxi&me approche d6cisionnelle

3

Le facteur de

Bayes

29

3.1

Introduction

29

3.2

Le facteur de Bayes pour tester les

paramdtres

29

3.2.7

Modification de la

loi

a

priori

31

3.3

Facteur de Bayes pour tester les

moddles

34

3.4

Propri6t6s asymptotiques de facteur de

Bayes

. . .

.

.

39

4

La

comparaison

entre

les tests

bay6siens

et le

facteur

de

Bayes

42

4.1

Introduction

42

4.2

Les essais

cliniques

42

4.3

L'application avec les tests

bay6siens

45

4.4

L'application

avec le facteur de

Bayes

48

4.5

mndusion

...50

Conclusion

Bibliographie

r.9 19 19 20 27 25 51 53

Introduction

La

statistique est une science au raisonnement

quantitatif.

Elle offre un

cadre formel

pour

mesurer

l'incertitude.

Plus sp6cifiquement,

Ia

statistique permet de quantifier la probabilit6 d'un dvBnement pour

tirer

des inf6rences

et prendre des d6cisions.

Pour calculer des probabilit6s, faire des inf6rences et prendre des d6cisions, deux pa"radigmes coexistent :

- l'approche fr6quentiste, bas6e sur les tests d'h5rpothdse avec le calcul de

Ia p-value et le calcul d'intervalles de confiance.

-

I'approche bay6sienne, bas6e sur

la

notion de probabilit6 conditionnelle

et

le th6orgme de Bayes

qui

stipule que

la

probabilit6

d'un

6vdnement n'est pas uniquement d6termin6e

par

les r6sultats expdrimentaux nouveaux mais aussi par des r6sultats ant6rieurs (probabilit6 a

priori).

L'approche bay6sinne a donn6e beaucoup

pour

analyser les donn6es ex-pr€mentales

drns

de nombreux domaines, en

particulier

dans

la

recherche

clinique et de l'6conomie.

L'6tude des tests bay6siens a

fait l'objet

de plusieurs

liwes

et articles

16-cent, et a gagner I'atention de nombrer:x chercheurs et statisticiens _I Lecoutre

(2m6), Robert (2007), Bernardo (2010), Shein-Chung Chow (2010).

Et

6largi

CHAPITRE

O.

IN?RODUCTION

Ie domaine de son

utilisation,

et la recherche ne pas arreter dans cette limite, mais elle est 6tendue d une nouvelle

format qui

est le facteur de Bayes qui

a facilit6

la

t6che des statisticiens d

la

possibilit6 de

I'utilisation

de logiciels

d'application tels que

R,

SAS...etc.

Dans ce _{m6moire, la question qui est pos6e : Est-ce-que le facteur de Bayes}

a

le

mdme

r6le

que les tests bay6siens

?

autrement

dit,

dans

tel

probldme

de d6cision, Est-ce-que nous avons

arriver

d la

m0me d6cision dans

le

cas

d'utilisation

de

l'un

sans l,autre ?

Ce _{m6moire est organis6 comme}

_suit

:

Dans le premier chapitre, nous pr6sontons quelques d6finitions et

propri&

t6s des _{6l6ments th6oriques de l'analyse bay6sienne cornme la}

_loi

_a

_priori,

_la

loi

a posteriori, les risques, la fontion de

cott

...etc.

Pour

le

deuxidme chapitre,

on

donne

la

th6orie math6matique des tests bay6siens, on considdre d'abord _{une premi6re approche bay6sienne standard}

des tests

qui

repose sur

l'6volution

des d6cisions

par

des coots 0

_-

1. puis on

\a

construire une alternative d _{I'approche de Neyman-pe&rson fondde sur}

des coflts plus adapt6s pour

justifier

_les probabilit6s a posteriori.

Dans

le

troisidme chapitre,

on

s'int6rdsse

aux

deux types de facteur de

Bayes;

le

facteur de Bayes

pour

tester les pa,ra,mctres

_et

_enoore

_le

_facteur

de Ba5'es

pour

tester les moddles, avec des propri6t6s

et

des exemples pour

les deux t54res, _{puis nous donnons les propri6t6s asymptotique du facteur de}

Bayes.

Et

on termine par _{le quatridme chapitre on oommence par une rappel sur}

les essais cliniques. Puis on

fait

effectivement une 6tude d,un probldme dans

les essais _{cliniques pour raison de comparer les tests bay6siens et le facteur de}

bayes. dans

la

r6solution du probrdme on

utilise

d,un c6t6 res tests bay6siens

par

des calculs statistiques

_{a l'aide}

_de

_{la loi}

_{a posteriori}

_et

_d,autre

cot6 le

Chapitre

1

Ltinf6rence

bay6sienne

1.1

fntroduction

L'objectif

principal de

Ia

statistique

bay6sienne

est

de mener, gr6,ce d

I'ohserrration

d''n

phGnomdne _{al6atoire, soit d,analyse d.,un ph6nomdne pass6,}

soit une

pr6dictif

d'rm ph6nomcne, en nous attachant

tout

particulidrement aux aqrect ddcisionnels de I'inf6rence bay6sienne.

L'inf6rence baydsien'e s'accompagne _{d'une mod6lisation de probabilitd}

du ph6nomCne ohserv6 qui est n6cessaire.

1.2

Principe

de ltanalyse

bay6sienne

soit

x :

(rt,...,rn)

n-6chantillon de variables al6atoires

iid

de densit6

CYIAPITEE

_1.

_L'INFEP,ENCE

_{BAI'd,SIEJVJVE}

observations ff1,...,

_rn

est not6e

_{f (*lg)}

telle que :

r@til:

_I1

r@,to)

z=1

Dans l'inf6rence bay6sienne, _{on considdre d un param6tre ar6atoire}

et on a associ6e _a

_{I'information}

_{tir6e de l,6chantillon,}

une information prevennant

d'une

autre

souree, cette

informartion

additionnelle

_{sur d}

_{est r6sumfu par} une

loi

de

probabilit6

_n(.)

_{dite rloi a}

_priorir

_du

_paramdtre

0.

L,inf6rence bay6sienne est alors fond6e su.r une

loi

dite

rrioi a posteriori'r _{de 0 qui est une} fonction _{de waisembiance du moddre}

_et

_de

_la

_{roi a}

_priori

de d.

Le

sch6ma suivant r6sume

la

_{d6marche bay6sienne dans re cadre de ra}

statistique param6trique _{inf6rentielle :} les obsenrations frLt ...,

tis

..., frn

t

r1t ...t frir ...r

In

r;10

_-

P6

l'information

a

priori

: d

t

Ioi a

priori

: 0

\

loi

a posteriori

r(0lr)

L.z.L

_{Mod6le statistique}

[,e moddle statistique est un

objet

mathdmatique _{ass6rie d l,observation}

1,2,

PHIN

PE DE

L,ANALYSE

BAYESIENNE

Deftnition L'2'L

_{math€'mati,quement le mod,cle stati,sti,que}

(la structure

sta-ti,sti,que) associ,E d, I,erp1rience _{et le}

_triplet

_{(X, A,}

_p)

Ott

y

:

est *ensemble des r^surtats (r'espace des obseruations).

A:

est la _{tri,bu des €uCnements associfues.}

p

_:

_{est une fami,lle d,e loi,}

d,e probabi,li.t,s _{possi,bles d,€finis sur A.}

L'int€ret

de

ce moddle

Est

qutl

perrnet _de

_traiter

_{toutes les observations dans}

le mdme forma-lisme.

I,e moddle est discret si

₁

est

fini

ori d6nombrable

A:

p(X).

On

dit

_{que le moddle est continue si}

X C Rd,

A:

_fi(X).

1,2.2

_{Mod6le statistique param6trique}

D6rftnition

r.2.2

un modcre statisti,que _{param€trique m,r (y, A,}

p)

_cons,iste

d

I'obse,ation

d,'unn uari,abre a,r6atoi,re

x

d,e toi,

_f

(r;/0),

,i:f,7,,

_{otr seule_}

mett

le

pamm^he

g

_est

_inunnu

_et

_{apparti,ent d,}

_un

espacf d,e di,rnensi,on

fini.

1.2.4

moddle

statistique

_bay6sien

c,omparde d

la

mod6lisation probabiliste _{I'analyse statistique se ramdne}

fondamentalement

_d

_{une inversion, car}

_ele

_{se propose de}

remonter, m6me

imparfaitement, des efiets (ohservations) aux causes.

CYIAPITRE

_1.

_{L'INFEP.ENCjE 8.AYESI},NIVE}

par ie parametre _{d, les m6thodes statistiques permettent}

de conduire d

partir

de ces observations

_d

_{une inf6rence, alors que}

_la

mod6iisation probabiliste

caract6rise

_le

_{comportement des observations conditionnelrement}

d,

d.

une telle inversion est flagrante _dans

_{la notion}

_{m6me de waisembrance, puisque}

formellement, elle ne

fait

_{que r66crire ra densit6 dans le bon ordre,}

_r(rl0)

_:

f (rl0).comme

une fonction _{de d inconnu d6pendant de}

_z

observ6.

une

description _{g6n6rare de}

_|inversion

_des

probabilit6es est donn6e par le _{th6ordme de Bayes : soit}

_A

_{et .E sont}

des _{6vdnements tels que}

P(E)

₊

a

P(AIE)

et

P(EIA)

sont reti6s

par

I

P(AIE):

P(EIA)P(A)

P(EIA)P(A)+F@$@

Bayes donne en

r6alit6

une version _{continue de ces r6surtats,}

_a

_savoir,

pour

deux variables ar6atoires

r

_{et y,}

_de

_distribution

_{conditionnelle}

f(rly)

et _{marginale g(gr) alors :}

g(ylx):m

Bayes

utilisait

la

_{version continue de ce th6ordme,}

_ed

_{enon"" pour ia loi} a

priori

r(0)

et

la

fonction de waisemblance

_f

_{nl|)

_{alors :}

r(olr):

,

fr('1,2n$)

=.

Jef

@lo)n(o)do

D6ftnition

t.2-3

un

rnod,cre statisti,que _{bayilsien est}

_unstitu|,

_{d,,un mod,cre}

statistiqte

parc'm€trique

_f

_@!il,

_et

_{d.'une di,stribution a pri,ori,}

pour re para-metre

r(0).

1,2.

PEINCIPE

_DE

_L'ANALYSE

_BAYESIENNE

La

loi

a

priori

La

loi

a

priori

de

densit6

lr(d)

est

la

loi

marginale

du

paramdtre d, ou en d'autre _terme,

_la

_loi

_{du paramdtre avant que}

_r

soit observ6. Elle r6sume, donc

l'information

_{sur 0 disponibre a}

_priori

_{(avant observation).}

La

loi

a posteriori

C'est la loi _{conditionnelle de 0 sachant}

_r,

_{sa densit6 not6e}

_r(glr),en

vertu de Ia formule de Bayes

or

a :

r(o/r)

_'

-

_-f!Fle-)r@)

h

f @le)rp)ao

Ori enmre

r@lr)af

(rl0)r(0)

Cette

loi

_{a posteriori peut s'interpr6ter cornme une combinaison de}

l,in-formation a

priori

disponible sur _{d avec celle apport6e par les observations.}

La

loi

marginale

de

x

Sa densit6 est not6e

m(x)

et on a :

f

m(r):

J

f @le)r(ilae

e

La

loi

du

ouple

(0,x)

Sa _{densit6 est not6e}

_p(0,4

_{est donn6e}

_par

:

p(0,r)

:

_{f (rlg)r@)}

Exemple L.2.1

soit e12r2t...,tn

un n_€chantiilon

on

cutsidile

k

modAle de _{Bayes sui,uant :}

r;

_-

Bernmtlli(O)

_et

g

_-

_Beta(a,b)

CHAPITHE

_1.

_T'NVFER.ENCE

_BAYdSIENNE

Alors

: I

r(0)

:

_EA^fir.-l(l

_

_0)r-r,

_o

_<

g

_<

_I

_/^,

\

f(rlfl)n(O)

n\n/r):

ffi@lr4",|6)do

I

_0e

x"vl"ts)dr:

_I

#65rs+a-t(r

-

0)n+t-s-t6,

:#lt"-rt-o)e-tor:"m

e

on

a:

s

*a

et

8: n+b-

s

f(rl|)r(0)

:

ffirs+4-1(1

-

0)n+b_-8_', 0

(

d

<

1

Por

unsEqtene:

L3.

JOIS A

PHIOEI

NON

.nnOR./t4A

_rr]r

_?is

0fr*Beta(a+\-' Z-t

i:7

i'b+n-f"tl

1.3

Lois

a

priori

_{non informatives}

Les _{lois non informatives repr6sentent}

'ne

ignorance sur le probrdme en

main, _{mais ne signifient pas que}

_l'on

sache rien sur ia

distribution

statistique du paramdtre.

En efiet on connait _{au moins son domaine de}

variation, c-a-d l,ensemble

des 6tats de

la

nature 6), et _{re rdre de chaque composantz du paramdtre}

sur les obser'*ables(paramdtre de localisation, _{d,6chelle, etc).}

ces lois doivent 6tre donc _{particulidrement construits d}

_parti

de ra distri_

bution

d'6chantillonnage.

A

cet

6gard, les

lois a priori

non

informatives peuvent

_6tre

_consid6r6s

oonune des lois de r6f6rence _{aux quelles ehacun}

_pourrait

avoir recours quand toutes informatives _a

_priori

_{sur g est absente.}

L.4

Loi

a

priori

conjuguG

c€

tJrpe de lois est

utilis6

quand

l,information

a

priori

_{disponible sur le}

modgle est

trop

vague' ou peu faible. Dans ce cas l,analyste regarde la forme de

la

fonction de waisemblance

_et

_{choisit une fa,mille de}

_loi

_F

_qui

se marie bien avec elle, dite familte mnjugu6e.

D6ffnition

_L.4-L

_une

_familte

_F

_{de toi, a}

_{pri,ori sur}

_a

est d,i,te conjugu€e si,

pour tout

r

_€

_F,

la

loi

a posteri,ori

_\,ln)

_{apparti,ent Egarement}

cHAprrRE

t

_n

_{rNrr,,nnNcn.aatatssrprvvp}

L.4.L

La

famille

exponentielle

La famille

exponentielle _{regroupe res}

_lois

_de

_probabilit6

qui

admettent

une densitd de

la

forme :

f

("/0):

exp(a(d)r@) _ g(0))h(r);

_d

_e

₆

7

est alors une statistique _exhaustive.

Une telle famille _{est dite rdgulier si d est ouvert}

_tel

que :

e:

_{0/

_I

n@)

ocp(o(o)

_r@))

_d.p(x)

_<

_m}

ThdorCme

L.A.L

(Lois _{conjugu€ d,es}

_familles

_{etponentielles) :}

Si

X

_{- f(cll):}

_exp(d,T(x)

_-

_Qp))

_n(r)

Alors

la

_famille

de loi,s a

priori

{zr^,u(d)

a

exp(|'p

_-

}e(0))

h(r);

\,

1ti} est mnjusu€e.

La

loi

a

posteriori

cortespond,ante _{est :}

r(01\

*

I,

_F+

"(c))

['e tableau suivant prGsente quelque

_loi

_a

_priori

_{conjigu6es pour querques} familles exponentielles usuelles :

Thble

1

: lois a

priori

conjugu6e

1.5.

_LE

_POIDS

_DE

_{LA LOI}

_A

PHIOEI

DANS

LA

_NEPOTVSP

f

("lo)

_n(0lr)

Normale

N(0,o2)

Normale

N(p,r')

Normale

N(p(o'p

_*

r2r)., po2r2) avec

p: ;"*!

G(a+r,/3+1)

G(a+u.,p+r)

!9@*r,9rn-r)

BAIdSIE}-AE

1'5

Le

poids

_de

_ra

_loi

_a

_priori

_{dans Ia}

_r6ponse

bay6sienne

D'apr0s (J6r6me

_DUPUS

2C/|/l),nous allons examiner cette question sur un exemple

po'r

_{oomprendre oomment}

_{l'information}

a

priori

et l,information

oontenue dnns les obsenrations se combinent l'une a _{l,autre pour produire la} rdponse baydsienne.

On se _{donne le moddle bay6sien suivant}

:

r;10

_-

_{Berrurutti(0) et}

₀

_-

_{Beta(a,b) donc}

illx

_

Beta

(a*r,b*n_r)

Nous avons calculer

l'estimateur

_{bay6sien sous re}

_mot

_quadratique qui

CHAPITRN

T. TT]W'I'R'ENCE

BAI{dSIEAINE

est la moyenne de la lois a posteriori cornme

suit

:

ntr

E(?lr)

:

a+b+n

:

atb

a

n

fr

n

a+b+n

;.i-;i;+"

;,

*:I'n

_,i:1

:

a+b -"tt

_,

-

b(al

-F

n

---:-7

a+

o+n

a* b*n

Et

de travailler avec

la

formule suivante :

E(olfl:

_a+b+n-'-'

_?!?

E(o)+--!--n

_aIb+n*

L'estimation baydsienne de d apparait donc cornme la moyenne pond6r6e de

7

(c-d-d de I'estimation de

d par

maximum de waisemblance),

et

de la

moyenne a

priori

E(d):le

poids de

z

est

la taille n

de l'6chantillon,

et

,E(0)

et

d

sont a,fiect6s respectivement ar:x coefficients

_#*.

et

_#.

A

noter que a

*

b

:

n,

I'estimation bay6sienne de 0 se situe exactement au milieu de

_{l'intervalle lE(O),}

7].

Si a

*

b

)

n

cette estimation est plus proche de .E(d) que de

f.

Si

a

*

b

I

nc'est

I'inverse

qui

se produit.

Pour examiner I'influence de

la loi

a

priori

sur

E(0lr)

il

est

6difiant

de

s'int6resser aux oes

limites

a*b

---+ _{0 et a}

f

_b ----+ _{oo. Dans le premier cas,}

le poids de

I'a priori

est

nul, et

E(|lr)

---r

t

_est

_la

_{r6ponse classique; dans}

le

second cas, le poids des donn6es est

nul,

et

E(llr)

---

_E(0)

_{ne d6pond}

plus de

r.

!.6.

LO/s

_A

_{PHTOHT TMPROPHE}

L.G

Lois

a

priori

_impropre

La

ioi

impropre _{est une mesure o}

-

f i,ni,esur |espace des paramatres

_o.

c-d-d une mesure

n

telle que :

f

J

n@)ae:

*oo

6

Les lois a

priori

_{impropres sont utiles dans les moddies non informatives,}

cette

loi

est

utile

du

moins

tant

que

la loi

a posteriori

_edste.

_{Aussi, on se}

limite

aux lois impropre telle que :

m*(r)

:

_I

_{f @Wn(o\dr<}

_+oo.

I

1.-7

Les

bases

de

la th6orie

de

d6cision

-

_{Un probldme de d6cision est}

on _{g6n6rale fond6 sur les}

_trois

_6l6ments

sui-vants:

Un espae des paramdtres O.

-Un epace de d6cision

D,

qui _{est I'ensemble de d6cisions possibles}

:

>si

l,objectif

_{est d'estimer 0, alors}

_D

_:

_0.

>pour un test

p:

_{0,1}.

Une fonction de

mot L(0,6)

qui

d'6crit

le corlt de prendre

la

d6cision d

lorsque le paramCtre est d.

D6ffnition L.T.r

une

ftgle

est

d,€finie @rnrne

_{une apprimtion}

₆

_{d,e yen_}

semble

fus inlonnations

(ou ft.sutta,ts d,'erp€ri,ence) d,ans _{I'ensemble d,es}

ac-tions :

CWAPITEE

1.'

_{TATFdn"ENCE BAYESIEATNIE}

5:y"->D

r-

>

6(n)

1.8

Fonction

de

coat,

risques

et

estimateur

de

Bayes

L.8.1

Fonction

de

cott

D€ftnition

L.8.1 soit

6

e

D

une rdgle d,e d€ci,si,on, une

_fonction

de

mat

(pert4

est une _foncti,on m,esumble d,e

(o x D)

d

uareurs d,ans

R*,

not€.e

L(0,6)

est d€.fini,e tels que :

LV(e,fi:

L(0

d)

>

0

2.V0

€ O,:ld.

e

D: L(0,d-(a)):6

S'il faut

faire un choix entre deux rdgles de ddcision, ce choix est impos-sible sans _{crit0re de coflt, de sorte d d6finir comectement la notion de meilleur}

estinateur.

Fonctions de co0t

usuelles

Quand

le

contexte

d'une

exp6rience ne

permet

pas une d6termination de

la

fonction

d'utilitd

(manque de temps,

information, etc.),

une

alterna-tive

courante est de faire appel

d

des fonctions de

coot

classiques,

qui

sont math6matiquement simples

et

de propri6t6s connues.

1.8.

F'ONCTION

_DLqOTJ!,

_RISQUES

_ET

_ESTIMETEUR

_DE

_BA]y?,S

LecofftO-1

ce

corlt est surtout utilis6 _{dans l'approche classique des tests d,hypothdse,}

propos6e

par

Neyman

et

Pearson. Plus g6n6ralement, c,est

'n

exemple

ty-pique

d'un

cott

non

quantitatif.

_un

test est

la

donn6e d,une

partition

de

o

en O6et

6t,

0

€

6,; correspond A,I'hypothdse

_ffi,

_f/6

_{est appel6e l,hypothdse}

nulle, le principe du

test

(d6cisions) d est d6fini comme

suit

:

(

,,:{1sioe

os

[

0side

O,

La fonction de

cott

correspondant au test est d6finie

par

:

L(0,6):

loeeo

x

-Ia=r

*

_{4ee, x}

/a=o

Le co0t quadratique

Introduit

par

Legendre (1805)

et

Gauss (1810), ce

_cott

est sans conteste le c.ritOre d'6valuation le plus cnrmmrrn. Une fonction de coflt quadratique est une fonction d6finie de O

x D

dans lR1

et

donn6e

par

:

L2(0,6):

(0

_-

d)2

Le co0t

absolu

Une solution alternative au

cott

quadratique en d.imension un est d,utiliser le coflt absolu

h(0,5):

l0

-

dl

CHAPITHE

_1.

I

_{TNT'dII.ENCE BAI{6SIEI\I]VE}

L.8.2

Les

risques

Le risque fr6quentiste

Ddffnition

L.8.2

pour

une _foncti,on d,e coat

L(0,6),

Ia _foncti,on d,e risque

assoc,i€ est :

/i(p,

d)

:

Es(L(o

d(r))

:

l

tr,6(r))f

(nlo)dp(r)

x

c'est

'ne

fonction de

0 et

ne d6finit

pas

un

ordre

totale sur

D

et

ne

permet donc pas de _{comparer toutes d6cisions et estimateurs,}

_il

_{n,existe donc} pas de _{meilleur estimateur dans un mns absolu. Ainsi, I'approche fr6quentiste}

resteint I'espace d'estimation en pr6f6rant la classe des estimateurs sans biais

dans laquelle

il

existe des estimateurs de

risque

uniformm6ment

_r

l,6cole bay6sienne _{ne perd pas en g6n6ralit6 en d6finissant}

'n

risque

a

posteriorio

I'id6e est dTnt6grer sur I'eqrece des paramdtres pour

pallier

cette difficult6.

Le risque a posteriori

Ddffnition

L.8.3

une _foi,s donn€.e

la

_{loi a}

priori

_du

_le

_paramctre

₀

_et

_Ia

forctiott,

de

u&t,

k

_{risry,e a posteri,ori est d,Efini}

_par

_:

Ainsi,

Ie prcblame change selon les d,onn€e.;

eci,

est d,a d,

Ia non

eristene,

d'un

ordre

total

sur les esti,mateurs.

pQr,6la):

_{E*(L(0 d(e)le)}

:

_I

_{t(t,6(r))r@lr)d0}

J 6

ESTIM,{TEUR

_DE

_BAYES

Le risque int6gr6

Deffnition

_r.9.4

a _foneti,on de coat d,onn6e, re risque int6.gr€ est d,c.fini, par _:

Tq

R(0,6)

est Le _{risque frEquentiste}

1.8.8

Lrestimateur

_de

_Bayes

D6finition

_t'8.5

un

_{est'imateur bay€sien est}

_la

_rdgle

d,e d,€ci,si,on

6,

qu,i

mi,-nimise le risque i,nt€gr€.

r(r,6)

_;

_i.e.

_{qui, u€rifi€. :}

r(tr,6"):

inf

r(n,

d)

Pour obtenir la valeur de I'infimrrm de risque int6gr6

il

faut donc en th6orie

minimiser _{une integrale double.}

_{I'introduction}

du risque int6gr6 se justifie par

le th6ordme suivant :

Th€or0me L.B.L

(method,e _{d,e calcut)}

Sz

ld

_{€ D,}

r(tr,g) <

_oo

_etYr

_e

X,

6,(n):

arg3ninp

_{Qr,6lr) alors}

_6n(u)

_est

un

estirnateur bay 6sien.

rQr,6):

E"(R(0

d)lr)

:

_{{*@,6\tr(0\d0}

J'

E

caaprrne

_{r. r'nwtsRqivcr}

_{.aayEsrprvnre}

Preuve

_{Nous cherchons d minimiser la fonction}

de risque

r(tr,6)

f

r\It,d)

:

_I

_{R(o,d)tr(o)do} J o

rf

:

_|

(

_|

_4a,

_{o)f (rlo)d,r)r(o)do}

JJ

et

:

!

{

t''

q{kry%m*@),*o

ff

:

_|

(

_I

L(6,0)r(0ln)d.0)m^(r)dr

J

'J aA

f

:

J

n6,6lr)m^(r)d,x

Ainsi,

pour

:

t

6

e

D,

p(n,6,lx)

_S p(.n

dlr)

___+

_r(tr,d")

< r(tr,6)

on

conclut que l'estimateur _{Bay6sien est la rdgle de d6cision}

qui minimise re

risque a posteriori _:

_p(tr,6lr).

_I

Ltestimateur

_bayGsien

_sous

_le

_co0t

_0-1

Dans ce cas _{le risque a posteriori est}

:

pQr,6lx):

Ia:op"(0

_{e Olla)}

_*

_I5=yp"(0

_e

_Oole)

Ainsi I'estimateur _{de Bayes associ6 est}

:

(

,t"(r):

_{

1

si

P"(fleo6le)

>

P^(le61lr)

[

0

sinon

TTMKIEUR

_DE

_BA:res

L'estimateur

_bay6sien

_sous

_{le coOt}

_quadratique

L'estimateur _{de Bayes sous le coOt quadratique} est :

d"(c)

:

_E(olr)

:

_I

_sn(olr\oo

t"

En efiet ; comme l'estimateur _{bay6sien est la rdgle de}

d6cision qui minimise

pQr.6lr)

_{alors on pose :}

f(6,")

:

p(tr,6lr)

D'orl

r

(6'

")

:

_T

ii:f',I',?,.,

_0,

J e

r

=

l(0-6)2n(0lx\ae

J A

:

f

o,rplr)ao

_ zt

Iotrlelx)d,0

+

6,

Itrelr)d0

o6t

:

E(02w)

_

_26rr(0lr)

₊

₅₂ La d6cision d qui

_minimi""

"f(d,r)

est celle

qui

v6rifi6 d

d6l(d,

r)

:

o I.e.

26

_-28(elu)

:

0:+

_2d

:28(0lr)

D'orl

d"(u)

:

_E(olr)

:

_Ion(elda,

t"

Donc sous le cofit quadratique l'estimateur _{baydsien est la moyenne}

de la

loi

a posteriori.

CHAPITRE

I.

_{T'NVF6n'ENCE BAYdSIEIVJVE}

L'estimateur

_bay6sien

_sous

_le

_cofft

_absolu

L'estimateur _{de Bayes sous le coot absoru est}

_{la m6diane>w}

de

la loi

a

posteriori.

En effet _I en remplaqant

_L(0

_d)

_dans

',expr6ssion de p(tr,

dlr),

nous obte_ nons

f

:

_{Il0_6lr(0lr)d0}

J 6

f

.

v

:

_I

(t

_-

o)tr(olx)do

₊

_|

_@

_{_ 6)r(olr\do}

J

_J'

) \'!

-&6

Nous cherchons d minimiser

p(n

dlr)

donc :

do.

fr(o'dlr):6

VT

I

rglx)a|:

lnplr)d0

JJ

-m6

p(tr,,6lr)

:

_E"

_(L1(0,6)lr)

f

:

_{lLr(0,,6)n(0lx)d0}

J IJ Implique

Donc d est bien la m6diane.

Chapitre

_z

Les

_tests

_bay6siens

2.I

fntroduction

Il

existe des diff6rentes notions entre

la

th6orie _{des tests fr6quentistes et}

celle des tests bay6siens. _{De ce point d.e vue, le cadre des}

tests rend l,approche bay6sienne

plutdt

_{attrayante, car}

_la

_notion

_de

_probabilit6

d,'ne

hypothdse

r(0

e

oolc),

ne peut

_ttre

_{d6finie qu,d travers cette approche.}

Dans ce e}apitre, on _{considgre les tests d'hypothdses}

corune l,estimation

de probldme (tester /eo(0)), rerifu avec la th6orie de ra d6cision. puis _{on peut}

arriver _{d quelques conclusions int6ressantes.}

2.2

_{ltapproche standard}

L'hypothdse des tests classiques _{est construite selon le lemme de}

Neyrnan_

Pearson.

Et

les r6sultats _{dans ra rdgle de d6cision sont}

les rdgles 0

_

1. ces formes de

test

bien _{qu'elles soient optimales dans}

_le

sens des fr6quentistes

CHAPITHE

2.

_{TES TES?S BAYESIE]\TS}

strictement mais elles ont des _{critdres pour des directions dif6rentes. peut}

6tre

la

critique

de Neyrnan-pearson _{devient active en pratique, car}

res formures

de ia _{th6orie de Ne,'rnan-pearson ne sont pas rargement utilis6es}

en pratique. D'autre

part,

la

pvaleur

_{est impricitement}

utilis6e cornme une mesure de

la preuve pour _{les hypothdses, donc Kiefer considAre}

la

p-vaieur _{comme une}

6valuation de Ia _{waisemblance de I'hypothdse nulle.}

2'3

une

_{premiare approche}

_d

_la

_th6orie

_des

tests

Soit un moddle statistique

f

("10).,0e@

Etant

donn6

un

sous ensemble

_d'int6r6t

₆₆

_de

_o,

_{eventuellement}

r6duit

a

un

point'

on _{cherche d d6terminer le vrai paramdtre}

appartenant _{d (Js, i.e. d}

tester l'hypothAse :

116:geOn

sourant appelfu hypothtsse

_nu[e.

_{Dans l,approche}

de Neyrnan-pearson, ce

probldme est envisag6 avec un espace _{de d6cision}

_D,

_{restreint d}

{oui, non} ou de manidre 6quivalente

_e

_{1,0},

_{ee qui revient d}

estimer 1eo(0), uniquement

par

des estimateurs _{a raleurs dans}

{0,1}.

Ir

est parfois n6cessaire _{de d6finir}

l'hypothdse _{alternative par}

_rapport

_{d raquele on}

va tester

r/o

:

Ilr

:0

e

Or

2.3.

UNE PREAIIEHE

_APPROCHE

_A-LA

_THfrOHIEDES

?ESTS

QDonc

un

test

se

_{formalise de}

_la

_{mani0re suivante}

:

IHo,

d

e

Oo

[a,:aeo,

De

tel

sorte que

06nO1

:0

_etOoUOrC6

QPour un moddle paramdtrique

_:

Y

e

(y,8,{pe,0

_{e O}),}

_{Oo U}

_Or

_c

_O

Le cas propre _{correspond au cas ori ra lois}

a

priori

et

tele

que si 6

suit

ra

loi

zr alors

r(60)*zr(0r):1

Cette dernitsre condition

peut

s'exprimer _{aussi sous la forme suivante}

:

n@/A6U01):6

Ainsi

puisque

_tout

_test

_{est en}

_{fait un}

_{estimateur de}

.r,sr(d),

il

suffit

de

disposer

d',ne

fonction de

mdt

L@,6)pol,,

proposer des estimateur de Bayes

associ6s, par exemple la fonction _de

_cott

_{introduite par}

_Neyman

et pearson

est0-1.

2.3.L

Approche

_{par la}

_fonction

_de

_cott

_de

_type

0-1

Dans oette

partie,

_{r'espace des ddcisions}

_est

_D

_:

t0,1),

ra

d6cision

i

oorrespondant d accepter

_flt,

_i:

_DlT.

CHAPITHE

2.

_{TES ?]9S"S}

_BA)'ESIENS

A ces _{d6cisions vus 6tre associ6es des corits}

L(0,60) et L(0,,ri1), la fonction

de co0t est alors

la

suivante :

(

L(o,D:11

sid:Ioo(d)

[ 0

sinon

Par d6finition, _{les d6cisions bay6sienne sont cele qui}

minimise le risque a

posteriori

_pQr,d/r)

Calculons le risque a posteriori _{de chaque d6cision :}

p(tr,d,lr)

:

_{E"(L(0,,tn(")))}

f

:

_I

L(0,6;)r@lr)tt0

,I 0

f

:

Jr(fllr)ae:

P"(0 €

Oalr),e:0,7

g,i Autrement

_dit,

si

P*(0 eOol") <

p"(0

_€

_Ollr)

Alors on choisit de rejeter 1/0,

u

test _{bay6sien consiste a, choisir}

l,hypo-thdse ayant la plus grande probabilit6 _{a posteriori.}

on

peut

aussi envisager un

cott

plus g6n6rale

qui

r6arise diff6rement les

mau'aises d6eisions suivant que

|h)pothdse

nulle est waie ou fausse :

(

|

0

si

d:

/eo(d)

L(0,6):l as

si

ge

€16et

d:o

I

I ot

si 0€01

etd:l

2.3,

UNE

PREX/IIEEE APPROCHE

A

LA

TI{EOHIE

DES

?ES"S

Proposition 2.3.L

sous _Ie

_mat

plus _{ghncrare, I'esti,mateur bag|si,en associ,6}

d,

la

loi, a priori,

r

est :

d"(r):{ I

siP"(oe

o6lr)>a?*

[ 0

s'i,non

Preuve

il

suffit d'6crire le corit a posteriori

pQr,6lr)

:

E"(L(e,ri(r))lc)

I

:

J

_{"(t,6)n(0lx)d0}

0

fr

:

I

antr(fllr)d,0

_t

_J

a1r(0lr)d0

ds'6:1

dr,6:O

:

_{asp"(0 e}

_O6[r)

_*

_a1p"(0

_€

_Olfr)

On accepte f16 si

af"(0

€O1lr) <asp"(e

_€g6lr)

tn(|eOrlr)

_,en

F(da6-&l

.

_A

P"(0 e

Oolr)

₊

p"(0

_{€ Olla)}

:

1 I.e.

Or

Alors 23

CHAPITRE

2.

_{TES ?ESTS .BA}dSIEIVS}

P"(0

€

olr)

+

p"(0

€

ooln)

_

p"(0

_€

oolr)

a6

;i

140

_1

P"(0eOolr) --a1

P"(0

eoolr)

t

^+A

C'est la rdgion d'acceptation de

Ho

l

Exemple

2.3.L

soit

r

_-

N(0,o2)

et

0

_-

N(p,r2),

alors

r(elfl

est ra roi,

normale

N(p,u2)

auec

i \

o2rt

+,r, ut,2_

_o2r2

P\t)

:-o2

_+-T)

oz

+

12 Pour tester D'orl Notn mculnns

Hs:0

<

0

P"(o

<olr):

p"(

-!(x).

#l

:

or#l

Si zoo,orest le

qtantite

_#"o,

_donc

_s,il

_satisfait

@('oo'o'):

o'

at*,ao

2.4.

On accePte

Hs

lorsque

I.e.

-p(r)

2

lrzao,at

Alors l'hypoth|se nulle sera accepter lorsque

:

R2 02.

*

<

_-"Vp-

(1

+

-=)(izoo'o'

-p(x)

_>

2.4

IJne deuxidme approche

d6cisionnelle

Danscettesectionnousconstnrisonsunea}ternativedl,approchede

Neyman.Pearsonpourjrrstifier}esprobabi}it6saposteriorietdvaluerlesp

values'

comme

dans

la

section pr6c6dente,

le

problOme de

test

formalise par

NeymanetPearsonpeuts,exprimercommel,estimationdelafonctionindi-catrice

/"0(g)

sous Ie co0t

G1'

de faqon 6quivalente'

le

m0t

en

eneur abso

Iue :

L{0,6):

16

-

/"'(0)l

En

effet, si les estimateurs d ne prennent que les valeurs 0

et

f

il

existe

denombreusesmani}resd,6crirelecotrtetrelTeurabsolue6tantl'rmed,elle,

maisdeNeyman-Pearsonessentielleuneth6orie'|pr6-donn6esl'quenefournit pasdesolutionl|postdonn6esl'(oup}usad.aptative),Norrsnoustournonsalors

CHAPITHE

2.

TES

TES"S BA}'tsSIENS

vers u.ne th6orie moins restrictive, pour laquelle les estimateurs prennent leurs

valeurs dans

D

:

[0,1]

et

pouvent 6tre consid6r6s comme des indicateurs de

degr6e de cerbitude contre ou on faveur

fI6-Paraiidlement d, Shaafsma et al(1989), Hwang et al(1992) examinent cette

approche des problemes de test,

pour

iaquelle les estimateurs de 160(d)

ap-partiennent

d

_{[0,11, Iorsque} Ia restriction a,

_{0,1}

est 1ev6e, le choix de

cott

devient plus

important,

par exemple, le corlt en erueur absolue est

trop

sem-blable

i, la

fonction de

cott

0

_-

1, car elle

fournit

les mdmes proc6dures de

Bayes :

( t

si

P"(o €

o6lr) >

P"(o e

ollr)

d"(r)

:

1

[ 0

sinon

En revanche, les cotts strictement convexesr cornme les cofrts quadratiques

L2@,6):

(d

_-

/..(d))'

Mdnent A des estimateurs plus adaptatifs'

Proposition2.4.L

sous Ie co$,t quadratique, I'esti'mateur de Bages assoc'i'6

d,

r

est la probabi'li't€ a posteri,ori'

6"(r):

P"(0

e Oolr)

Preuve

I'estimateur bay6sien comme

iI

est d6fini pr6c6dement est la ragle de d6cision qui minimise le risque a posteriori

p(n,6lr)'

On pose :

f

(6,

*)

:

p(n ,,

6lt)

2.4.

UNE

DEwghME

AppRocHE

nfiustonttpnnn

D'or)

/(d,

_")

:

ppr,6lr)

:

E.

(L(6(r),0)lr)

:

E"((,t

_-

/5,(d))2lr)

:

E"

((6,

_-

2d100(d)

+ Ifl.(e))1r1

Or

f

tr(16,(0\lx)

:

_{/ n$lr)d0}

:

P" (0

€

Onlr)

J €o

:

_{E"@214 -268"(1€,.(d)1")}

+

E"(/Ao(o)lu)

:

62

-

268"(16,(d)lr)

+,E"(€,(d)ln)

La

d6cision d

_Q"i

minimise

f (5,*)

Est cellle qui v6rifi6

d

+/(d''r)

:

o

dd-'

I.e. 25

_{-28"(16"(0)1")}

:

0

26

:

28"

(16,(0)ln)

6"(*):

E"(16.(0)lr)

27

CHAPITRE

2.

LES

TESTS

BA]'6SIEIV^S

Donc l'estimateur de Bayes sous Ie

cott

quadratique est :

6"

(r)

:

E"(16o

(0)fr)

I

Chapitre

3

Le facteur

de

BaYes

3.1

Introduction

Le facteur de Bayes est un critare bayesien de s6l6ction de modale, comme

il

est un

outil

pour comparer

la

cr6dibilit6 de deux hypoth6ses.

3.2

Le facteur

de

Bayes

pour tester

les

para-mCtres

Le facteur de Bayes est Ie rapporb des probabilite a posteriori des hypo' th€ses nulle et alternative sur le rapporb des probabilite a

priori

de ces m6me hypoth6ses.

fr, \

tiir(0J

: p@Mp,6

P"(H6lx)P(Ht)

Ix(0

e 06lr) P"(d €

Oil

CHAPrcRE

3.

LE

FAffEUR

DE

BNES

Etona

P"(H)-l-P"(Ho)

Et

P"(frrlr)-l-

P"(HolrJ

Cas

particulier

:

Oo:

{go}, Ot

:

{0r}

P(0olr)

P(0')

B,:r(r): F6;i")F(oJ

ffi"10,)

wrc;

/(rl0o)n(00)

44

1"14';zr1e') t(00)

y1rl0o)

:T@

AlasuitdeJefirey(1939)etdeGood(1952),lefacteurdeBayesdesormais

un

outil

d

part

enti6re. En

particulier,

Jefirey(1939) a d6velopp6 une echelle ilabsoluetr

_pour

6'valuer

le

degr6 de certitude en faveur

ou

au

d6triment

de

fl6apport6parlesdonn6es,enl,absenced'uncadred6cisionnelv6ritable,

l'6chelle de JefireY est le sui'mnte :

1. si 0

< log(BIJ

(

0'5,

la

certitude que

fig

est fausse est faible' 2. si 0.5

<

log(Bfo)

(

l,

cette certitude est substantielle'

3. si 1

<

l"S(BIo)

<

2, elle est forte' 4. si

log(Bfs)

>

2, elle est d6cisive' Or)

I

B[,

BIo:

5.2.

LE

FACTEUR

DE

BArES

POUR TESTER LES

PARAvErnns

3.2.1

Modiftcation

de

la

loi

a

priori

La

notion

de

facteur

de Bayes

permet

aussi de

mettre

en 6vidence un

aspect

important

des

tests

Bay6siens.

En

fait,

ce

facteur

n'est

d6fini

que Iorsque

_Po*

0

et

_h*

0 telle que :

Po:

n(0e

Os)

Pt":

t(0eOr)

:l-Po

Si

flo

ou

fft

sont a

priori

impossibles, Ies observations ne vont pas modifier

-

cette

information

absolue.

Le test d'une hypoth0se nulle ponctuelle impose par cons6quent une

mo-^

dification radicale de

la loi

a

priori,

car

il

exige de constmire une

loi

a

priori

pour

les deux sous ensembles O6

et 01,

par

exemple, des

lois

7r0

et

7r1 de densit6s

gicn(0)Iso(d),

g1a?r(d)16,(0)

En d'autres termes

r(0):poro(O\*pttr{O)

Lorsque Oo

:

{00}, la

loi

a

priori

sur O6 est

juste

la

masse de Dirac en

06.

Soit I'hypothAse nulle ponctuelle

Hs:

0

_-

Aoi notons p6

la probabilit6

a

priori

que 6

:

06

et

g1la densit6 a

priori

sous I'alternative. La

loi

a

priori

est

alors

n6(0):

p0leo(0)

+(1

_-

p0)gi(0) et Ia

probabilit'e

a posteriori de "Ffo est 31

CHAPITRE

3.

LE

FACTEUF-

DE

EffES

/(rldo)Po

f

("loo) Po

n(d6lr):

Iu

f

@le)"@)as

f

WJPI+

(1

-

Pirr,i'@) La

loi

marginale sous

ff1

6tant

:

f

mt(r):

J

f

@'0)s(0)d0

Or

Cette probabilit6 a posteriori

peut

aussi s'6crire

a'(gnlr):[1+t-powl^

\-ur*./

_po

_f@l?o|

De la mdme fagon, le facteur de Bayes est :

8s,("):#ffi+:

etnousobtenonslarelationg6n6ralesui.vanteentrelesderrx

quantit6s

zr(dnrr)

:

[t

+

l-po

_=]^t-'

Po

B&(t)'

Commenousl,avonsd6jaindiqu6,IefacteurdeBayesdonneindicateur

objectif

de l'hYPothBse

Ilo:deOo

L'utiiisation

de Ioi non informative dans le contexte de la th60rie des tests est assez limit6e. Comme nous avons remarqu6 le contexte des tests n'est pas

compatible avec u.ne approche enti6rement non informative, puisqu'ils

pr6

supposentunedivisiond.el,6spaced.esparamBtreenderrxSous-espace,cette incompatibilit6 et en

fait

plus fondamentale car elle empeche

I'utilisation

de

mt(r)

3.2.

LE

FACTEUR

DE

BAYES

POUR TESTERLES PARAIUfiTANS

lois

impropre dans les tests des hypothdses,

la

r6solution g6n6rale de cette

incompatibilit6 entre les tests bay6sien et lois a

priori

impropre reste un pro-bl6me ouvert.

Remarque 3,2.L

I

.

Lorsque les deur hgpothCses sont 4qui,probable le

fac-teur de Bayes corcespond au rapport des probabi,li,t€, a posteri'ori, de

Hs

sur H1

Rtr

r-'f

P"(Holr)

"or\-,

p"(H1lr)

2.

le _facteur d,e Bayes est une quanti,tE non bom€, i,l peut prendre des ualeurs entre A et

*a.

Exemple 3,2.L

Soient

r

*

B(n,0)

et pour A, et pour on prend la loi, a

pri'ori

uni.forme

r(F)

:

t

Soi,t d, tester

Ho:

112

untre

Hr

+

Il2,

i'l ui'ent que :

r(oslr)

_'

:

_tr

_L

1l:&.j^t-'

Po

ts$t(")'

:

_tr

a

l-Pt

2"

p(n

I

L,n-

r

+

1l-1 Po

rr_1-po rl(n-r)!

rq-t

:

Ir-r-Po

nl.

-r

m(r)

: ( ;

)

Betu(r

*r,n-u

+

1) ott,

Par

eremple, si,

n

:

5,

r :

3

et

po

:

l/2,

la

probabi,li,t6 a posteri'ori, est

(1

+

_*

2u)

:

_ft

et Ie

_facteur

de Bayes est

_ft

CHAPITRE

Lorsquetatailted"€chanti'llonaugmente'lesuari'ati'onsd'esreponsespossi'bles

s,€'largi,ssent aussr, al,nsi, si,

n(0)

est

Beta(If

2,112)

et

n

:

10, on obti'ent Ia table sui,aante pour les probabili,t[s a posteri,ori', bi,en

que

la

loi, a priori, soi't 4

0 1 2 J

0.:17:17 0.6416 0.7688

P(0

:

|lr)

0.0055 0.0953

To,ble

7 :

probabi'li't€ a posteri'ori' de

{0

:

Il2}Pour

n:10

Etant

donn6 deux hypothdses

fJt et

Hi

correspondant d des hypothbses d.,autre mtrd6les

M;

et

M5

powles

dorm6es

r,

le facteur

de Bayes en faveur de

H;

(et

mntre

'FIi)

s'6crit

:

P(M,lr\

P(Mi)

F@T6 F@J

3.3

Facteur

de

Bayes

pour tester

les

mod6le

n[,@):

Avec

P(M)

+

P(Mi)

_--

L

Lorsqueonestappelerdfairerrnes6lectionentrederrxmodblesMoet,Mt

i.e.i:0etj:lronaffectedchacundesdeuxmodAlesdesprobabilit6sa

priori P(M*),

k:0,1

Duth6oramedeBayes,onpeutalorsexprimerlesprobabi}itdsapostelrorr

P(Mrln):

' k:0'1

34

3.3.

FACTEUN

DE

BA:/J,S

PAUR ?ES?ER

LES MODELES

Avec

P(Mlr)

_-

1-

P(M6lr)

On peut 6crire :

P(Molr)

_{_}

P(rlMo)

P(Mo)

P(Mrlr)

P(rlM)

P(M')

or

njr

P(rlM6)

DOI:FWJ

B$, repr6sente le facteur de Bayes en faveur du moddle

Ms

eonfie My. Le

rapport

_;i##i

est

dit

quotient d'eqjeux a posteriori en faveur du mo-ddle Mo contre le moddle M1.

Le

rapport

_ffi

".t

dit

quotint

d'e4jeux a

priori

en faveur

ffi

contre

ML.

On peut alors exprime

la

relation comme

suit

:

P(Molr) r,

P(Mo)

M:Do1

p7il)

Remarque 3.3.1 si

on aunrd,le

m€me

poiils

a pri,ori,

pour

les

dcur

hypo-th4ses i,.e.

P(Mo):

P(MI)

:

1

2

Le

_facteur

de Bages s'Ecri,t

CHAPITRE

3.

LE

FACTEVN

DE

E.AYF,S

r21t

_-

P(M

olr)

uo1

_-

P(M

_rlr)

Intuitivement,

Ie facteur de Bayes

fournit

une mesure

pour

savorr donn6es

y

ont

augment6

ou

diminu6 les chances

de

Ht

par rapport

ainsi :

n[i

>

L

signifie donc que

fll

est plus plausible d

la

lumiAre de

r'

n}i

<

1 signifie que

la

plausible relative de

Hi

a augment6'

Exemple 3.3.L

Si I'on

test

Hs:0

:0

mntre

H1:0

_I

A

On cnmParc le mod\le

M1

otl

r

_-

I{(0,1)

Au

mod,ille

M2

ott'

r

_-

N(0,1)

si les

dHi

et d

_-

N(0,10)

Le

_facteur

d,e Bages

B,z@)

est d,onc le mpport des densit, marginoles.

Btz(r)

:

_{- -}

Ql!E)""t',?#,i,lz)

,(*#)

r-,,

_do

3.3.

F/ICTEUR

DE

BA]trjS

POUR

TESTERLES

MODELES

Le mar

d,e

Be(r)

est attei,nt

pour

fr

:

0

et

est fauorable d,

Mt

pui'squ'i,l

prend,

la

ualeur

Ji,

d"

logari,thme Egale

d.L.2.

De

plus,

ktgrogp(r)

uaut

a

pour

r :

1.62

,

et

_-!

pour

r :

2.I9 .on

peut renxarquer

la

dffirence

auec les borytes classi.ques

,

puisque

r :

!.62

corresytond presque

h

niueau

ile signi,ficatiue d,e 0.L et

r :

2.19 d.

un

ni,ueau de si'gnifim,ti,ui't€' de 0.A1. On

rejettera d,onc plus dffici,Iement I',hypothcse nulle

Hs:0

:0

en uti,li'sant une

prooEdure baY € si,enne.

Exemple

3.3.2

Ms

:

NB(q

11, do), M1 :

P(r;l?t)i

:

L,

...,n

Dans ce cns le

_facteur

de Bages est donnd

par

:

n

NB

_@1lr

_,

os)

Bflr(")

:

EL--,---ll

P(ral01) 0T0

-

0)"8

0q'

_{n"u!}-'exp

_{-n

d2}

On nppose

pour

I'i,Ilustrati'on que

06: !,

0t:

2

'

S,i

n:

2,

7,t:

3.2:

0,

d,onc

B[r(r)

:

u;

-

6.1

;

i,ndi'quant une o,ugrnentati'on

de Ia Plausibihte de Ms.

S,in:2, rt: t2:2,

d,onc

B[r(n)

: # -

0.3;

i,nd,i,quarrt une l€gCrv

augnentation de la plausibi'li't| de M1'

On

suppose ma,intenant que 06, 01 sont'i,nconnues

et

i,ls

sont

ass'ign€s aur

37

CHAPITRE

3,

LE

FACTEUN

DE

B.AYES

di,stributi,ons a pri'ori' su'i'uantes :

zro(do)

:

Beta(1olao, Fo)

rrr(dr)

:

G(drlar,,6r)

Il

suit

que :

p(nt,...,n,rMo)

: ffiffi

_|

$**-'r,

_-

vo)nn-

o-rttuo

0

f(oo +

9o)

f(a6

*

n)

f(oo)f(,9.)

l(n

+

nT

t-

ao

*

Fo)

&,

que:

P(frt,

"',r"lMl :

+ao r,.rl7 f

--4 " - |

0"t-"'-texp{-(n

+

P)lr];

d|r

r(oo)

_ll

to!

d

f(n

r

+

ot)Di'

l(c1)(n

*

l3)"

t*''

_ff

",'

;- 1

Noter en outre que :

1

E(r;lMs)

:

_{

npStnto,06)Be(0slao,9o\,t00 J 0 1

f(1-oo\

:

J

tBe(o6lo6'

1;doo

U

f(oo

+,30)

f(ao

_-

1)f(60

+

1)

r(c6)r(po)

f(oo +

9o)

a

PO

s.4.

PRAPR;5;zES

LSVtvpTUrrQWS

DE FACTEUR DE

BAWS

EY

+oo

f

E(r,lM)

:

_I

nlrlutt,0lG(0lat,

fir)d0'

J 0 +.n

f

: I

0$(0lor,0r)d0t

J 0 A1 D lJI

De sorte que la sp€cifi,cati,on pr€,alable &aec

o,sol:

Fo/u

i,mplique les m€mes

les detn modCles 8.

0o

:

1,

flo:2

at:2,9r : I

tro

:

_{iJ0r Fo}

:

60

0r:60, 6r:30

o4:

l,

_0o:

2

&t:4, frt:2

tto:$1:0

t.5 5.5 0.27

fro: fi1:2

0.29 0.30 0.38

To,ble

2

:

D*pendanre du

BtJ")

sur des cambi'nai,sons a

pri'ori

3.4

Propri6t6s asymptotiques

de

facteur

de

Bayes

Cette section cherche en outre

i,6tablir

un lien entre le facteur de Bayes

et

la

waisemblance p6nalis6e. Le contexte est d6sormais usuel :

Xn

: (ru..,,fin)

CHAPITRE

3.

LE

FACTEUN

DE

BAYF,S

Et

X-f(r,0).0-r

Le test s'6crit toujours

H0:0

€Os

et flr:de

Or

Dans Ie cadre un peu plus restrient

6 c

R'd'

si

le modale est r6gulier

et

si d6

€

oo

tel

que 7r1(d6)

)

0

et

de sur crolt

dtrS(0)

:

ri(O)

dd, alors dans le cas or) :

d,n(0):

ons(g)/oo(0)

+

(t

_-

c)n1(0)/6,(0)

On peut d6finir une sorte de

rapport

de waisemblance par

hr

-[""

oP(

tog(d"))

drs(0)dO

bot:@

ori

log(0,)

d6signe

log(/(X"ld))

la

valeur de

la

log-waisemblance, Les propri6t6s asymptotiques de 861 d6coulent du maximun du rapport de waisemblance

et

sont les suivantes :

oSi

doe

Oo,

86'.3

+oo

oSi

go€Or, B[r

t*

O

Ainsi, le

facteur de Bayes distingue

la

bonne hypothdse, avec une

pro-babilit6

qui tend exponentiellement rapidement avec

l)

vers 1' Le facteur de Bayes est

dit

consistant'

L[,emarquons que I'hypothdse

rr(00)

)

0 peut parattre illusoire 6tant don-n6e la propri6t6 og n 01

:

@.

Enr6alit6,

ceia peut 6tre le cas si par exemple