M ´ethodes param ´etriques

M ´ethodes param ´etriques

•

Objectif

•estimer ladensit ´ep(x)

•´etant donn ´eDn= (X₁,X2, . . . ,Xn)tir ´e iid dep(x)

•

Classification

•estimateurs a-posteriori:!p(x|Ci):

•estimateurs a-priori:P(C! i):

•on utiliseP(C! i)!p(x|Ci)comme des fonctions discriminantes

M ´ethodes param ´etriques

•

Densit ´e param ´etrique:

•!:vecteur de param `etres

•

Approche de maximum de vraisemblance

•les param `etres sontfixes mais inconnus

•maximiser la probabilit ´edes donn ´ees

•

Approche bayesienne

•les param `etres sontal ´eatoires par nature

•les donn ´ees sont utilis ´ees pourraffiner la distribution a-priori des param `etres

M ´ethodes param ´etriques

•

Principe de maximum de vraisemblance

•levraisemblancede!par rapport `aDn: p(Dn|!) =

"

i=1

p(xi|!)

•fonction delog-vraisemblance:

l(!) =lnp(Dn|!) =

#

i=1

lnp(xi|!)

M ´ethodes param ´etriques

•

Principe de maximum de vraisemblance

•estimation demaximum de vraisemblance

!! = arg max

!

p(Dn|!) =arg max

! n

"

i=1

p(xi|!)

= arg max

! n

#

lnp(xi|!) =arg max

!

l(!)

•conditions n ´ecessaires:

!!l(!) =

#

i=1!!lnp(xi|!) =0

M ´ethodes param ´etriques

1 2 3 4 5 6 7

1 2 3 4 5 6 7

1 2 3 4 5 6 7

-100 -60 -40 -20

θ l(θ )

θ θ 0.4 x 10-7

0.8 x 10-7 1.2 x 10-7

θ p(D|θ )

x

-80

ˆ

ˆ

M ´ethodes param ´etriques

•

Le principe de minimisation du risque empirique

•perte:L(x,p) =! −ln!p(x)

•risque:R(p) =! − Z

p(x)ln!p(x)dx

•pour une densit ´ep!quelconque:R(p)≤R(p)!

•entropie:

H(p) =−

Z p(x)lnp(x)dx

•“distance” deKullback-Leibler:

d(!p,p) =− Z

p(x)lnp(x)! p(x)dx

M ´ethodes param ´etriques

•

Exemple: densit ´e normale,

inconnu

•!µ=1 n

n

#

xi

•

Exemple: densit ´e normale,

inconnus

•!µ=1 n

n

#

xi

•!$=1 n

n

#

(xi−!µ)(xi−!µ)^t

M ´ethodes param ´etriques

•

Estimation bayesienne

•densit ´ea-prioriconnue:p(!)

•densit ´ea-posteriorip(!|Dn) =“p(!) +Dn”

•utilisation:

p(x|Dn) = ^Z p(x|!)p(!|Dn)d!

#= p(x|!^∗) o `u

!^∗=arg max

!

p(!|Dn)

M ´ethodes param ´etriques

1

-4 -2 2 4 µ

1

30 20

5 10

0 p(µ|x₁,x₂,...,x_n)

M ´ethodes param ´etriques

•

Estimation bayesienne: cas normal

•densit ´ea-posteriorip(µ|Dn) =?,p(%²|Dn) =?

•cas univari ´e:p(x|µ)∼N(µ,%²)

•densit ´e a-priorip(µ) =N(µ0,%²0)

M ´ethodes param ´etriques

•

Estimation bayesienne: cas normal

•th ´eor `eme de Bayes:

p(µ|Dn) = p(Dn|µ)p(µ) Rp(D_n|µ)p(µ)dµ=&

n

"

i=1

p(xk|µ)p(µ)

= 1

√2'%n

exp

"

−1 2

#µ−µn

%n

$2%

o `u

µn =

# n%²₀ n%²₀+%²

$2

! µn+ %²

n%²₀+%²µ0

%²n = %²0%² n%²₀+%²

M ´ethodes param ´etriques

•

Estimation bayesienne: cas normal

•densit ´e conditionnelle de classe

p(x|Dn) = ^Z p(x,µ|Dn)dµ=^Z p(x|µ,Dn)p(µ|Dn)dµ

= ^Z p(x|µ)p(µ|Dn)dµ

∼ N(µn,%²+%²n)

M ´ethodes param ´etriques

•

Avantages de l’approche bayesienne

•connaissances a-priori int ´egr ´eesdoucement

•tendance `a mieux fonctionner pour lespetites donn ´ees

•

Avantages de l’approche de maximum de vraisemblance

•simplicit ´e

•interpr ´etabilit ´e

•vitesse du calcul