Estimation par tests robustes.

(1)

Mathieu Sart

Probl`eme statistique.

EMV Procédure Résultat Sélection de modèles

Exemple de r´esultat.

Bornes de risques.

Frameworks.

Estimation par tests robustes.

Mathieu Sart

Universit´e de Nice Sophia Antipolis

April 17, 2012

(2)

Mathieu Sart

Bornes de risques.

Frameworks.

Probl` eme statistique

I On observe (X₁, . . . ,X_n) unn-échantillon admettant la densitéf par rapport à Lebesgue.

I On utilise comme modèle statistique le modèle paramétrique de toutes les lois uniformes sur [0, θ].

I C’est `a dire, que l’on d´efinit

F ={θ⁻¹1[0,θ], θ∈]0,1]}

et que l’on cherche un estimateur ˆf `a valeurs dansF ”proche”

de f.

I On d´efinit la distance de HellingerHpar H²(f,g) = 1

2 Z

R

pf(x)−p g(x)2

dx

et on d´efinit le risque de ˆf parEf

h

H²(ˆf,f)i .

(3)

Mathieu Sart

Bornes de risques.

Frameworks.

Probl` eme statistique

I On observe (X₁, . . . ,X_n) unn-échantillon admettant la densitéf par rapport à Lebesgue.

I On utilise comme modèle statistique le modèle paramétrique de toutes les lois uniformes sur [0, θ].

I C’est `a dire, que l’on d´efinit

F ={θ⁻¹1[0,θ], θ∈]0,1]}

et que l’on cherche un estimateur ˆf `a valeurs dansF ”proche”

de f.

I On d´efinit la distance de HellingerHpar H²(f,g) =1

2 Z

R

pf(x)−p g(x)2

dx

et on d´efinit le risque de ˆf parEf

h

H²(ˆf,f)i .

(4)

Mathieu Sart

Bornes de risques.

Frameworks.

EMV.

I Sif =θ⁻¹1[0,θ], l’EMV de θestX_(n)= max_1≤i≤nXi. On estime doncf par ˆf =X_(n)⁻¹1[0,X_(n)].

I On peut alors montrer que

∀f ∈F, Ef

hH²(ˆf,f)i

= 1

2n+ 1.

I Que se passe-t-il si f 6∈F, mais f ”proche” deF ?

I On suppose que la densit´ef est f = 10

(1−2n⁻¹)1[0,1/10]+ 2n⁻¹1[9/10,1]

I f est proche de F: H²(f,101[0,1/10])≤5/(4n).

I Pourtant

Ef

h

H²(ˆf,f)i

>0.38

(5)

Mathieu Sart

Bornes de risques.

Frameworks.

EMV.

∀f ∈F, Ef

hH²(ˆf,f)i

= 1

2n+ 1.

(1−2n⁻¹)1[0,1/10]+ 2n⁻¹1[9/10,1]

I Pourtant

Ef

h

H²(ˆf,f)i

>0.38

(6)

Mathieu Sart

Bornes de risques.

Frameworks.

EMV.

∀f ∈F, Ef

hH²(ˆf,f)i

= 1

2n+ 1.

(1−2n⁻¹)1[0,1/10]+ 2n⁻¹1[9/10,1]

I Pourtant

Ef

h

H²(ˆf,f)i

>0.38

(7)

Mathieu Sart

Bornes de risques.

Frameworks.

EMV.

∀f ∈F, Ef

hH²(ˆf,f)i

= 1

2n+ 1.

(1−2n⁻¹)1[0,1/10]+ 2n⁻¹1[9/10,1]

I Pourtant

Ef

h

H²(ˆf,f)i

>0.38

(8)

Mathieu Sart

Bornes de risques.

Frameworks.

EMV vs Tests robustes

I De manière générale, l’EMV peut être très mauvais dans certaines situations. Par exemple lorsque le modèle est légèrement faux.

I Cela justifie de chercher des m´ethodes alternatives.

(9)

Mathieu Sart

Bornes de risques.

Frameworks.

D´ efinition d’un test.

Soientf1etf2deux densit´es. On noteT(f1,f2,X) un test `a valeurs dans{0,1}.

I T(f₁,f₂,X) = 1 signifie que l’on préfèref₂àf₁.

I T(f1,f2,X) = 0 signifie que l’on préfèref1àf2. Il vérifie en outreT(f₁,f₂,X) = 1−T(f₂,f₁,X)

(10)

Mathieu Sart

Bornes de risques.

Frameworks.

Choisir parmi un ensemble fini de points

SoitS un ensemble fini ou d´enombrable de densit´es.

But: choisir l’élément deS le plus proche possible de la vraie densité.

(11)

Mathieu Sart

Bornes de risques.

Frameworks.

La proc´ edure.

I SoitS un ensemble fini (ou d´enombrable).

I Pour toute densit´ef ∈S notons

P_referable(f) ={f⁰ ∈S\ {f},T(f,f⁰,X) = 1}

I D´efinissons

D(f) = sup

H²(f,f⁰),f⁰∈ Preferable(f) avec la convention D(f) = 0 si Preferable(f) =∅.

I UnT estimateur est ˆf ∈S tel que

D(ˆf) = inf{D(f), fdensit´e}.

(12)

Mathieu Sart

Bornes de risques.

Frameworks.

Illustration pour notre probl` eme.

I Dans notre probl`eme, on souhaite trouver la fonction ˆf de F =

θ⁻¹1[0,θ],0< θ≤1 la plus proche possible def.

I Pour ce faire, on discrétiseF, ce qui conduit à un ensemble fini (ou dénombrable)S.

I On sélectionne alors le meilleur élément deS par la procédure précédente.

(13)

Mathieu Sart

Bornes de risques.

Frameworks.

Illustration pour notre probl` eme.

I Dans notre probl`eme, on souhaite trouver la fonction ˆf de F =

θ⁻¹1[0,θ],0< θ≤1 la plus proche possible def.

I Pour ce faire, on discrétiseF, ce qui conduit à un ensemble fini (ou dénombrable)S.

I On sélectionne alors le meilleur élément deS par la procédure précédente.

(14)

Mathieu Sart

Bornes de risques.

Frameworks.

Illustration pour notre probl` eme.

Proposition ([Birg´ e, 2006])

Soient X1, . . . ,Xn, n variables al´eatoires i.i.d de densit´e f . Il existe un estimateurˆf ∈F tel que

CEf

h

H²(f,ˆf)i

≤H²(f,F) +1 n o`u

F =

θ⁻¹1[0,θ],0< θ≤1 et H²(f,F) = inf

g∈FH²(f,g) et o`u C >0est une constante universelle.

I Sif ∈F on a bien une vitesse enn⁻¹.

I Si par exemple ,

f = 10

(1−2n⁻¹)1[0,1/10]+ 2n⁻¹1[9/10,1]

on garde la vitesse enn⁻¹.

(15)

Mathieu Sart

Bornes de risques.

Frameworks.

Illustration pour notre probl` eme.

Proposition ([Birg´ e, 2006])

Soient X1, . . . ,Xn, n variables al´eatoires i.i.d de densit´e f . Il existe un estimateurˆf ∈F tel que

CEf

h

H²(f,ˆf)i

≤H²(f,F) +1 n o`u

F =

θ⁻¹1[0,θ],0< θ≤1 et H²(f,F) = inf

g∈FH²(f,g) et o`u C >0est une constante universelle.

I Sif ∈F on a bien une vitesse enn⁻¹.

I Si par exemple ,

f = 10

(1−2n⁻¹)1[0,1/10]+ 2n⁻¹1[9/10,1]

on garde la vitesse enn⁻¹.

(16)

Mathieu Sart

Bornes de risques.

Frameworks.

Vers un th´ eor` eme de s´ election de mod` ele.

Proposition

Soient X1, . . . ,Xn, n variables al´eatoires i.i.d de densit´e f , et soitV une collection d’espaces vectoriels de dimension finie deL²(R,dx).

Soit∆ une application positive surVtelle que X

V∈V

e^−∆(V⁾≤1

Il existe un estimateurˆf tel que CEf

hH²(f,ˆf)i

≤ inf

V∈V

d²√

f,V

+dimV + ∆(V) n

o`u C >0est une constante universelle et o`u d est la distance de L²(R, dx).

(17)

Mathieu Sart

Bornes de risques.

Frameworks.

R´ esultats

Cette méthode conduit à un estimateur vérifiant des inégalités oracles très générales. On peut en déduire des bornes de risques non

asymptotiques sous des hypoth`eses

I de r´egularit´e surf

I structurelles sur f

En outre, l’estimateur est adaptatif et robuste par rapport `a ces hypoth`eses.

(18)

Mathieu Sart

Bornes de risques.

Frameworks.

Une m´ ethode souple.

Cette méthode peut être utilisée dans différents problèmes statistiques:

I Estimation d’une densité. [Birgé, 2006] [Birgé, 2008]

I Estimation de l’intensit´e d’un processus de Poisson.

[Birg´e, 2007] [Baraud, 2010]

I Estimation de l’intensit´e d’un processus de Poisson avec covariables. [Sart, 2012]

I Estimation de la moyenne de variables al´eatoires positives.

[Baraud, 2010]

I R´egression non gaussienne. [Birg´e, 2006] [Baraud, 2010]

I Estimation de la densit´e d’un processus d´eterminental.

[Baraud, 2012]

(19)

Mathieu Sart

Bornes de risques.

Frameworks.

Baraud, Y. (2010).

Estimator selection with respect to hellinger-type risks.

Probability Theory and Related Fields, pages 1–49.

10.1007/s00440-010-0302-y.

Baraud, Y. (2012).

Estimation of the density of a determinantal process.

Birg´e, L. (2006).

Model selection via testing: an alternative to (penalized) maximum likelihood estimators.

Annales de l’Institut Henri Poincare (B) Probability and Statistics, 42(3):273 – 325.

Birg´e, L. (2007).

Model selection for poisson processes.

Lecture Notes-Monograph Series, 55:pp. 32–64.

Birg´e, L. (2008).

Model selection for density estimation withL2-loss.

ArXiv e-prints.

Sart, M. (2012).

Model selection for poisson processes with covariates.