Estimateur récursif de la fonction de lien dans un modèle semi-paramétrique

(1)

Plan

Estimateur r´ ecursif de la fonction de lien dans un mod` ele semi-param´ etrique

Thi Mong Ngoc NGUYEN

^1,2

Bernard BERCU

^1,2

et J´ erˆ ome SARACCO

^1,2,3

1IMB, UMR CNRS 5251, Universit´e Bordeaux 1

2Equipe CQFD, INRIA Bordeaux Sud-Ouest, France

3GREThA, UMR CNRS 5113, Universit´e Montesquieu Bordeaux 4

9`emes Colloque “Jeunes Probabilistes et Statisticiens” - Mai 2010

(2)

Plan

1 Introduction

Mod` ele de r´ egression M´ ethodes r´ ecursives

2 Estimation r´ecursive

Estimateur r´ ecursif du param` etre

θ

Estimateur r´ ecursif de la fonction f

3 Propri´et´es asymptotiques

R´ esultats asymptotiques R´ esultats de simulation

4 Conclusion et Perspectives

(3)

Introduction Estimation récursive Propriétés asymptotiques Conclusion et Perspectives

Modèle de régression Méthodes récursives

Mod` ele de r´ egression

Objectif : Mod´ eliser la liaison entre une variable ` a expliquer y et une variable explicative x.

Applications : Nombreux domaines tels que l’´ economie, la biostatistique, les sciences de l’environnement, . . .

Deux grandes classes de mod` eles de r´ egression sont

omnipr´ esentes : les mod` eles param´ etriques et les mod` eles non

param´ etriques.

(4)

Mod` ele param´ etrique : y = f

_θ

(x) +

ε

Objectif : Estimer le param` etre

θ.

Technique d’estimation : M´ ethode du maximum de vraisemblance, m´ ethode des moindres carr´ es, . . .

Avantages sp´ ecifiques : Ils permettent une interpr´ etation claire de l’impact de la variable explicative sur la variable ` a expliquer.

D´ efauts sp´ ecifiques :

Le choix d’un bon modèle paramétrique au vu des données n’est pas toujours évident.

Le modèle paramétrique choisi peut ne pas être en adéquation avec les données et peut donc parfois être très “éloigné” de la réalité de données⇒les conclusions en découlant peuvent alors être erronées.

(5)

Mod` ele non param´ etrique : y = f (x) +

ε

Objectif : Estimer la fonction de lien f .

Technique d’estimation : M´ ethodes des estimateurs ` a noyau, des splines de lissage, des ondelettes, . . .

Avantages sp´ ecifiques : Ils offrent davantage de flexibilit´ e (aucune hypoth` ese param´ etrique n’est impos´ ee dans ce mod` ele, seules des hypoth` eses de r´ egularit´ e sur f sont impos´ ees).

D´ efauts sp´ ecifiques :

Il faut estimer la fonction de lien le plus souvent au moyen de proc´edure de calculs intensifs en particulier en ce qui concerne la recherche des param`etres de lissage, ce qui est lourd en temps de calcul.

L’interpr´etation de la fonction de lien n’est pas toujours

´ evidente.

(6)

Mod` ele semi-param´ etrique : y

∈R

, x

∈R^p

,

Y

_n+1

= f (θ

⁰

X

_n

) +

ε_n+1

(1) o` u : (i) le param` etre

θ∈R^p

, inconnu ;

(ii) le bruit

ε⊥

x, aucune hypoth` ese sur la distribution de

ε

; (iii) la fonction de lien f inconnue.

Objectif : Estimer le param` etre

θ

et la fonction de lien f . Technique d’estimation :

MéthodeSIR(Sliced Inverse Regression) permet d’estimer la partie paramétriqueθdu modèle (1) sans avoir à estimer la fonctionf.

Ensuite, la fonction de lienf peut être estimée via une méthode non paramétrique.

Les méthodes récursives d’estimation n’ont jamais été développées dans le cadre de ce modèle semi-paramétrique.

(7)

Notre Objectif :

Proposer un estimateur r´ ecursif

de la directionθdans (1) en adaptant au cadre r´ecursif la m´ethode SIR ;

de la fonction lienf dans (1) en combinant l’estimateur de Nadaraya-Watson récursif def à l’estimateur récursif de θ estimé par la méthode SIR récursive.

Proposer quelques propri´ et´ es asymptotiques associ´ ees ` a nos

estimateurs r´ ecusifs.

(8)

L’avantage des m´ ethodes r´ ecursives

Prendre en compte l’arriv´ ee temporelle des informations et affiner ainsi au fil du temps les algorithmes d’estimation mis en œuvre.

Il n’est pas n´ ecessaire de relancer tous les calculs d’estimation des param` etres du mod` ele ` a chaque fois que la base de donn´ ees est compl´ et´ ee par de nouvelles observations.

Id´ ee : utiliser les estimations calcul´ ees sur la base de donn´ ees initiale et les remettre ` a jour en tenant uniquement compte des nouvelles donn´ ees arrivant dans la base.

Le gain en terme de temps de calcul peut ˆ etre tr` es int´ eressant

et les applications d’une telle appproche sont nombreuses.

(9)

Estimateur récursif du paramètreθ Estimateur récursif de la fonctionf

M´ ethode SIR

SIR = Slice Inverse Regression (R´ egression inverse par tranches) Sliced

→

discr´ etisation (ou “tranchage”) de y

va permettre de simplifier l’estimation des moments intervenant dans les propriétés géométriques, ne modifie pas la partie paramétrique du modèle (1).

Inverse

→

utilisation de propri´ et´ es g´ eom´ etriques des moments

“inverse” de x sachant y :

E

[x

|

y] et

V

[x

|

y].

⇒

avantage : la dimension du probl` eme a ´ et´ e r´ eduite ;

⇒

coˆ ut ` a payer : rajouter une hypoth` ese :

(H)

La variable explicative x possède une distribution de probabilité non dégénérée telle que,∀b∈R^p,E[b⁰x|θ⁰x]est linéaire en θ⁰x . (vérifiée lorsquex suit une distribution elliptique).

(10)

Estimateur r´ ecursif de la direction de θ

Remarque : Le param` etre

θ

n’est pas totalement identifiable, seule la direction de

θ

est d’identifiable

⇒

direction EDR (Effective Dimension Reduction).

Vecteur propre ˜

θ

associ´ e ` a la valeur propre non nulle de Σ

⁻¹

Γ est colin´ eaire ` a

θ⇒ θ

˜ est une direction EDR

(o` u : Σ =

V(x) et Γ =V(E[x|T(y

)])).

Echantillon :´ {(xi,yi),i= 1, . . . ,n} de v.a iid (x,y) issues du (1).

Scinder cet ´echantillon en 2 parties : le sous-´echantillon {(xi,yi),i= 1, . . . ,n−1}etune nouvelle observation (xn,yn).

Discr´etisation dey en 2 tranches distinctess1 ets2,

supposons que (xn,yn)est telle queyn∈sh^∗ avech^∗= 1 ou 2.

(11)

Estimateur r´ ecursif de la direction de θ

Estimateur r´ ecursif

θ

ˆ

_n

de

θ

˜ :

θ

ˆ

n

=

n

n−1θ

ˆ

n−1−

n

(n

−

1)(n +

ρ_n

) Σ

⁻¹_n−1

Ψ

n

Ψ

⁰_nθ

ˆ

n−1

−

(−1)

^h^∗

n (n

_h^∗,n−1

+ 1)(n

−

1)

Σ

⁻¹_n−1−

1 n +

ρ_n

Σ

⁻¹_n−1

Ψ

n

Ψ

⁰_n

Σ

⁻¹_n−1

Ψ

_h^∗_,n.

o` u : Ψ

n

= x

n−

¯ x

n−1

;

Ψ

_h^∗_,n

= x

_n−

m

_h^∗,n−1

;

ρn

= Ψ

⁰_n

Σ

⁻¹_n−1

Ψ

n

.

(12)

Estimateur de Nadaraya-Watson r´ ecursif Si

n

X

i=1

1 hi−1

K x

−

X

_i−1

hi−1

6= 0,

f

ˆ

_n

(x) = 1

n

X

i=1

1 hi−1

K

x

−

X

i−1

hi−1

n

X

i=1

1 hi−1

K x

−

X

_i−1

hi−1

Y_i

Autre ´ ecriture :

ˆ

f_n+1

(x) = ˆ

f_n

(x) + 1

n

X

i=1

1 h_i

K

x

−

X

i

h_i

1

h_n

K x

−

X

_n h_n

(Y

_n+1−

ˆ

f_n

(x)).

(13)

Posons Φ

_n

=

θ⁰X_n,

θ

ˆ

_n

: estimateur r´ ecursif de

θ







⇒

Φ ˆ

_n

= ˆ

θ⁰_nX_n

: pr´ edicteur de Φ

_n

.

En combinant l’estimateur de Nadaraya-Watson récursif de f à l’estimateur récursif deθ, nous avons : ∀z ∈R

,

f

ˆ

n

(z) = 1

n

X

i=1

1 hi−1

K z

−

Φ ˆ

i−1

hi−1

n

X

i=1

1 hi−1

K

z

−

Φ ˆ

_i−1

hi−1

Yi.

Autre ´ ecriture :

ˆ

fn+1

(z) =

f

ˆ

n

(z ) + 1

n

X

i=1

1

h_i

K z

−

Φ ˆ

_i h_i

1 hn

K

z

−

Φ ˆ

_n hn

(Y

n+1−

ˆ

fn

(z)).

(14)

R´esultats asymptotiques R´esultats de simulation

R´ esultats asymptotiques pour ˆ θ

_n

Hypoth` eses :

(A1) Les observations (x_i,y_i),i= 1, ...,n, sont échantillonnées de manière indépendante à partir du modèle (1).

(A2) Le support dey est partionn´e en deux tranches fixess1ets2

telles queP(y∈s_h)6= 0 pourh= 1,2.

(15)

R´ esultats de convergence :

Théorème (Convergence presque sûrement)

Sous les hypoth` eses (H), (A1) et (A2), nous avons

||θ

ˆ

_n−θ

˜

||=O

r

log(log

n) n

!

p.s.,

où le vecteurθ˜est colinéaire àθ

.

Th´eor`eme (Convergence en loi)

Sous les hypoth` eses (H), (A1) et (A2), nous avons :

√n(ˆθ_n−θ)

˜

−→ N^L

(0, Σ

⁻¹

∆

₃

Σ

⁻¹

),

o` u

∆3peut ˆetre calcul´ee explicitement

.

(16)

R´ esultats asymptotiques pour ˆ f

_n

Hypoth` eses :

(H.1)Fenˆetreh_n=n^−αest positive telle que :

n→∞lim h_n= 0 et lim

n→∞nh_n=∞.

(H.2)NoyauK estun noyau `a support compact, mesurable, positif et born´e satisfaisant :

Z

R

K(x)dx= 1, Z

R

|x|K(x)dx<+∞, Z

R

K²(x)dx =τ²

(H.3)Fonction de lienf est une fonction Lipschitzienne, bornée et deux fois continûment dérivable surR.

(17)

Résultats de convergence : En utilisant le résultat de convergence presque sûrement de ˆθn, nous avons : Théorème (Convergence presque sûrement)

Sous les hypoth`eses(H.1)−(H.3), nous avons quand n→ ∞:

||fˆn(z)−f(z)||=O n^2α

rlog(logn) n

!

p.s..

Th´eor`eme (Convergence en loi)

Sous les hypoth`eses(H.1)−(H.3), supposons queE(Y²)<∞,

∀α∈]1/3,1/2[eth(Φ)>0, ∀z ∈R, nous avons quand n→ ∞: pnhn

fˆn(z)−f(z) _L

−→ N

0, σ²τ² h(Φ)(1 +α)

. o`uσ²=E[ε²_n|Fn−1]et h(Φ) est la densit´e de(Φn).

(18)

R´ esultats de simulation pour ˆ θ

_n

Objectif : Etudier le comportement num´ ´ erique de

l’estimateur r´ ecursif ˆ

θ_n

(la convergence de ˆ

θ_n

vers la vraie direction

θ

du mod` ele).

Mod` ele simul´ e : (M1) : y = (θ

⁰

x)

³

+

ε

avec x

∼ N_p

(0, I

_p

),

θ

= (1,

−1,

0, . . . , 0)

∈R^p

,

ε∼ N

(0, 1).

Motivations :

Montrer l’évolution, en fonction la taille de l’échantillon n, de la qualité de l’ estimateur récursif, et l’effet de la dimensionp dex sur la qualité de l’estimation.

Illustrer la normalit´e asymptotique de l’estimateur r´ecursif.

La qualit´e de l’estimation sera mesur´ee par cos²(ˆθn, θ) = (<θˆn, θ >)²

||θˆn|| × ||θ||.

Plus cos²(ˆθn, θ) est proche de 1, meilleure est la qualit´e de l’estimation.

(19)

0 200 400 600 800 1000

0.00.20.40.60.81.0

N

cosinus carrés

Modèle (M1) avec Sigma=Ip

●●

●

●●

p=5 p=10 p=12 p=40

0.00.20.40.60.81.0

cosinus carrés

Modèle (M1) avec Sigma=Ip pour N=500

●

● ●

●●

●

●●

● ●●●●

N=50 N=100 N=150 N=200 N=300 N=500 N=700 N=1000

0.00.20.40.60.81.0

cosinus carrés

Modèle (M1) avec Sigma=Ip

Evolution de la qualit´´ e de l’estimateur deθˆn, en fonction den et en fonction dep, sur un ´echantillon et sur 500 ´echantillons.

(20)

−4 −2 0 2 4

0.00.10.20.30.4

densité

−4 −2 0 2 4

0.00.10.20.30.4

−4 −2 0 2 4

0.00.10.20.30.4

densité

−4 −2 0 2 4

0.00.10.20.30.4

Illustration de la normalit´e asymtotique pour 2 composantes deθˆn

(le graphe de la densité de la loiN(0,1), en pointillé, est superposé à l’histogramme).

(21)

R´ esultats de simulation pour ˆ f

_n

Objectif : Etudier le comportement num´ ´ erique de l’estimateur r´ ecursif ˆ f

_n

en combinant l’estimateur de Nadaraya-Watson r´ ecursif de f ` a l’estimateur r´ ecursif ˆ

θn

. Mod` ele simul´ e : (M2) : y = (θ

⁰

x)exp(−θ

⁰

x) +

ε

avec x

∼ N

(m, σ

²

),

θ∈

[−10; 10])

∈R^p

,

ε∼ N

(0, 1).

Motivations :

Montrer l’évolution, en fonction la taille de l’échantillon n, de la qualité de l’ estimateur récursif.

Illustrer la normalit´e asymptotique de l’estimateur r´ecursif.

(22)

0 100 200 300 400 500 600 700 800 900 1000

0 0.5 1

LGN pour l’estimateur de theta

0 100 200 300 400 500 600 700 800 900 1000

−4

−2 0 2

LGN pour l’estimateur de f

Evolution,en fonction de´ n, de la qualit´e de l’estimateur deθˆn et defˆn.

(23)

−4 −3 −2 −1 0 1 2 3 4

0 0.05 0.1 0.15 0.2 0.25 0.3 0.35 0.4 0.45

TLC associÃ©

Illustration de la normalit´e asymtotique deˆfn(z)

dans le mod`ele (M2) avec le choix de noyau Gaussien et de fenˆetren^−0.45.

(24)

Conclusion

Les estimateurs récursifs proposés semblent bien fonctionner numériquement pour des tailles d’échantillons raisonnables et même lorsque la dimension de la covariablex est importante.

Nous obtenons bien la normalit´e asymptotique des estimateurs propos´es.

Perspective

Le choix de la fenˆ etre h

n

= n

^−α

est crucial. Nous continuons

`

a travailler sur la partie th´ eorique afin d’´ elargir l’intervalle

α∈]1/3; 1/2[.

(25)

MERCI DE VOTRE ATTENTION