Prédiction en régression linéaire fonctionnelle avec variable d'intérêt fonctionnelle

HAL Id: inria-00494704

https://hal.inria.fr/inria-00494704

Submitted on 24 Jun 2010

HAL is a multi-disciplinary open access archive for the deposit and dissemination of sci- entific research documents, whether they are pub- lished or not. The documents may come from teaching and research institutions in France or

L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de recherche français ou étrangers, des laboratoires

Prédiction en régression linéaire fonctionnelle avec variable d’intérêt fonctionnelle

Christophe Crambes, André Mas

To cite this version:

Christophe Crambes, André Mas. Prédiction en régression linéaire fonctionnelle avec variable d’intérêt

fonctionnelle. 42èmes Journées de Statistique, 2010, Marseille, France, France. �inria-00494704�

Pr´ ediction en r´ egression lin´ eaire fonctionnelle avec variable d’int´ erˆ et fonctionnelle

Christophe Crambes & Andr´ e Mas

Universit´ e Montpellier 2, Place Eug` ene Bataillon, 34095 Montpellier Cedex, France

R´ esum´ e. Ce travail concerne l’´ etude de la pr´ ediction dans le mod` ele lin´ eaire fonctionnel lorsque la variable d’int´ erˆ et est elle aussi fonctionnelle. Nous introduisons un pr´ edicteur bas´ e sur les d´ ecompositions de Karhunen-Lo` eve des courbes X (variable explicative) et Y (variable d’int´ erˆ et). Les r´ esultats obtenus permettent de fournir un d´ eveloppement asymp- totique de la moyenne quadratique de l’erreur de pr´ ediction. Nous donnons ´ egalement un r´ esultat d’optimalit´ e pour ces vitesses dans un sens minimax, ainsi qu’un th´ eor` eme de la limite centrale du pr´ edicteur.

Abstract. This work concerns the prediction problem in the functional linear model with functional output. We introduce a predictor based on Karhunen-Lo` eve decompo- sitions of the curves X (covariate) and Y (output). Our results give an asymptotic development of the mean square prediction error. We also give an optimality result for these rates of convergence in a minimax sense, as well as a central limit theorem for the predictor.

Mots cl´ es. Mod` ele lin´ eaire fonctionnel, variable d’int´ erˆ et fonctionnelle, d´ ecomposition de Karhunen-Lo` eve, erreur de pr´ ediction, vitesses optimales, th´ eor` eme de la limite cen- trale.

1. Introduction

Les mod` eles de r´ egression, permettant d’expliquer comment une variable d’int´ erˆ et Y

est reli´ ee ` a une variable explicative X, sont parmi les plus utilis´ es en statistique. Nous

nous pla¸cons dans ce cadre de travail, en supposant que les variables X et Y sont ` a valeurs

dans l’espace L

(I) des fonctions de carr´ e int´ egrable sur un intervalle I, qui sera consid´ er´ e

comme [0, 1] pour simplifier. Ce type de variables al´ eatoires dites fonctionnelles permet

de prendre en compte de nombreuses situations pratiques o` u les observations sont par

nature des courbes (fonctions du temps par exemple). Ces donn´ ees ´ etant tr` es pr´ esentes

dans de nombreuses applications, les travaux concernant l’´ etude des donn´ ees fonctionnelles

se multiplient actuellement ` a tr` es grande vitesse. Les ouvrages de r´ ef´ erence actuels en

la mati` ere sont les monographies de Ramsay et Silverman (2002, 2005), qui donnent une

vue d’ensemble sur ce champ de recherche, tandis que la monographie de Ferraty et Vieu

(2006) recense les principaux r´ esultats obtenus dans un contexte non-param´ etrique sur les donn´ ees fonctionnelles.

On consid` ere dans la suite un mod` ele qui s’´ ecrit sous la forme Y (t) =

Z

0

S (s, t) X (s) ds + ε (t) , E (ε|X) = 0, (1) o` u S est un noyau int´ egrable. Ce mod` ele, encore peu ´ etudi´ e, a fait l’objet de quelques travaux, parmi lesquels Chiou, M¨ uller et Wang (2004), Yao, Muller et Wang (2005) qui proposent une estimation de S bas´ ee sur une analyse en composantes principales des courbes X et Y . Une des premi` eres ´ etudes est due ` a Cuevas, Febrero et Fraiman (2002).

R´ ecemment, Antoch et al. (2008) ont ´ etudi´ e un estimateur spline de S tandis que Aguilera, Oca˜ na and Valderrama (2008) en ont propos´ e un estimateur ` a base d’ondelettes. Le mod` ele (1) peut s’´ ecrire sous la forme Y (t) = S(X)(t) + ε(t) o` u l’op´ erateur S est d´ efini par Sf (t) = R

0

S (s, t) f (s)ds pour toute fonction f de L

.

Dans la suite, on consid` ere un ´ echantillon (X

, Y

)

d’observations ind´ ependantes et de mˆ eme loi que (X, Y ) sur lequel on se base pour construire notre pr´ edicteur.

2. Construction du predicteur

On introduit les notations suivantes. Le produit scalaire usuel de L

est not´ e h., .i et d´ efini par hf, gi = R

0

f(t)g(t)dt pour toutes fonctions f et g de L

. Le produit tensoriel entre deux fonctions f et g de L

est d´ efini par f ⊗ g = hg, .if et associe ` a toute fonction h de L

la fonction hg, hif . Partant du mod` ele (1), il vient

E [Y ⊗ X] = E [S (X) ⊗ X] + E [ε ⊗ X] . En notant

∆ = E [Y ⊗ X] , Γ = E [X ⊗ X] ,

on en d´ eduit ∆ = SΓ. En introduisant les versions empiriques des op´ erateurs ∆ et Γ par

∆

= 1 n

n

X

i=1

Y

⊗ X

, Γ

= 1 n

n

X

i=1

X

⊗ X

,

un estimateur naturel de S est donn´ e par S b

v´ erifiant ∆

= S b

Γ

. Le probl` eme est que l’op´ erateur Γ

ne peut pas ˆ etre directement invers´ e. Une solution classique consiste

`

a consid´ erer un inverse r´ egularis´ e. Pour cela, on note b λ

, b e

les ´ el´ ements propres de Γ

(les valeurs propres ´ etant rang´ ees par ordre d´ ecroissant). De fa¸con analogue, (λ

, e

) d´ esignent les ´ el´ ements propres de Γ. L’op´ erateur Γ

s’´ ecrit alors Γ

= P

j

λ b

( b e

⊗ b e

) et

son inverse r´ egularis´ e est donn´ e par

Γ

=

k

X

j=1

b λ

( b e

⊗ b e

) , (2) o` u k = k

est le nombre de composantes principales choisies. De cette d´ ecomposition se d´ eduit une expression de l’estimateur de S par

S b

(s, t) = 1 n

n

X

i=1 k

X

j=1

Z X

b e

b λ

Y

(t) b e

(s) .

L’estimateur S b

de S est d´ efini par S b

= ∆

Γ

et le pr´ edicteur associ´ e est donn´ e par Y b

= S b

(X

) = ∆

Γ

(X

) pour une nouvelle observation X

.

3. R´ esultats asymptotiques 3.1. Hypoth` eses

Les hypoth` eses permettant d’´ etablir nos r´ esultats sont les suivantes.

(H.1) On suppose que S est un op´ erateur de Hilbert-Schmidt: pour toute base (e

)

de H, on a

X

j,`

hS (e

) , e

i

< +∞.

(H.2) Consid´ erons la d´ ecomposition de Karhunen-Lo` eve de X qui s’´ ecrit X =

+∞

X

j=1

p λ

ξ

e

p.s.,

o` u les ξ

sont des variables al´ eatoires centr´ ees r´ eduites et non corr´ el´ ees. On suppose que, pour j, ` ∈ N , il existe une constante b telle que

E

|ξ

|

≤ `!

2 b

· E |ξ

|

.

(H.3) Soit λ la fonction d´ efinie par λ(j ) = λ

pour tout entier j (les λ

´ etant les valeurs propres de l’op´ erateur Γ). On interpole cette fonction de fa¸con continue entre j et j + 1 telle que

x → λ (x) est convexe.

L’hypoth` ese (H.1) ´ equivaut ` a supposer que le noyau S est doublement int´ egrable. Re-

marquons qu’en dehors de cette hypoth` ese, on ne suppose rien d’autre sur S, en particulier

de faire une hypoth` ese de moment (d’ordre 4) sur X. Cette hypoth` ese est par exemple v´ erifi´ ee lorsque X est un processus gaussien ou encore un processus born´ e p.s. L’hypoth` ese (H.3) est un hypoth` ese de d´ ecroissance sur les valeurs propres de Γ. Elle est v´ erifi´ ee pour une large classe d’op´ erateurs, dont les valeurs propres sont ` a d´ ecroissance arithm´ etique, exponentielle . . . , y compris pour des processus X tr` es irr´ eguliers.

3.2. Erreur de pr´ ediction en moyenne quadratique

On note Γ

= E (ε ⊗ ε) l’op´ erateur de covariance du bruit et σ

= trΓ

. On a alors, sous les hypoth` eses pr´ ec´ edentes

E

S b

(X

) − S (X

)

2

= σ

k n +

+∞

X

j=k+1

λ

kS (e

)k

+ A

+ B

, (3) o` u A

≤ C

n

kSk

2

et B

≤ C

n²

, les constantes C

et C

ne d´ ependant pas de k, n ou S.

3.3. Optimalit´ e

Notre estimateur est construit de fa¸con tr` es proche de celui de Yao, Muller et Wang (2005). Notre apport concerne un r´ esultat, ´ enonc´ e ci-dessous, donnant des vitesses opti- males de convergence de l’estimateur. Pour toute fonction ϕ : R

→ R

de classe C

et d´ ecroissante telle que P

j=1

ϕ (j) = 1, on note L

(ϕ, L) la classe des op´ erateurs lin´ eaires de H dans H d´ efinie par

L

(ϕ, L) = n

T ∈ L

, kT k

2

≤ L : kT (e

)k ≤ L p ϕ (j) o

. Si on note de plus L =

SΓ

2

, ϕ (j) = λ

kS (e

)k

/L

et k

la partie enti` ere de la solution en x de l’´ equation

1 x

Z

x

ϕ (x) dx = 1 n

σ

L

, on a alors (comme cons´ equence de la sous-section pr´ ec´ edente):

lim sup

n→+∞

n

k

sup

SΓ^1/2∈L2(L,ϕ)

E

S b

(X

) − S (X

)

2

= 2σ

. Le r´ esultat d’optimalit´ e peut ` a pr´ esent ˆ etre ´ enonc´ e:

inf

Sbn

sup

S∈L2(ϕ,C)

E

S b

(X

) − S (X

)

2

k

n .

3.4. Convergence faible

Notre principal r´ esultat est donn´ e ci-dessous. Sous les hypoth` eses pr´ ec´ edentes et sous la condition que (k log k)

/n → 0, alors

r n k

h

S b

(X

) − SΠ

(X

) i

→ G

o` u G

est une variable al´ eatoire gaussienne ` a valeurs dans H, centr´ ee et d’op´ erateur de covariance Γ

. Sous certaines conditions, ce r´ esultat peut alors s’´ ecrire

r n k

h

S b

(X

) − S (X

) i

→ G

.

Une des cons´ equences de ce r´ esultat est que, pour un choix de H = W

([0, 1]) = {f ∈ L

([0, 1]) : f (0) = 0, f

∈ L

([0, 1])}, on obtient, pour un t

fix´ e dans [0, 1]

P Y

(t

) ∈

"

Y b

(t

) ± r k

n σ

q

#!

= 1 − α, avec σ

0

= Γ

(t

, t

).

Bibliographie

[1] Aguilera, A., Oca˜ na, F. and Valderrama, M. (2008). Estimation of functional regres- sion models for functional responses by wavelet approximation. International Workshop on Functional and Operatorial Statistics 2008 Proceedings, Functional and operatorial statistics, Dabo-Niang and Ferraty (Eds.), Physica-Verlag, Springer.

[2] Antoch, J., Prchal, L., De Rosa, M. and Sarda, P. (2008). Functional linear regression with functional response: application to prediction of electricity consumption. Interna- tional Workshop on Functional and Operatorial Statistics 2008 Proceedings, Functional and operatorial statistics, Dabo-Niang and Ferraty (Eds.), Physica-Verlag, Springer.

[3] Chiou, J-M., M¨ uller, H-G. and Wang J-L. (2004). Functional response models. Sta- tistica Sinica, 14, 659-677.

[4] Cuevas, A., Febrero, M. and Fraiman, R. (2002). Linear functional regression : the case of a fixed design and a functional response. Canadian Journal of Statistics, 30, 285-300.

[5] Ferraty, F. and Vieu, P. (2006). Nonparametric functional data analysis: methods, theory, applications and implementations. Springer-Verlag, London.

[6] Ramsay, J.O. and Silverman, B.W. (2002). Applied functional data analysis. Springer- Verlag.

[7] Ramsay, J.O. and Silverman, B.W. (2005). Functional data analysis (Second Ed.).

Springer, New York.

[8] Yao F., M¨ uller H-G. and Wang, J-L. (2005). Functional linear regression analysis for

longitudinal data. Ann. Statist., 33, 2873-2903.