Estimation de la fonction de variance par agrégation de type sélection modèle

(1)

HAL Id: hal-03235514

https://hal.archives-ouvertes.fr/hal-03235514

Submitted on 25 May 2021

HAL is a multi-disciplinary open access archive for the deposit and dissemination of sci- entific research documents, whether they are pub- lished or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers.

L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.

Estimation de la fonction de variance par agrégation de type sélection modèle

Ahmed Zaoui

To cite this version:

Ahmed Zaoui. Estimation de la fonction de variance par agrégation de type sélection modèle. JDS 2021 52èmes Journées de Statistique de la Société Française de Statistique (SFdS), Jun 2021, Nice, France. �hal-03235514�

(2)

Estimation de la fonction de variance par agr´ egation de type s´ election mod` ele

Ahmed ZAOUI

Laboratoire LAMA, Universit´e Gustave Eiffel, Ahmed.Zaoui@univ-eiffel.fr

Résumé. Dans ce travail, nous nous intéressons à l’estimation de la fonction de variance en régression par agrégation de type sélection modèle (MS). Le but de la procédure MSest de sélectionner le meilleur estimateur parmi un ensemble de prédicteurs. Le prédicteur sélectionné est alors appelé MS-estimateur. La construction de MS-estimateur repose sur une procédure en deux étapes. Dans une première étape, à partir d’un premier échantillon, nous construisons des estimateurs de la fonction de variance par la méthode basée sur les erreurs résiduelles. Dans une deuxième étape, nous les agrégeons à l’aide d’un deuxième

échantillon. Nous établissons la consistance de MS-estimateur vis-à-vis du risque L₂ et illustrons ses performances numériques sur simulations.

Mots-clés. Agrégation, Régression, Méthode basée sur les erreurs résiduelles.

Abstract. In this work, we focus on the variance function estimation in regression by model selection aggregation MS. The aim of the MS procedure is to select the best estimator from a set of predictors. The selected predictor is then calledMS-estimator. The construction of MS-estimator relies on a two-step procedure. In the first step, from a first sample, we construct estimators of the variance function by the residual-based method. In the second step, we aggregate them using a second sample. We establish the consistency of MS-estimator with respect to the L₂ risk and illustrate its numerical performances on simulations.

Keywords. Aggregation, Regression, Residual-based method.

1 Introduction

Nous introduisons tout d’abord le modèle de régression. Dans ce cadre, une donnée observée est de la forme (X, Y) où X ∈ R^d est la variables explicative et Y ∈ R est la variable à prédire associée à l’entréeX telle que

Y =f^∗(X) +ζ,

o`u ζ est la variable de bruit satisfaisant E[ζ|X] = 0 et E[ζ²] < ∞. Dans la suite, nous notonsf^∗(x) =E[Y|X =x] la fonction de r´egression et σ²(x) = E[(Y −f^∗(X))²|X =x]

la fonction de variance conditionnelle pour tout x∈R^d.

(3)

L’estimation de la fonction de variance conditionnelle joue un rôle important en régression, notamment pour mesurer la volatilité ou le risque en finance (Anderson et al (1997)), ou encore pour la construction d’un intervalle de confiance pour la fonction de régression (Hart (1997)). Plus récemment, dans le cadre de la régression avec option rejet, (Denis et al (2020)) ont montré que le prédicteur optimal repose sur une seuillage de la fonction de variance. Dans ce travail, nous proposons une méthode d’agrégation pour estimer la fonction de variance.

Dans la littérature, de nombreuses méthodes sont proposées pour estimer la fonction de variance conditionnelle. Les deux méthodes les plus populaires sont la méthode directe et la méthode basée sur les erreurs résiduelles. La méthode directe (Härdle et al(1997)) repose sur une décomposition de la fonction de variance conditionnelleσ² qui est réécrite comme la différence des deux premiers moments conditionnels,σ²(X) =E[Y²|X =x]−(E[Y|X = x])². Elle consiste à estimer séparément les deux termes du côté droit. La méthode basée sur les erreurs résiduelles consiste en deux étapes. Dans une première étape, nous construisons un estimateur ˆf de la fonction de régression f^∗. Dans une deuxième

étape, un estimateur deσ²est obtenu en résolvant le problème de régression où la variable d’entrée estXet la variable à prédire est (Y−f(X))ˆ ². Pour plus de détails, nous renvoyons

`

a Ruppert et al (1997), Fan et al (1998), Kulik et al (2011) et Denis et al (2020). Dans ce travail, nous nous concentrons sur la méthode basée sur les erreus résiduelles pour estimer la fonction de variance, car cette procédure fournit de bonnes garanties théoriques et numériques.

L’agrégation est une approche populaire en apprentissage statistique pour estimer f^∗ dans le modèle de régression. Pour plus de détails, nous renvoyons à Nemirovski (2000), Tsybakov (2003), Yang (2004) et Tsybakov (2014). Une méthode très utilisée en pratique est l’agrégation par sélection de modèle (MS). Étant donné un dictionnaire d’estimateurs de la fonction de régression, MS consiste, sur la base d’un échantillon d’apprentissage, à sélectionner au sein du dictionnaire le meilleur prédicteur. Dans ce travail, nous appliquons le principe de la méthode MS pour estimer la fonction de variance. À notre connaissance, ce travail est le premier à étendre la notion d’agrégation à l’estimation de σ².

Notations.Soit p≥2 un entier, [p] :={1,· · · , p}. Soit N un entier, pour toute fonction f :R^d→R, nous d´efinissons la norme empirique kfk²_N = _N¹ PN

i=1|f(X_i)|².

2 Agr´ egation de type s´ election mod` ele

Cette section est dédiée à l’estimation de la fonction de variance par MSet à l’étude de la consistance de la procédure proposée. Nous rappelons que nous nous concentrons sur la méthode basée sur les erreus résiduelles pour estimer la fonction de variance.

(4)

2.1 M´ ethode

Dans cette section, nous décrivons l’algorithme d’estimation de la fonction de variance σ² en utilisant une méthode agrégation de type sélection modèle. L’estimateur résultant est appelé MS-estimateur. Nous introduisons d’abord deux échantillons d’apprentissage indépendants : D_n = {(X_i, Y_i), i = 1,· · · , n} et D_N = {(X_i, Y_i), i = n + 1,· · · , n+N} qui consistent enn etN copies indépendantes et identiquement distribuées de (X, Y). La méthode que nous proposons est en deux étapes. Dans la première étape, nous considérons M₁ estimateurs de la fonction de régression ˆf₁,· · · ,fˆ_M₁ basée sur D_n. Ensuite, nous utilisons le deuxième échantillon D_N pour estimer f^∗ par MS : nous sélectionnons l’indice optimal ˆs

ˆ

s∈argmin

s∈[M1]

R_N( ˆf_s), avec R_N( ˆf_s) = 1 N

N

X

i=1

|Y_i−fˆ_s(X_i)|² ,

et le MS-estimateur de la fonction de régression, noté ˆf_MS, est donné comme suit fˆ_MS := ˆf_ˆ_s.

Dans une deuxième étape, étant donné l’estimateur ˆfMS ( ˆfˆs) construit sur DN, nous construisonsM₂estimateurs de la fonction de varianceσ², construits à partir deD_n, parla méthode basée sur les erreurs résiduelles. Ces estimateurs sont notés ˆσ²_ˆ_s,1,· · · ,σˆ²_ˆ_s,M₂. Enfin, sur la base de DN, nous sélectionnons l’indice optimal, noté ˆm, comme suit

ˆ

m ∈argmin

m∈[M2]

Rˆ_N(ˆσ_s,m²_ˆ ) o`u ˆR_N(ˆσ_ˆ_s,m² ) = 1 N

N

X

i=1

|Zˆ_i−σˆ_s,m²_ˆ (X_i)|²

avec ˆZi =

Yi−fˆMS(Xi) 2

. Par conséquent, le MS-estimateur de la fonction de variance, noté ˆσ²_MS, est défini comme suit

ˆ

σ²_MS:= ˆσ²_ˆ_s,_m_ˆ.

2.2 R´ esultat principal

Cette section est consacrée à l’étude du risqueL₂de ˆσ_MS² . SoitR( ˆf_s) =E

h|Y −fˆ_s(X)|²i le risque quadratique pour ˆfs pour touts∈[M1]. Nous d´efinissons s^∗ comme suit

s^∗ ∈argmin

s∈[M₁]

R( ˆf_s) Nous introduisons également les hypothèses suivantes : Hypothèse 1. Les fonctions f^∗ et σ² sont bornées.

(5)

Hypoth`ese 2. Pour tout s∈[M₁] et tout m ∈[M₂] , fˆ_s et σˆ_s,m² sont born´es.

Hypothèse 3 (Hypothèse de séparabilité). Il existe δ₀ >0 telle que δ^∗(Dn) = min

s6=s^∗{|R( ˆfs)− R( ˆfs^∗)|}> δ0 . Hypothèse 4. Y est borné ou Y satisfait le modèle gaussien

Y =f^∗(X) +σ(X)ξ, o`u ξ ∼ N(0,1) est ind´ependante de X.

Ces hypothèses jouent un rôle crucial sur l’étude de la consistance de ˆσ_MS² . Nous pouvons

`

a présent établir notre résultat principal :

Théorème 1. Soit fˆ_MS et σˆ_MS² les MS-prédicteurs de f^∗ et σ² respectivement. Sous les Hypothèses 1, 2, 3 et 4, il existe deux constantes absolues C₁ >0 et C₂ >0 telle que

E

|ˆσ_MS² (X)−σ²(X)|²

≤E

m∈[Mmin₂]EX

|ˆσ²_s^∗_,m(X)−σ²(X)|²

+C₁

s∈[Mmin₁]E

hkfˆ_s−f^∗k²_Ni1/p

+ C₂φ^MS_N(M₁) , (1)

o`u p= 2 si Y est born´e ou p= 4 sinon

φ^MS_N(M1) =







log(M1) N

1/4

si Y est born´e;

log(M1) N

1/8

sinon.

Théorème 1 donne une borne supérieure pour le risque L₂ de ˆσ_MS² . Le premier terme dans le côté droit de l’équation (1) représente le biais de MS-estimateur ˆσ²_MS qui dépend de s^∗, tandis que le deuxième est du à l’erreur d’estimation de la fonction de régression f^∗. Le troisième terme est un terme de variance qui est d’ordre ; (log(M1)/N)^1/4 dans le cas où Y est borné et (log(M₁)/N)^1/8 dans le cas où Y n’est pas borné. Cette vitesse lente est du au fait que l’estimation de la fonction de variance repose sur f^∗ que l’on doit

´egalement estimer.

3 Simulations

Dans cette section, nous étudions les performances numériques de MS-estimateur ˆσ²_MS. La construction de ˆσ_MS² est détaillée en section 2.1. Nous introduisons deux ensembles F = {fˆ_s}⁶_s=1 et Σ =

ˆ σ_s,m²_ˆ ⁶

m=1 (dont la construction repose sur ˆf_MS) qui contiennent six estimateurs construits à partir des algorithmes des forêt aléatoire (rf), des k-plus

(6)

proches voisins (K-PPV), du Lasso, et des machines à vecteurs de support (svm) basés sur les noyaux de type base radiale, polynomiale et sigmo¨ıde. Pour les algorithmes svm et rf, nous utilisons respectivement les packages R, e1071 et randomForest avec des paramètres par défaut. PourK-PPV et Lasso, nous utilisons le packageFNNetglmnet respectivement. La sélection de l’entier k et du coefficient de pénalité λ est effectuée par validation croisée. Enfin, les performances de l’estimateur ˆσ²_MS sont évaluées comme suit.

On répète indépendamment 100 fois les étapes suivantes :

(i) On simule trois ensembles de donn´ees D_n, D_N et D_T avec n, N ∈ {100,1000}, et T = 1000.

(ii) À partir de Dn, nous construisons les estimateurs constituant F, puis à partir de D_N, nous calculons ˆf_MS. Ensuite à partir deD_net ˆf_MS, nous calculons les estimateurs constituant Σ et puis nous calculons ˆσ_MS² sur D_N.

(iii) À partir de D_n ∪ D_N : dans un premier temps, nous calculons les estimateurs constituant F; dans un deuxième temps, pour chaque estimateur ˆf_s de F nous calculons les estimateurs {ˆσ_s,m² }1≤m≤6 pour les six procédures.

(iv) Enfin, sur D_T, nous calculons l’erreur empirique L² (Err) de l’agrć egat ˆσ²_MS et de tous les estimateurs de la fonction de variance σ² obtenus à l’étape (iii). Nous choisissons le meilleur estimateur parmi eux que l’on l’appelle ˆσ²_Best.

A partir de ces estimations, nous calculons la moyenne et l’´` ecart-type deErr. Pour notrec

étude numérique, nous considérons le modèle suivant Y =f^∗(X) +σ(X)ξ,

oùξ ∼ N(0,1) indépendant à X. Nous considérons deux modèles

• Mod`ele 1 : soit X une distribution uniforme sur [0,1]³ telle que 1. f^∗(X) = cos(2X₁) +X₂

2. σ²(X) = ¹₄(0.1 + exp(−7(X₁−0.2)²) + exp(−10(X₂−0.8)²+ exp(−20(X₃−0.9)²)

• Mod`ele 2 : soit X= (X₁,· · · , X₁₀) une distribution uniforme sur [0,1]¹⁰ telle que 1. f^∗(X) = 0.01 +X₁+X₂+X3 +X₁₀

2. σ²(X) =

0.9 + (X1(1−X2))¹² sin

2.1π X3+0.05

+ 0.1 exp (−550(X7−0.8)²) 2

. Le modèle 1 est un modèle multivarié dans lequel la fonction de variance prend des valeurs relativement modérées (0.030≤σ²(X)<0.765). Par contre pour le modèle 2 qui est aussi un modèle multivarié, la fonction de variance peut prendre de grandes valeurs (σ²(X)∈]0,4.432], avec 41.5% des valeurs sont supérieures à 1). Le modèle 2 est donc un modèle où l’estimation de la fonction de variance est difficile.

Le résultats sont donnés dans le tableau 1. Nous faisons deux observations. Premièrement, lorsquenetN sont assez grands, leMS-estimateur ˆσ_MS² a des performances similaires à celles

(7)

Table 1 – Moyenne et ´ecart-type de l’erreur empirique L² des deux estimateurs.

n=N= 100 n= 100,N= 1000 n= 1000,N= 100 n=N= 1000

MS Best MS Best MS Best MS Best

Model Errd Errd Errd Errd Errd Errd Errd dErr

Model 1 0.03 (0.023) 0.01 (0.004) 0.02 (0.013) 0.01 (0.001) 0.02 (0.022) 0.01 (0.001) 0.006 (0.002) 0.004 (0.000) Model 2 0.61 (0.167) 0.45 (0.031) 0.53 (0.112) 0.41 (0.029) 0.46 (0.120) 0.40 (0.028) 0.43 (0.034) 0.37 (0.033)

du meilleur estimateur ˆσ_Best² qui est construit à partir Dn∪ DN. Deuxièmement, nous re- marquons dans le tableau 1, que pour le Modèle 1, l’erreur empirique Err de ˆc σ_MS² converge plus rapidement vers ˆσ²_Best que pour le Modèle 2. En effet, nous avons d’une part avec le Modèle 1, pour n = N = 100, Err(ˆc σ²_MS) = 0.03 et pour n =N = 1000, Err(ˆc σ_MS² ) = 0.006.

D’autre part, nous avons avec le Mod`ele 2 pour n = N = 100, Err(ˆc σ_MS² ) = 0.61 et pour n = N = 1000, Err(ˆc σ_MS² ) = 0.43. Finalement, nous concluons que plus la fonction de variance prend de grandes valeurs, plus son estimation devient difficile.

Bibliographie

Anderson, T.G. et Lund, J. (1997). Estimating continuous-time stochastic volatility models of the short- term interest rate, Journal of Econometrics, 77(2) :343–377.

Denis, C., Hebiri, M. et Zaoui, A. (2020). Regression with reject option and application to knn. NeurIPS 2020.

Fan, J., et Yao, Q. (1998). Efficient estimation of conditional variance functions in stochastic regression. Biometrika, 85(3) :645–660.

Hart, J. (1997). Nonparametric Smoothing and Lack-of-Fit Tests.Springer Series in Sta- tistics.

H¨ardle, W., et Tsybakov, A.B. (1997). Local polynomial estimators of the volatility function in nonparametric autoregression. Journal of Econometrics, 81(1) :223–242.

Kulik, R., et Wichelhaus, C. (2011). Nonparametric conditional variance and error density estimation in regression models with dependent errors and predictors.Electron. J. Statist., 5 :856–898.

Nemirovski, A. (2000). Topics in Non-parametric Statistics. Saint-Flour Summer School in Probability XXVIII, 1998. Lecture Notes in Mathematics 1738. Springer, NY.

Ruppert, D., Wand, M.P., Holst, U. et H¨oSJER, O.(1997). Local polynomial variance function estimation.Technometrics, 39(3) :262–273.

Tsybakov, A.B. (2003). Optimal rates of aggregation. Learning Theory and Kernel Ma- chines, 303–313.

Tsybakov, A.B. (2014). Aggregation and minimax optimality in high-dimensional estimation. Proceedings of International Congress of Mathematicians, 3 :225–246.

Yang, Y. (2004). Aggregating regression procedures to improve performance. Bernoulli, 10 :25–47.