The DART-Europe E-theses Portal

HAL Id: tel-00008730

https://tel.archives-ouvertes.fr/tel-00008730

Submitted on 8 Mar 2005

HAL is a multi-disciplinary open access archive for the deposit and dissemination of sci- entific research documents, whether they are pub- lished or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers.

L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.

Céline Roget-Vial

To cite this version:

Céline Roget-Vial. deux contributions à l’étude semi-paramétrique d’un modèle de régression. Math- ématiques [math]. Université Rennes 1, 2003. Français. �tel-00008730�

N^o d’Ordre de la th`ese : 2923

T H ` E S E

Pr´esent´ee

DEVANT L’UNIVERSIT ´E DE

R

le grade de DOCTEUR DE L’UNIVERSIT´E DE RENNES I

Mention Math´ematiques et Applications par

C´ eline R

-V

CREST – ENSAI, ´Ecole Doctorale MATISSE

TITRE DE LA TH`ESE :

Deux contributions `a l’´etude semi-param´etrique d’un mod`ele de r´egression

Sous la direction de Michel Delecroix

Soutenue le 24 octobre 2003 devant la Commission d’Examen

COMPOSITION DU JURY :

Anestis Antoniadis Rapporteur (UJF, Grenoble) Denis Bosq Examinateur (Universit´e Paris VI) Michel Delecroix Directeur de recherche (CREST-ENSAI) Bernard Delyon Examinateur (Universit´e de Rennes 1) Jean Deshayes Examinateur (Universit´e de Rennes 1) Dominique Picard Examinateur (Universit´e Paris VII) Vladimir Spokoiny Rapporteur (Weierstrass Institute, Berlin) Alain Trognon Invit´e (GENES, Paris)

Cela fait d´ej`a quatre ans que je connais Michel Delecroix : je l’ai d´ecouvert comme enseignant et j’appr´ecie encore ses qualit´es p´edagogiques. Il a ´et´e un directeur de th`ese attentionn´e dont l’optimisme et l’enthousiasme m’ont encourag´ee tout au long de ces trois ann´ees de th`ese. Je le remercie sinc`erement de la confiance qu’il me t´emoigne.

Merci `a Anestis Antoniadis et Vladimir Spokoiny d’avoir accept´e de rapporter sur ma th`ese malgr´e un emploi du temps d´ej`a bien rempli, et de l’int´erˆet qu’ils portent `a celle-ci et qui me touche tout particuli`erement. Je remercie chaleureusement Dominique Picard, Denis Bosq et Bernard Delyon pour leur participation au jury et plus personnellement Jean Deshayes, qui m’a fait d´ecouvrir la Statistique, et Alain Trognon pour l’attention qu’il a toujours port´e `a mon travail.

Deux rencontres d´eterminantes ont marqu´e mes premiers pas dans la recherche : sans Peter Hall et Vladimir Spokoiny, ma th`ese n’aurait pas ´et´e la mˆeme. Je les remercie pour leur disponibilit´e et les discussions enrichissantes que nous avons eues `a maintes reprises.

J’ai profit´e de nombreuses fois de l’exp´erience de mes aˆın´es ; Philippe Berthet, Jean- Yves Dauxois, Denys Pommeret, Marian Hristache, Marc Dambrine n’ont jamais h´esit´e

`a donner de leur temps pour r´epondre `a mes questions (parfois bˆetes !). Je n’oublie pas Pierre Druilhet, Fran¸cois Coquet et Eric Matzner-Løber qui, par leur bonne humeur et leur dynamisme, ont eux aussi contribu´e `a rendre ces trois ann´ees plus agr´eables. Grˆace

`a leur enthousiasme ils m’ont tous communiqu´e leur goˆut des statistiques, qu’avant eux des enseignants tels Michel Bonneu et J´erˆome Pag`es avaient fait naˆıtre. Je tiens aussi `a remercier Michel Pierre pour la sagesse de ses encouragements.

J’ai eu la chance de passer trois ans dans le cadre exceptionnel de l’ENSAI, merci `a tous les permanents qui m’ont accueillie tr`es chaleureusement. L’IRMAR et L’ENS m’ont permis d’utiliser leurs calculateurs ; j’ai souvent hant´e les couloirs des ´etages d’analyse num´erique et de processus stochastiques et le bˆatiment A. Sauvy de l’ENS (n’est-ce pas Arnaud ?). Sur ces lieux de travail, j’ai rencontr´e de jeunes chercheurs (les conseils de Glenn portent leurs fruits...), avec lesquels il n’´etait pas toujours questions de travail ! Pour ces pauses th´e ou caf´e qui ont parfois d´eg´en´er´e en plaintes collectives, merci `a : Julien, St´ephanie, H´el`ene, Agathe, Vincent Lefieux, Solen, Gweno, Damien, Ronan, Sandrine, Benoˆıte, Vincent Leprince, Manuela, Glenn, Erwan B., Katell...

Merci `a mes parents, St´ephane et Dedel qui ont toujours soutenu leur petite derni`ere ! Je tiens encore `a remercier les amis et la famille de Paris, Lyon, Marseille ou d’ailleurs.

Comment remercier mon plus grand supporter, sinon en lui d´ediant cette th`ese ?

Table des mati` eres

Introduction G´en´erale 5

I Etude d’un mod`´ ele de r´egression par une m´ethode adaptative 11

Introduction 13

1 D´etermination des composantes lin´eaires 15

1.1 Comment reconnaˆıtre une composante lin´eaire ? . . . 15

1.2 Une estimation “am´elior´ee” de g . . . 17

1.3 L’algorithme it´eratif . . . 17

1.4 Estimation de la variance du bruit . . . 19

1.5 Choix des param`etres . . . 20

2 Qualit´e des estimateurs 21 2.1 Hypoth`eses . . . 21

2.2 Am´elioration en une ´etape . . . 23

2.3 Propri´et´es de l’estimateur initial . . . 38

2.4 Qualit´e du l’estimateur final . . . 40

2.5 Estimation de la variance . . . 45

3 Exploration du mod`ele partiellement lin´eaire 50 3.1 S´eparation entre composantes lin´eaires et non-lin´eaires . . . 50

3.2 Test d’une hypoth`ese surM . . . 52

3.3 Identification de la partie non-lin´eaire . . . 58

3.4 Estimation et inf´erence sur les composantes lin´eaires . . . 60

4 Applications 62 4.1 Algorithme modifi´e . . . 62

4.2 R´esultats obtenus sur des donn´ees simul´ees . . . 63

4.2.1 Qualit´e de l’estimation . . . 64

4.2.2 S´eparation et exploration du mod`ele . . . 66 1

4.3 Un exemple sur des donn´ees r´eelles . . . 68

Annexe : Propri´et´es de grande d´eviation pour des vecteurs gaussiens 71 II Estimation et test d’une direction r´ev´elatrice unique : une ap- proche g´eom´etrique 75 Introduction 77 5 Approche g´eom´etrique de la condition H0 81 5.1 Les cylindres . . . 81

5.2 Un premier crit`ere de l’hypoth`ese sim . . . 82

5.3 Crit`ere global de l’hypoth`ese sim . . . 86

5.4 La m´ethode statistique : description . . . 90

6 Hypoth`eses sur le mod`ele 93 7 Etude asymptotique de´ Ib_S 97 7.1 Etude du processus´ A_S . . . 98

7.1.1 Convergence et majoration uniforme deA_S,1 . . . 99

7.1.2 Etude du´ U-processusA_S,2 . . . 102

7.1.3 Vitesse de convergence de A_S,3 . . . 102

7.1.4 Ordre de grandeur deA_S,4 . . . 107

7.2 Etude du processus´ B_S(g) . . . 108

7.2.1 Ordre de grandeur deB_S,1 . . . 109

7.2.2 Etude du´ U-processusB_S,2 . . . 109

7.2.3 Vitesse de convergence de B_S,3 . . . 110

7.2.4 Vitesse de convergence B_S,4 . . . 111

7.2.5 Ordre de grandeur deB_S,5 . . . 115

7.3 Propri´et´es asymptotiques de Ib_S . . . 115

8 Convergence de l’estimateur de l’axe du sim 117 9 Etude du test´ 127 9.1 Calibration par Bootstrap . . . 127

9.2 Propri´et´es du test . . . 128

Annexe 1 : ´Etude de la continuit´e des int´egrales 137 10.1 Les cylindres et leur param´etrisation . . . 137

10.2 Continuit´e . . . 138

TABLE DES MATI`ERES 3

Annexe 2 : Rappels sur les U-statistiques 143

11.1 Introduction . . . 143

11.2 Quelques r´esultats sur les familles euclidiennes . . . 144

11.2.1 Familles de fonctions euclidiennes . . . 144

11.2.2 Ordre uniforme en probabilit´e . . . 145

Annexe 3 : Distances dans un ´echantillon 147 12.1 D´eveloppement asymptotique deE {D^d(x)} . . . 147

12.1.1 D´eveloppement asymptotique de E(D^d₁) . . . 150

12.1.2 D´eveloppement asymptotique de {E(D^d₂)−E(D₁^d)} . . . 155

12.1.3 Choix de D^d(·) . . . 159

12.2 Application `a l’´etude de Ie_S(g) . . . 160

12.3 ´Etude du comportement asymptotique deD(x) . . . 160

Bibliographie 166

Introduction G´ en´ erale

Le travail qui suit apporte une contribution `a l’´etude de deux mod`eles de r´egression semi-param´etriques. Ces mod`eles proposent des ´el´ements de r´eponse au classique ph´eno- m`ene dufl´eau de la dimension.

Le probl`eme statistique de la r´egression, peut-ˆetre le plus usuellement ´etudi´e depuis qu’existe la statistique math´ematique, est celui de l’analyse de l’influence d’un ensemble de d variables explicatives, not´eX, X ∈R<sup>d</sup>, sur une variable dite expliqu´ee, not´ee Y. En consid´erant le couple (X, Y) comme al´eatoire, le probl`eme sera d’estimer la fonction g, appel´ee “esp´erance conditionnelle”

g(x) =E(Y|X =x).

En effet, dans la mesure o`u g(x) est la meilleure approximation L<sup>2</sup> de Y, l’estimation de cette fonction est consid´er´ee comme r´eponse au probl`eme pr´ec´edent. On dispose pour cela d’un ´echantillon (X_i, Y_i)_i=1,...,n, observ´e, de vecteurs al´eatoires ind´ependants, dont la loi commune est celle de (X, Y).

Pour estimer g `a partir des (X<sub>i</sub>, Y<sub>i</sub>) une premi`ere solution historique a ´et´e le choix de mod`eles param´etriques (mod`ele lin´eaire ou lin´eaire g´en´eralis´e, par exemple). Il suppose alors d’estimer les param`etres du mod`ele pour d´efinir ˆg.

Lorsque le statisticien ne dispose a priori d’aucune information sur la loi des observa- tions, et veut ´eviter les erreurs de sp´ecification, il est naturel d’essayer une estimation “di- recte” deg par une m´ethode non-param´etrique. Ces m´ethodes (noyau, polynˆomes locaux, ondelettes, splines...) largement d´evelopp´ees depuis les ann´ees soixante-dix n’ont cepen- dant pas forc´ement la faveur des praticiens dans la mesure o`u elles souffrent d’un manque d’interpr´etabilit´e et exigent de tr`es grandes tailles d’´echantillon pour ˆetre performantes.

Ce dernier point, connu sous le nom de fl´eau de la dimension, peut ˆetre simplement mis en ´evidence par la notion devitesse asymptotique minimax , cf. Ibragimov et Has’Minskii (1980). On peut r´esumer ce r´esultat ainsi : si g est k fois diff´erentiable, un estimateur non-param´etrique de g ne peut converger vers g plus vite que n^2k+d−2k, ce qui conduit `a une vitesse extrˆemement faible si d est grand. De nombreux auteurs se sont attaqu´es `a ce probl`eme dans les deux derni`eres d´ecennies, en proposant des m´ethodes d’estimation non-param´etrique deg, sous des hypoth`eses diverses concernant la loi de (X, Y), ou plus exactement la forme deg. Ces hypoth`eses permettent d’´echapper aufl´eau´evoqu´e ci-dessus

5

tout en conservant le caract`ere non-param´etrique de la m´ethode d’estimation. L’ensemble de ces m´ethodes est usuellement repris sous le vocable d’´etude de la r´eduction de dimen- sion. Le travail qui suit entre dans cette probl´ematique.

Sans souci d’exhaustivit´e, rappelons d’abord quelques types d’hypoth`eses existant dans ce cadre.

1. Dans le mod`ele additif, on suppose que la fonction de r´egression est de la forme g(x) =g₁(x₁) +· · ·+g_d(x_d),

o`u les g<sub>i</sub> sont des fonctions univari´ees inconnues. La r´egression non-param´etrique additive a ´et´e introduite par Stone (1985) et ´etudi´ee entre autres par Hastie et Tibshirani (1986) et plus r´ecemment par Opsomer et Ruppert (1999). L’hypoth`ese introduite est cependant difficile `a tester et ce mod`ele ne prend pas en compte les possibles interactions entre variables explicatives.

2. Le mod`ele `a direction r´ev´elatrice unique, not´e sim, suppose l’existence d’un vecteur ϕ₀ ∈Θ ={θ∈R^d/kθk= 1} et d’une fonctiong₁ tels que

g(x) =g₁(x^>ϕ₀). (1)

Ce mod`ele a ´et´e ´etudi´e en particulier par Powell, Stock et Stoker (1989) et est une g´en´eralisation non-param´etrique du classique mod`ele lin´eaire g´en´eralis´e, cf Nelder et Weddurburn (1972).

3. Dans le mod`ele partiellement lin´eaire, la fonction de r´egression a la forme

g(x) =θ^>x₁+g₁(x₂), o`u x= (x<sub>1</sub>,x<sub>2</sub>). (2) On suppose de plus dim(x<sub>2</sub>) =M d (en pratique M = 1,2 ou 3, sinon le mod`ele est de peu d’int´erˆet). Ce mod`ele a ´et´e introduit par Engle et al. (1986) et par He- ckman (1986). Il permet d’´echapper au probl`eme relatif `a la dimension, car la fonc- tion inconnue `a estimer non-param´etriquement, g₁, est une fonction deM variables, M d.

4. Le mod`ele dit “projection pursuit”, est une g´en´eralisation du mod`ele additif et du mod`ele pr´ec´edent, on suppose ici que

g(x) =g1(x^>ϕ1) +. . .+g_k(x^>ϕ_k),

o`u k ∈ N et k ≤ d. Ce mod`ele a ´et´e introduit par Friedman et Stuetzle (1981) et Friedman et Tukey (1974). Ce mod`ele, comme ceux d´efinis aux points 1 et 2, ne faisant intervenir que des fonctions univari´ees, ´echappe au fl´eau de la dimension.

5. Le mod`ele dit `a directions r´ev´elatrices multiples, not´e mim, qui englobe la plupart des mod`eles pr´ec´edents admet pour fonction de r´egression une fonction de la forme

g(x) =g_k+1(x^>ϕ₀, . . . ,x^>ϕ_k),

o`u k est un entier ´evidemment suppos´e relativement petit devant la dimension, d, du mod`ele.

Introduction 7

Fan et Gijbels (1996) compl`etent cette liste avec des mod`eles du type additif faisant ap- paraˆıtre aussi des interactions entre variables explicatives.

Nous nous sommes int´eress´es plus particuli`erement aux mod`eles (2) et (1). Les contri- butions apport´ees sur chacun de ces mod`eles constituent les deux parties de la th`ese, discut´ees ci-dessous

Premi`ere partie

Cette partie est consacr´ee `a l’´etude d’un mod`ele partiellement lin´eaire, pour lequel on ne connaˆıt pas a priori la “structure”. On suppose que

y=g(x) +ε, g(x) =θ^>x1+g1(x2), (3) o`u x<sup>></sup> = (x1>,x2>) , dim(x<sub>2</sub>) = M , ε∼ N(0, σ<sup>2</sup>) . L’objectif principal sera d’iden- tifier les composantes apparaissant dans le mod`ele de fa¸con non lin´eaire et constituant le vecteurx2. On note J l’ensemble des indices correspondant `a cette partie de cardinalM. L’approche utilis´ee ici est bas´ee sur une propri´et´e du gradient deg.

Dans un premier chapitre, nous allons d´efinir unemesure de lin´earit´ev^∗ = (v₁^∗, . . . , v_d^∗) pour chacune desdcomposantes deX_i. Elle est construite `a l’aide du gradient de la fonction de r´egression g, elle est nulle pour les composantes lin´eaires et positive pour les autres.

Nous allons l’estimer en d´efinissant un algorithme it´eratif, qui estime simultan´ementv^∗ et (g,∇g) :

– On commence par estimer g et son gradient par la m´ethode des moindres carr´es locaux en utilisant une largeur de fenˆetre usuelle dans l’estimation fonctionnelle.

Nous en d´eduisons un estimateur pourv^∗.

– L’´etape suivante consiste `a se servir de cette premi`ere estimation pour ajuster au mieux une fenˆetre suivant chaque composante de x. On obtient donc de meilleurs estimateurs de (g,∇g) et v^∗. On it`ere les ´etapes pr´ec´edentes.

– La derni`ere ´etape, k_n, nous donne les estimateurs de (g,∇g) etv^∗.

Le deuxi`eme chapitre donne la convergence th´eorique de nos estimateurs vers les vraies valeurs. L’un des r´esultats principaux est la convergence, `a la vitesse n^1/2, de chaque ˆv_m, m /∈ J, vers une combinaison de variables al´eatoires gaussiennes ind´ependantes.

Dans le chapitre 3, disposant de ces estimateurs de (g,∇g) et v^∗, nous pouvons les utiliser pour explorer la structure du mod`ele. La premi`ere cons´equence du th´eor`eme de convergence des estimateurs est une distance th´eorique entre composantes lin´eaires et non lin´eaire de l’ordre de (n<sup>−1</sup>log(n))<sup>2/3</sup>. Ensuite nous d´eveloppons un test de l’hypoth`ese H0=HM :M ≤ M. Au vu des r´esultats du chapitre 2, on ordonne les estimations ˆv_m par ordre d´ecroissant et on d´ecide de rejeter l’hypoth`ese, si bv_(M+1) est suffisamment positif.

Le seuil sera d´etermin´e en utilisant une m´ethode de Bootstrap : on r´e´echantillonne suivant un mod`ele imitant le mod`ele sousHM. Cette proc´edure est `a la base de l’estimation des quantit´es J et M. On utilise l`a encore une proc´edure it´erative, on teste les hypoth`eses

HM en faisant croˆıtre M. La premi`ere valeur deM, pour laquelle l’hypoth`ese n’est pas rejet´ee correspond `a l’estimation de M. De plus les M plus grandes composantes du vecteur bvcorrespondent alors aux composantes non lin´eaires. On obtient un majorant de la probabilit´e de mauvaise identification de la partie non lin´eaire. Dans un dernier point, on ´etudie un estimateur de la partie lin´eaire dont la convergence a lieu `a la vitesse n^1/2. On peut alors en d´eduire un estimateur deg₁ en utilisant bg et θ.

Le dernier chapitre contient une mise en oeuvre pratique de ces diff´erents algorithmes sur des donn´ees simul´ees, puis sur des donn´ees r´eelles. Celles-ci confirment la bonne per- formance de l’algorithme principal et la bonne d´etermination des composantes lin´eaires et non lin´eaires.

Deuxi`eme partie

Dans cette deuxi`eme partie, on s’int´eresse au mod`ele `a direction r´ev´elatrice unique (1).

Cette partie apporte deux contributions `a l’´etude de ce mod`ele : nous d´efinissons d’abord un nouvel estimateur de l’axe ϕ₀ ∈Θ du mod`ele lorsque l’hypoth`ese :

H0 : g(x) =g₁(ϕ^>₀x) est v´erifi´ee. Puis nous construisons un test de cette hypoth`ese.

Il est clair que sous H0 le probl`eme du fl´eau de la dimension est r´esolu : si l’on se place sous H0 et que l’on sait estimer ϕ₀, alors on peut aussi estimer g₁ en utilisant un estimateur non-param´etrique classique unidimensionnel.

Notre ´etude se base sur une caract´erisation g´eom´etrique du mod`ele, qui fait l’objet du chapitre 5 et peut s’´enoncer de la fa¸con suivante : sousH0 l’int´egrale moyenne deg sur les cylindres S d’axeθ (la d´efinition pr´ecise sera donn´ee par la suite), not´eeI<sub>S</sub> est invariante par changement de cylindre congruent si et seulement siθest orthogonal `a l’axe du mod`ele ϕ₀.

On d´efinit alors une mesure de la variabilit´e deI_Ssuivant les cylindres d’axe orthogonal

`a une direction quelconque,ϕ, not´eeW(ϕ). Dans le cas o`u (1) est v´erifi´ee, on aW(ϕ₀) = 0.

Finalement on donne un estimateur pour chacune des quantit´es I_S, W et ϕ₀, bas´es sur : Ib_S = (nkSkd)⁻¹

Xn

i=1

Y_iI_(X

i∈S)[ ˆf⁽ⁱ⁾(X_i)]⁻¹, o`u ˆf⁽ⁱ⁾(X_i) = _nb¹_d

Xn

j= 1 j6=i

K_X

j−X_i b

et b est la largeur de fenˆetre. On obtient Wc en rem- pla¸cant I_S parIb_S dans l’expression de W, alors

b

ϕ = argmin

ϕ∈Θ

cW(ϕ).

On teste l’hypoth`ese H0 `a l’aide de la statistique Wc(ϕ).b

Dans les chapitres 7 et 8, on ´etablit la convergence des diff´erentes statistiques : Ib_S, ϕb et Wc(ϕ).b

Le dernier chapitre donne les r´esultats relatifs au test de H0. Les quantiles de la loi limite deWc(ϕ) ´etant relativement inaccessibles, on d´ecide de d´eterminer le seuil de rejetb du test `a l’aide d’une proc´edure Bootstrap. On donnera ensuite les propri´et´es du test : niveau asymptotique, puissance, puissance sous une suite d’hypoth`eses alternatives locales, c’est-`a-dire

n→lim+∞P(H0 est rejet´ee/H0) =α,

n→lim+∞P(H0 est rejet´ee/H1) = 1,

|c|→lim+∞ lim

n→+∞P(H0 est rejet´ee/H1,n,c) = 1,

o`uα est le niveau du test, H1 est l’hypoth`ese “g n’est pas unsim” et H1,n,cl’hypoth`ese : g(x) =g₁(ϕ^>₀x) +c n^−1/2g₂(x),

o`ug2 n’est pas unsimd’axeϕ0 et cun nombre r´eel.

Premi` ere partie

Etude d’un mod` ´ ele de r´ egression par une m´ ethode adaptative

11

Introduction

On dispose d’un ´echantillon (X_i, Y_i)_i=1,...,n, o`u X<sub>i</sub> ∈ R<sup>d</sup> et Y<sub>i</sub> ∈ R, g´en´er´e par le mod`ele suivant

y=g(x) +ε, g(x) =θ^>x1+g₁(x2), (4) o`u x<sup>></sup> = (x1>,x2>) , dim(x<sub>2</sub>) = M , dim(x1) = d−M . La partie non param´etrique g<sub>1</sub>(·) de la fonction de r´egression, le param`etre θ, et la loi de bruit ε sont inconnus.

Nous ne connaissons pas non plus les d1 variables correspondant `a la partie lin´eaire x1. Nous proposons dans ce chapitre une m´ethode d’´etude d’un tel mod`ele ditpartiellement lin´eaire. Le but est donc d’identifier les r´egresseurs non-lin´eaires, d’estimer les coefficients des r´egresseurs lin´eaires et la fonction de lien g₁, pour les r´egresseurs non-lin´eaires. La m´ethode d´evelopp´ee ici permet aussi de s´electionner les r´egresseurs les plus “significative- ment” non-lin´eaires. Nous utiliserons ces r´esultats pour construire un test sur la dimension de la partie non-lin´eaire. On peut remarquer que la m´ethode est enti`erement adaptative, puisque nous ne connaissons pas la structure pr´ecise du mod`ele. Elle offre de l’int´erˆet si M d, puisqu’on pourra alors estimer g₁ en ´evitant le probl`eme dit de fl´eau de la dimension.

En outre, on suppose que les donn´ees (X_i, Y_i)_i=1,...,n g´en´er´ees par le mod`ele (4) v´erifient : – les Xi sont des points non al´eatoires, mais on leur impose une r´epartition suffisamment

r´eguli`ere ;

– les ε_i sont des variables al´eatoires ind´ependantes identiquement distribu´ees de loi nor- male centr´ee et de variance σ².

Les ´etudes existantes des mod`eles du type (4), comme dansEngle, Granger, Rice et Weiss (1986)concernent g´en´eralement le probl`eme d’estimation des parties param´etrique et non param´etrique, quand les vecteursx₁ etx₂ sont sp´ecifi´es. L’ouvrage r´ecent deH¨ardle, Liang et Gao (2000) donne de plus amples r´ef´erences et applications. Les diff´erents estimateurs obtenus convergent aux vitesses classiques √

n pour la partie lin´eaireθ et p

nh^M_n pour la partie non param´etrique.

Actuellement nous ne connaissons qu’un seul article concernant la s´election des variables non-lin´eaires dans un mod`ele d´efini par (4), partiellement lin´eaire: celui deChen et Chen (1991). Dans celui-ci, les variables “splines” sont s´electionn´ees en utilisant une m´ethode bas´ee sur l’estimation sans biais du risque, c’est-`a-dire de la somme des carr´es des r´esidus pour lesquels ils approchentg(x₂) `a l’aide de fonctions splines. Ils obtiennent une probabi-

13

lit´e de bonne classification des r´egresseurs non-lin´eaires tendant vers 1 quandntend vers l’infini.

Le mˆeme type de probl`eme est abord´e dans H¨ardle et Korostelev (1996), dans le cas particulier d’un mod`ele additif. On y montre que l’erreur de classification d’une variable peut ˆetre rendue “exponentiellement petite”. Shively, Kohn et Wood (1999) se sont aussi int´eress´es au probl`eme de la s´election de variables et d’estimation de fonction dans les mod`eles additifs ; ils utilisent pour cela une approche bayesienne empirique.

H¨ardle, Sperlich et Spokoiny (2001)proposent enfin une m´ethode pour identifier les com- posantes lin´eaires dans un mod`ele additif en utilisant le d´eveloppement de toutes les com- posantes additives sur les bases d’ondelettes de Haar. L’avantage de notre m´ethode est de ne pas avoir besoin de supposer de structure additive pour le mod`ele. De plus notre m´ethode d’identification des composantes garantit un niveau fix´e d’erreur de sp´ecification uniform´ement sur une classe de mod`eles, dont les composantes lin´eaires et non-lin´eaires sont distantes deO (n⁻¹logn)^4/3

. On peut noter aussi que cette m´ethode donne de bons r´esultats pour des ´echantillons de taille usuelle.

Les techniques d’estimation utilis´ees s’inspirent de celles apparues dans les travaux de Hristache, Juditsky et Spokoiny (2001) et Hristache, Juditsky, Polzehl et Spokoiny (2001) (que nous noterons respectivement HJS et HJPS) concernant le probl`eme de r´eduction de la dimension.

Dans HJPS, on consid`ere le probl`eme d’estimation dans un mod`ele de r´egression `a di- rections r´ev´elatrices multiples. La fonction de r´egression est alors de la forme g(x) = g₁(θ₁^>x, . . . , θ_p^>x), o`u θ<sub>1</sub>, . . . , θ<sub>p</sub> sont des vecteurs de R<sup>d</sup> inconnus. Le mod`ele (4) apparaˆıt comme un cas particulier de ces mod`eles v´erifiant : p = M + 1, θ<sub>1</sub> = (θ<sup>></sup>,0<sup>></sup><sub>M</sub>) et pour i= 2, . . . , p, θ<sub>i</sub> est une vecteur de la base canonique deR<sup>d</sup>, tel que (θ<sup>></sup><sub>2</sub>x, . . . , θ<sub>p</sub><sup>></sup>x) =x<sub>2</sub>. Il serait donc possible d’utiliser ici la m´ethode propos´ee par HJPS, mais on ne prendrait pas en compte la structure tr`es sp´ecifique du mod`ele (4). Nous proposons donc une m´ethode alternative, originale `a notre connaissance, adapt´ee au mod`ele (4).

Cette partie s’organise de la fa¸con suivante. La premi`ere partie sera consacr´ee `a la ca- ract´erisation des composantes non-lin´eaires, `a la d´efinition de la proc´edure it´erative d’es- timation de g, dex<sub>1</sub> etx<sub>2</sub>. Nous ´etudierons ensuite la convergence de l’algorithme it´eratif utilis´e et la qualit´e finale de l’estimation. La troisi`eme partie s’attachera `a l’exploration du mod`ele, `a savoir la s´eparation des composantes lin´eaires et non-lin´eaires, le test visant

`a l’identification des composantes non-lin´eaires, l’estimation de θ. Le test pr´esent´e dans cette partie est dans l’esprit de celui deSpokoiny (2001), qui essaie de trouver la distance minimale entre l’hypoth`ese nulle et l’hypoth`ese alternative. La derni`ere partie illustre les r´esultats obtenus sur des exemples simul´es et sur des donn´ees r´eelles.

Chapitre 1

D´ etermination des composantes lin´ eaires

L’id´ee de la m´ethode que nous allons utiliser peut se r´esumer par les deux remarques suivantes :

– Si la fonction de r´egression ´etait correctement estim´ee, il serait facile de s´eparer les parties x₁ et x₂.

– Si les vecteurs x₁ et x₂ ´etaient connus, on pourrait alors estimer plus pr´ecis´ement la fonction de r´egression.

Ceci am`ene `a construire une proc´edure it´erative, qui permette d’estimer g et les parties lin´eaire et non-lin´eaire. Tout d’abord on estime g non param´etriquement, ensuite on se sert de cette estimation pour approcher la structure du mod`ele, c’est-`a-dire reconnaˆıtrex₁ et x₂. On utilise alors cette estimation de la structure pour am´eliorer l’estimateur de la fonction de r´egression. Et ainsi de suite... De cette fa¸con, progressivement, on am´eliore la connaissance de la structure du mod`ele et l’estimation deg.

1.1 Comment reconnaˆıtre une composante lin´ eaire ?

Le mod`ele (4) est essentiellement d´ecrit par ses composantes non-lin´eaires, notonsJ l’en- semble des indices correspondants. On peut aussi d´efinir cet ensemble en utilisant le gra- dient de la fonction de r´egression, g. En effet, si g(·) est lin´eaire en lam<sup>`eme</sup> composante, alors la d´eriv´ee partielle de gen xm, _∂x^∂g_m, est constante ( pour tout m∈ {1, . . . , d}, xm

est lam^`eme composante du vecteurxdeR^d). Pour “capturer” cette propri´et´e, on pourrait utiliser un estimateur de la quantit´en⁻¹

Xn

i=1

∂g

∂xm

(X_i)−n⁻¹ Xn

j=1

∂g

∂xm

(X_j)2

, ce qui ferait intervenir des termes quadratiques, dont la convergence est difficile `a obtenir. Pour ´eviter ce probl`eme et mesurer le degr´e de lin´earit´e de g, nous allons donc utiliser une m´ethode analogue `a celle de HJPS, en introduisant :

15

{ψ1m,· · ·, ψLm} une famille de fonctions deRdansRv´erifiant Xn

i=1

ψ_lm(X_i,m) = 0, n⁻¹ Xn

i=1

ψ_lm(X_i,m)ψ_l⁰_m(X_i,m) =δ_ll⁰.

pourl, l⁰ = 1, . . . , L. Si on note ψ_lm= (ψ_lm(X_i,m))_i=1,...,n, alors les ψ_lm sont des vecteurs deRⁿ. On introduit le produit scalaire surRⁿ:< u, v >=n⁻¹P_n

i=1uivi. Par les deux rela- tions ci-dessus, on voit la famille de vecteurs deRⁿ {ψ_lm, l= 1, . . . , L} est orthonormale, et orthogonale au vecteur I = (1, . . . ,1)^>, donc `a tout vecteur constant. Pour construire une telle famille, on peut par exemple orthonormaliser (1, Xi,m, X_i,m² , . . . , X_i,m^L )i=1,...,n. Ces propri´et´es nous permettent d’affirmer que pour m /∈ J

β_lm^∗ =n⁻¹ Xn

i=1

∂g

∂x_m(X_i)ψ_lm(X_i,m)≡0, (1.1) pour l= 1, . . . , L. Et la somme

v_m^∗ = XL

l=1

(β_lm^∗ )²

peut ˆetre utilis´ee pour mesurer la non-lin´earit´e de g enx_m. Si d^∂g

∂xm est un estimateur de la d´eriv´ee partielle de g par rapport `a x_m (il sera d´efini par la suite), nous estimons β_lm^∗ par

βb_lm=n⁻¹ Xn

i=1

d∂g

∂x_m(X_i)ψ_lm(X_i,m). (1.2)

Un indicateur de la non-lin´earit´e de g par rapport `a lam<sup>`eme</sup> composante dex est alors b

v_m=βb_1m² +. . .+βb_Lm² .

Cette quantit´e nous donne des informations sur la structure du mod`ele et nous allons l’utiliser pour am´eliorer l’estimation de g et de son gradient,∇g.

Remarque : Choix de L

Ainsi d´efinie, la famille de fonctions (ψ_l,m)_l=1,...,L, ´etant une famille orthonormale pour le produit scalaire <·,· >, elle engendre un sous-espace vectoriel, Ψ_L, de dimensionL dans Rⁿ. Ce sous-espace est de plus orthogonal `a l’espace engendr´e par (1, . . . ,1)^>. La quantit´e v_m^∗ repr´esente donc le carr´e de la norme de la projection du vecteur (_∂x^∂g

m(X_i))_i=1,...,n sur ce sous-espace Ψ_L. On perd donc de l’information en consid´erant cette projection, ce qui serait ´evit´e en choisissant un grand nombre de vecteurs, par exemple L = L_n = n−1.

En fait on peut montrer par des arguments de simulation, qu’on ne perd pas beaucoup d’information sur le caract`ere constant ou non de _∂x^∂g

m en utilisant un nombre fix´e L de vecteurs. Par contre il faudra choisir Lassez grand pour avoir une bonne estimation.

1.2. UNE ESTIMATION “AM´ELIOR´EE” DEG 17

1.2 Une estimation “am´ elior´ ee” de g

Supposons que nous disposions de (v_m^∗)_m=1,...,d, d´efini au paragraphe pr´ec´edent. Nous allons expliquer de quelle fa¸con cette donn´ee va permettre d’am´eliorer la qualit´e de l’estimation de la fonction g.

Un estimateur naturel deg et de son gradient, ∇g, est obtenu par le crit`ere d´efinissant la m´ethode dite de “polynˆome locaux”, cf.Fan,Gijbels(1996) :

b g(X_i)

∇cg(X_i)

!

= argmin

a∈R, c∈Rd

Xn

j=1

h

Y_j−a−c^>(X_j −X_i)i2

K

|Xj−Xi|² b²

,

=



 Xn

j=1

1 X_ij

1 X_ij

_>

K|X_ij|² b²







−1

Xn

j=1

Y_j 1 X_ij

K|X_ij|² b²

,

o`u Xij =Xj −Xi, | · | est la norme euclidienne de R<sup>d</sup>, b est la largeur de fenˆetre et K est un noyau positif univari´e `a support sur [0,1]. Ainsi seuls les points de l’´echantillon se trouvant dans la boule de centre X_i et de rayon b interviennent, c’est-`a-dire qu’on ne consid`ere que des voisinages sph´eriques de mˆeme rayon autour de chaque point.

La difficult´e de ce type d’estimateur est la s´election deb. En effet, il faut la choisir telle que la boule de centreX_i et de rayonbcontienne suffisamment d’observationsX_j. Sidest ´elev´e cela peut amener `a choisirbtr`es grand, cf.Fan et Gijbels (1996).Ce ph´enom`ene est appel´e le fl´eau de la dimension. Or, dans notre cas, g a des propri´et´es de r´egularit´e anisotropes, c’est-`a-dire que pour les composantes lin´eaires elle a un ordre de d´erivation infini et pour les autres un ordre a priori plus faible. Nous allons donc utiliser cette remarque en consid´erant une largeur de fenˆetre anisotrope adapt´ee `a la structure du mod`ele contenue dansJ. Cette fa¸con de proc´eder a ´et´e introduite, entre autres, parCarroll, Fan, Gijbels et Wand (1997).

On obtient alors l’estimateur suivant, que nous utiliserons d´esormais : b

g(X_i)

∇cg(X_i)

!

=



 Xn

j=1

1 Xij

1 Xij

_>

K_d

Xij,b





−1

Xn

j=1

Yj

1 Xij

K_d

Xij,b , o`u K<sub>d</sub>(x,b) = K(|b<sup>−1</sup>x|<sup>2</sup>) et b = diag(b<sub>1</sub>, . . . , b<sub>d</sub>) est une matrice diagonale d’entr´ees diagonales b1, . . . , b<sub>d</sub>. Connaissantv<sup>∗</sup><sub>m</sub>, on va choisir les valeurs debmde la fa¸con suivante : b<sub>m</sub>sera choisie petite, siv<sub>m</sub><sup>∗</sup> est suffisament positif, c’est-`a-dire m∈ J; sinon elle sera plus grande. Ainsi dans le cas non-lin´eaire en choisissant une fenˆetre petite, on prend mieux en compte les variations locales de la courbe de r´egression.

1.3 L’algorithme it´ eratif

L’algorithme d´efini ci-dessous est bas´e sur les raisonnements expos´es dans les deux para- graphes pr´ec´edents. Il va nous permettre d’obtenir simultan´ement des estimateurs de g,

∇g et de v^∗. A partir de ces valeurs, bg, ∇cg, vb, on pourra estimer le mod`ele qui a g´en´er´e les donn´ees, cf.chapitre 3.

Pour d´efinir cet algorithme nous avons besoin de quelques param`etres d’entr´ee : h<sub>1</sub>, h<sub>max</sub>, ρ1, ρmin que l’on choisit tels que : h1 < hmax, ρmin< ρ1, au fur et `a mesure des it´erations la suite ρ d´ecroˆıtra de fa¸con g´eom´etrique de ρ₁ `a ρ<sub>min</sub> avec une raison a<sub>ρ</sub> < 1 et h croˆıtra de fa¸con g´eom´etrique de h<sub>1</sub> `a h_max, avec une raison a_h > 1 . Le choix de ces param`etres, ainsi que des fonctions {ψ_lm}, sera discut´e ult´erieurement, cf.paragraphe 1.5.

L’algorithme est le suivant

1. Fixer h₁. On pose ρ₁ = 1 et pour m= 1, . . . , d, bvm⁽⁰⁾= 0 et b⁽¹⁾m =h₁. Soit k = 1. 2. Calculer

b^(k)_m =h_k

1 +ρ⁻_k²bv_m^(k−1)₋1/2

, m= 1, . . . , d. (1.3)

D´efinir b^(k) =diag(b^(k)₁ , . . . , b^(k)_d ). 3. Pour tout Xi calculer

V_i^(k) = Xn

j=1

1 X_ij

1 X_ij

_>

K_d

X_ij,b^(k)

, (1.4)

b g^(k)(X_i)

∇cg^(k)(X_i)

!

=

V_i^(k)₋1Xn j=1

1 X_ij

Y_jK_d

X_ij,b^(k)

, (1.5)

o`u X_ij=X_j−X_i.

Calculer bε^(k)_i =Y_i−bg^(k)(X_i).

4. Pour m= 1, . . . , d et l= 1, . . . , L, calculer βb_lm^(k)=n⁻¹

Xn

i=1

d∂g

∂x_m

(k)

(X_i)ψ_lm(X_i,m), bv_m^(k)= XL

l=1

bβ_lm^(k)2. (1.6) 5. Augmenter k de 1. Alors ρ_k+1 = a_ρρ_k, h_k+1 = a_hh_k. Si ρ_k+1 ≥ ρ_min, alors poser k =k+ 1 et continuer en revenant `a l’´etape 2; sinon terminer.

Le nombre d’it´erations effectu´ees est not´ek_n. On d´efinit alors, en utilisant les r´esultats de la derni`ere it´eration, les estimateurs, que l’on utilisera dans le chapitre 3 :

– βb_lm=βb_lm^(kn) (resp. bvm=vbm^(kn)) sera l’estimateur de β_lm^∗ (resp. v^∗_m),

– bg(X_i) sera l’estimateur de g(X_i), `a partir duquel on peut calculer l’estimateur deε_i : b

ε_i =εb^(k_i ⁿ⁾=Y_i−bg(X_i) .

Remarque : A chaque it´eration la valeur deb^(k)_m est comprise entreh_k etρ_kh_ket d´epend de la valeur debv_m obtenue `a l’it´eration pr´ec´edente,bvm<sup>(k−1)</sup>. Sim /∈ J, alorsbv<sup>(k</sup>m<sup>−1)</sup> est petit et donc b<sup>(k)</sup><sub>m</sub> est de l’ordre de h<sub>k</sub>. Si m ∈ J et que la valeur dev<sup>∗</sup><sub>m</sub> est grande, alors celle de vb<sub>m</sub><sup>(k−1)</sup> l’est aussi et b<sup>(k)</sup><sub>m</sub> sera alors de l’ordre de h<sub>k</sub>ρ<sub>k</sub>. Ainsi comme h<sub>k</sub> croˆıt et h<sub>k</sub>ρ<sub>k</sub> d´ecroˆıt, on obtient bien `a la derni`ere it´eration une largeur de fenˆetre anisotrope.

1.4. ESTIMATION DE LA VARIANCE DU BRUIT 19

1.4 Estimation de la variance du bruit

La variance du bruitσ² n’intervient pas a priori dans la d´efinition de la proc´edure. Cepen- dant nous l’utiliserons dans la proc´edure de r´e´echantillonage utilis´ee pour le test surM et il est aussi possible de l’utiliser pour d´efinir la condition d’arrˆet de l’algorithme. Rappelons que les donn´ees (X_i, Y_i)_i=1,...,nont ´et´e g´en´er´ees par un mod`ele de la formeY<sub>i</sub> =g(X<sub>i</sub>) +ε<sub>i</sub>, o`uε_i ∼ N(0, σ²). On veut estimerσ² `a l’aide de l’algorithme d´efini pr´ec´edemment. Dans notre cas, une fa¸con naturelle de d´efinir l’estimateur de la variance `a chaque ´etape k est :

eσ^(k)2 =n⁻¹ Xn

i=1

bε^(k)_i ²,

o`u bε<sup>(k)</sup><sub>i</sub> est d´efini `a l’´etape 3 de l’algorithme. On peut am´eliorer cet estimateur – voir par exemple Gasser, Sroka and Jennen-Steinmetz (1986) ou Spokoiny (2002) – en utilisant l’´ecriture des r´esidus εb^(k)_i sous la forme bε^(k)_i =

Xn

j=1

c^(k)_i,jY_j o`u les c^(k)_i,j sont des coefficients connus. Dans notre cas, on a

b

ε^(k)_i = Yi−bg^(k)(Xi),

= Y_i− 1 0_d

_>

V_i^(k)₋1Xn j=1

1 X_ij

K_d

X_ij,b^(k) Y_j,

= Xn

j=1

c^(k)_i,jY_j,

avecc^(k)_i,j =δ_ij− 1 0_d

_>

V_i^(k)₋1 1 X_ij

K_d

X_ij,b^(k)

. Ces coefficients sont al´eatoires, car ils d´ependent de Y_i `a travers la largeur de fenˆetre al´eatoire bb^(k)_m .

Si lesYi formaient un bruit blanc, un estimateur de la forme P_n

j=1ci,jYj, o`u les ci,j sont d´eterministes, v´erifierait

E Xn

j=1

c_i,jY_j²=σ² Xn

j=1

c_i,j².

On en d´eduirait un estimateur deσ² par : bσ^(k)2 = 1

n Xn

i=1



 Xn

j=1

c_i,j²





−1

Xⁿ

j=1

c_i,jY_j². Par analogie, l’estimateur que l’on consid`erera dans la suite est

bσ^(k)2 = 1 n

Xn

i=1



 Xn

j=1

c^(k)_i,j²





−1

bε^(k)_i ². (1.7)

Les propri´et´es asymptotiques de bσ² sont donn´ees dans le paragraphe 2.5.

1.5 Choix des param` etres

La qualit´e de l’estimation obtenue par la proc´edure it´erative d´epend fortement du choix des raisons, a_ρ et a_h, des deux suites h_k et ρ_k et des valeurs de ces suites `a la derni`ere it´eration. h_k croˆıt de h₁ `a h<sub>max</sub>, simultan´ement ρ<sub>k</sub> d´ecroˆıt deρ<sub>1</sub> `a ρ_min.

La valeur de h1 doit ˆetre bien choisie pour que la premi`ere estimation du gradient ne soit pas trop mauvaise. Une condition n´ecessaire pour obtenir cette condition est : la boule Bh(X_i) = {x : |X_i−x| < h} de centre X_i et de rayon h, doit contenir au moins (d+ 1) points. Ici on choisit comme h1 initial une valeur telle que

#{i:N_h(X_i)≥d+ 1} ≥n/2,

o`uN<sub>h</sub>(X<sub>i</sub>) est le nombre de points appartenant `aBh(X_i). On commence parh_1,0= (n/d)^−d avec une raison g´eom´etrique a_h1 =e^1/20.

En accord avec les th´eor`emes de la partie suivante, on choisit h<sub>max</sub> de l’ordre de 1 etρ<sub>min</sub> le plus petit possible c’est-`a-dire de l’ordre de n^−1/3.

Les voisinages que l’on consid`ere sont elliptiques et de la forme E^(k)(X_i) =n

x:|b^(k)−1(X_i−x)|² ≤1o

= (

x: Xd

m=1

(X_im−x_m)² b^(k)2m

≤1 )

.

si m /∈ J : b^(k+1)m ∼a_hh_k =a_hb^(k)m . si m∈ J : b^(k+1)m ∼a_hh_kρ_ka_ρ =a_ha_ρb^(k)m .

Ainsi la mesure de Lebesgue deE^(k+1) est de l’ordre dea^d_ha^M_ρ fois celle deE^(k). On choisit donc a^d_ha^M_ρ ≥ 1. Si les X_i sont al´eatoires, on obtient un nombre croissant de points `a l’int´erieur du voisinage elliptique.

Chapitre 2

Qualit´ e des estimateurs

Le but de ce chapitre est d’´evaluer la qualit´e des estimations des quantit´es β_m^∗ et v_m^∗, obtenues `a l’aide de la proc´edure pr´ec´edente. Dans un premier temps, on pr´esente les hypoth`eses sur le mod`ele et sur les param`etres de l’algorithme. Ensuite nous quantifions, d’un point de vue th´eorique, l’am´elioration entre deux it´erations successives lors de la proc´edure it´erative introduite. Finalement on donne la pr´ecision de l’estimateur final de β_m^∗.

2.1 Hypoth` eses

Nous allons tout d’abord faire la mˆeme transformation que dans HJPS, en renormalisant la fonction de lien. Le mod`ele (4) n’est pas identifiable a priori : la d´efinition de g<sub>1</sub> n’est pas unique. En effet, on peut aussi ´ecrire g(x) =θ<sup>></sup>x1+g2(O<sub>M</sub><sup>></sup>x2), o`u g2(z) =g1(OMz), c’est-`a-dire qu’on obtient la mˆeme fonction apr`es rotation. Par contre, si on fixe g₁ de la forme g₁(x) =eg₁(R^∗x₂), o`u R^∗ est une matrice diagonale M ×M de termes diagonaux

√v_m^∗ (m ∈ J ) alorsge1 est unique : eg1(z2) = g(z1, R^∗−1z2)−θ^>z1. On notera encoreg1

la fonction de lien non-lin´eaire par soucis de simplification. Ceci nous am`ene `a consid´erer le mod`ele

y=g(x) +ε, o`u g(x) =x<sup>></sup><sub>1</sub>θ+g1(R<sup>∗</sup>x2). (2.1) Introduisons alors les hypoth`eses fondamentales, qui assurent la convergence des estima- teurs.

Hypoth`ese H1. [Noyau]Le noyau K(·) est continˆument diff´erentiable d´ecroissant sur R⁺ avec K(0) = 1 etK(x) = 0 pour |x| ≥1.

Hypoth`ese H2. [Erreurs] Les variables al´eatoires ε_i dans (4) sont ind´ependantes et normalement distribu´ees, de moyenne nulle et de variance σ².

21

Hypoth`ese H3. [Param`etres de l’algorithme]Les param`etres de la proc´edure it´erative sont choisis tels que : ρ₁ = 1, ρ_min = (σ²n⁻¹Llogn)^1/3, h₁ = C₀n^−4∨d1 avec des constantes C0 ≥1, hmax≥1 et a^d_ha^M_ρ ≥1.

Hypoth`ese H4. [Fonction de lien] La fonctiong1 de (2.1) est deux fois diff´erentiable avec une d´eriv´ee seconde born´ee telle qu’il existe une constante C_g1 et que pour tout u, v ∈R^M

|g₁(v)−g₁(u)−(v−u)∇g₁(u)| ≤C_g1|u−v|².

La derni`ere hypoth`ese concerne les propri´et´es de r´epartition des variables explicatives.

La r´eussite de la proc´edure est li´ee `a la bonne estimation du gradient. Il faut qu’`a chaque it´eration les estimateurs calcul´es `a partir des largeurs de fenˆetre (b<sup>(k)</sup><sub>1</sub> , . . . , b<sup>(k)</sup><sub>d</sub> ) soient bien d´efinis. Cette derni`ere hypoth`ese sur la bonne r´epartition des points X₁, . . . , X_n contient donc une condition d’inversibilit´e pour toutes les matrices V_i^(k) d´efinies par (1.4).

Introduisons quelques notations utiles par la suite : on d´efinit pour la k^`eme it´eration la matrice diagonale des largeurs de fenˆetre id´eales et anisotropes, b^∗(k), qui a pour termes diagonaux b^∗_m^(k) = h_k 1 +ρ⁻_k²v^∗_m−1/2

. La proximit´e entre b^(k) et sa valeur id´eale b^∗(k) peut ˆetre caract´eris´ee par les valeurs

U_m^(k)=

b^∗_m^(k)/b^(k)_m 2

= 1 +ρ⁻_k²bv^(k_m⁻¹⁾

/ 1 +ρ⁻_k²v_m^∗

, (2.2)

pour m= 1, . . . , d. En effet si bvm^(k−1)=v_m^∗ , alors Um^(k)= 1 .

Pour chaque it´eration nous recherchons une r´epartition r´eguli`ere des variables explicatives dans un voisinage elliptique de centre X_i d´efini par n

x: Pd

m=1(x_m−X_i,m)²/b^(k)2_m ≤1o . On d´efinit Z_ij^(k)= b^∗(k)₋1

(X_j −X_i) pour i, j = 1, . . . , n. Ce vecteur d´ecrit la localisa- tion des points dans le nouveau rep`ere centr´e enXi, avec les changements d’´echelle donn´es par b^∗(k).

Pour un vecteur U = (U₁, . . . , U_d)^> ∈ R^+d, on notera D_U = diag(U₁, . . . , U_d) . En uti- lisant le notations ci-dessus, on a alors b = b^∗(k)D_U^−1/2_(k) , o`u U<sup>(k)</sup> = (U<sub>1</sub><sup>(k)</sup>, . . . , U<sub>d</sub><sup>(k)</sup>)<sup>></sup>. D’apr`es (2.2)

K_d(X_i,j,b^(k)) = K(X_i,j^> b^(k)₋2

X_i,j),

= K(X_i,j^> b^∗(k)₋1

D^1/2_U(k)D^1/2_U(k) b^∗(k)₋1

X_i,j),

= K(Z_ij^>D_U(k)Zij). (2.3)

Nous pouvons alors introduire la derni`ere hypoth`ese n´ecessaire `a la preuve des th´eor`emes

2.2. AM´ELIORATION EN UNE ´ETAPE 23

de convergence. Pour cela posons, pour un vecteurU quelconque N_i^(k)(U) =

Xn

j=1

K

Z_ij^(k)>D_UZ_ij^(k)

, i= 1, . . . , n ,

Vi^(k)(U) = Xn

j=1

1 Z_ij^(k)

1 Z_ij^(k)

_>

K

Z_ij^(k)>D_UZ_ij^(k)

, i= 1, . . . , n .

L’hypoth`ese s’´ecrit alors

Hypoth`ese H5. [Design]Il existe des constantes C_V , C_K, C_K⁰ et α∈(0,1/2), telles que pour tout vecteur U∈R^d, satisfaisant |U_m−1| ≤α, m= 1, . . . , d, et pour k≤k_n, la matrice V_i^(k)(U) est bien inversible et v´erifie

N_i^(k)(U)V_i^(k)(U)⁻¹≤C_V, i= 1, . . . , n.

Ici kAk correspond `a la norme matricelle associ´ee `a la norme vectorielle euclidienne, i.e.

kAk= sup

λ6=0|Aλ|/|λ|.

De plus, pour i, j = 1, . . . , n, Xn

i=1

1

N_i^(k)(U)K

Z_ij^(k)>D_UZ_ij^(k)

≤ C_K, (2.4)

Xn

i=1

1 N_i^(k)(U)

K⁰ Z_ij^(k)>D_UZ_ij^(k) ≤ C_K⁰, Xn

j=1

1 N_i^(k)(U)

K⁰ Z_ij^(k)>D_UZ_ij^(k) ≤ C_K⁰. o`u K⁰ est la d´eriv´ee de K.

Remarque .On peut montrer que ces hypoth`eses sont v´erifi´ees dans le cas o`u lesX_i sont

`a densit´e continue strictement positive sur un ensemble de grande probabilit´e.

2.2 Am´ elioration en une ´ etape

Cette partie consiste `a quantifier l’am´elioration de l’estimation `a chaque it´eration. Pour cela, on fixe h, ρ et v = (v₁, . . . , v_d)^>. Cette derni`ere quantit´e peut ˆetre vue comme l’approximation de v<sup>∗</sup> `a l’it´eration pr´ec´edente et les quantit´es h et ρ comme les valeurs correspondant `a l’it´eration en cours.

De fa¸con analogue au paragraphe pr´ec´edent, on pose b_m = h 1 +ρ⁻²v_m−1/2

, m= 1, . . . , d , (2.5)