Modèle général des splines de lissage

Le modèle classique des splines de lissage est le suivant :

y_i =f(t_i) +ε_i , i= 1, . . . , n, (3.35)

oùt∈ X = [a, b],f ∈W^m[a, b]oùW^m[a, b]est l’espace de Sobolev d’ordrem, et les

ε_i sont des erreurs aléatoires indépendantes de moyenne 0 et de variance constante

σ2. Nous avons montré à la section 3.2.2.2 que le problème classique des splines de

lissage correspondait à la minimisation du critère suivant :

min

f∈Wm[a,b]

n

X

i=1

(yi−f(ti))²+λ

Z b

a

(f^(m)(t))²dt. (3.36)

On s’intéresse ici au problème général des splines de lissage (appelé "general spline

smoothing problem" dans Wahba [173]) dont le modèle associé est

yi =L_if +εi , i= 1, . . . , n, (3.37)

où les ε_i sont définies comme dans le modèle classique (3.35) mais où X est un

ensemble quelconque, f ∈ H_R un RKHS surX de noyau R(s, t), et les L_i sont des

formes linéaires bornées surH_R(par exemple,L_if =f⁰(ti) ouL_if =^R wi(u)f(u)du

où lesw_isont des fonctions connues). Le modèle classique (3.35) est un cas particulier

1. Une fonctionJ:H →R, oùHest un espace de Hilbert, est coercive si lim

de Hilbert à noyau reproduisant

de ce modèle où lesL_i sont les fonctionnelles d’évaluation aux points d’observation

définies par L_if = f(ti). H_R est supposé admettre une décomposition en somme

directe

H_R=H₀^MH₁,

où H₀ est un espace de dimension finie p ≤ n. Le problème général des splines de

lissage revient alors à trouverf ∈ H_Rqui minimise

1

n

n

X

i=1

(yi− L_if)²+λkP1fk²_H

R, (3.38)

où P₁ est la projection orthogonale sur H₁. Le paramètre de lissage λ contrôle le

compromis entre la qualité de l’ajustement mesuré par le 1erterme, et l’éloignement

par rapport à l’espaceH₀mesuré parkP₁fk2

H_R. L’espaceH₀ est généralement appelé

espace nul et est constitué de fonctions qui ne sont pas pénalisées puisquekP₁fk2

H_R =

0quandf ∈ H₀. Ainsi, toute fonctionf ∈ H_Rpeut s’écrire sous la formef =f₀+f₁

où f0 ∈ H₀ et f1 ∈ H₁, la composante f0 représentant un modèle de régression

linéaire dansH₀, et la composante f₁ représentant les variations non expliquées par

f₀. Notons également que d’après la propriété énoncée au théorème3.3, on montre que

H₀ etH₁sont également des RKHS de noyaux respectifsR0 etR1avecR=R0+R1.

Comme les L_i sont des formes linéaires bornées, alors par le théorème de Riesz

il existe un représentantη_i ∈ H_R tel queL_if =hη_i, fi_HR. D’après les propriétés du

noyau reproduisant, on a :

∀s∈ X, η_i(s) =hη_i, R_si=L_iR_s=L_i(t)R(s, t),

où L_i(t) signifie que L_i est appliqué à ce qui suit et qui est considéré comme une

fonction de t. Par exemple, si L_if =f(ti), alors ηi(s) = R(s, ti), et siL_if =f⁰(ti),

alorsηi(s) = _∂t^∂R(s, t)|_t=ti. Le critère (3.38) que l’on cherche à minimiser peut alors

s’écrire sous la forme :

1

n

n

X

i=1

(y_i− hη_i, fi)²+λkP₁fk2

H_R. (3.39)

La variante donnée ci-dessous du théorème du représentant (théorème 3.4) donne

une solution explicite au problème de minimisation dansH_R du critère (3.39).

Théorème 3.5 (Kimeldorf et Wahba, 1971). Soit φ₁, . . . , φ_p une base de l’espace

nulH₀ et soit T une matrice n×p de plein rang définie par :

T ={L_iφ_ν}n

i=1

p

ν=1.

Alors le critère (3.39) a un unique minimum donné par

b

f_λ(t) =

p

X

ν=1

d_νφ_ν(t) +

n

X

i=1

c_iξ_i(t), (3.40)

où

ξ_i = P₁η_i,

Σ = {hξ_i, ξ_ji}ⁿ_i,j=1,

M = Σ +nλI, (3.41)

d= (d1, . . . , dp)^T = (T^TM⁻¹T)⁻¹T^TM⁻¹y,

c= (c₁, . . . , c_n)^T = M⁻¹{I−T(T^TM⁻¹T)⁻¹T^TM⁻¹}y.

Démonstration. De la même manière que dans la preuve du théorème 3.4du

repré-sentant, on peut affirmer l’existence d’un unique élément ρ ∈ H_R orthogonal aux

{φν, ν = 1, . . . , p} et aux {ξi, i= 1, . . . , n} tel que l’estimateur fbλ s’écrive sous la

forme

b

f_λ(t) =

p

X

ν=1

d_νφ_ν(t) +

n

X

i=1

c_iξ_i(t) +ρ.

En utilisant la décomposition de tout élément g ∈ H_R de la forme g = P₀g+P₁g

par somme directe, et en utilisant le caractère auto-adjoint deP0, on obtient :

∀i= 1, . . . , n, hρ, η_ii = hρ, P₀η_ii+hρ, P₁η_ii

= hP₀ρ

|{z}

0

, η_ii+hρ, ξ_ii

| {z }

0

= 0.

Ainsi, le critère (3.39) à minimiser peut s’écrire sous la forme matricielle suivante :

1

n^{ky−T d−Σck}

2+λ(c^TΣc+kρk²).

Il est alors clair que ce critère est minimal quand ρ = 0, ce qui démontre la forme

(3.40) de l’estimateur.

L’unicité de la solution découle du fait que la fonctionnelle L(f) =Pn

i=1(yi− L_if)²

est strictement convexe surH₀ si la matrice T est de plein rang, et donc également

strictement convexe surH_R. On en déduit alors que si la matrice T est de plein rang,

L(f) +λkP1fk2

H_R est strictement convexe sur H_R, ce qui implique l’unicité de la

solution (voir Théorème 2.9 dans Gu [72]).

Il reste alors à estimer les coefficients c = (c₁, . . . , c_n)T et d = (d₁, . . . , d_p)T qui

minimisent le critère

1

n^{ky−T d−Σck}

2+λc^TΣc.

En dérivant par rapport àcpuis par rapport àd, on obtient les équations suivantes :

(Σ +nλI)Σc+ ΣT d = Σy, (3.42)

de Hilbert à noyau reproduisant

On montre alors facilement que les équations (3.42) et (3.43) sont équivalentes aux

équations suivantes :

M c+T d = y, (3.44)

T^Tc = 0. (3.45)

On en déduit alors que

d = (T^TM⁻¹T)⁻¹T^TM⁻¹y, (3.46)

c = M⁻¹{I−T(T^TM⁻¹T)⁻¹T^TM⁻¹}y. (3.47)

Ce théorème montre que l’estimateur par splines de lissage fbappartient à un

espace de dimension finie et s’exprime comme une combinaison linéaire de la base de

H₀ et des représentants de H₁. Notons que l’estimateur fbλ dépend du paramètre λ

même si cette dépendance n’est pas explicite. Généralement, les équations (3.46) et

(3.47) ne sont pas appropriées au calcul numérique et on utilise plutôt les équations

(3.44) et (3.45) pour le calcul des coefficients c et d. En effet, ces équations sont

équivalentes à

M T

T^T 0

c

d

=

y

0

, (3.48)

qui est un système linéaire den+péquations de la formeAx=bavecAsymétrique

et de plein rang. Il est alors possible d’utiliser des algorithmes de calcul efficaces tels

que l’algorithme de Cholesky (Gu [72], Wahba [173]).

Il est également possible de calculer c etd en utilisant la décompositionQR de

T :

T = Q1 Q2

R

0

,

où Q1,Q2 et R sont respectivement des matrices n×p,n×(n−p) et p×p, Q=

(Q1 Q2) est une matrice orthogonale, et R est une matrice triangulaire supérieure,

avecT^TQ₂= 0_p×(n−p). On peut alors montrer que les coefficientscetdvérifient les

équations suivantes :

c = Q2(Q^T₂M Q2)⁻¹Q^T₂y, (3.49)

Rd = Q^T₁(y−M c). (3.50)

Nous renvoyons le lecteur à Wahba [173] et Wang [182] pour plus de détails sur

l’obtention de ces équations.

Remarque 3.5. On a ξ_i = P₁η_i la projection de η_i sur H₁. Comme R(s, t) =

R0(s, t) +R1(s, t)où R0 etR1 sont les noyaux respectifs deH0 etH1, et commeP1

est auto-adjoint, on a :

Cette équation montre que le représentant ξi peut être obtenu en appliquant

l’opé-rateur au noyau R1. De plus, on a :

hξi, ξji=L_i(s)ξj(s) =L_i(s)L_j(t)R1(s, t).

On en déduit donc que :

Σ ={L_i(s)L_j(t)R₁(s, t)}n

i,j=1.

Notons que dans le cas particulier où les L_i sont les fonctionnelles d’évaluation aux

points d’observation définies par L_if = f(t_i) (correspondant au modèle classique

(3.35)), on a :

ξi(t) =R1(t, ti) et Σ ={R1(ti, tj)}ⁿ_i,j=1.

Ainsi, le vecteur des valeurs estimées peut s’écrire sous la forme :

(L₁f , . . . ,b L_nfb)^T =T d+ Σc. (3.51)

De plus, en utilisant les équations (3.44) et (3.49), on en déduit que

(L₁f , . . . ,b L_nfb)^T =T d+ Σc=y−nλc=A(λ)y, (3.52)

où

A(λ) =I −nλQ2(Q^T₂M Q2)⁻¹Q^T₂ (3.53)

est la matrice chapeau. Notons que l’expression (3.52) permet de faciliter le calcul

numérique des valeurs estimées(L₁f , . . . ,b L_nfb) mais que cette expression ne permet

pas de calculer la valeur de l’estimateur en tout pointtcontrairement à l’expression

(3.40).

Finalement, la résolution du problème général des splines de lissage nécessite de

suivre les étapes suivantes :

i) choisir un RKHSHcomme espace du modèle pour f;

ii) choisir une décomposition de l’espace en deux sous-espaces H =H₀LH₁ où

H₀ est un ensemble de fonctions non pénalisées ;

iii) choisir une pénalité kP₁fk2.

Différents choix peuvent être effectués concernant l’espace du modèle, sa

décompo-sition et la pénalité, ce qui rend la méthode des splines de lissage très flexible. En

effet, ce modèle est à la base de nombreux types de splines : les splines polynomiales

ouD^m splines (détaillées à la section suivante), les splines périodiques, les splines de

type plaque mince ("thin plate spline")... D’autres exemples de splines sont donnés

dans Wahba [173], Berlinet et Thomas-Agnan [15], Gu [72] et Wang [182]).

de Hilbert à noyau reproduisant

Dans le document Modélisation fonctionnelle de profils de vitesse en lien avec l'infrastructure et méthodologie de construction d'un profil agrégé (Page 87-92)