Modèle général des splines de lissage

Le modèle classique des splines de lissage est le suivant :

y_i = f (t_i) + ε_i , i = 1, . . . , n, (3.35) où t ∈ X = [a, b], f ∈ W^m[a, b] où W^m[a, b] est l’espace de Sobolev d’ordre m, et les ε_i sont des erreurs aléatoires indépendantes de moyenne 0 et de variance constante σ2. Nous avons montré à la section 3.2.2.2 que le problème classique des splines de lissage correspondait à la minimisation du critère suivant :

min f ∈Wm[a,b] n X i=1 (yi− f (t_i))²+ λ Z b a (f^(m)(t))²dt. (3.36)

On s’intéresse ici au problème général des splines de lissage (appelé "general spline smoothing problem" dans Wahba [173]) dont le modèle associé est

yi = Lif + εi , i = 1, . . . , n, (3.37) où les ε_i sont définies comme dans le modèle classique (3.35) mais où X est un ensemble quelconque, f ∈ H_R un RKHS sur X de noyau R(s, t), et les L_i sont des formes linéaires bornées sur H_R(par exemple, L_if = f⁰(ti) ou Lif =R w_i(u)f (u)du où les w_isont des fonctions connues). Le modèle classique (3.35) est un cas particulier

1. Une fonction J : H →R, où H est un espace de Hilbert, est coercive si lim

de Hilbert à noyau reproduisant

de ce modèle où les L_i sont les fonctionnelles d’évaluation aux points d’observation définies par L_if = f (ti). H_R est supposé admettre une décomposition en somme directe

H_R= H0

M H₁,

où H₀ est un espace de dimension finie p ≤ n. Le problème général des splines de lissage revient alors à trouver f ∈ H_Rqui minimise

1 n n X i=1 (yi− L_if )²+ λkP1f k²_HR, (3.38)

où P₁ est la projection orthogonale sur H₁. Le paramètre de lissage λ contrôle le compromis entre la qualité de l’ajustement mesuré par le 1erterme, et l’éloignement par rapport à l’espace H₀mesuré par kP₁f k²_H

R. L’espace H₀ est généralement appelé espace nul et est constitué de fonctions qui ne sont pas pénalisées puisque kP₁f k²_H

R = 0 quand f ∈ H₀. Ainsi, toute fonction f ∈ H_Rpeut s’écrire sous la forme f = f₀+ f₁ où f₀ ∈ H₀ et f₁ ∈ H₁, la composante f₀ représentant un modèle de régression linéaire dans H₀, et la composante f₁ représentant les variations non expliquées par f₀. Notons également que d’après la propriété énoncée au théorème3.3, on montre que H₀ et H₁sont également des RKHS de noyaux respectifs R₀ et R₁avec R = R₀+ R1. Comme les L_i sont des formes linéaires bornées, alors par le théorème de Riesz il existe un représentant η_i ∈ H_R tel que L_if = hη_i, f iH_R. D’après les propriétés du noyau reproduisant, on a :

∀s ∈ X , η_i(s) = hη_i, R_si = L_iR_s= L_i(t)R(s, t),

où L_i(t) signifie que L_i est appliqué à ce qui suit et qui est considéré comme une fonction de t. Par exemple, si L_if = f (ti), alors ηi(s) = R(s, ti), et si Lif = f⁰(ti), alors η_i(s) = _∂t^∂R(s, t)|t=ti. Le critère (3.38) que l’on cherche à minimiser peut alors s’écrire sous la forme :

1 n n X i=1 (y_i− hη_i, f i)²+ λkP₁f k²_H R. (3.39)

La variante donnée ci-dessous du théorème du représentant (théorème 3.4) donne une solution explicite au problème de minimisation dans H_R du critère (3.39). Théorème 3.5 (Kimeldorf et Wahba, 1971). Soit φ₁, . . . , φ_p une base de l’espace nul H₀ et soit T une matrice n × p de plein rang définie par :

T = {L_iφ_ν}n i=1

p ν=1. Alors le critère (3.39) a un unique minimum donné par

b f_λ(t) = p X ν=1 d_νφ_ν(t) + n X i=1 c_iξ_i(t), (3.40)

où ξ_i = P₁η_i, Σ = {hξ_i, ξ_ji}ⁿ_i,j=1, M = Σ + nλI, (3.41) d = (d1, . . . , dp)^T = (T^TM⁻¹T )⁻¹T^TM⁻¹y, c = (c₁, . . . , c_n)^T = M⁻¹{I − T (T^TM⁻¹T )⁻¹T^TM⁻¹}y.

Démonstration. De la même manière que dans la preuve du théorème 3.4du repré-sentant, on peut affirmer l’existence d’un unique élément ρ ∈ H_R orthogonal aux {φ_ν, ν = 1, . . . , p} et aux {ξi, i = 1, . . . , n} tel que l’estimateur bfλ s’écrive sous la forme b f_λ(t) = p X ν=1 d_νφ_ν(t) + n X i=1 c_iξ_i(t) + ρ.

En utilisant la décomposition de tout élément g ∈ H_R de la forme g = P₀g + P₁g par somme directe, et en utilisant le caractère auto-adjoint de P₀, on obtient :

∀i = 1, . . . , n, hρ, η_ii = hρ, P₀η_ii + hρ, P₁η_ii = h P₀ρ |{z} 0 , η_ii + hρ, ξ_ii | {z } 0 = 0.

Ainsi, le critère (3.39) à minimiser peut s’écrire sous la forme matricielle suivante : 1

n^{ky − T d − Σck}

2+ λ(c^TΣc + kρk²).

Il est alors clair que ce critère est minimal quand ρ = 0, ce qui démontre la forme (3.40) de l’estimateur.

L’unicité de la solution découle du fait que la fonctionnelle L(f ) =Pn

i=1(yi− L_if )² est strictement convexe sur H₀ si la matrice T est de plein rang, et donc également strictement convexe sur H_R. On en déduit alors que si la matrice T est de plein rang, L(f ) + λkP1f k²_H

R est strictement convexe sur H_R, ce qui implique l’unicité de la solution (voir Théorème 2.9 dans Gu [72]).

Il reste alors à estimer les coefficients c = (c₁, . . . , c_n)T et d = (d₁, . . . , d_p)T qui minimisent le critère

1

n^{ky − T d − Σck}

2+ λc^TΣc.

En dérivant par rapport à c puis par rapport à d, on obtient les équations suivantes :

(Σ + nλI)Σc + ΣT d = Σy, (3.42)

de Hilbert à noyau reproduisant

On montre alors facilement que les équations (3.42) et (3.43) sont équivalentes aux équations suivantes :

M c + T d = y, (3.44)

T^Tc = 0. (3.45)

On en déduit alors que

d = (T^TM⁻¹T )⁻¹T^TM⁻¹y, (3.46)

c = M⁻¹{I − T (T^TM⁻¹T )⁻¹T^TM⁻¹}y. (3.47)

Ce théorème montre que l’estimateur par splines de lissage bf appartient à un espace de dimension finie et s’exprime comme une combinaison linéaire de la base de H₀ et des représentants de H₁. Notons que l’estimateur bfλ dépend du paramètre λ même si cette dépendance n’est pas explicite. Généralement, les équations (3.46) et (3.47) ne sont pas appropriées au calcul numérique et on utilise plutôt les équations (3.44) et (3.45) pour le calcul des coefficients c et d. En effet, ces équations sont équivalentes à  M T T^T 0  c d  =y 0  , (3.48)

qui est un système linéaire de n + p équations de la forme Ax = b avec A symétrique et de plein rang. Il est alors possible d’utiliser des algorithmes de calcul efficaces tels que l’algorithme de Cholesky (Gu [72], Wahba [173]).

Il est également possible de calculer c et d en utilisant la décomposition QR de T : T = Q1 Q2
R 0  ,

où Q₁, Q₂ et R sont respectivement des matrices n × p, n × (n − p) et p × p, Q = (Q1 Q2) est une matrice orthogonale, et R est une matrice triangulaire supérieure, avec T^TQ₂= 0_p×(n−p). On peut alors montrer que les coefficients c et d vérifient les équations suivantes :

c = Q2(Q^T₂M Q2)⁻¹Q^T₂y, (3.49)

Rd = Q^T₁(y − M c). (3.50)

Nous renvoyons le lecteur à Wahba [173] et Wang [182] pour plus de détails sur l’obtention de ces équations.

Remarque 3.5. On a ξ_i = P₁η_i la projection de η_i sur H₁. Comme R(s, t) = R0(s, t) + R1(s, t) où R0 et R₁ sont les noyaux respectifs de H₀ et H₁, et comme P₁ est auto-adjoint, on a :

Cette équation montre que le représentant ξ_i peut être obtenu en appliquant l’opé-rateur au noyau R₁. De plus, on a :

hξ_i, ξji = L_i(s)ξj(s) = L_i(s)L_j(t)R1(s, t).

On en déduit donc que :

Σ = {L_i(s)L_j(t)R₁(s, t)}ⁿ_i,j=1.

Notons que dans le cas particulier où les L_i sont les fonctionnelles d’évaluation aux points d’observation définies par L_if = f (t_i) (correspondant au modèle classique (3.35)), on a :

ξi(t) = R1(t, ti) et Σ = {R1(ti, tj)}ⁿ_i,j=1. Ainsi, le vecteur des valeurs estimées peut s’écrire sous la forme :

(L₁f , . . . , Lb _nf )b^T = T d + Σc. (3.51)

De plus, en utilisant les équations (3.44) et (3.49), on en déduit que

(L1f , . . . , Lb nf )b^T = T d + Σc = y − nλc = A(λ)y, (3.52)

où

A(λ) = I − nλQ2(Q^T₂M Q2)⁻¹Q^T₂ (3.53) est la matrice chapeau. Notons que l’expression (3.52) permet de faciliter le calcul numérique des valeurs estimées (L₁f , . . . , Lb nf ) mais que cette expression ne permetb pas de calculer la valeur de l’estimateur en tout point t contrairement à l’expression (3.40).

Finalement, la résolution du problème général des splines de lissage nécessite de suivre les étapes suivantes :

i) choisir un RKHS H comme espace du modèle pour f ;

ii) choisir une décomposition de l’espace en deux sous-espaces H = H₀L H₁ où H₀ est un ensemble de fonctions non pénalisées ;

iii) choisir une pénalité kP₁f k².

Différents choix peuvent être effectués concernant l’espace du modèle, sa décompo-sition et la pénalité, ce qui rend la méthode des splines de lissage très flexible. En effet, ce modèle est à la base de nombreux types de splines : les splines polynomiales ou D^m splines (détaillées à la section suivante), les splines périodiques, les splines de type plaque mince ("thin plate spline")... D’autres exemples de splines sont donnés dans Wahba [173], Berlinet et Thomas-Agnan [15], Gu [72] et Wang [182]).

de Hilbert à noyau reproduisant