Définition et principales propriétés des RKHS

La théorie des espaces hilbertiens à noyau reproduisant est très classique en

ana-lyse fonctionnelle. Les premières études sont apparues au début du XXesiècle mais la

théorie générale s’est essentiellement développée après 1950 avec les travaux

d’Arons-zajn [10]. Nous donnons ici les définitions et principales propriétés. Plus de détails

liés à la théorie des RKHS sont donnés dans Aronszajn [10], Wahba [173], Gu [72]

et Berlinet et Thomas-Agnan [15]. Pour les définitions de base sur les espaces de

Hilbert et leurs applications, le lecteur pourra se référer à Dieudonné [45], Dudley

de Hilbert à noyau reproduisant

[47] et Rudin [137].

On commence par rappeler la définition d’une fonctionnelle d’évaluation.

Définition 3.2. On appelle fonctionnelle d’évaluation sur un espace de Hilbert H

une forme linéaire δ_t : H −→ R _{qui évalue chaque fonction de l’espace au point t,}

i.e.

δ_t(f) =f(t), pour toutf ∈ H.

On donne alors une première définition des espaces de Hilbert à noyau

reprodui-sant.

Définition 3.3. Un espace de HilbertHest un espace de Hilbert à noyau reproduisant

(RKHS) si les fonctionnelles d’évaluation sont continues.

Rappelons que les fonctionnelles d’évaluation sont continues si et seulement si

elles sont bornées, i.e. si pour toutt, il existe un réelM >0tel que :

|δt(f)|=|f(t)| ≤Mkfk_H, pour tout f ∈ H.

La définition 3.3 signifie également que si deux fonctions f et g appartenant à un

RKHS sont proches au sens de la norme associée au produit scalaire, alors pour

tout x, les valeurs f(x) et g(x) sont également proches. Par exemple, l’espace de

fonctionsL²(^Rn) n’est pas un RKHS (car les formes linéaires d’évaluation n’y sont

pas continues). Cependant, en pratique, la définition 3.3 est difficile à utiliser. On

introduit alors la notion de noyau reproduisant. Avant d’en donner la définition,

commençons par introduire la propriété suivante qui se déduit de la définition3.3en

appliquant le théorème de représentation de Riesz :

Théorème 3.1. SoitX un ensemble quelconque. SiHest un RHKS, alors pour tout

t∈ X, il existe une fonctionKt∈ H, appelée représentant de l’évaluation en t, avec

la propriété de reproduction :

δt(f) =f(t) =hKt, fi_H, pour tout f ∈ H.

La propriété de reproduction permet de représenter toute fonctionnelle

d’évalua-tion par un produit scalaire. D’autre part, comme K_t est une fonction de H, alors

d’après la propriété de reproduction on a pour touts∈ X :

K_t(s) =hK_t, K_si_H.

On peut maintenant donner la définition d’un noyau reproduisant.

Définition 3.4. Une fonction K(s, t) :X × X →^R est un noyau reproduisant d’un

espace de HilbertH si :

a) ∀t∈ X, K(·, t)∈ H,

On en déduit alors une nouvelle définition des RKHS équivalente à la définition

3.3.

Définition 3.5. Un espace de HilbertHqui possède un noyau reproduisant est appelé

un espace de Hilbert à noyau reproduisant (RKHS).

Remarque 3.3. Si on considèref comme une fonction deX dansY, alors le calcul

de f(t) est généralement une opération non linéaire. Par contre, si l’on considère f

comme un élément deHde noyauK, alors d’après la propriété de reproduction, on

peut calculer f(t) via hf, K(·, t)i qui est une opération linéaire. De plus, d’après la

propriété de reproduction, on a :∀(s, t)∈ X ×X, K(s, t) =Kt(s) =hK(·, t), K(·, s)i.

Ainsi, le produit scalaire dansHpeut être calculé simplement en utilisant la fonction

noyau K. Cette propriété, appelée astuce du noyau ("kernel trick"), est à la base

du développement des méthodes à noyaux ("kernel methods") qui se sont

considé-rablement développées depuis le milieu des années 1990 et qui sont très en vogue

en théorie de l’apprentissage (Schölkopf et Smola [144], Shawe-Taylor et Cristianini

[154]). Les méthodes à noyau permettent de trouver des fonctions de décision non

li-néaires, tout en s’appuyant fondamentalement sur des méthodes linéaires (ex : Kernel

PCA, Kernel Discriminant Analysis, SVM...).

Citons quelques exemples de RKHS.

Exemple 3.1.

Soit Hun espace vectoriel de dimension finie et soit(e1, . . . , en)une base

orthonor-male de H. On montre facilement queH a pour noyau reproduisant

K(x, y) =

n

X

i=1

ei(x)ei(y).

Ainsi, tout espace vectoriel de dimension finie est un RKHS.

Exemple 3.2.

SoientX = [0,1]etH={f |f(0) = 0, f est absolument continue et f⁰ ∈L²[0,1]}.

Hest un espace de Hilbert muni du produit scalaire :

hf, gi_H=

Z 1

0

f⁰(x)g⁰(x)dx,

et appartient à la classe des espaces de Sobolev (Adams et Fournier [3]. H a pour

noyau reproduisant K(x, y) = min(x, y). En effet, la dérivée de min(., y) étant la

fonction 1_(0,y), on a :

hf, K(., y)i_H =

Z 1

0

f⁰(x)K⁰(., y)dx=

Z y

0

f⁰(x)dx=f(y).

de Hilbert à noyau reproduisant

Exemple 3.3.

SoientX =^Ret

H=H1(^R) ={f |f(0) = 0, f est absolument continue,f etf⁰ sont dansL²(^R)}.

Hest un espace de Hilbert muni du produit scalaire :

hf, gi_H=

Z

R

f(x)g(x) +f⁰(x)g⁰(x)dx,

et appartient à la classe des espaces de Sobolev (Adams et Fournier [3]). Une simple

intégration par parties montre queHa pour noyau reproduisant :

K(x, y) = ¹

2^{exp(−|x−y|).}

On s’intéresse maintenant à la caractérisation des noyaux reproduisants : quand

est-ce qu’une fonction K à valeurs réelles (ou complexes) définie surX × X est un

noyau reproduisant ? Nous allons énoncer dans ce qui suit le lien entre les noyaux

reproduisants et les fonctions définies positives.

Définition 3.6. Une fonction K :X × X →R _{est appelée fonction définie positive}

si :

∀n≥1,∀(a₁, . . . , a_n)∈^Rn,∀(x₁, . . . , x_n)∈ Xⁿ,

n

X

i=1

n

X

j=1

a_ia_jK(x_i, x_j)≥0. (3.30)

Remarque 3.4. La condition (3.30) est équivalente au fait que la matrice K =

(K(x_i, x_j))₁≤i,j≤n, appelée matrice de noyau ou matrice de Gram, soit définie

posi-tive.

Lemme 3.1. Tout noyau reproduisant est une fonction définie positive.

Ce lemme se démontre très facilement. En effet, siK :X × X →^Rest un noyau

reproduisant, alors pour tout(a₁, . . . , a_n)∈Rn et(x₁, . . . , x_n)∈ Xn :

n

X

i=1

n

X

j=1

a_ia_jK(x_i, x_j) =

n

X

i=1

n

X

j=1

a_ia_jhK_xi, K_xji=k

n

X

i=1

K_xik².

En fait, le théorème fondamental qui suit montre que la réciproque est vraie.

Théorème 3.2 (Moore-Aronszajn, 1950). Soit K une fonction symétrique, définie

positive surX × X. Alors il existe un unique espace de HilbertH de fonctions sur X

Ce théorème montre que l’ensemble des fonctions définies positives et l’ensemble

des noyaux reproduisants surX × X sont identiques et qu’il existe donc une bijection

entre les RKHS et les fonctions définies positives. Ainsi, on peut parler du "noyau

d’un RKHS" ou du "RKHS d’un noyau".

L’idée de la preuve est que, pour toute fonction définie positive K, on peut

construire un unique RKHS H_K de noyau reproduisantK où H_K est la complétion

de l’espace vectoriel engendré par les combinaisons linéaires des K_t = K(t,·), i.e.

H_K = vect{Kt, t∈ X }, muni du produit scalaire défini comme suit :

h

n

X

i=1

aiKti,

m

X

i=j

bjKtji_HK =

n

X

i=1

m

X

i=j

aibjK(ti, tj).

Pour une démonstration complète du théorème, nous renvoyons le lecteur à Berlinet

et Thomas-Agnan [15].

Exemple 3.4 (Exemples de noyaux reproduisants).

– Noyau linéaire : K(x, y) =x·y.

– Noyau gaussien : K(x, y) = exp(−^kx−_σ2^yk2), σ >0.

– Noyau polynomial :K(x, y) = (x·y+ 1)^d, d∈^N.

Enfin, nous terminons cette section en énonçant une propriété importante sur la

somme de RKHS.

Théorème 3.3 (somme de RKHS). SoitH un RKHS sur X dont le noyauK peut

se décomposer en K =K₀ +K₁, avec K₀ et K₁ tous deux définis positifs, tels que

K0(x,·)∈ H et K1(x,·) ∈ H pour tout x∈ X, et hK0(x,·), K1(x,·)i_H = 0, ∀x, y∈

X. Alors H admet la décomposition H = H₀LH₁ où H₀ et H₁ sont les espaces

associés respectivement aux noyauxK₀ et K₁.

Réciproquement, si H₀ et H₁ sont des RKHS de noyaux respectifs K0 et K1 et si

H₀T

H₁ = {0}, alors H =H₀L

H₁ est un RKHS ayant pour noyau reproduisant

K =K₀+K₁.

Nous renvoyons le lecteur à Gu [72] (Th. 2.5) pour une démonstration de ce

théorème.

Dans le document Modélisation fonctionnelle de profils de vitesse en lien avec l'infrastructure et méthodologie de construction d'un profil agrégé (Page 81-85)