D ´efinition du probl `eme de pr ´e-image

1.7.1 M´ethode de la descente du gradient . . . . 25

1.7.2 M´ethode it´erative du point fixe . . . . 26

1.7.3 Apprentissage de la carte de pr´e-image. . . . 28

1.7.4 M´ethode de l’´echelle multidimensionnelle . . . . 28

1.7.5 Approche conforme. . . . 30

1.7.6 Pr´e-image r´egularis´ee ou p´enalis´ee . . . . 31

1.8 Formulation de la pr ´e-image . . . . 31 1.9 Conclusion . . . . 33

1.1 Introduction

Au cours des deux derni `eres d ´ecennies, nous avons assist ´e `a une prolif ´eration des m ´ethodes `a noyaux gr ˆace `a la diversit ´e des traitements non-lin ´eaires qu’elles autorisent avec un faible co ˆut calcu-latoire [STC04]. Depuis les Machines `a Vecteurs Supports de Vapnik [Vap98, BGV92b, SBS98], elles ont montr ´e leurs performances dans plusieurs domaines aux finalit ´es vari ´ees. Bien qu’elles soient ap-pliqu ´ees avec succ `es pour r ´esoudre des probl `emes d ´ecisionnels non-lin ´eaires, comme la classification, la r ´egression et la d ´etection, souvent elles sont moins adapt ´ees en ce qui concerne la reconnaissance des formes. Cette condition est due essentiellement `a la notion de l’astuce du noyau, ou kernel trick en anglais, une“arme `a double tranchant”. En fait, l’astuce du noyau fournit un moyen de transformer implicitement les donn ´ees dans un espace de caract ´eristique non-lin ´eaire de grande dimension, ce qui permet de construire des r `egles de d ´ecision non-lin ´eaires, avec essentiellement le m ˆeme co ˆut de cal-cul que celles des cas lin ´eaires. En d’autres termes, l’id ´ee principale r ´eside dans l’interpr ´etation d’un noyau d ´efini positif comme un produit scalaire dans un espace fonctionnel. Ainsi un tel noyau assure-t-il le passage des donn ´ees de l’espace des observations `a l’espace dit de Hilbert `a noyau reproduisant, sans la n ´ecessit ´e d’exhiber la fonction de transformation non-lin ´eaire associ ´ee. Cet espace de Hilbert est initialement propos ´e pour les probl `emes de r ´egression par Kimeldorf et Wahba dans [KW71,Wah90]. Cette notion de non-lin ´earit ´e par l’usage de noyau a ´et ´e propos ´ee par Aizerman et al. dans [ABR64] dans le cadre d’un probl `eme de classification, et renforc ´e par Vapnik dans [Vap98] avec la th ´eorie de l’apprentissage statistique dans un contexte plus g ´en ´eral de classification et r ´egression. C’est le cas de l’Analyse en Composantes Principales `a noyaux (ACP- `a-noyaux). A l’instar de l’ACP classique, cette extension non-lin ´eaire vise `a identifier un sous-espace pertinent pour les donn ´ees en maximisant leur variance projet ´ee. Une telle projection se faisant implicitement dans le RKHS, n ´eanmoins, nous n’avons pas acc `es `a la plupart des ´el ´ements de l’espace de Hilbert `a noyau reproduisant, comme des ´el ´ements ou caract ´eristiques estim ´es par l’ACP- `a-noyaux [SSM98a].

L’importance du passage de l’espace des observations `a l’espace de Hilbert `a noyau reproduisant est claire en classification et r ´egression. Cependant, la fonction r ´eciproque, de l’espace transform ´e `a l’es-pace des observations, est souvent indispensable, surtout pour retrouver le r ´esultat dans l’esl’es-pace des observations, e.g., l’espace des signaux en traitement du signal. Or, les deux espaces ne sont pas en bi-jection, et tr `es peu d’ ´el ´ements de l’espace transform ´e ont un ant ´ec ´edent dans l’espace des observations. Le probl `eme de la recherche de cet ant ´ec ´edent est connu sous le nom du probl `eme de la pr ´e-image. Il consiste `a trouver une observation dont l’image, par la fonction noyau consid ´er ´ee, soit la plus proche possible de l’ ´el ´ement en question dans l’espace transform ´e. Plusieurs m ´ethodes ont ´et ´e propos ´ees dans la litt ´erature afin de r ´esoudre ce probl `eme mal-pos ´e.

Ce chapitre couvre tout d’abord la notion des noyaux reproduisants. Ensuite, les caract ´eristiques de tels noyaux sont donn ´ees. Apr `es, nous introduisons les deux ´el ´ements fondamentaux des m ´ethodes `a noyaux qui sont l’astuce du noyau et le th ´eor `eme de Repr ´esentation. Dans la section1.4, un exemple d’algorithme lin ´eaire pr ´ecis ´ement l’analyse en composantes principales est d ´etaill ´e, tout en pr ´esentant

1.2. Noyaux et espace de Hilbert `a noyau reproduisant 13

son extension `a l’aide des m ´ethodes `a noyaux pour le cas non-lin ´eaire. La section1.5montre l’usage d’un tel algorithme pour la reconnaissance des formes. Le probl `eme de la pr ´e-image confront ´e lors de l’utili-sation d’un noyau est d ´ecrit dans la section1.6, tout en pr ´esentant les m ´ethodes pour sa r ´esolution dans la section 1.7. Finalement, une nouvelle ´ecriture de la pr ´e-image en fonction des donn ´ees disponibles est propos ´ee dans la section1.8.

1.2 Noyaux et espace de Hilbert `a noyau reproduisant

Nous consid ´erons l’espace des observations X, auquel est associ ´e le produit scalaire h·,·iet sa norme correspondantek · k2. Avant d’ ´etudier des propri ´et ´es li ´ees `a la notion du noyau, il est n ´ecessaire de le d ´efinir.

D ´efinition 1.1. (Noyau). Un noyau d ´esigne une fonction de X × X dansIR `a sym ´etrie Hermitienne,

c’est- `a-dire telle queκ(xi,xj) =κ(xi,xj).

`

A partir d’un noyau, nous construisons sa matrice de Gram comme donn ´ee par la D ´efinition1.2. D ´efinition 1.2. (Matrice de Gram). ´Etant donn ´e un noyau κ(·,·) et nobservations x₁,x₂, . . . ,xn, la matrice d ´efinie par

(K)_i,j =κ(x_i,x_j),

pour touti, j= 1,2, . . . , nest appel ´ee la matrice de Gram deκassoci ´ee `a l’ensemblex₁,x₂, . . . ,x_n.

C’est une matrice de dimensionn×n.

L’id ´ee principale des m ´ethodes `a noyaux r ´eside en l’utilisation de techniques lin ´eaires classiques sur des donn ´ees transform ´ees. SoitΦ(·)la transformation des donn ´ees de l’espace des observationsX, `a un espace fonctionnelH.

Cependant, dans certains cas, la fonctionΦ(·) peut ˆetre op ´er ´ee implicitement en utilisant un noyau afin d’ ´evaluer des produits scalaires dansH. Afin qu’une fonctionκ(·,·) repr ´esente un produit scalaire dans l’espace fonctionnelH, elle doit satisfaire des conditions explor ´ees dans la section suivante

1.2.1 Noyau d ´efini positif et RKHS

Commenc¸ons tout d’abord par quelques d ´efinitions afin de d ´eterminer la condition d’existence d’un espace fonctionnelH.

D ´efinition 1.3. (Noyau d ´efini positif). Un noyauκest dit d ´efini positif surX si et seulement si, il v ´erifie n X i=1 n X j=1 α_iα_jκ(x_i,x_j)≥0, (1.1) pour toutn∈IN,x₁, . . . ,x_n∈ X etα1, . . . , αn∈IR.

D ´efinition 1.4. (Espace de Hilbert). Un espace vectoriel H muni d’un produit scalaire h·,·i_H est un

espace de Hilbert s’il est complet pour la norme associ ´ee au produit scalairekιk²_H=hι, ιi_H(en d’autres

termes, toutes les suites de Cauchy convergent dansH).

D ´efinition 1.5. (Espace de Hilbert `a noyau reproduisant - RKHS). Soit(H,h·,·i_H) un espace de

Hil-bert constitu ´e par des fonctions de X dansIR. La fonctionκ(xi,xj)de X × X dansIRest le noyau

reproduisant deH, sous r ´eserve que celui-ci en admette un, si et seulement si

– la fonctionκ(x,·) :x_j 7→κ(x,x_j)appartient `aH, quel que soitx∈ X fix ´e ;

– on aι(xj) =hι, κ(x,·)i_Hpour toutxj ∈ X etι∈ H.

Nous disons que H est un espace de Hilbert `a noyau reproduisant, ou encore RKHS, acronyme de

Reproducing Kernel Hilbert Space.

Une propri ´et ´e importante est tir ´ee de cette d ´efinition.

Propri ´et ´e 1.1. (Reproduction). La propri ´et ´e reproduisante, d ´efinie par Aronszajn dans [Aro50], du noyau

κinduisant un espace de HilbertH, est donn ´ee par

hκ(x,·), f(·)i_H=f(x) pour toutf(·)∈ H.

`

A partir de la Propri ´et ´e1.1, nous pouvons d ´eduire facilement le corollaire suivant :

Corollaire 1.1. (Astuce du noyau). Tout noyau d ´efini positifκinduisant un espace de HilbertHd ´efinit le produit scalaire dans cet espace, comme suit :

κ(xi,xj) =hΦ(xi),Φ(xj)i_H,

pour chaquex_i,x_jdansX.

La Figure1.1 repr ´esente l’espace de Hilbert `a noyau reproduisant Hassoci ´e au noyau κappliqu ´e sur l’espace des observationsX. Nous d ´efinissons une transformation deX vers l’espace des fonctions deX, not ´eH, ainsi

Φ : X → H x 7→ κ(x,·).

Dans cette expression,Φ(x) =κ(x,·)d ´esigne une fonction d ´efinie surX, obtenue en fixant le premier argument deκ `ax.

1.2.2 Th ´eor `eme de Moore-Aronszajn

Le th ´eor `eme suivant [Aro50], combin ´e avec les d ´efinitions pr ´ec ´edentes, permet de faire le lien entre un noyau d ´efini positif et l’espace de Hilbert `a noyau reproduisant.

1.2. Noyaux et espace de Hilbert `a noyau reproduisant 15 x_i x_j Φ(xi) Φ(xj) X H

FIGURE 1.1: Espace de Hilbert `a noyau reproduisant Hassoci ´e au noyauκ appliqu ´e sur l’espace des

observationsX.

Th ´eor `eme 1.1. (Moore-Aronszajn [Aro50]). `A tout noyau d ´efini positifκ, il lui correspond un espace de

Hilbert `a noyau reproduisantHunique, et r ´eciproquement.

D ´emonstration. Nous montrons tout d’abord que tout noyau reproduisant est d ´efini positif. `A cette fin, il

suffit de constater queP i

P

jα_iα_jκ(x_i,x_j) =kP

iα_iΦ(x_i)k2 ne peut ˆetre n ´egatif. R ´eciproquement, nous d ´emontrons que tout noyau d ´efini positif κ est le noyau reproduisant d’un espace de Hilbert de fonctions deX dansIR. Pour ce faire, un espace de Hilbert `a noyau reproduisant Hassoci ´e `a un noyau

κ, est construit en consid ´erant une fonction Φ(·)de X dansH, selonΦ(x) = κ(x,·). L’espaceHest engendr ´e par les fonctionsΦ(x). Soient deux fonctions dansH

ι₁ = n X i=1 αiΦ(xi), ι₂ = n X j=1 βjΦ(xj),

o `unest un entier naturel,αietβjsont des r ´eels etxietxjappartiennent `aX. Le produit scalaire entre ces deux fonctions est donn ´e par :

hι₁, ι₂i_H=^D n X i=1 α_iΦ(x_i), n X j=1 β_jΦ(x_j)^E H.

TABLE1.1: Les noyaux reproduisants couramment utilis ´es en apprentissage, avec les param `etresc, σ >

0, etq∈IN+.

Type Forme g ´en ´erale

P ro je c ti f ^Polynomial κ_q(x_i,x_j) = (c+ hx_i,x_ji)q Polynomial de Vovk κP V(x_i,x_j) =^{1− hx}i,xjiq 1− hxi,xji Exponentiel κE(x_i,x_j) = exp(¹_σhxi, x_ji) R a d ia l ^Laplacien κL(x_i,x_j) = exp(⁻_σ¹kxi−xjk) Gaussien κG(x_i,x_j) = exp(₂⁻_σ¹2kxi−x_jk²)

Quadratique rationnel κR(xi,xj) = 1−_kx^kx_i−ⁱ⁻_x^x_jk^jk2+²σ

En utilisant l’astuce du noyau, l’expression du produit scalaire devient

hι₁, ι₂i_H = n X i=1 n X j=1 αiβjκ(xi,xj).

Nous obtenons alors un espace pr ´e-Hilbertien. Pour aboutir `a un espace Hilbertien, il suffit de le compl ´eter conform ´ement `a [Aro50] afin que toute suite de Cauchy y converge.

La relation associant l’espace de Hilbert `a noyau reproduisant `a un noyau donn ´e est d ´ecrite par le biais du th ´eor `eme de Moore-Aronszajn. Dans la suite, un noyau d ´efini positif est d ´esign ´e par un noyau reproduisant. Le Tableau 1.1 r ´esume les noyaux reproduisants les plus utilis ´es. Ils sont group ´es sous deux classes : les noyaux projectifs, de la forme

κ(x_i,x_j) =f(hx_i, x_ji), (1.2)

et les noyaux radiaux, de la forme

κ(x_i,x_j) =g(kx_i−x_jk²). (1.3)

Les deux propositions suivantes sont consid ´er ´ees dans cette th `ese afin de d ´emontrer d’autres r ´esultats. Soit f<sup>(k)</sup>(ζ) la k`eme

d ´eriv ´ee de la fonction f par rapport `a ζ. Commenc¸ons par les noyaux radiaux. Le r ´esultat qui suit est d ˆu `a [CS02] et [Bur99, Proposition 7.2].

1.3. Du mod `ele lin ´eaire au mod `ele `a noyaux 17

g(kxi−xjk²)soit un noyau d ´efini positif est sa monotonicit ´e compl `ete, c’est- `a-dire, ses d ´eriv ´ees satisfont (−1)kg⁽k)(ζ)≥0

pour toutζ >0etk≥0.

C’est le cas du noyau Gaussienκ_G(x_i,x_j) =g(kx_i−x_jk2)avec

g^(k)(ζ) = −₂¹_σ2

k g(ζ),

ou encore le noyau quadratique rationnel avec

g^(k)(ζ) = (−1)^kk! ^σ (ζ+σ)k+1.

Passons maintenant aux noyaux projectifs, le r ´esultat suivant est donn ´e dans [Bur99, Proposition 7.1].

Proposition 1.2 (Noyaux projectifs). Trois conditions n ´ecessaires pour qu’une fonction κ(xi,xj) =

f(hxi,x_ji)soit un noyau d ´efini positif sont, pour toutζnon-n ´egatif :

f(ζ)≥0

f⁽¹⁾(ζ)≥0

f(1)(ζ) +ζf(2)(ζ)≥0

Il est facile de montrer ces conditions pour les noyaux projectifs donn ´es dans le Tableau1.1.

1.3 Du mod `ele lin ´eaire au mod `ele `a noyaux

Apr `es avoir introduit les noyaux ainsi que leur caract ´erisation, nous passons maintenant `a leur usage. L’id ´ee principale de l’usage des noyaux reproduisants est le passage de la lin ´earit ´e `a la non-lin ´earit ´e. Pour ce faire, les algorithmes lin ´eaires sont modifi ´es `a l’aide des deux ´el ´ements fondamentaux qui sont : l’astuce du noyau [ABR64] et le th ´eor `eme de Repr ´esentation [Wah90,SHS01].

1.3.1 Astuce du noyau

En utilisant le Corollaire1.1, nous pouvons ´ecrire le noyau reproduisant avec

κ(x_i,x_j) =hΦ(x_i),Φ(x_j)iH,

quels que soient x_i et x_j dans X, o `uH est l’espace de Hilbert associ ´e `a ce noyau. Cette propri ´et ´e, dite astuce du noyau, permet de transformer les m ´ethodes de traitement lin ´eaire de donn ´ees en des

m ´ethodes non-lin ´eaires, sous r ´eserve qu’elles puissent s’exprimer en fonction de produits scalaires des observations hxi,x_ji, qui n’est autre le noyau lin ´eaire. Ce produit scalaire est alors remplac ´e par un noyau non-lin ´eaireκ(x_i,x_j). Ainsi la structure des algorithmes demeure-t-elle inchang ´ee, et le surco ˆut calculatoire d ˆu `a l’ ´evaluation des noyaux n ´egligeable.

En fait, l’astuce du noyau fournit un moyen de repr ´esenter les observations implicitement dans un espace fonctionnel. Par cons ´equent, le noyau reproduisant correspond `a une g ´en ´eralisation du produit scalaire canonique, et est donc une mesure non-lin ´eaire de la similarit ´e entre les observations. Il s’av `ere que la plupart des algorithmes lin ´eaires utilis ´es pour le traitement des donn ´ees peuvent ˆetre facilement reformul ´es en termes de produit scalaire dans l’espace des observations. Sa substitution par un noyau offre des extensions non-lin ´eaires des algorithmes classiques. Le concept de l’astuce du noyau est illustr ´e dans [SSM98b,RGT00] pour l’ACP- `a-noyaux d ´ecrite dans la section1.4.2.

1.3.2 Th ´eor `eme de Repr ´esentation

Nous pouvons constater que sous certaines conditions, la solution optimale d’un probl `eme d’op-timisation dans H peut s’ ´ecrire sous la forme d’une combinaison de noyaux, ind ´ependamment de la dimension deH. Cette constatation est formul ´ee par le th ´eor `eme suivant :

Th ´eor `eme 1.2. (Th ´eor `eme de Repr ´esentation [KW71,SHS01]). Soient un espace non videX, un noyau

d ´efini positifκsurX × X, un ensemble d’ ´echantillons d’apprentissage(x₁, y₁), . . . ,(xn, yn)∈ X ×IR,

une fonction r ´eellegstrictement monotone croissante sur[0,∞[, et une fonction co ˆut arbitrairec. Soit

Hl’espace de Hilbert associ ´e au noyauκ, avecΦ(xi) =κ(xi,·). Toute fonctionf_H ∈ Hminimisant la

fonctionnelle de risque r ´egularis ´ee

c (x₁, y₁, f_H(x₁)), . . . ,(x_n, y_n, f_H(x_n))

+g(kfk), (1.4)

admet une repr ´esentation de la forme

f_H=

n X

i=1

αiΦ(x_i).

D ´emonstration. ´Etant donn ´e un ensemblex₁, . . . ,xn, toute fonctionf_H∈ Hpeut ˆetre d ´ecompos ´ee en

une partie appartenant `a l’espace engendr ´e par lesΦ(x<sub>i</sub>), et une partie orthogonale `a celui-ci, selon

f_H=

n X

i=1

α_iΦ(x_i) +υ,

o `u lesα₁, . . . , α_nsont des r ´eels etυ∈ Hv ´erifiant pour touti hυ, Φ(xi)i= 0.

1.4. Exemple du lin ´eaire au non-lin ´eaire 19

En utilisant cette ´equation et la propri ´et ´e reproduisante, l’ ´evaluation def_H en tout ´echantillon arbitraire x_jdonne f_H(x_j) =h n X i=1 α_iΦ(x_i) +υ,Φ(x_j)i= n X i=1 α_ihΦ(x_i),Φ(x_j)i.

Par cons ´equence, le premier terme de l’expression (1.4) est ind ´ependant deυ. Cependant pour le second terme, puisqueυest orthogonal `aPn

i=1αiΦ(x_i), etgest strictement monotone, nous obtenons

g(kf_Hk) = g n X i=1 α_iΦ(x_i) +υ =g v u u t(k n X i=1 α_iΦ(x_i)k2+kυk2) ≥ g X i αiΦ(xi) ,

o `u l’ ´egalit ´e se produit si et seulement si υ = 0. L’ ´egalit ´e entre Pn

i=1αiΦ(xi) + υ

=

p (kPn

i=1α_iΦ(x_i)k2+kυk2) est donn ´ee par le th ´eor `eme de Pythagore. Mettant υ `a 0 n’influe pas sur le premier terme de (1.4), tout en r ´eduisant son second terme. Par cons ´equence, toute solution s’ ´ecrit sous la forme

f_H=

n X

i=1

αiΦ(xi).

1.4 Exemple du lin ´eaire au non-lin ´eaire

Dans la section pr ´ec ´edente, les ´el ´ements fondamentaux des m ´ethodes `a noyaux sont pr ´esent ´es, en mentionnant le passage de la lin ´earit ´e `a la non-lin ´earit ´e. Nous pr ´esentons alors un exemple de ce passage. Pour ce faire, nous d ´etaillons la m ´ethode de l’analyse en composantes principales en d ´etaillant son extension au cas non-lin ´eaire.

1.4.1 Analyse en composantes principales

L’analyse en composantes principales (ACP) est un outil math ´ematique puissant pour r ´ev ´eler des formes au sein d’un ensemble de donn ´ees. Il s’agit d’une approche non-param ´etrique, qui ne tient compte d’aucune connaissance pr ´ealable du syst `eme, `a l’exception de sa lin ´earit ´e. Cette approche est consid ´er ´ee comme une approche globale, par opposition `a des m ´ethodes telles que les mod `eles pa-ram ´etriques ou d ´ecomposition en ondelettes, o `u les caract ´eristiques extraites d ´ependent fortement du type de mod `ele ou du type d’ondelettes utilis ´e pour l’analyse.

En ACP, les caract ´eristiques choisies sont celles qui pr ´esentent le maximum de variance des donn ´ees. Nous pouvons montrer que les vecteurs propres donnent le maximum de variance des donn ´ees. Pour ce faire, ces caract ´eristiques sont obtenues par diagonalisation de la matrice de

corr ´elation des donn ´ees, tout en conservant seulement les vecteurs propres les plus pertinents, c’est- `a-dire, vecteurs propres associ ´es aux plus grandes valeurs propres. Ces vecteurs propres constituent alors un ensemble d’axes orthonormaux pr ´esentant la plus grande variance dans les donn ´ees. Consid ´erons un ensemble dendonn ´ees{x<sub>1</sub>,x<sub>2</sub>, . . . ,xn}dans un espace donn ´eX. Sans perte de g ´en ´eralit ´e, nous supposons que ces donn ´ees sont centr ´ees dans cet espaceX. L’ACP cherche lesm caract ´eristiques v<sub>1</sub>,v<sub>2</sub>, . . . ,v<sub>m</sub>, comme les vecteurs propres du probl `eme aux valeurs propres suivant :

λ_kv_k=C v_k,

o `uC = _n¹ Pn

j=1x_jx^⊤_j est la matrice de covariance, avecx_j repr ´esentant un vecteur colonne etx^⊤_j est sa transpos ´ee. La pertinence de chaque vecteur proprev_kest donn ´ee par sa valeur propre correspon-danteλk, qui mesure la proportion de la variance des donn ´ees captur ´ees. Puisque λkvk = C vk =

1

n Pn

j=1hx_j,v_kix_j, les vecteurs propres appartiennent `a l’espace engendr ´e par lesndonn ´ees. Il est important `a noter que les donn ´ees sont suppos ´ees centr ´ees et que les vecteurs propres r ´esultants sont de norme unit ´e.

1.4.2 Analyse en composantes principales `a noyaux

L’un des inconv ´enients de l’ACP classique est sa lin ´earit ´e. Elle n’identifie que les structures lin ´eaires dans un ensemble de donn ´ees. Une technique plus g ´en ´eralis ´ee a ´et ´e mise en place pour apprendre les non-lin ´earit ´es en utilisant les noyaux, ladite ACP- `a-noyaux. Cette derni `ere peut r ´ev ´eler les compo-santes principales non-lin ´eaires par le biais du noyau qui sont plus appropri ´ees aux donn ´ees complexes tels que les images de visage, les chiffres manuscrits et les signaux naturels. A cet effet, les donn ´ees sont (implicitement) transform ´ees dans un espace fonctionnel, o `u l’ACP classique est appliqu ´ee. Bien que les vecteurs propres r ´esultant soient obtenus par une technique lin ´eaire dans l’espace fonctionnel, ils d ´ecrivent des relations non-lin ´eaires dans l’espace des observations. Afin de r ´esoudre ce probl `eme non-lin ´eaire, il est plus souhaitable d’appliquer l’astuce du noyau, et de ne pas calculer explicitement la fonction non-lin ´eaire de transformation.

Pour ce faire, l’algorithme de l’ACP est reformul ´e en termes de produit scalaire des donn ´ees dans l’espace fonctionnel. SoitΦune transformation non-lin ´eaire de l’espace des observationsX `a l’espace fonctionnelHqui, `a chaquex_ilui fait correspondre son imageΦ(x_i). Ainsi l’ensemble des observations transform ´ees est {Φ(x₁),Φ(x₂), . . . ,Φ(x_n)}. Nous souhaitons r ´esoudre l’ACP (- `a-noyaux), en terme de produit scalaire dans l’espace fonctionnel,hΦ(xi),Φ(xj)i_H, pour touti, j = 1,2, . . . , n. La matrice de covariance dansHest donn ´ee par :

C^Φ= ¹ n n X j=1 hΦ(x_j),Φ(x_j)i_H.

1.4. Exemple du lin ´eaire au non-lin ´eaire 21

valeurs propresλ_kv ´erifiant l’expression suivante

λkψk=C^Φψk. (1.5)

Par analogie avec l’ACP classique, chaque solution ϕk se situe dans l’espace engendr ´e par les images des donn ´ees par la fonction Φ(·). Cette ´ecriture implique qu’il existe des coefficients

α₁, α₂, . . . , αnde sorte que ψ_k= n X i=1 α_k,iΦ(xi), (1.6) puisque λkψk=C^Φψk= ¹ n n X j=1 hΦ(xj), ψki_HΦ(xj).

En remplac¸ant l’expression de C^Φ et la repr ´esentation des axes principaux ψk de (1.6) dans l’ ´equation du probl `eme aux valeurs propres (1.5), nous obtenons une nouvelle expression du probl `eme aux valeurs propres ´ecrite en termes de produit scalaire, avec

n λkα_k=K α_k, (1.7)

o `u K est une matrice de taille n×n d’ ´el ´ements κ(x_i,x_j), et α_k est un vecteur regroupant les n

coefficients, `a savoir α<sub>k</sub> = [α<sub>k,1</sub> α<sub>k,2</sub> · · · α<sub>k,n</sub>]<sup>⊤</sup>. Par ailleurs, deux mises au point sont `a consid ´erer dans l’algorithme de l’ACP- `a-noyaux final. Tout d’abord, les donn ´ees doivent ˆetre centr ´ees dans l’espace fonctionnel. Cette condition est valide en remplac¸ant la matriceKpar

(I−_n¹1_n)K(I−_n¹1_n),

o `u I est la matrice identit ´e et 1<sub>n</sub>est la matrice unit ´e de taillen×ntelle que(1<sub>n</sub>)<sub>i,j</sub> = 1. Cette condition est d ´emontr ´ee ici<sup>1</sup>. Ensuite, et par analogie avec l’ACP classique les vecteurs correspondant dansHdoivent ˆetre de norme unitaire, c’est- `a-direhϕk, ϕki_H= 1. Nous pouvons facilement montrer que cette condition

1. Centrage des donn ´ees dans l’espace fonctionnel

Bien que le centrage dans l’espace des observationsXest ais ´e, il n’est pas le cas dans l’espace fonctionnelH. SoitΦc(xi)la fonction centr ´ee dansH. Elle est d ´efinie parΦc(xi) = Φ(xi)−1

n

Pn

k=1Φ(xk). Chaque ´el ´ement de la matrice de Gram de celles-ci peut s’ ´ecrire

(K^c)i,j = hΦ^c(xi),Φ^c(xj)iH = hΦ(xi),Φ(xi)iH−¹ n n X k=1 hΦ(xk),Φ(xj)iH−¹ n n X k=1 hΦ(xi),Φ(xk)iH+ ¹ n2 n X k,k′=1 hΦ(xk),Φ(x_k′)iH.

Une ´ecriture matricielle est alors :

K^c=K−1 n1nK−1 nK1n+ 1 n21nK1n, ce qui correspond `a K^c= (I−1 n1n)K(I−1 n1n).

se fait par mise `a l’ ´echelle des vecteurs de poidsα_ksuivant l’ ´equation donn ´ee parλ_k(α_k ·α_k) = 1, pour toutes lesmcaract ´eristiquesk= 1,2, . . . , m.

1.5 L’ACP- `a-noyaux pour la reconnaissance des formes

Deux domaines d’application principaux peuvent ˆetre consid ´er ´es avec l’ACP classique : d’une part, consid ´erer les axes principaux pertinents comme des caract ´eristiques extraites, et d’autre part, proje-ter les observations bruit ´ees sur ces axes formant ainsi un sous-espace assurant le d ´ebruitage. Ces deux domaines d’application sont ´etudi ´es dans l’espace fonctionnel, en utilisant l’ACP- `a-noyaux avant de proposer une vue unifi ´ee.

1.5.1 Extraction des caract ´eristiques

Nous ´etudions dans cette partie l’extraction des caract ´eristiques dans le RKHS, avec l’ACP-

Dans le document Méthodes à noyaux en reconnaissance de formes, prédiction et classification. Applications aux biosignaux (Page 28-42)