Méthode à noyaux

Cours Apprentissage - ENS Math/Info M´ethodes ` a noyaux

Francis Bach 21 Novembre 2014

Pour approfondir ce cours, on pourra consulter les documents suivants :

– http://cbio.ensmp.fr/~jvert/svn/kernelcourse/slides/master/master.pdf – http://www.di.ens.fr/~fbach/rasma_fbach.pdf

Dans ce cours, l’accent a souvent ´et´e mis sur les m´ethodes de pr´ediction diteslin´eaires : les donn´ees d’entr´ees sont vectorielles (i.e.,x∈ R^p) et la fonction de pr´ediction est lin´eaire, i.e., f(x) = w^>x pourw∈R^p. Dans ce cadre, `a partir d’observations (xi, yi),i= 1, . . . , n, le vecteurwest obtenu en minimisant

1 n

n

X

i=1

`(y_i, w^>x_i) +λΩ(w) (exemple de la r´egression logistique et moindres carr´es).

Ces m´ethodes sont en apparence limit´ees, car – Les donn´ees ne sont pas forc´ement vectorielles.

– Les bonnes fonctions de pr´edictions ne sont pas forc´ement lin´eaires.

Le but des m´ethodes `a noyaux est d’aller au-del`a de ces limitations tout en en conservant les bons aspects. Leur principe sous-jacent est de remplacer x par n’importe quelle fonction ϕ(x) ∈ R^p, explicitement ouimplicitement, et consid´erer des pr´edicteurs lin´eaires en Φ(x), i.e.,f(x) =w^>ϕ(x).

On appelleϕ(x) le “feature” (ou vecteur de caract´eristiques) associ´ee `ax.

Exemple : r´egression polynomiale homog`ene de degr´er, en consid´erantx∈R^d et ϕ(x) = x^α₁¹· · ·x^α_d^d

Pd

i=1αi=r .

Dans ce cas,p=C_d+r−1^r (nombre dek-combinaisons avec r´ep´etition d’un ensemble de cardinald), peut ˆetre tr`es/trop grand pour qu’une repr´esentation explicite soit faisable.

1 Support Vector Machine

On consid`ere n points xi dans R<sup>p</sup>, et une ´etiquette yi ∈ {−1,1}, et le probl`eme d’optimisation suivant

w∈minR^p, b∈R

1

2kwk²+C

n

X

i=1

ξi

tel que ξi>0

tel que yi(w^>xi+b)>1−ξi

– Interpr´etation g´eom´etrique dans les cas s´eparables et non s´eparables.

– D´erivation du du dual par dualit´e Lagrangienne max

α∈Rⁿ−1

2α^>D(y)KD(y) +α^>1 tel queα^>y= 1, 06α6C, with optimal primal value equal tow=Pn

i=1αiyixi.

– Conditions de KKT (“support vectors”) : (C−αi)ξi=αi(yi(w^>xi+b)−1 +ξi) = 0. Ceci implique que siyi(w^>xi+b)>1, alorsαi= 0, si yi(w^>xi+b)<1 alorsαi=C. Sinonαi ∈[0, C].

– Les donn´ess d’emtr´ees xi n’interviennent qu`a travers les produits scalairesx^>_i xj.

2 Th´ eor` eme du repr´ esentant

Th´eoreme 1 Th´eor`eme du repr´esentant (1971) :

Soitϕ:X →R^p. Soit(x1, .., xn)∈ Xⁿ, soit Ψ :Rⁿ⁺¹ →R strictement croissante par rapport `a sa derni`ere variable,

alors le minimum de Ψ(w^>ϕ(x₁), ..., w^>ϕ(x_n), w^>w) est atteint pour w =Pn

i=1α_iΦ(x_i) avec α∈ Rⁿ.

Proof soit w∈R^p, soitF_D={Pα_iΦ(x_i)/α∈Rⁿ}, soitwD∈ FD etw_⊥∈ F_D^⊥ tel que w=wD+w_⊥,

alors∀i,w^>ϕ(xi) =w_D^>ϕ(xi) +w^>_⊥ϕ(xi) avecw^>_⊥ϕ(xi) = 0

D’apr`es le th´eor`eme de Pythagore, on a :w^>w=w^>_Dw_D² +w^>_⊥w_⊥. Par cons´equent, on a : Ψ(w^>ϕ(x1), ..., w^>ϕ(xn), w^>w) =Ψ(w_D^>ϕ(x1), ..., w^>_Dϕ(xn), w_D^>wD+w^>_⊥w_⊥)

≥Ψ(w_D^>ϕ(x1), ..., w^>_Dϕ(xn), w_D^>wD) Donc

w∈infR^p

Ψ(w^>ϕ(x1), ..., w^>ϕ(xn), w^>w) = inf

w∈FD

Ψ(w^>ϕ(x1), ..., w^>ϕ(xn), w^>w)

Corollaire 1 min_w∈R^p_n¹P

`(yi, w^>ϕ(xi)) +^λ₂w^>west atteint en w=Pn

i=1αiϕ(xi).

– Il est important de remarquer qu’il n’y a aucune hypoth`esee sur`(pas de convexit´e).

– On a : ∀j ∈ {1, . . . , n}, w^>ϕ(xj) =Pn

i=1αik(xi, xj) = (Kα)j o`u K est la matrice de noyau et w^>w=α^>Kα. On peut alors r´e´ecrire :

w∈minR^p

1 n

X`(yi, w^>ϕ(xi)) +λ

2w^>w= min

α∈Rⁿ

1 n

X`(yi,(Kα)i) +λ 2α^>Kα L’astuce du noyau permet donc de :

– remplacerR^p parRⁿ

– s´eparer le probl`eme de repr´esentation (d´efinir un noyau sur un ensemble X) et des probl`emes d’algorithmes et d’analyse (qui n’utilisent que la matrice de noyauK).

3 Noyaux

– D´efinition: kest un noyau ssi toutes les matrices de noyau sont semi-d´efinies positives.

Th´eoreme 2 Th´eor`eme d’Aronszajn (1950) : k est un noyau d´efini positif si et seulement si il existe un espace de HilbertF, et Φ :X → F tel que ∀x, y,k(x, y) =hΦ(x),Φ(y)i.

– Noyau lin´eaire :k(x, y) =x^>y – Noyau polynomial :k(x, y) = (x^>y)^r

k(x, y) = (

p

X

i=1

xiyi)^r= X

α₁+...+α_p=r

r α₁, ..., α_p

(x1y1)^α1...(xpyp)^αp

| {z }

(x^α₁¹...x^αpp )(y^α₁¹...y^αpp )

Φ(x) ={ _α ^r

1,...,αp

¹₂

x^α₁¹...x^αp^p}

– Noyaux invariants par translation : Noyau invariant par translation :X =R^p,k(x, y) =q(x−y) avecq:R^p→R,

Th´eoreme 3 Th´eorme de B¨ochner : kest d´efini positif⇔q est la transform´ee de Fourier d’une mesure de Borel finie positive⇐q∈L¹ et sa transform´ee de Fourier est positive.

Proof (partielle) Soitx1, ...xn∈R^p, soitα1, .., αn∈R, Xαsαjk(xs, xj) =X

αsαjq(xs−xj)

=X

α_sα_j Z

exp^{−iw>(xs−xj)}dµ(w)

= Z

(X

αsαjexp^−iw>xsexp^−iw>xj)dµ(w)

= Z

|X

αsexp^−iw>xs|²dµ(w)≥0

Par ailleurs, si q est dans L¹, si f(x) = hϕ(x), wi, alors la norme de w est ´egale `a R |f(w)|ˆ ² ˆ q(w) dw, where ˆf denotes the Fourier transform off.

Exemple : noyau exponentiel et noyau Gaussien

– Beaucoup d’applications de l’astuce du noyau ! – Donn´ees non vectorielles (s´equences, graphes, images)

4 M´ ethodes ` a noyaux et dualit´ e convexe

Soit Φ ∈ R^n×p, la matrice des “features” (descripteurs), dont les lignes sont les ϕ(xi) ∈ R^p, i = 1, . . . , n. On peut alors ´ecrire

1 n

n

X

i=1

`(y_i, w^>ϕ(x_i)) +λ

2w^>w=g(Φw) +λ 2w^>w.

Par dualit´e convexe, on a

min

w∈R^pg(Φw) +λ 2w^>w

= min

w∈R^p,u∈Rⁿ α∈maxRⁿ

g(u) +λ

2w^>w+λα^>(u−Φw)

= max

α∈Rⁿ min

w∈R^p,u∈Rⁿg(u) +λ

2w^>w+λα^>(u−Φw)

= max

α∈Rⁿ

−g^∗(−λα)−λ

2α^>ΦΦ^>α avecw= Φ^>α.

– Les donn´ees d’entr´ee ne sont utilis´ees qu’`a travers la matrice de noyauK= ΦΦ<sup>></sup>. – K peut ˆetre plus facile `a calculer que Φ (exemple du cas polynomial)

5 Cas des moindres carr´ es

Nous avons vu d´esormais deux probl`emes d’optimisation : – probl`eme dual (D): max_α∈Rn−g^∗(−λα)−^λ₂α^>Kα

– probl`eme primal + repr´esentant (P): min_α∈Rⁿg(α) +^λ₂α^>Kα Proposition 1 Siαest optimal pour (D), alors αest optimal pour(P).

Cas particulier (moindres carr´es) Soitg(u) =_2n¹ky−uk²₂. On obtient :

1. probl`eme dual: maxα∈Rⁿ−^λ₂α^>Kα−_2n¹||y−nλα||²₂

2. probl`eme primal + repr´esentant: min<sub>α∈R</sub><sup>n</sup><sub>2n</sub><sup>1</sup>||y−Kα||<sup>2</sup><sub>2</sub>+<sup>λ</sup><sub>2</sub>α<sup>></sup>Kα 1. M´ethode `a noyaux (minimisation par rapport `a α:

gradient 1 /α:−λKα−^nλ_n(nλα−y) = 0⇔(λK+nλ²)α=λy⇔α= (K+nλI)⁻¹yunique solution

gradient 2 /α: _n¹K(Kα−y) +λKα= 0⇔(K²+nλK)α=Ky⇔K((K+nλI)α−y) = 0. Si K est non inversible, la solution n’est pas unique :α= (K+nλI)⁻¹y+Ker(K). Par contre, la prdiction est unique :Kα=K(K+nλI)⁻¹y.

2. M´ethode directe. Minimisons par rapport `a w.

1 >

En posant K = ΦΦ^> et en comparant les r´esultats donn´es par les deux m´ethodes, on obtient l’´egalit´e :

noyau

z }| {

ΦΦ^>(ΦΦ^>

| {z }

n×n

+nλI)⁻¹y=

directe

z }| {

Φ(Φ^>Φ

| {z }

p×p

+nλI)⁻¹Φ^>y

Ce r´esultat n’est autre que le lemme suivant :

Lemma 1 : lemme d’inversion de matrices : ∀Amatrice, (AA^>+I)⁻¹A=A(A^>A+I)⁻¹ On a donc une “´equivalence” entre ce lemme et le th´eor`eme du repr´esentant.

6 Complexit´ e des op´ erations d’alg` ebre lin´ eaire

SiK∈R^n×n andL∈R^n×n sont deux matrices – calculerKLa pour complexit´eO(n³) – calculerK⁻¹ a pour complexit´eO(n³) – calculerKya pour complexit´eO(n²) – R´esoudreK⁻¹y a pour complexit´eO(n³)

– D´ecomposition en une base de vecteurs propresO(n³) – “Plus grand” vecteur propre :O(n²)

Approximation de rang faible

– Base de vecteurs propres (complexit´eO(n²r))

– Projection orthogonales surrpremi`eres colonnes :O(nr²)