(TD) Méthode à noyaux (I)

TD 8 : M ´ETHODES `A NOYAUX

COURS D’APPRENTISSAGE, ECOLE NORMALE SUP ´ERIEURE, NOVEMBRE 2017

Aude Genevay [email protected]

R´esum´e. Ce TD a pour but de faire manipuler la notion de noyaux en passant tout d’abord en revue divers exemples. Ensuite on manipulera la notion de feature space engendr´ee par le noyau.

1. Exemples de noyaux d´efinis positifs

Dans cet exercice, X est l’ensemble sur lequel sont d´efinis nos noyaux. On rappelle qu’un noyauK :X × X →Rest d´efini positif si :

∀(α₁, . . . , α_n)∈Rⁿ,∀(x₁, . . . , x_n)∈ Xⁿ,X

i,j

α_iα_jK(x_i, x_j)≥0.

1) Op´eration sur les noyaux : Soient K etLdeux noyaux d´efinis positifs sur X. (1) Montrer queK+Lest aussi un noyau d´efini positif.

(2) Montrer queKL est aussi un noyau d´efini positif.

Prouvez que les fonctions K suivantes d´efinies sur X × X dans R sont des noyaux d´efinis positifs.

2) Minimum : X =R⁺, K(x, y) = min(x, y) 3) Chi-2 : X =R⁺∗, K(x, y) = 2_x+y^xy

4) Sur des ensembles : X =P(A) avec Aun ensemble de cardinal fini.K(A, B) = ^|A∩B|_|A∪B|. 5) Bonus : X =N, K(n, m) = PGCD(n, m).

2. Manipulation de la distance dans le feature space

6) a) Soient (x, y)∈ X. SoitKun noyau d´efini positif surX. On rappelle qu’il existe un espace de HilbertF pour lequel on a K(x, y) =hφ(x), φ(y)i_F. Exprimer la distancekφ(x)−φ(y)k²_F uniquement en fonction deK.

b) Exprimer la distance dans le cas du noyau Chi 2 vue dans l’exercice pr´ec´edent. Com- menter.

7)Distance `a la moyenne dans le feature space. On consid`ere ici des points (x1, . . . , xn)∈ Xⁿ et des r´eponses binaires associ´ees (y₁, . . . , y_n) ∈ {−1,1}ⁿ. Soit un noyau K d´efini posi- tif sur X. On se propose d’´etudier une r`egle de classification tr`es simple qui va simplement d´ecider en fonction des distances aux centro¨ıdes respectifs de chaque classe.

2 COURS D’APPRENTISSAGE, ECOLE NORMALE SUP ´ERIEURE, NOVEMBRE 2017

a) Soit x ∈ X. Donnez la distance entre φ(x) et _n¹

+

P

i,yi=1φ(x_i) uniquement en fonction de K (o`u n+ est le nombre deyi tels queyi = 1).

b) Proposez une r`egle de classification simple pour le vecteur x en fonction des donn´ees (x_i)_i=1,...,n et (y_i)_i=1,...,n et du noyauK.

c) Supposez maintenant que _n¹P

iφ(xi) = 0 (donn´ee centr´ee dans F) ainsi que P

iyi = 0 (autant de points positifs que n´egatifs). Simplifiez alors la r`egle d´eduite pr´ec´edemment. Pour la suite on supposera cette propri´et´e vraie.

d) Application au noyau gaussien.On prend maintenant X =R^d. On consid`ere alors le noyau gaussien : K(x, y) = exp

−^kx−yk_2σ2 ²

. Montrez que la r`egle de classification d´eduite pr´ecedemment est ´equivalente `a celle du moyennage local vu au cours 2.