SVM non-lin´ eaires

1) Principe

Il s’agit de doter les SVM d’un m´ecanisme permettant de produire des surfaces de d´ecision non-planes. L’id´ee est de transformer les donn´ees de l’espace de d´epart R^d dans un espace de Hilbert E de dimension sup´erieure (possiblement infinie) dans lequel les donn´ees transform´ees deviennent lin´eairement s´eparables. Ainsi, en exploitant une application

Φ :R^d→E, (V.49)

l’algorithme SVM lin´eaire appliqu´e aux donn´ees Φ(x_i) dans l’espaceEproduit des surfaces de d´ecision non-planes dans l’espace R^d (mieux appropri´ees aux donn´ees de d´epart pour un choix judicieux de Φ).

Cette proc´edure peut ˆetre rendue tr`es efficace en utilisant une astuce permettant d’effectuer les calculs n´ecessaires `a l’algorithme dans l’espace de d´epart R^d sans passer explicitement dans E.

Du fait que les donn´ees apparaissent dans tous les calculs uniquement sous forme de produits scalaires (x_i.x_j), il suffit de trouver une fa¸con efficace de calculer Φ(x_i).Φ(x_j). Cela est r´ealis´e en faisant appel `a une fonctionnoyau k(x_i,x_j), d´efinie par :

k(x_i,x_j) = Φ(x_i).Φ(x_j). (V.50) Tout le d´eveloppement pr´esent´e dans la section V-2-C reste valable en rempla¸cant simplement les termes x_i.x_j park(x_i,x_j). La nouvelle fonction de d´ecision est d´efinie par le signe de :

o`u les s_i sont les vecteurs supports.

L’avantage d’une telle approche r´eside dans le fait qu’il n’est pas n´ecessaire de connaˆıtre Φ explicitement. Il suffit d’obtenir des noyaux convenables. C’est ce que nous discutons dans la section suivante.

2) Noyaux

Sous quelles conditions une fonction k(x,y) sym´etrique est-elle associ´ee `a un espaceE et une transformation Φ vers cet espace ?

72 V. Fondements th´eoriques

La r´eponse est donn´ee par les conditions de Mercer qui stipulent qu’il existe une application Φ et un d´eveloppement de k(x,y) de la forme : ce qui traduit le fait quek(x,y) d´ecrit un produit interne dans un espace E, si et seulement si pour toute fonctiong(x) surR^d, de normeL2finie (i.e.

g(x)²dxest finie) la condition suivante

est satisfaite :

k(x,y)g(x)g(y)dxdy ≥0. (V.53) Diff´erentes formes de noyau (v´erifiant les conditions de Mercer) ont ´et´e propos´ees. Nous examinerons :

– le noyau lin´eaire :

k(x,y) =x.y, (V.54)

– le noyau polynˆomial de degr´e δ :

k(x,y) = (x.y)^δ, (V.55) – le noyau radial (RBF- Radial Basis Function) exponentiel :

k(x,y) = exp

Voici quelques propri´et´es int´eressantes de ces deux derniers noyaux.

Noyau polynˆomial Le noyau polynˆomial de degr´e δ correspond `a une transformation Φ par laquelle les composantes des vecteurs transform´es Φ(x) sont tous les monˆomes d’ordreδ form´es

`

Le noyau polynˆomial permet ainsi d’effectuer la classification sur des nouveaux attributs qui sont tous les produits d’ordreδ des attributs de d´epart.

V-2. Les Machines `a Vecteurs Supports (SVM) 73

Il est possible dans ce cas de calculer la dimensiond_E de l’espace transform´eEcorrespondant

`

a un noyau polynˆomial de degr´e δ en comptant le nombre de monˆomes d’ordre δ possibles. Il vient

d_E= C^δ_δ+d−1 = (δ+d−1)!

δ!(d−1)! . (V.58)

A titre d’exemple, pour des vecteurs d’attributs d’entr´ee de dimension 40, la dimension de l’espace transform´e avec un noyau polynˆomial de degr´e 4 est ´egale `a 123,410.

Un exemple de r´ealisation des SVM munies d’un noyau polynˆomial de degr´e 2, sur des donn´ees audio r´eelles est donn´e dans la figure V.5.

Fig. V.5 Un exemple sur des donn´ees audio r´eelles. Visualisation des surfaces de d´ecisions induites par un noyau polynˆomial de degr´e 2 pour la SVM hautbois contre trompette. En bleu (respectivement rouge), les exemples d’apprentissage, ici des vecteurs d’attributs tridimensionnels, de la classe hautbois (respectivement trompette) et les surfaces correspondant aux hyperplansH₁etH₂. Les surfaces induites

par l’hyperplan optimal sont trac´ees en noir.

74 V. Fondements th´eoriques

Signalons qu’il est ´egalement possible de recourir `a des noyaux polynˆomiaux ditsin-homog`enes de la forme :

k(x,y) = (x.y+ 1)^δ, (V.59) qui permettent de prendre en compte tous les monˆomes d’ordre inf´erieur ou ´egal `a δ.

Noyau exponentiel La figure V.6 montre les surfaces de d´ecision correspondant `a des valeurs croissantes de σ. On peut constater que ce param`etre permet de contrˆoler la courbure des surfaces de d´ecision. A des σ ´elev´es correspondent des surfaces pr´esentant des courbures plus importantes.

Fig. V.6 Effet du param`etre σ, d’apr`es [Sh¨olkopf et Smola, 2002]. De gauche `a droite le param`etre σ² est diminu´e. Les lignes continues indiquent les surfaces de d´ecision et les lignes interrompues les bords de la marge. Notons que pour les grandes valeurs deσ², le classificateur est quasi lin´eaire et la surface de d´ecision ne parvient pas `a s´eparer les donn´ees correctement. A l’autre extrˆeme, les valeurs trop faibles de σ<sup>2</sup> donnent lieu `a des surfaces de d´ecision qui suivent de trop pr`es la structure des donn´ees d’apprentissage et il y a un risque de sur-apprentissage. Il est donc n´ecessaire de r´ealiser un

compromis tel que celui r´ealis´e dans l’image du milieu.

Il est montr´e que les exemples transform´es Φ(x1), ...,Φ(x_l) sont lin´eairement ind´ependants. Ils g´en`erent un sous-espace de Ede dimensionl. Par suite, le noyau gaussien d´efini sur un nombre infini d’exemples d’apprentissage transpose les attributs dans un espace de dimension infinie.

Espace RKHS (Reproducing Kernel Hilbert Space) Etant donn´´ es un noyauket des exemples x1,x2, ...,x_l ∈R^d, la matrice de Gram de k par rapport `a x1,x2, ...,x_l est d´efinie par

V-2. Les Machines `a Vecteurs Supports (SVM) 75

Lorsque K est d´efinie positive, le noyau k est dit d´efini positif. L’int´erˆet d’un tel noyau est qu’il permet de d´efinir de fa¸con assez simple une application Φ vers un espace muni d’un produit scalaire d´ecrit park, en consid´erant :

Φ : X →R^X x →k(.,x)

o`u X est un ensemble non-vide d’exemples et R<sup>X</sup> := {f :X → R}. Φ(x) est ainsi la fonction associant `a chaque exemple x_i la fonction k(x_i,x). R^X est un espace de fonctions appel´e Reproducing Kernel Hilbert Space (dans le cas o`u toutes les fonctions ´evaluant les ´el´ements de R<sup>X</sup> sur les exemples x<sub>i</sub> sont continues). Pour plus de d´etails concernant ces espaces, nous invitons le lecteur `a consulter [Sh¨olkopf et Smola, 2002].