d’ap-prentissage SVM
3.4.1 Introduction
Les techniques de pond´eration propos´ees pour l’approche MKL sont souvent efficaces et conduisent g´en´eralement `a des r´esultats de classification satisfaisants. Toutefois, des m´ethodes de pond´eration plus rapides, permettant en particulier d’am´eliorer les r´esultats de classification dans les probl`emes de grande ´echelle, sont toujours recherch´ees. En outre, la complexit´e du contenu des bases d’images h´et´erog`enes rend la d´etermination des poids optimaux tr`es difficile (Cao et al., 2009). Dans ce cadre, une nouvelle pond´eration de noyaux est d´ecrite dans cette section. Cette pond´eration est destin´ee aux apprentissages SVM `a noyaux multiples, que l’on appelle MK SVM, acronyme anglais de Multiple Kernel based SVM.
3.4.2 Principe de MK SVM
Afin d’am´eliorer l’efficacit´e de pond´eration des noyaux, nous exploitons des m´ethodes similaires dans d’autres applications sp´ecifiques, en particulier les noyaux dits String Ker-nels. Ce type de noyaux se r´ev`ele significativement efficace pour le regroupement des donn´ees de type chaˆıne de caract`eres, souvent employ´ees en biologie. Plusieurs m´ethodes sont propos´ees en litt´erature, nous citons `a titre d’exemple le locality-improved kernel (Zien et al., 2000), le string subsequence kernel (Lodhi et al., 2001), le spectrum kernel (Leslie et al., 2002) et le Weighted-Degree kernel (WD) (R¨atsch et al., 2005). D’autres m´ethodes sont cit´ees dans le travail de (Kilho, 2007). Dans notre travail, nous nous int´eressons particuli`erement `a la m´ethode WD (R¨atsch et al., 2005). Cette m´ethode calcule effica-cement les similitudes entre les s´equences tout en consid´erant la position de la longueur des chaˆınes de caract`eres. Les auteurs dans (R¨atsch et al., 2005) pr´esument que les poids doivent satisfaire le crit`ere suivant: βm > βm+1, ∀m ∈ {1,2,...,M − 1}. Cette condition est bas´ee sur le fait que la mise en correspondance des sous-chaˆınes est pond´er´ee avec un score d´ependant de la longueur de chacune de ces chaˆınes et que les chaˆınes de caract`eres `
3.4. POND ´ERATION DE NOYAUX BAS ´EE SUR LES TAUX D’APPRENTISSAGE SVM Par analogie avec la m´ethode WD, les noyaux utilis´es dans notre contexte, comme les chaˆınes de caract`eres, peuvent ˆetre pond´er´es lin´eairement sans l’utilisation d’aucune m´ethode d’optimisation. Effectivement, en s’inspirant du travail de (R¨atsch et al., 2005), les poids des noyaux sont calcul´es en consid´erant la pertinence de chaque noyaux par rapport `a l’ensemble du reste des noyaux `a pond´erer. La m´ethode MK SVM adapte ainsi la pond´eration de noyaux au principe de la m´ethode WD. Ceci n´ecessite l’´evaluation du degr´e de pertinence de chaque noyau selon une certaine mesure de qualit´e. En effet, les noyaux sont pond´er´es avec des scores d´ependant de leurs pertinences par rapport `a la base d’images consid´er´ee.
3.4.3 Apprentissage multiple
Rappelons l’apprentissage multiple de la m´ethode de s´election SAC qui a ´et´e pr´esent´e dans le chapitre 2 (section 2.4.2). Cette approche ´evalue s´epar´ement les diff´erentes ca-ract´eristiques. Ce qui permet de d´eterminer le pouvoir discriminant de chacune d’entre elles. D’une mani`ere similaire, nous pr´esentons dans cette section l’utilisation d’un ap-prentissage multiple pour la mesure du degr´e de pertinence de chaque noyau.
Soit K = [k1,k2,...,kM] l’ensemble des M noyaux `a utiliser. Nous commen¸cons par un apprentissage multiple de la base BApp, selon les diff´erents noyaux dans K. En consid´erant les images correctement classifi´ees conform´ement `a chaque noyau km, m ∈ [1,2,...,M ]. nous calculons les taux d’apprentissage correspondants:
T Rkm = NCorr(km) NIm
, ∀m ∈ {1,2,...,M } (3.14) o`u NCorr(km) est le nombre d’images correctement classifi´ees avec le noyau km. Soit T R = [T Rk1,T Rk2,...,T RkM] l’ensemble des taux d’apprentissage obtenus, avec T Rkm le taux correspondant au noyau km, ∀m ∈ {1,2,...,M }. L’ensemble T R permet de d´eterminer l’ordre de pertinence des diff´erents noyaux. Dans ce contexte, un nouvel ensemble de noyaux K0 = [k10,k20,...,kM0 ] est d´efini par l’organisation des noyaux de l’ensemble K selon l’ordre des taux d’apprentissage d´ecroissant. Le premier noyau k01 est ainsi le noyau le plus pertinent, tandis que le dernier noyau dans K0 est le moins pertinent (kM0 ).
3.4.4 Calcul des diff´erents poids de noyaux
Afin de mettre en valeur les noyaux les plus pertinents, nous r´ealisons une pond´eration selon l’organisation des noyaux effectu´ee dans K0:
βm = 2 M − m + 1 M (M + 1), ∀m ∈ {1,2,...,M } (3.15) tel que T Rk0 m ≥ T Rk0 m+1, ∀m ∈ {1,2,...,M − 1} o`u ∀m ∈ {1,2,...,M }, βm ≥ 0, M P m=1 βm = 1 et ∀m ∈ {1,2,...,M − 1}, βm > βm+1.
Soit β = [β1,β2,...,βM] l’ensemble des poids correspondants aux diff´erents noyaux km0 , m = [1,2,...,M ]. Selon cette nouvelle pond´eration (´equation (3.15)), le noyau le plus per-tinent, k10, est mieux consid´er´e avec le coefficient de pond´eration le plus ´elev´e β1. Ainsi
D’APPRENTISSAGE SVM de suite, les valeurs des coefficients βm d´ecroissent harmonieusement avec les taux d’ap-prentissage T Rk0
m, m = [1,2,...,M ]. Compte tenu de cette nouvelle pond´eration, que l’on appelle par l’acronyme anglais KW-BTR (Kernel Weighting Based on Training Rates), la combinaison lin´eaire des diff´erents noyaux employ´es est alors donn´ee par:
K(x,x0) = M X m=1 2 M − m + 1 M (M + 1) k 0 m(x,x0) (3.16) tel que T Rk0 m ≥ T Rk0 m+1, ∀m ∈ {1,2,...,M − 1}
Selon l’´equation (3.16), l’approche MKL est adress´ee par la r´esolution d’un probl`eme SVM standard `a noyau unique. La fonction de d´ecision MK SVM est formul´ee par l’´equation suivante: f (x) = NIm X i=1 αiyi M X m=1 2 M − m + 1 M (M + 1) k 0 m(x,xi) ! + b (3.17) avec T Rk0 m ≥ T Rk0 m+1, ∀m ∈ {1,2,...,M − 1}. ... 2 k k 3 k M ... K : K ’ : k’1 k’2 k’3 k’M 1 β2 β3 βM β β : 1 ... ... TR : KW−BTR k TRk1 TRk2 TRk 3 TRkM Extraction
Apprentissage multiple des noyaux SVM Base d’images
d’apprentissage
BApp
d’attributs
Organisation des noyaux selon les taux d’apprentissage
Classification SVM à noyaux multiples
Fig. 3.4 – Diagramme de la m´ethode de classification MK SVM utilisant la nouvelle pond´eration KW-BTR.
La figure 3.4 illustre le diagramme de la m´ethode MK SVM. Ce diagramme pr´esente l’organisation des noyaux utilis´es en fonction de leurs taux d’apprentissage SVM. En se
3.5. ´EVALUATION DE LA M ´ETHODE MK SVM