• Aucun résultat trouvé

Méthodes à noyaux en reconnaissance de formes, prédiction et classification. Applications aux biosignaux

N/A
N/A
Protected

Academic year: 2021

Partager "Méthodes à noyaux en reconnaissance de formes, prédiction et classification. Applications aux biosignaux"

Copied!
133
0
0

Texte intégral

(1)

HAL Id: tel-01088936

https://hal.archives-ouvertes.fr/tel-01088936

Submitted on 29 Nov 2014

HAL is a multi-disciplinary open access archive for the deposit and dissemination of sci- entific research documents, whether they are pub- lished or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers.

L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.

prédiction et classification. Applications aux biosignaux

Maya Kallas

To cite this version:

Maya Kallas. Méthodes à noyaux en reconnaissance de formes, prédiction et classification. Applica- tions aux biosignaux. Sciences de l’ingénieur [physics]. Université de Technologie de Troyes, 2012.

Français. �tel-01088936�

(2)

T H ` E S E

Pr ´esent ´ee par

Mlle Maya KALLAS

soutenue le 23 novembre 2012

en vue de l’obtention du

DOCTORAT de

l’UNIVERSIT ´ E DE TECHNOLOGIE DE TROYES

Sp ´ecialit ´e : OPTIMISATION ET S ˆ URET ´ E DES SYST ` EMES

Titre :

M ´ethodes `a noyaux en reconnaissance de formes, pr ´ediction et classification. Applications aux biosignaux

Membres du Jury

Mme Florence D’ALCHE-BUC Professeur des Universit ´es Universit ´e d’Evry-Val d’Essone Rapporteur M. St ´ephane CANU Professeur des Universit ´es INSA Rouen Rapporteur M. Clovis FRANCIS Professeur Universit ´e Libanaise Directeur de th `ese M. Paul HONEINE Maitre de conf ´erences Univerist ´e de Technologie de Troyes Directeur de th `ese M. R ´egis LENGELL ´E Professeur des Universit ´es Univerist ´e de Technologie de Troyes Examinateur M. Nabil NASSIF Professeur American University of Beirut Examinateur M. C ´edric RICHARD Professeur des Universit ´es Universit ´e de Nice-Sophia Antipolis Examinateur

(3)
(4)

Universit ´e de Technologie de Troyes

T H ` E S E

Pr ´esent ´ee par

Mlle Maya KALLAS

soutenue le 23 novembre 2012

en vue de l’obtention du

DOCTORAT de

l’UNIVERSIT ´ E DE TECHNOLOGIE DE TROYES

Sp ´ecialit ´e : OPTIMISATION ET S ˆ URET ´ E DES SYST ` EMES

Titre :

M ´ethodes `a noyaux en reconnaissance de formes, pr ´ediction et classification. Applications aux biosignaux

Membres du Jury

Mme Florence D’ALCHE-BUC Professeur des Universit ´es Universit ´e d’Evry-Val d’Essone Rapporteur M. St ´ephane CANU Professeur des Universit ´es INSA Rouen Rapporteur M. Clovis FRANCIS Professeur Universit ´e Libanaise Directeur de th `ese M. Paul HONEINE Maitre de conf ´erences Univerist ´e de Technologie de Troyes Directeur de th `ese M. R ´egis LENGELL ´E Professeur des Universit ´es Univerist ´e de Technologie de Troyes Examinateur M. Nabil NASSIF Professeur American University of Beirut Examinateur M. C ´edric RICHARD Professeur des Universit ´es Universit ´e de Nice-Sophia Antipolis Examinateur

(5)
(6)

Remerciements

La recherche, c’est l’acte par lequel une soci ´et ´e avanc ´ee exprime sa foi en un avenir ouvert.Claude D ´etraz L’ ´ecriture d’une telle page n’est pas une t ˆache ais ´ee. D ´ej `a trois ans depuis le tout d ´ebut. Pendant ces trois ans, j’ai rencontr ´e des personnes qui ont contribu ´e `a ce projet et `a qui j’adresse mes remerciements les plus sinc `eres.

Certes des noms viennent imm ´ediatement `a l’esprit, mais combien d’anonymes ou d’oubli ´es y ont, indirectement, contribu ´e. Que ceux et celles que je n’ai pas nomm ´es rec¸oivent aussi l’expression de toutes mes pens ´ees.

Tout d’abord, je tiens `a exprimer mes plus vifs remerciements et ma gratitude `a mes directeurs de th `ese, Mon- sieur Clovis FRANCIS, Professeur `a l’Universit ´e Libanaise, et Monsieur Paul HONEINE, Maitre de conf ´erences

`a l’Universit ´e de Technologie de Troyes, pour leurs encadrements continus, pour les remarques constructives qu’ils m’ont fournies ainsi que pour leurs pr ´ecieux conseils durant toute la p ´eriode de mon travail. Je les remercie

´egalement pour la confiance qu’ils m’ont accord ´ee. En dehors de leurs apports scientifiques, je n’oublierai pas aussi de les remercier pour leurs qualit ´es humaines, leur hospitalit ´e et leur soutien qui m’ont permis de mener `a bien cet ouvrage. Leur confiance, leur disponibilit ´e, et leur sens critique ont ´et ´e pour moi toujours tr `es pr ´ecieux.

Je remercie Madame Florence D’ALCHE-BUC, Professeur `a l’Universit ´e d’Evry-Val d’Essone et Monsieur St ´ephane CANU, Professeur `a l’INSA de Rouen, qui ont accept ´e la responsabilit ´e de juger ce travail en qualit ´e de rapporteurs. Leurs critiques et leurs suggestions m’ont permis d’am ´eliorer mon travail. Ma gratitude, mon pro- fond respect et mes remerciements vont `a Monsieur R ´egis LENGELL ´E, Professeur `a l’UTT, et `a Monsieur Nabil NASSIF, Professeur `a American University of Beirut, qui ont accept ´e d’ ˆetre membres de ce jury de th `ese. Je remer- cie ´egalement Monsieur C ´edric RICHARD, Professeur `a l’Universit ´e de Nice-Sophia Antipolis pour sa pr ´esence et son encouragement durant mes travaux de th `ese.

J’adresse aussi mes remerciements `a Madame Zeinab SAAD, Professeur `a l’Universit ´e Libanaise et Doyenne de l’ ´ecole doctorale de l’UL, pour avoir mis en place la convention de th `ese en cotutelle du r ´eseau UT-INSA avec l’UL, permettant ainsi des s ´ejours entre Le Liban et La France et une collaboration entre les deux pays et pr ´ecis ´ement les deux universit ´es, et pour son ´equipe talentueuse qui a su g ´erer nos demandes. Je remercie aussi Monsieur Hassan AMOUD, responsable du Campus Num ´erique Francophone du Liban Nord, pour sa pr ´esence encourageante.

Mes remerciements vont ´egalement `a Pascale DENIS, gestionnaire `a l’ ´ecole doctorale de l’UTT, pour sa disponibilit ´e, sa comp ´etence, et pour toute aide qu’elle a apport ´ee. J’associe `a mes remerciements Marie-Jos ´e ROUSSELET et V ´eronique BANSE, secr ´etaires du P ˆole ROSAS `a l’UTT, pour leur gentillesse, leur efficacit ´e, leur disponibilit ´e, et le soutien qu’elles m’ont apport ´e.

A ces remerciements, j’associe tous mes coll `egues de travail Elias KHOURY, Nathalie MATTA, Roy AAD, Imane` MAATOUK, Chafic SAIDE, Zineb NOUMIR. Je ne peux ´egalement manquer l’occasion d’adresser une pens ´ee particuli `ere `a mes amis : Widad SLEIMAN et Anthony SAWAYA. Je remercie ´egalement mes parents Christiane et Youssef, pour leur soutien et leurs encouragements.

Merci d’avoir consacr ´e du temps `a la lecture de ces remerciements, soucieux de rendre `a C ´esar ce qui appar- tient `a C ´esar.

(7)
(8)

Je d ´edie cette th `ese `a mon p `ere et ma m `ere

(9)
(10)

La recherche proc `ede par des moments distincts et durables, intuition, aveuglement, exaltation et fi `evre. Elle aboutit un jour `a cette joie, et connaˆıt cette joie celui qui a v ´ecu des moments singuliers.

Albert Einstein,Comment je vois le monde

(11)
(12)

Table des mati `eres

R ´esum ´e 1

Abstract 3

Introduction 5

1 Les m ´ethodes `a noyaux et le probl `eme de la pr ´e-image 11

1.1 Introduction . . . . 12

1.2 Noyaux et espace de Hilbert `a noyau reproduisant . . . . 13

1.2.1 Noyau d ´efini positif et RKHS . . . . 13

1.2.2 Th ´eor `eme de Moore-Aronszajn. . . . 14

1.3 Du mod `ele lin ´eaire au mod `ele `a noyaux . . . . 17

1.3.1 Astuce du noyau . . . . 17

1.3.2 Th ´eor `eme de Repr ´esentation . . . . 18

1.4 Exemple du lin ´eaire au non-lin ´eaire . . . . 19

1.4.1 Analyse en composantes principales . . . . 19

1.4.2 Analyse en composantes principales `a noyaux . . . . 20

1.5 L’ACP- `a-noyaux pour la reconnaissance des formes . . . . 22

1.5.1 Extraction des caract ´eristiques . . . . 22

1.5.2 D ´ebruitage . . . . 22

1.5.3 Une vue unifi ´ee . . . . 23

1.6 D ´efinition du probl `eme de pr ´e-image . . . . 23

1.7 M ´ethodes de r ´esolution . . . . 25

1.7.1 M ´ethode de la descente du gradient . . . . 25

1.7.2 M ´ethode it ´erative du point fixe . . . . 26

1.7.3 Apprentissage de la carte de pr ´e-image . . . . 28

1.7.4 M ´ethode de l’ ´echelle multidimensionnelle . . . . 28

1.7.5 Approche conforme . . . . 30

1.7.6 Pr ´e-image r ´egularis ´ee ou p ´enalis ´ee . . . . 31

1.8 Formulation de la pr ´e-image . . . . 31

1.9 Conclusion . . . . 33

2 Le probl `eme de pr ´e-image avec contraintes de non-n ´egativit ´e 35 2.1 Introduction . . . . 35

2.2 M ´ethodes `a noyaux, pr ´e-image et non-n ´egativit ´e . . . . 36

2.3 Pr ´e-image avec contraintes de non-n ´egativit ´e . . . . 37

(13)

2.3.1 Contraintes de non-n ´egativit ´e sur la pr ´e-image . . . . 38

2.3.2 Contraintes de non-n ´egativit ´e sur les coefficients du mod `ele . . . . 41

2.4 Exp ´erimentations . . . . 43

2.4.1 Extraction des caract ´eristiques de signaux ERP . . . . 43

2.4.2 D ´ebruitage de donn ´ees et des images . . . . 46

2.5 Conclusion . . . . 52

3 Mod `eles autor ´egressifs- `a-noyaux : technique de pr ´ediction 55 3.1 Introduction . . . . 55

3.2 S ´eries temporelles . . . . 57

3.2.1 Processus stochastique . . . . 58

3.2.2 Propri ´et ´es des s ´eries temporelles . . . . 58

3.3 Pr ´ediction des s ´eries temporelles avec un mod `ele autor ´egressif . . . . 59

3.3.1 M ´ethode des moindres carr ´es . . . . 60

3.3.2 Equations de Yule-Walker´ . . . . 60

3.4 Mod `ele autor ´egressif `a noyaux pour la pr ´ediction des s ´eries temporelles . . . . 61

3.4.1 Mod `ele autor ´egressif dans l’espace fonctionnel . . . . 62

3.4.2 Le probl `eme de la pr ´e-image comme technique de pr ´ediction . . . . 65

3.5 Mod `eles autor ´egressifs- `a-noyaux sans pr ´e-image . . . . 67

3.5.1 Mod `ele autor ´egressif sur les valeurs du noyau . . . . 68

3.5.2 Un mod `ele autor ´egressif hybride . . . . 69

3.5.3 Lien entre le mod `ele AR hybride et les mod `eles propos ´es auparavant . . . . 70

3.6 Exp ´erimentations . . . . 70

3.6.1 Comparaison les techniques pr ´edictives non-lin ´eaires . . . . 72

3.6.2 Comparaison entre les diff ´erentes techniques de pr ´e-image. . . . 74

3.6.3 Comparaison entre les diff ´erentes techniques propos ´ees . . . . 74

3.7 Conclusion . . . . 77

4 Etude de cas : les classifications binaire et multi-classes avec les m ´ethodes `a noyaux´ 79 4.1 Introduction . . . . 79

4.2 Classification binaire par SVM . . . . 80

4.3 Classification multi-classes . . . . 82

4.3.1 Un-contre-tous . . . . 82

4.3.2 Un-contre-un . . . . 83

4.4 Carte d’auto-organisation . . . . 84

4.5 Exp ´erimentations . . . . 87

4.5.1 Crit `eres d’ ´evaluation de la classification . . . . 87

4.5.2 Classification binaire . . . . 88

4.5.3 Classification multi-classes . . . . 91

(14)

Table des mati `eres ix

4.5.4 Carte d’auto-organisation . . . . 93 4.6 Conclusion . . . . 96

Conclusion g ´en ´erale et perspectives 99

A Annexe 103

A.1 Noyaux projectifs . . . 103 A.2 Noyaux radiaux . . . 104

Bibliographie 106

(15)
(16)

Glossaire des notations et abr ´eviations

Notation Signification

IN ensemble des nombres entiers IR ensemble des nombres r ´eels

IE esp ´erance math ´ematique d’une s ´erie statistique

Cov covariance

dim dimension d’un espace [·]j ji`emecomposante de[·]

diag[·] op ´erateur indiquant la matrice diagonale

κ noyau reproduisant

X espace des observations

H espace de Hilbert `a noyau reproduisant, associ ´e `a la fonctionΦ : x∈ X 7→Φ(x)∈ H Φ fonction de mapping associ ´ee `a l’espace de repr ´esentationH

h·,·iH produit scalaire dans l’espaceH

k · kH norme associ ´ee au produit scalaireh·,·iH J(·) fonction co ˆut

ACP Analyse en Composantes Principales (Principal Component Analysis) RKHS espace de Hilbert `a noyau reproduisant (Reproducing Kernel Hilbert Space) MDS Echelle multidimensionnelle (MultiDimensional Scaling)´

ERP Potentiels ´evoqu ´es (Event Related Potentials) MAE Erreur absolue moyenne (Mean Absolute Error ) PSNR Rapport signal sur bruit (Peak Signal-to-Noise Ratio) AR AutoR ´egressif

ECG ElectroCardiogGramme

MIT-BIH Massachusetts Institute of Technology-Beth Israel Hospital MSE Erreur quadratique moyenne (Mean Square Error )

SVM machine `a vecteurs supports (Support Vector Machine) SOM carte d’auto-organisation (Self-Organizing Map)

BMU unit ´e correspondant le mieux (Best Matching Unit BMU) PTB Physikalisch-Technische Bundesanstalt

(17)
(18)

R ´esum ´e

Durant les deux derni `eres d ´ecennies, les m ´ethodes dites `a noyaux ont favoris ´e l’essor de l’apprentis- sage statistique pour le traitement de syst `emes non-lin ´eaires, souvent en p ´enurie d’information a priori.

L’id ´ee principale de ces m ´ethodes non-lin ´eaires r ´eside dans l’astuce du noyau, qui permet de transfor- mer l’espace des observations en un espace plus pertinent, souvent de plus grande dimension. Ainsi, en appliquant dans ce dernier les techniques classiques de traitement lin ´eaire, ces m ´ethodes sont-elles am ´enag ´ees pour une vaste classe de syst `emes non-lin ´eaires. Dans le foisonnement de ces m ´ethodes, dont les Machines `a Vecteurs Supports sont le fer de lance, peu de travaux ont ´et ´e men ´es sur le probl `eme inverse, c’est- `a-dire le retour `a l’espace des observations. Paradoxalement, bien que la transformation non-lin ´eaire induite par le noyau est fondamentale, le retour inverse `a l’espace des observations est souvent crucial. La r ´esolution de ce probl `eme, dit de la pr ´e-image, permet de nouveaux domaines d’ap- plication pour les m ´ethodes `a noyaux, dont la reconnaissance des formes, l’extraction de caract ´eristiques, le d ´ebruitage de signaux, ou encore l’analyse de s ´eries temporelles.

L’objectif de cette th `ese est de montrer que les r ´ecentes avanc ´ees en th ´eorie de l’apprentissage sta- tistique apportent des solutions pertinentes `a plusieurs probl `emes soulev ´es en traitement du signal et des images, et plus pr ´ecis ´ement dans le cas de signaux issus de capteurs physiologiques o `u la nonlin ´earit ´e est extr ˆemement courante. Diverses m ´ethodes `a noyaux sont ´elabor ´ees pour proposer des solutions en reconnaissance des formes, analyse de s ´eries temporelles, et classification d’anomalies.

La premi `ere partie de cette th `ese porte sur la r ´esolution du probl `eme de la pr ´e-image avec contraintes. Nous ´etudions des contraintes impos ´ees par la physiologie, et en particulier la non-n ´egativit ´e.

Nous nous int ´eressons dans un premier temps `a la non-n ´egativit ´e du r ´esultat. Dans un second temps, nous tenons compte de l’additivit ´e des contributions, induisant une certaine parcimonie dans le r ´esultat.

En couplant ces d ´eveloppements avec l’analyse en composantes principales `a noyaux, nous proposons une extraction de caract ´eristiques avec contraintes pour des signaux ´electroenc ´ephalographiques et le d ´ebruitage des images.

La deuxi `eme partie porte sur l’analyse de s ´eries temporelles, selon une approche pr ´edictive. Nous

´elaborons alors des mod `eles autor ´egressifs dans l’espace transform ´e, la pr ´ediction n ´ecessitant la r ´esolution du probl `eme de pr ´e-image. Deux mod `eles pr ´edictifs `a noyaux sont ´etudi ´es en d ´etail : une m ´ethode bas ´ee sur le probl `eme de moindres carr ´es, et une sur la r ´esolution des ´equations de Yule- Walker. Une investigation de l’impact de la r ´esolution du probl `eme de pr ´e-image est effectu ´ee. Une ´etude empirique montre la pertinence de ces mod `eles pour l’analyse d’ ´electrocardiogrammes.

La derni `ere partie de cette th `ese traite le probl `eme de classification de signaux

´electrocardiogrammes, afin de d ´etecter des anomalies pr ´esentes dans les enregistrements. Nous

´etudions les performances des machines `a vecteurs supports, avec et sans extraction de ca- ract ´eristiques, pour r ´ealiser un d ´etecteur d’anomalies. Une ´etude multi-classes est men ´ee pour l’analyse de diff ´erents types d’anomalies, en utilisant d’une part les cartes auto-organisatrices et d’autre part les

(19)

machines `a vecteurs supports.

(20)

Abstract

Over the past two decades, kernel-based methods have favored the development of the statistical learning for the analysis of nonlinear systems, often with a lack of prior information. The main idea behind these nonlinear methods is the kernel trick, which allows the transformations from the input space into a high-dimensional feature space. Thus, by applying in this space standard linear techniques, these methods provide nonlinear processing in the input space. During the proliferation of these methods, where Support Vector Machines are the spearhead, little work has been done on the inverse problem of the kernel trick, that is the return to the input space. Paradoxically, although the nonlinear transformation induced by the kernel is fundamental, the return to the input space is often critical. This problem is called the pre-image problem. Its resolution allows a new class of kernel-based machines.

The purpose of this thesis is to show that recent advances in statistical learning theory provide rele- vant solutions to several issues in signal and image processing, and more specifically the case of signals from physiological sensors where nonlinearities are extremely common. Several kernel-based methods are elaborated to provide solutions in pattern recognition, time series analysis, and classification of ano- malies.

The first part of this thesis covers the resolution of the pre-image problem with constraints. We study the constraints imposed by physiology, and in particular the non-negativity. We are interested in the first place with the non-negativity of the result. In a second step, we take into account the additivity of the contributions, inducing some sparsity in the result. By combining these developments with the Kernel Principal Component Analysis, we propose a constrained feature extraction for event related potential signals and for denoising images.

The second part focuses on the analysis of time series, according to a predictive approach. Thus, we develop autoregressive models in the feature space, where the prediction requires solving the pre-image problem. Two kernel-based models for prediction are studied in detail : the first one is based on the least- squares problem, and the second one is based on solving the Yule-Walker equations. An investigation of the impact of the resolution of the pre-image problem is made. An empirical study demonstrates the relevance of these models for the analysis of electrocardiograms.

The last part of this thesis deals with the problem of classification of electrocardiogram signals to detect anomalies. We study the performance of support vector machines, with and without feature ex- traction, to provide an anomaly detector. A study for multi-class is conducted to analyze various types of anomalies using, on the one hand, self-organizing maps, and on the other hand the support vector machines.

(21)
(22)

Introduction

Pr ´esentation g ´en ´erale

Durant ces deux derni `eres d ´ecenies, le domaine du traitement du signal a connu des progr `es no- tables gr ˆace `a l’ ´emergence d’outils nouveaux pour le traitement des probl `emes non-lin ´eaires. En appren- tissage automatique, nous pouvons citer la reconnaissance des formes, l’extraction de caract ´eristiques, le d ´ebruitage de signaux ou des images, l’analyse de s ´eries temporelles, sans oublier les probl `emes d ´ecisionnels tels que la d ´etection et la discrimination `a deux ou plusieurs classes. Les donn ´ees dis- ponibles dans ces domaines d’applications, provenant de syst `emes naturels, sont tr `es complexes et ne peuvent h ´elas ˆetre expliqu ´ees par des mod `eles lin ´eaires traditionnels. Par suite, les chercheurs ont

´eprouv ´e la n ´ecessit ´e de proposer des algorithmes non-lin ´eaires permettant d’appr ´ehender une classe

´etendue de probl `emes. Les nouvelles approches visent `a utiliser les m ´ethodes `a noyaux. Ces techniques exploitent la th ´eorie des noyaux reproduisants. L’id ´ee principale est l’astuce du noyau, permettant de transformer les donn ´ees par le concours d’une application non-lin ´eaire, dans un espace de dimension

´elev ´ee, o `u des m ´ethodes lin ´eaires peuvent ˆetre appliqu ´ees. Ces m ´ethodes `a noyaux ont ´et ´e appliqu ´ees avec succ `es pour de nombreuses applications et ont montr ´e des performances remarquables. L’objectif de cette th `ese est de montrer que les m ´ethodes `a noyaux apportent des solutions pertinentes `a plu- sieurs probl `emes soulev ´es en traitement du signal et des images, plus pr ´ecis ´ement dans le cas de signaux biom ´edicaux. Diff ´erentes m ´ethodes non-lin ´eaires sont ´elabor ´ees : la r ´esolution du probl `eme de la pr ´e-image sous contraintes de non-n ´egativit ´e pour la reconnaissance des formes, l’extraction des ca- ract ´eristiques et le d ´ebruitage, le mod `ele autor ´egressif `a noyaux pour la pr ´ediction des s ´eries temporelles, et finalement les machines `a vecteurs supports pour la discrimination afin d’am ´eliorer les performances en classification.

En reconnaissance des formes, dont l’extraction des caract ´eristiques et le d ´ebruitage des donn ´ees, parfois nous cherchons `a identifier les formes ou les donn ´ees afin de les interpr ´eter ou de les repr ´esenter dans l’espace des donn ´ees o `u elles sont d ´ecrites. Ainsi, devons-nous faire le retour inverse de l’espace de projection, d ´esign ´e par espace fonctionnel, `a l’espace des observations. Or, ce retour n’est pas tou- jours aussi ´evident, puisque nous avons recours `a utiliser des noyaux afin de faire la transformation vers cet espace. La fonction inverse permettant le retour `a l’espace d’entr ´ee n’existant pas, ce probl `eme mal pos ´e est le probl `eme de la pr ´e-image. Pour ce faire, nous cherchons `a trouver une solution dans l’espace des observations ayant comme image la fonction calcul ´ee dans l’espace fonctionnel. Une nou- velle ´ecriture de la pr ´e-image est d ´etaill ´ee dans la th `ese afin de repr ´esenter la solution en question.

Tenant compte de l’aspect physique des observations disponibles, le probl `eme de la pr ´e-image est sujet aux contraintes impos ´ees. Nous ´etudions en particulier les contraintes de non-n ´egativit ´e. Nous distin- guons entre les contraintes sur les donn ´ees elles-m ˆemes des contraintes sur des coefficients du mod `ele d ´efinissant la pr ´e-image. Une propri ´et ´e importante, obtenue pour le second cas, est la parcimonie des

(23)

r ´esultats.

Confront ´e `a des probl `emes de vie, l’humanit ´e a toujours ´et ´e int ´eress ´ee par l’avenir. Comme la ci- vilisation avance, avec une sophistication croissante dans toutes les phases de la vie, la n ´ecessit ´e de regarder vers l’avenir a grandi avec elle. De nos jours, chaque agence gouvernementale, entreprise, ou industrie ainsi que le citoyen veulent et doivent ˆetre en mesure de pr ´evoir et planifier des ´ev ´enements futurs. En effet, pour prendre une d ´ecision dans le pr ´esent, nous devons avoir des plans pour l’avenir.

Aujourd’hui, les techniques li ´ees `a la pr ´ediction des s ´eries temporelles constituent un outil d’aide `a la d ´ecision. La recherche en mati `ere de m ´ethodes de pr ´ediction est tr `es intense. Le d ´eveloppement de ces techniques a ´et ´e attribu ´e aux progr `es r ´ealis ´es en statistique et probabilit ´es. Parmi les m ´ethodes les plus connues, nous citons le mod `ele autor ´egressif. Il pr ´edit un ´echantillon futur `a partir d’un certain nombre d’ ´echantillons de son pass ´e. En utilisant les m ´ethodes `a noyaux, nous proposons alors d’ ´etendre l’usage de ce mod `ele pour les signaux pris sur des syst `emes non-lin ´eaires.

Autre que la pr ´ediction, l’humanit ´e a int ´er ˆet de classer les donn ´ees. Il est indispensable de classer et regrouper les donn ´ees pr ´esentant les m ˆemes caract ´eristiques. Les m ´ethodes de classification ont pour objectif de classer un objet, dans une cat ´egorie donn ´ee suivant certains traits descriptifs. Elles peuvent ˆetre appliqu ´ees pour diff ´erents probl `emes, en particulier, le probl `eme de la sant ´e qui est un secteur concernant tout le monde, comme le cas des probl `emes cardiaques qui sont la premi `ere cause de mort de nos jours. Dans ce manuscrit, nous proposons d’appliquer les m ´ethodes `a noyaux pour discriminer les personnes pr ´esentant des anomalies cardiaques des personnes saines. Pour ce faire, les machines

`a vecteurs supports, (SVM pour Support Vector Machines) sont utilis ´ees pour la classification binaire qui se compose soit d’une personne saine soit d’une personne malade. L’ ´etude comporte alors une d ´ecision entre deux hypoth `eses possibles. Or, les anomalies cardiaques sont pr ´esentes sous diff ´erentes formes. Il est n ´ecessaire de les classer en plusieurs cat ´egories. M ˆemes si les SVM sont conc¸ues princi- palement pour une discrimination binaire, cependant elles peuvent ˆetre appliqu ´ees pour distinguer entre diff ´erentes classes. `A cette fin, deux strat ´egies sont d ´etaill ´ees dans ce m ´emoire pour une discrimination multi-classes, en d ´ecomposant le probl `eme multi-classes en un ensemble de probl `emes de discrimina- tion binaire. Une autre technique pour une telle classification est la carte d’auto-organisation (SOM pour Self-Organizing Map). Sa fonction principale est de faire correspondre les ´el ´ements de l’espace d’entr ´ee avec des unit ´es ordonn ´ees sur une carte qui est une repr ´esentation graphique o `u chaque unit ´e est en- tour ´ee de ses voisins, les voisinages ayant ´et ´e d ´efinis a priori. Une SOM est r ´ealis ´ee pour discriminer diff ´erentes anomalies cardiaques.

Dans ce m ´emoire, nous ´etudions diff ´erentes techniques pour la reconnaissance des formes et le traitement du signal en les combinant aux noyaux reproduisants. Les travaux sont divis ´es en quatre axes :

– R ´esolution du probl `eme de pr ´e-image

– Contraintes de non-n ´egativit ´e de la pr ´e-image – Analyse et pr ´ediction de s ´eries temporelles – Discrimination binaire et multi-classes

(24)

Introduction 7

Plan du document

Le manuscrit se compose de quatre chapitres. La progression suivante est adopt ´ee pour exposer les travaux r ´ealis ´es.

Le premier chapitre a pour objectif de d ´efinir le cadre du travail. Dans un premier temps, il introduit la th ´eorie des noyaux reproduisants, tout en d ´ecrivant leur caract ´erisation. Il pr ´esente alors les prin- cipes fondamentaux de cette th ´eorie, qui sont le th ´eor `eme de repr ´esentation et l’astuce du noyau. Ces diff ´erents concepts sont illustr ´es pour l’analyse en composantes principales (ACP), tout en l’ ´etendant pour les syst `emes non-lin ´eaires par le biais des m ´ethodes `a noyaux. Finalement, le probl `eme de la pr ´e- image confront ´e lors de l’usage des noyaux reproduisants est d ´etaill ´e tout en d ´ecrivant les diff ´erentes techniques pr ´esentes pour sa r ´esolution. Une formulation de la pr ´e-image est ´elabor ´ee dans ce chapitre.

Le second chapitre de cette th `ese tient compte de la r ´esolution du probl `eme de la pr ´e-image sous contrainte. Motiv ´es par des contraintes physiologiques, nous ´etudions alors en particulier la non- n ´egativit ´e. Dans un premier temps, la contrainte ´etudi ´ee est celle du r ´esultat. En d’autres termes, la pr-image devra ˆetre non-n ´egative. Ensuite, nous proposons la r ´esolution du probl `eme de la pr ´e-image sous contraintes de non-n ´egativit ´e des coefficients du mod `ele. Nous parlons alors de l’additivit ´e des contributions, induisant une certaine parcimonie au niveau du r ´esultat. Finalement, ces deux approches sont utilis ´ees avec l’analyse en composantes principales `a noyaux en extraction de caract ´eristiques et en d ´ebruitage des images et de chiffres manuscrits.

Le troisi `eme chapitre porte sur l’analyse de s ´eries temporelles par un mod `ele autor ´egressif (AR).

Ainsi une pr ´esentation de ce mod `ele est-elle faite et une extension du cas lin ´eaire `a celui non-lin ´eaire est r ´ealis ´ee au moyen de noyaux reproduisants. Deux techniques pour la d ´efinition d’un mod `ele AR- `a- noyaux sont d ´etaill ´ees pour l’analyse de s ´eries temporelles selon un mod `ele pr ´edictif : la m ´ethode des moindres carr ´es et les ´equations de Yule-Walker. Trois approches diff ´erentes du mod `ele AR- `a-noyaux sont propos ´ees. La premi `ere est bas ´ee sur l’id ´ee principale des m ´ethodes `a noyaux pour lesquelles une transformation de l’espace des observations `a l’espace fonctionnel est r ´ealis ´ee. Cette approche n ´ecessite la r ´esolution du probl `eme de pr ´e-image pour la pr ´ediction d’un ´echantillon. Afin de surmonter le probl `eme de la pr ´e-image, deux autres techniques `a noyaux sont alors ´elabor ´ees : la premi `ere est bas ´ee sur les valeurs du noyau et la seconde repr ´esente un mod `ele hybride. Finalement, ces m ´ethodes propos ´ees sont appliqu ´ees sur des s ´eries temporelles unidimensionnelles et chaotiques multidimensionnelles. Ces applications comportent de m ˆeme une ´etude comparative entre les diff ´erentes techniques de pr ´e-image.

Le quatri `eme chapitre de cette th `ese tient compte de la classification de signaux

´electrocardiogrammes bas ´ee sur ces m ´ethodes `a noyaux, plus pr ´ecis ´ement, nous d ´etectons des anomalies pr ´esentes dans ces signaux. Dans un premier temps, une comparaison entre les perfor- mances des machines `a vecteurs supports appliqu ´ees sur les caract ´eristiques extraites `a l’aide, d’une part de l’ACP classique, et de l’autre part de l’ACP- `a-noyaux, est r ´ealis ´ee pour une discrimination binaire d ´etectant les signaux pr ´esentant des anomalies des signaux de sujets sains. Ensuite, une classification multi-classes est faite pour d ´etecter les diff ´erentes anomalies pr ´esentes en utilisant les

(25)

machines `a vecteurs supports. Cette discrimination est bas ´ee sur deux strat ´egies :un-contre-unet

un-contre-tous. Nous d ´ecrivons aussi la carte d’auto-organisation permettant la d ´etection de diff ´erents types d’anomalies. Enfin, les r ´esultats d’application de ces techniques pour la discrimination des signaux

´electrocardiogrammes sont pr ´esent ´es.

Ce document s’ach `eve par une conclusion pr ´esentant des nouvelles perspectives de travail.

(26)

Introduction 9

Produits de la recherche

Cette th `ese a fait l’objet de plusieurs publications. Le Tableau suivant r ´esume les r ´ef ´erences par ordre de leur apparition, ainsi que les chapitres auxquels ils ont trait.

Citation R ´ef ´erence Chapitres

[KHR+10] M. Kallas, P. Honeine, C. Richard, H. Amoud, and C. Francis. Nonlinear feature extraction using kernel principal component analysis with non-negative pre-image.

In Proc. 32nd Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC), Buenos Aires, Argentina, 31 Aug. - 4 Sept. 2010.

2

[KHR+11a] M. Kallas, P. Honeine, C. Richard, C. Francis, and H. Amoud. Kernel-based autore- gressive modeling with a pre-image technique. In 16th IEEE Workshop on Statisti- cal Signal Processing, Nice, France, 28-30 June 2011.

3

[KHR+11c] M. Kallas, P. Honeine, C. Richard, C. Francis, and H. Amoud. Non-negative pre- image in machine learning for pattern recognition. In 19th European Signal Proces- sing Conference, Barcelona, Spain, 29 August - 2 September 2011.

2

[KHR+11b] M. Kallas, P. Honeine, C. Richard, C. Francis, and H. Amoud. Mod `ele autor ´egressif non-lin ´eaire `a noyau : une premi `ere approche. In 23eme ´edition du Colloque GRETSI, Bordeaux, France, 5-8 Septembre 2011.

3

[KHAF11] M. Kallas, P. Honeine, H. Amoud, and C. Francis. Sur le probl `eme de la pr ´e-image en reconnaissance des formes avec contraintes de non-n ´egativit ´e. In 23eme ´edition du Colloque GRETSI, Bordeaux, France, 5-8 Septembre 2011.

2

[KMK+11] L. Kanaan, D. Merheb, M. Kallas, C. Francis, H. Amoud, and P. Honeine. PCA and KPCA of ECG signals with binary SVM classification. In 25th IEEE Workshop on Signal Processing Systems SiPS, Beirut, Lebanon, 4-7 Octobre 2011.

4

[KHFA11] M. Kallas, P. Honeine, C. Francis, and H. Amoud. Kernel autoregressive models.

a comparative study of pre-image techniques. In 25th IEEE Workshop on Signal Processing Systems SiPS, Beirut, Lebanon, 4-7 Octobre 2011.

3

[KHR+12b] M. Kallas, P. Honeine, C. Richard, C. Francis, and H. Amoud. Prediction of time series using Yule-Walker equations with kernels. In 37th IEEE International Confe- rence on Acoustics, Speech and Signal Processing, Kyoto, Japan, 25-30 March 2012.

3

[KFK+12] M. Kallas, C. Francis, L. Kanaan, D. Merheb, P. Honeine, and H. Amoud. Multi-class SVM classification combined with kernel PCA feature extraction of ECG signals. In 19th International Conference on Telecommunications, Jounieh, Lebanon, 23-25 April 2012.

4

[KFH+12] M. Kallas, C. Francis, P. Honeine, H. Amoud, and C. Richard. Modeling electrocar- diogram using Yule-Walker equations and kernel machines. In 19th International Conference on Telecommunications, Jounieh, Lebanon, 23-25 April 2012.

3

[KHR+12a] M. Kallas, P. Honeine, C. Richard, H. Amoud, and C. Francis. Non-negativity constraints on the pre-image for pattern recognition with kernel machines. Elsevier, Pattern Recognition, Soumis en Avril 2012.

1,2

[KHFA12] M. Kallas, P. Honeine, C. Francis, and H. Amoud. Kernel autoregressive models using Yule-Walker equations. Elsevier, Signal Processing, Soumis en Juillet 2012

3

(27)
(28)

C

HAPITRE

1

Les m ´ethodes `a noyaux et le probl `eme de la pr ´e-image

Sommaire

1.1 Introduction . . . . 12 1.2 Noyaux et espace de Hilbert `a noyau reproduisant. . . . 13 1.2.1 Noyau d´efini positif et RKHS . . . . 13 1.2.2 Th´eor`eme de Moore-Aronszajn . . . . 14 1.3 Du mod `ele lin ´eaire au mod `ele `a noyaux. . . . 17 1.3.1 Astuce du noyau . . . . 17 1.3.2 Th´eor`eme de Repr´esentation . . . . 18 1.4 Exemple du lin ´eaire au non-lin ´eaire . . . . 19 1.4.1 Analyse en composantes principales . . . . 19 1.4.2 Analyse en composantes principales `a noyaux . . . . 20 1.5 L’ACP- `a-noyaux pour la reconnaissance des formes. . . . 22 1.5.1 Extraction des caract´eristiques . . . . 22 1.5.2 D´ebruitage . . . . 22 1.5.3 Une vue unifi´ee . . . . 23 1.6 D ´efinition du probl `eme de pr ´e-image . . . . 23 1.7 M ´ethodes de r ´esolution . . . . 25 1.7.1 M´ethode de la descente du gradient . . . . 25 1.7.2 M´ethode it´erative du point fixe . . . . 26 1.7.3 Apprentissage de la carte de pr´e-image. . . . 28 1.7.4 M´ethode de l’´echelle multidimensionnelle . . . . 28 1.7.5 Approche conforme. . . . 30 1.7.6 Pr´e-image r´egularis´ee ou p´enalis´ee . . . . 31 1.8 Formulation de la pr ´e-image . . . . 31 1.9 Conclusion . . . . 33

(29)

1.1 Introduction

Au cours des deux derni `eres d ´ecennies, nous avons assist ´e `a une prolif ´eration des m ´ethodes `a noyaux gr ˆace `a la diversit ´e des traitements non-lin ´eaires qu’elles autorisent avec un faible co ˆut calcu- latoire [STC04]. Depuis les Machines `a Vecteurs Supports de Vapnik [Vap98, BGV92b, SBS98], elles ont montr ´e leurs performances dans plusieurs domaines aux finalit ´es vari ´ees. Bien qu’elles soient ap- pliqu ´ees avec succ `es pour r ´esoudre des probl `emes d ´ecisionnels non-lin ´eaires, comme la classification, la r ´egression et la d ´etection, souvent elles sont moins adapt ´ees en ce qui concerne la reconnaissance des formes. Cette condition est due essentiellement `a la notion de l’astuce du noyau, ou kernel trick en anglais, unearme `a double tranchant”. En fait, l’astuce du noyau fournit un moyen de transformer implicitement les donn ´ees dans un espace de caract ´eristique non-lin ´eaire de grande dimension, ce qui permet de construire des r `egles de d ´ecision non-lin ´eaires, avec essentiellement le m ˆeme co ˆut de cal- cul que celles des cas lin ´eaires. En d’autres termes, l’id ´ee principale r ´eside dans l’interpr ´etation d’un noyau d ´efini positif comme un produit scalaire dans un espace fonctionnel. Ainsi un tel noyau assure-t-il le passage des donn ´ees de l’espace des observations `a l’espace dit de Hilbert `a noyau reproduisant, sans la n ´ecessit ´e d’exhiber la fonction de transformation non-lin ´eaire associ ´ee. Cet espace de Hilbert est initialement propos ´e pour les probl `emes de r ´egression par Kimeldorf et Wahba dans [KW71,Wah90].

Cette notion de non-lin ´earit ´e par l’usage de noyau a ´et ´e propos ´ee par Aizerman et al. dans [ABR64]

dans le cadre d’un probl `eme de classification, et renforc ´e par Vapnik dans [Vap98] avec la th ´eorie de l’apprentissage statistique dans un contexte plus g ´en ´eral de classification et r ´egression. C’est le cas de l’Analyse en Composantes Principales `a noyaux (ACP- `a-noyaux). A l’instar de l’ACP classique, cette extension non-lin ´eaire vise `a identifier un sous-espace pertinent pour les donn ´ees en maximisant leur variance projet ´ee. Une telle projection se faisant implicitement dans le RKHS, n ´eanmoins, nous n’avons pas acc `es `a la plupart des ´el ´ements de l’espace de Hilbert `a noyau reproduisant, comme des ´el ´ements ou caract ´eristiques estim ´es par l’ACP- `a-noyaux [SSM98a].

L’importance du passage de l’espace des observations `a l’espace de Hilbert `a noyau reproduisant est claire en classification et r ´egression. Cependant, la fonction r ´eciproque, de l’espace transform ´e `a l’es- pace des observations, est souvent indispensable, surtout pour retrouver le r ´esultat dans l’espace des observations, e.g., l’espace des signaux en traitement du signal. Or, les deux espaces ne sont pas en bi- jection, et tr `es peu d’ ´el ´ements de l’espace transform ´e ont un ant ´ec ´edent dans l’espace des observations.

Le probl `eme de la recherche de cet ant ´ec ´edent est connu sous le nom du probl `eme de la pr ´e-image. Il consiste `a trouver une observation dont l’image, par la fonction noyau consid ´er ´ee, soit la plus proche possible de l’ ´el ´ement en question dans l’espace transform ´e. Plusieurs m ´ethodes ont ´et ´e propos ´ees dans la litt ´erature afin de r ´esoudre ce probl `eme mal-pos ´e.

Ce chapitre couvre tout d’abord la notion des noyaux reproduisants. Ensuite, les caract ´eristiques de tels noyaux sont donn ´ees. Apr `es, nous introduisons les deux ´el ´ements fondamentaux des m ´ethodes `a noyaux qui sont l’astuce du noyau et le th ´eor `eme de Repr ´esentation. Dans la section1.4, un exemple d’algorithme lin ´eaire pr ´ecis ´ement l’analyse en composantes principales est d ´etaill ´e, tout en pr ´esentant

(30)

1.2. Noyaux et espace de Hilbert `a noyau reproduisant 13

son extension `a l’aide des m ´ethodes `a noyaux pour le cas non-lin ´eaire. La section1.5montre l’usage d’un tel algorithme pour la reconnaissance des formes. Le probl `eme de la pr ´e-image confront ´e lors de l’utili- sation d’un noyau est d ´ecrit dans la section1.6, tout en pr ´esentant les m ´ethodes pour sa r ´esolution dans la section 1.7. Finalement, une nouvelle ´ecriture de la pr ´e-image en fonction des donn ´ees disponibles est propos ´ee dans la section1.8.

1.2 Noyaux et espace de Hilbert `a noyau reproduisant

Nous consid ´erons l’espace des observations X, auquel est associ ´e le produit scalaire h·,·iet sa norme correspondantek · k2. Avant d’ ´etudier des propri ´et ´es li ´ees `a la notion du noyau, il est n ´ecessaire de le d ´efinir.

D ´efinition 1.1. (Noyau). Un noyau d ´esigne une fonction de X × X dansIR `a sym ´etrie Hermitienne, c’est- `a-dire telle queκ(xi,xj) =κ(xi,xj).

A partir d’un noyau, nous construisons sa matrice de Gram comme donn ´ee par la D ´efinition` 1.2.

D ´efinition 1.2. (Matrice de Gram). ´Etant donn ´e un noyau κ(·,·) et nobservations x1,x2, . . . ,xn, la matrice d ´efinie par

(K)i,j =κ(xi,xj),

pour touti, j= 1,2, . . . , nest appel ´ee la matrice de Gram deκassoci ´ee `a l’ensemblex1,x2, . . . ,xn. C’est une matrice de dimensionn×n.

L’id ´ee principale des m ´ethodes `a noyaux r ´eside en l’utilisation de techniques lin ´eaires classiques sur des donn ´ees transform ´ees. SoitΦ(·)la transformation des donn ´ees de l’espace des observationsX, `a un espace fonctionnelH.

Cependant, dans certains cas, la fonctionΦ(·) peut ˆetre op ´er ´ee implicitement en utilisant un noyau afin d’ ´evaluer des produits scalaires dansH. Afin qu’une fonctionκ(·,·) repr ´esente un produit scalaire dans l’espace fonctionnelH, elle doit satisfaire des conditions explor ´ees dans la section suivante

1.2.1 Noyau d ´efini positif et RKHS

Commenc¸ons tout d’abord par quelques d ´efinitions afin de d ´eterminer la condition d’existence d’un espace fonctionnelH.

D ´efinition 1.3. (Noyau d ´efini positif). Un noyauκest dit d ´efini positif surX si et seulement si, il v ´erifie

n

X

i=1 n

X

j=1

αiαjκ(xi,xj)≥0, (1.1)

pour toutn∈IN,x1, . . . ,xn∈ X etα1, . . . , αn∈IR.

(31)

D ´efinition 1.4. (Espace de Hilbert). Un espace vectoriel H muni d’un produit scalaire h·,·iH est un espace de Hilbert s’il est complet pour la norme associ ´ee au produit scalairekιk2H=hι, ιiH(en d’autres termes, toutes les suites de Cauchy convergent dansH).

D ´efinition 1.5. (Espace de Hilbert `a noyau reproduisant - RKHS). Soit(H,h·,·iH) un espace de Hil- bert constitu ´e par des fonctions de X dansIR. La fonctionκ(xi,xj)de X × X dansIRest le noyau reproduisant deH, sous r ´eserve que celui-ci en admette un, si et seulement si

– la fonctionκ(x,·) :xj 7→κ(x,xj)appartient `aH, quel que soitx∈ X fix ´e ; – on aι(xj) =hι, κ(x,·)iHpour toutxj ∈ X etι∈ H.

Nous disons que H est un espace de Hilbert `a noyau reproduisant, ou encore RKHS, acronyme de Reproducing Kernel Hilbert Space.

Une propri ´et ´e importante est tir ´ee de cette d ´efinition.

Propri ´et ´e 1.1. (Reproduction). La propri ´et ´e reproduisante, d ´efinie par Aronszajn dans [Aro50], du noyau κinduisant un espace de HilbertH, est donn ´ee par

hκ(x,·), f(·)iH=f(x) pour toutf(·)∈ H.

A partir de la Propri ´et ´e` 1.1, nous pouvons d ´eduire facilement le corollaire suivant :

Corollaire 1.1. (Astuce du noyau). Tout noyau d ´efini positifκinduisant un espace de HilbertHd ´efinit le produit scalaire dans cet espace, comme suit :

κ(xi,xj) =hΦ(xi),Φ(xj)iH,

pour chaquexi,xjdansX.

La Figure1.1 repr ´esente l’espace de Hilbert `a noyau reproduisant Hassoci ´e au noyau κappliqu ´e sur l’espace des observationsX. Nous d ´efinissons une transformation deX vers l’espace des fonctions deX, not ´eH, ainsi

Φ : X → H x 7→ κ(x,·).

Dans cette expression,Φ(x) =κ(x,·)d ´esigne une fonction d ´efinie surX, obtenue en fixant le premier argument deκ `ax.

1.2.2 Th ´eor `eme de Moore-Aronszajn

Le th ´eor `eme suivant [Aro50], combin ´e avec les d ´efinitions pr ´ec ´edentes, permet de faire le lien entre un noyau d ´efini positif et l’espace de Hilbert `a noyau reproduisant.

(32)

1.2. Noyaux et espace de Hilbert `a noyau reproduisant 15

xi

xj

Φ(xi)

Φ(xj)

X

H

FIGURE 1.1: Espace de Hilbert `a noyau reproduisant Hassoci ´e au noyauκ appliqu ´e sur l’espace des observationsX.

Th ´eor `eme 1.1. (Moore-Aronszajn [Aro50]). `A tout noyau d ´efini positifκ, il lui correspond un espace de Hilbert `a noyau reproduisantHunique, et r ´eciproquement.

D ´emonstration. Nous montrons tout d’abord que tout noyau reproduisant est d ´efini positif. `A cette fin, il suffit de constater queP

i

P

jαiαjκ(xi,xj) =kP

iαiΦ(xi)k2 ne peut ˆetre n ´egatif. R ´eciproquement, nous d ´emontrons que tout noyau d ´efini positif κ est le noyau reproduisant d’un espace de Hilbert de fonctions deX dansIR. Pour ce faire, un espace de Hilbert `a noyau reproduisant Hassoci ´e `a un noyau κ, est construit en consid ´erant une fonction Φ(·)de X dansH, selonΦ(x) = κ(x,·). L’espaceHest engendr ´e par les fonctionsΦ(x). Soient deux fonctions dansH

ι1 =

n

X

i=1

αiΦ(xi), ι2 =

n

X

j=1

βjΦ(xj),

o `unest un entier naturel,αietβjsont des r ´eels etxietxjappartiennent `aX. Le produit scalaire entre ces deux fonctions est donn ´e par :

1, ι2iH=DXn

i=1

αiΦ(xi),

n

X

j=1

βjΦ(xj)E

H.

(33)

TABLE1.1: Les noyaux reproduisants couramment utilis ´es en apprentissage, avec les param `etresc, σ >

0, etq∈IN+.

Type Forme g ´en ´erale

Projectif Polynomial κq(xi,xj) = (c+ hxi,xji)q Polynomial de Vovk κP V(xi,xj) =1− hx1− hxi,xjiq

i,xji

Exponentiel κE(xi,xj) = exp(1σhxi, xji)

Radial Laplacien κL(xi,xj) = exp(−1σ kxi−xjk) Gaussien κG(xi,xj) = exp(−12kxi−xjk2) Quadratique rationnel κR(xi,xj) = 1−kxkxi−xjk2

i−xjk2

En utilisant l’astuce du noyau, l’expression du produit scalaire devient

1, ι2iH =

n

X

i=1 n

X

j=1

αiβjκ(xi,xj).

Nous obtenons alors un espace pr ´e-Hilbertien. Pour aboutir `a un espace Hilbertien, il suffit de le compl ´eter conform ´ement `a [Aro50] afin que toute suite de Cauchy y converge.

La relation associant l’espace de Hilbert `a noyau reproduisant `a un noyau donn ´e est d ´ecrite par le biais du th ´eor `eme de Moore-Aronszajn. Dans la suite, un noyau d ´efini positif est d ´esign ´e par un noyau reproduisant. Le Tableau 1.1 r ´esume les noyaux reproduisants les plus utilis ´es. Ils sont group ´es sous deux classes : les noyaux projectifs, de la forme

κ(xi,xj) =f(hxi, xji), (1.2)

et les noyaux radiaux, de la forme

κ(xi,xj) =g(kxi−xjk2). (1.3)

Les deux propositions suivantes sont consid ´er ´ees dans cette th `ese afin de d ´emontrer d’autres r ´esultats. Soit f(k)(ζ) la k`eme d ´eriv ´ee de la fonction f par rapport `a ζ. Commenc¸ons par les noyaux radiaux. Le r ´esultat qui suit est d ˆu `a [CS02] et [Bur99, Proposition 7.2].

Proposition 1.1 (Noyaux radiaux). Une condition suffisante pour une fonction de la formeκ(xi,xj) =

(34)

1.3. Du mod `ele lin ´eaire au mod `ele `a noyaux 17

g(kxi−xjk2)soit un noyau d ´efini positif est sa monotonicit ´e compl `ete, c’est- `a-dire, ses d ´eriv ´ees satisfont (−1)kg(k)(ζ)≥0

pour toutζ >0etk≥0.

C’est le cas du noyau GaussienκG(xi,xj) =g(kxi−xjk2)avec g(k)(ζ) = −12

k

g(ζ),

ou encore le noyau quadratique rationnel avec

g(k)(ζ) = (−1)kk! σ (ζ+σ)k+1.

Passons maintenant aux noyaux projectifs, le r ´esultat suivant est donn ´e dans [Bur99, Proposition 7.1].

Proposition 1.2 (Noyaux projectifs). Trois conditions n ´ecessaires pour qu’une fonction κ(xi,xj) = f(hxi,xji)soit un noyau d ´efini positif sont, pour toutζnon-n ´egatif :

f(ζ)≥0 f(1)(ζ)≥0 f(1)(ζ) +ζf(2)(ζ)≥0

Il est facile de montrer ces conditions pour les noyaux projectifs donn ´es dans le Tableau1.1.

1.3 Du mod `ele lin ´eaire au mod `ele `a noyaux

Apr `es avoir introduit les noyaux ainsi que leur caract ´erisation, nous passons maintenant `a leur usage.

L’id ´ee principale de l’usage des noyaux reproduisants est le passage de la lin ´earit ´e `a la non-lin ´earit ´e.

Pour ce faire, les algorithmes lin ´eaires sont modifi ´es `a l’aide des deux ´el ´ements fondamentaux qui sont : l’astuce du noyau [ABR64] et le th ´eor `eme de Repr ´esentation [Wah90,SHS01].

1.3.1 Astuce du noyau

En utilisant le Corollaire1.1, nous pouvons ´ecrire le noyau reproduisant avec κ(xi,xj) =hΦ(xi),Φ(xj)iH,

quels que soient xi et xj dans X, o `uH est l’espace de Hilbert associ ´e `a ce noyau. Cette propri ´et ´e, dite astuce du noyau, permet de transformer les m ´ethodes de traitement lin ´eaire de donn ´ees en des

Références

Documents relatifs

J. Picard a alors utilisé la méthode des nuées dynamiques d'une part pour une classification à l'aide d'étalons initiaux choisis, d'autre part pour une recherche de profils types

– On fait passer la séquence d’observation dans la considération du calcul de la proba de transition, car il est tout à fait normal de tenir compte du passé observé. Bayes

Un peu plus subtile, ne modifie pas b, donc on peut utiliser la même décomposition pour tout vecteur b, donne A-1 et les vecteurs propres.. Gauss Jordan (pivot

4) Montrer que toutes les formes lin´ eaires sur X sont born´ ees et

Fast diffusion equations on the Euclidean space (without weights) B Euclidean space: R´enyi entropy powers.. B Euclidean space: self-similar variables and relative entropies B The

Mass transportation methods] [Cordero-Erausquin, Gangbo, Houdr´ e], [Cordero-Erausquin, Nazaret, Villani], [Agueh, Ghoussoub, Kang].. Existence and

Toutes les formes bilin´eaires altern´ees sur un K - espace vectoriel de dimension 2 sont proprtionnelles.. 1.2 Formes

Soit elle n’est pas chez elle, soit elle ne r´ epond pas au t´ el´ ephone. Mais si elle n’est pas chez elle, alors, elle a ´ et´ e kidnapp´ ee. Et si elle ne r´ epond pas au