• Aucun résultat trouvé

Reconnaissance des formes évolutives par combinaison, coopération et sélection de classifieurs

N/A
N/A
Protected

Academic year: 2021

Partager "Reconnaissance des formes évolutives par combinaison, coopération et sélection de classifieurs"

Copied!
169
0
0

Texte intégral

(1)

HAL Id: tel-00631621

https://tel.archives-ouvertes.fr/tel-00631621

Submitted on 12 Oct 2011

HAL is a multi-disciplinary open access

archive for the deposit and dissemination of

sci-entific research documents, whether they are

pub-lished or not. The documents may come from

teaching and research institutions in France or

abroad, or from public or private research centers.

L’archive ouverte pluridisciplinaire HAL, est

destinée au dépôt et à la diffusion de documents

scientifiques de niveau recherche, publiés ou non,

émanant des établissements d’enseignement et de

recherche français ou étrangers, des laboratoires

publics ou privés.

coopération et sélection de classifieurs

Veyis Gunes

To cite this version:

Veyis Gunes. Reconnaissance des formes évolutives par combinaison, coopération et sélection de

classifieurs. Apprentissage [cs.LG]. Université de La Rochelle, 2001. Français. �tel-00631621�

(2)

E

L

L

E

O

R

A

L

P^ole S ien es  E ole do torale

Re onnaissan e des formes évolutives par ombinaison,

oopération et séle tion de lassieurs

TH  ESE

presentee le15 O tobre 2001

pourl'obtention du

Do torat de l'Universite de La Ro helle

(spe ialite informatique)

par

Veyis GUNES

Composition du jury

Rapporteurs : J.G. POSTAIRE ProfesseurdesUniversites

U.S.T.L.Lille

M. ROMBAUT ProfesseurdesUniversites

I.U.T.de Troyes

Examinateur : J.MITERAN Ma^trede Conferen es

Universitede Bourgogne

Dire teur dethèse : P.ESTRAILLIER ProfesseurdesUniversites

Universitede La Ro helle

Co-dire teurs : P.LOONIS Ma^trede Conferen es

Universitede La Ro helle

M. MENARD Ma^trede Conferen es

(3)
(4)

THESE

présentée le 15O tobre 2001 pour l'obtention du

Do torat de l'Université de La Ro helle

(spé ialité informatique)

par

Veyis GUNES

Composition du jury

Rapporteurs : J.G.POSTAIRE Professeurdes Universités

U.S.T.L. Lille

M.ROMBAUT Professeurdes Universités

I.U.T.de Troyes

Examinateur : J.MITERAN Maître de Conféren es

Université de Bourgogne

Dire teurde thèse : P. ESTRAILLIER Professeurdes Universités

Université de La Ro helle

Co-dire teurs : P. LOONIS Maître de Conféren es

Université de La Ro helle

M.MENARD Maître de Conféren es

(5)
(6)

Jeremer ietoutd'abordM.Ja k-GérardPostaire,Professeuràl'UniversitédesS ien es

et Te hnologies de Lille, etMlle Mi hèle Rombaut, Professeur à l'I.U.T. de Troyes, pour

avoir soigneusement rapporté e mémoire et pour leur parti ipation au jury. L'intérêt

qu'ils ont porté à e travail, leurs nombreuses remarques et suggestions m'ont beau oup

tou hé.

J'aiététrès sensibleàl'honneurquem'a faitM.JohelMitéran,MaîtredeConféren es

à l'Université de Bourgogne,en parti ipant aujury en tant qu'examinateur.

J'adresse mes plus vifs remer iements à M. Pierre Loonis et à M. Mi hel Ménard,

Maîtres de Conféren es à l'Université de la Ro helle, pour leur investissement dans mes

travauxde re her hes ainsi quepour leurs pré ieux onseils.

Jeremer iesin èrementM.Pas al Estraillier,professeurà l'Universitéde LaRo helle

et dire teur du LaboratoireL3i,pour ladire tion de mathèse, bien sûr, mais aussi pour

ses qualités humaineset relationnelles.

Enn, que l'ensemble des membres du laboratoire L3i soient remer iés. Je pense en

parti ulier àBertrandVa hon, Rémy Mullot, PierreCourtellemont,Jean-Christophe

Bu-rie, Christophe Demko, Thierry Bouwmans, El-Hadi Zahzah, Carl Freli ot et tous les

(7)
(8)
(9)
(10)

Notations prin ipales 11

Table des gures 13

Liste des tableaux 17

Introdu tion 19

Chapitre 1

Combinaison, oopération et séle tion de lassieurs

1.1 Introdu tion . . . 25

1.2 La RdF etle lassieur . . . 26

1.2.1 Les étapes de la RdF . . . 26

1.2.2 Le lassieur . . . 27

1.2.3 Taxonomies de lassieurs . . . 28

1.3 Les systèmesde lassieurs . . . 30

1.3.1 Obje tifset intérêts . . . 30

1.3.2 Dénition . . . 32

1.3.3 Ar hite ture . . . 34

1.3.4 Taxonomie des systèmes de lassieurs . . . 36

1.4 Performan es des lassieurs etdes systèmes de lassieurs . . . 37

1.4.1 Les diérentes appro hes . . . 37

1.4.2 La matri ede onfusion . . . 38

1.5 Combinaisonde lassieurs . . . 38

1.5.1 Combinaisonusuelles . . . 41

1.5.2 Combinaisonpar vote . . . 42

(11)

1.5.4 Combinaisonpar la Théoriede l'Eviden e . . . 42

1.5.5 Autres adres théoriques de la ombinaison. . . 45

1.6 Coopérationde lassieurs . . . 45

1.7 Séle tion de lassieurs . . . 46

1.8 Système de lassieurs hybride . . . 48

1.9 Con lusion . . . 51

Chapitre 2 Aspe ts statiques et dynamiques de la RdF 2.1 Introdu tion . . . 55

2.2 Objets dynamiques . . . 57

2.3 Quelquesmodèles de lasses dynamiques . . . 59

2.4 Quelquesexpérimentations . . . 60

2.4.1 Classement Bayesien . . . 61

2.4.2 Génération de distributions Gaussiennes . . . 62

2.4.3 Proto ole expérimental . . . 64

2.4.4 Dégradations dues aux dépla ements des entres de lasses . . . 65

2.4.5 Dégradations dues aux variationsdes densités de lasses . . . 65

2.5 Re onnaissan e de lassesdynamiques . . . 67

2.5.1 Appro he 1 : Rendrestatique un problème dynamique . . . 69

2.5.2 Appro he 2 : Rendredynamique le système de re onnaissan e . . . 69

2.6 Choix d'une appro he pour les évolutions périodiques . . . 70

2.6.1 Critères de hoix . . . 70 2.6.2 Algorithme . . . 72 2.7 Con lusion . . . 73 Chapitre 3 Coopération de lassieurs 3.1 Introdu tion . . . 77

3.2 Uneméthode de oopérationde lassieurs . . . 78

3.3 Détermination des ensembles d'apprentissage . . . 79

3.3.1 Coales en e oue . . . 79

3.3.2 Coales en e ave rejet d'ambiguïté . . . 81

3.3.3 Le on ept d'ambiguïté: frontièresdans lesproblèmes de oales en e 82 3.3.4 Distan e à une CCA . . . 85

(12)

3.4 Une fusionmulti- lassieursparallèleet adaptée . . . 86

3.4.1 La pro édure de oales en e: Module de séle tion . . . 87

3.4.2 Les lassieurs . . . 88 3.4.3 Module de fusion . . . 88 3.4.4 Algorithmes . . . 89 3.5 Appli ation . . . 91 3.5.1 Données synthétiques . . . 91 3.5.2 Résultats . . . 91

3.6 Inuen es des paramètres . . . 94

3.6.1 Inuen e du taux de rejet de distan e . . . 94

3.6.2 Inuen e du taux de rejet d'ambiguïté . . . 98

3.6.3 Ambiguïtéélevée . . . 98

3.6.4 Frontières de dé isions . . . 98

3.6.5 Autres types de ombinaisons . . . 98

3.7 Con lusion . . . 103

Chapitre 4 Une plani ation temporelle de systèmes de lassieurs 4.1 Introdu tion . . . 107

4.2 Problématique . . . 107

4.3 Représentation de onnaissan es dynamiquespar des réseaux de Petri ous 109 4.3.1 RPF pour leraisonnement . . . 110

4.3.2 RPF pour onnaissan es dynamiques . . . 111

4.3.3 Exemple de RPF . . . 112

4.4 Synthèse d'un Réseau de Petri Flou . . . 113

4.4.1 Aspe t dynamique de l'apprentissage . . . 113

4.4.2 Algorithmede onstru tiondu système de RdF . . . 115

4.5 Aspe t statique de l'apprentissage . . . 117

4.6 Fon tionnementdu système de RdF . . . 117

4.7 Validation . . . 117

4.7.1 Données synthétiques . . . 117

4.7.2 Apprentissage . . . 119

(13)

4.7.4 Variationdu nombre de positions dans une période. . . 124

4.7.5 Variationdu seuil de onfusiontolérée . . . 124

4.7.6 Variationde l'é art-type des distributions . . . 128

4.7.7 Autre type de traje toire . . . 128

4.7.8 Autres positions initiales . . . 132

4.8 Con lusion . . . 137

Con lusions et perspe tives 139 Bibliographie 143 Annexe A Résultats de l'algorithme 3C ave les données ELENA 151 A.1 Lesdonnées ELENA utilisées . . . 151

A.2 Inuen e de l'ambiguïté . . . 152

A.3 Résultatspour optimal . . . 153

A.4 Compromis entre pré isionet généralisation . . . 153

A.5 Résultatssur un ensemble de test . . . 155

Annexe B Robustesse de l'algorithme RCD-RPF 159 B.1 Robustesse aux hevau hements des lasses . . . 159

B.2 Robustesse aux évolutions des traje toires . . . 159

(14)

x k Ve teur deFormek v i Centre de lassei

X Ensemblede ve teursde Formes

X l r Ensembled'apprentissage X t Ensemblede test

Classe Ensembled'individus ayant,selon unexpertouselon un lassieur, une

même interprétation

l Nombre de lassesréelles (d'aprèsl'expert)ou d'interprétation(d'après

un algorithmede lassement)

 i

Classe i, réelle (d'après l'expert) ou d'interprétation (d'après un

algo-rithmede lassement)

 Ensembledes lasses (réelles) d'interprétation

Nombre de lasses obtenues par un algorithme de lassi ation

(single-tons) !

i

Classe de oales en e i

Ensemble des lasses d'interprétation = Cadre de dis ernement =

Uni-vers dudis ours

CC Classe de oales en e

CCA Classe de oales en e derejet d'ambiguïté(enAnglais: luster)

R PF Réseaude Petri Flou

P i Pla e id'unR PF T i Transition id'unR PF e i Classieur i SC Système de lassieurs

(15)
(16)

1.1 Lesdiérentesétapes dela onstru tion d'unsystème de lassement. . . 27

1.2 ExempledeSystème deClassieurs(selonR

1 ):les lassieurse 1 ete 3 fournissent

des informations au lassieur e

2

( ar r

12

= 1 et r

32

= 1), les dé isions des

lassieurse 2 (r 22 =1) ete 4 (r 44

=1) sont ombinéespourobtenir unve teur de

dé ision nal. . . 34

1.3 Système de lassieurs ee tuant lesdiérentsopérationsde ombinaison, de

o-opérationetde séle tion de lassieurs.. . . 35

1.4 Les diérents types d'asso iations de lassieurs. Si un système opère ave

plu-sieurs typesd'asso iations,lesystèmeest dithybride.. . . 36

1.5 Système de lassieursee tuant la ombinaisonde lassieurspourunproblème

à l lasses etd ara téristiquesdisponibles. . . 39

1.6 Système de lassieursee tuant la oopération de lassieurs. . . 46

1.7 Système de lassieursee tuant laséle tion de lassieurs. . . 48

1.8 Exemplesdetravaux on ernantlessystèmesde lassieurs.Anotre onnaissan e,

ertaines solutions n'ont pasen ore ététraitées ( asesvides). . . 50

2.1 Lesdiérentessituationsdans le adrede laRdF. . . 57

2.2 Passage d'uneproblématique de RdFàune autre. . . 58

2.3 Distributionsàl'origine(Y =30),traje toiresetdistributionsnalesdes3 lasses.

La duréeentredeux passu essifsest

t

=12. . . 66

2.4 Evolutiondestauxre onnaissan epour les3 lassesd'individus.Lestaux

on er-nant les lasses 2 et 3 nissent par s'annuler ar elles sont onfondues ave une

autre lasse. . . 66

2.5 Distributions àl'origine (zonesplus sombres) etdistributions nales des3 lasses. 68

2.6 Evolution destauxre onnaissan e pour les 3 lasses d'individus. . . 68

2.7 Les diérentes étapes d'unsystème de lassement, dansle asoù les lasses

évo-luent périodiquement. . . 69

2.8 Exempledeproblèmeàdeux lasses:pasde roisementdetraje toires,lase onde

lasse estbimodale. . . 70

2.9 Exemple de problème à deux lasses :il y a roisement entre les traje toires des

deux lasses.. . . 71

3.1 Partition des ensembles d'individus d'apprentissage, X

l r

 X, lorsque le rejet

d'ambiguïtéest exer é. f!

1 g,f! 2 g,f! 3 g :CCs;! 12 =f! 1 ;! 2 g,! 23 =f! 2 ;! 3 g : CCAs. . . 79

(17)

3.2 Un lassieur est asso ié à haque CC. L'ensemble d'apprentissage, S !i

du

las-sieur e

i

, est déni sur !

i

et ses CCAs asso iées (par exemple, la CCA !

12 est asso iéeà ! 1 età ! 2 . . . 80 3.3 Prin ipe dela oopération. . . 80

3.4 La gure (a) illustre la partition de l'espa e de représentation en trois CCs. La gure (b) illustre la partition de l'espa e de représentation lorsque le on ept d'ambiguïté est appliqué. Nous asso ions une CCA à ha un des sous-ensembles A22 nf;;(f! i g) i2[1;3℄ g. . . 82

3.5 Lafon tion d'appartenan emaximale dansleplanfa toriel prin ipaldesdonnées IRIS, parmi lestroisCCs, ave m=1:2et =0:8. Distan ede Mahalanobis. . . 87

3.6 Lafon tion d'appartenan emaximale dansleplanfa toriel prin ipaldesdonnées IRIS, parmi lesquatreCCAs,ave m=1:2 et =0:8. Norme deMahalanobis. . 88

3.7 Laprisededé isionestlerésultatdelafusiondessortiesdes lassieurslesmieux adaptés. . . 89 3.8 Ensembled'apprentissage: X l r X. . . 92 3.9 Ensemblede test:X t X. . . 93

3.10 Résultats obtenus ave notreméthode de oopération (3C) pour =2. Les indi-vidusentourés (6parmi 210) sont euxqui sontmal lassés. . . 93

3.11 Masses ae tées à la lasse 2, ave rejet de distan e (T = 5), d'où la limitation dansun er le dont lerayon dépenddu taux derejet de distan e hoisi. . . 95

3.12 Massesae tées àla lasse2,sansrejet dedistan e(T !1). Onvoitapparaître lesfrontières entreles deux lasses (iso-masses). . . 96

3.13 Massesae tées àla lasse 1,ave ou sansrejet de distan e. . . 96

3.14 Inuen edeT surlesfrontièresdedé isionsdela lasse2pour T =3:5(et =0:1). 97 3.15 Inuen ede T surlesfrontières de dé isions dela lasse 2pour T =7 (et =0:1). 97 3.16 Iso-massesde la lasse 2pour =0:048(T =5). . . 99

3.17 Iso-massesde la lasse 1pour =0:048. . . 99

3.18 Iso-massesde la lasse 2pour =0:03(T =5). . . 100

3.19 Iso-massesde la lasse 1pour =0:03. . . 100

3.20 Lesrégionsobtenues pour =0:048etT =5.. . . 101

3.21 Lesrégionsobtenues pour =0:02etT =5. . . 101

4.1 Représentation d'unerègle de produ tionoue par un RPF. . . 112

4.2 Représentation de onnaissan e dynamiquepar unRPF. . . 113

4.3 Constru tion desfon tions d'appartenan edes transitions  Tn (t)etde elles des jetons Pn (t). . . 116

4.4 Fon tionnement du système de RdF proposé et prin ipe de lassement d'un in-dividu in onnu x : haque pla e (P i ) est asso iée à un état du système de RdF et haque état du système est représenté par un lassieur ou un Système de Classieurs (SC). L'individu x est lassé par le SC dont l'état du système est adaptéàl'instant onsidéré.PlusieursSCs(les mieuxadaptés)peuventégalement ontribuerà lasserl'individu à travers unephase defusion etdedé ision. . . 118

4.5 Exemple de problème à deux lasses, dont les traje toires sont elliptiques. La position 1 estsuperposée ave laposition10. Pour les autres positions,seules les entres de lasses sont représentées. . . 119

(18)

visibles surla ourbe.. . . 121

4.8 Résultat de l'apprentissage des diérentes positions des entres de lasses (pour

les diérentsétats indiqués surlagure).. . . 122

4.9 Pla es (états) su essivesettransitions (événements) obtenues àlan du y le3. 122

4.10 Fon tions d'appartenan e des transitions 

Tn

(t) (pour les transitions T

1

à T

4 ).

Onpeut onstaterqueles fon tionsgénéréessontnon symétriqueset desupports

diérents (don adaptées àl'appli ation envisagée). . . 123

4.11 Fon tionsd'appartenan edesjetons

Pn

(t)d'initialisationdespla esP

n

.Onpeut

onstaterquelesfon tionsgénéréessontnonsymétriquesetdesupportsdiérents

(don adaptées à l'appli ation envisagée). . . 123

4.12 Fon tions d'appartenan e des jetons 

Pn

(t) obtenues pour les diérentes pla es

P n

,résultantsdel'opérationt-normeentrelafon tionde satransitiond'entrée et

ellede lapla e d'entrée de ette transition. . . 125

4.13 Evolution dutaux de re onnaissan een lassement (ave X

t

=X

l r

etune même

évolutiondansletemps). Les hutessontminimes arlesystèmedeRdFanti ipe

l'évolutiondes lasses. . . 125

4.14 Evolution dutaux de re onnaissan e en lassement ave fusion(ave X

t

=X

l r ).

Lesrésultatssont amélioréspar lafusiondessortiesdes lassieurs pour lesdeux

états les plusvalides. . . 126

4.15 Evolutiondutauxde re onnaissan een lassement ave bruit(

entres =1,X t 6= X l r

)etsansfusion.Peudedégradationdueaubruit:lesystèmedeRdFestrobuste.126

4.16 Evolutiondutauxde re onnaissan een lassement ave bruit(

entres =1,X t 6= X l r

)et ave fusion.Le résultat estégalement amélioré. . . 127

4.17 Inuen edu nombrede positionspour  =8(ave f

i

=0:1).Plus le

hevau he-ment peut être important et plus le nombre d'états générés sera élevé. Dans e

as, lenombre de positionsinue peu. . . 128

4.18 Les deux lasses dansles positions 0 et10 ave leurs traje toires pour  =8 (et

n p

=256 positions). . . 129

4.19 Inuen edu seuilde onfusion tolérée(pour =8 etn

p

=256 positions). . . 129

4.20 Inuen e de l'é art-type des distributions des deux lasses (pour f

i

= 0:1 et

n p

=256 positions). . . 130

4.21 Les deux lasses dansles positions 0 et16 ave leurs traje toires (pour  =2 et

n p

=256 positions). . . 130

4.22 Positions des entres de lasses pourles diérents états. . . 131

4.23 Initialisation 1 :les deux lasses dansles positions 0et 16 ave leurs traje toires

(pour =5etn

p

=256 positions). . . 132

4.24 Initialisation 1 : positions des entres de lasses pour les diérents états (pour

 =5 etn

p

=256 positions). . . 133

4.25 Initialisation 1 :marquages obtenus au ours du temps (pour  =5 et n

p

=256

positions). . . 133

4.26 Initialisation1:tauxde re onnaissan eenapprentissage(pour =5etn

p

=256

positions).Le taux de onfusion toléré surune lasseestde f

i

=10 %. . . 134

4.27 Initialisation 1 : taux de re onnaissan e en lassement (pour  = 5 et n

p

= 256

(19)

4.28 Initialisation 2 :les deux lasses dans les positions 0 et 16 ave leurs traje toires

(pour =5 etn

p

=256 positions). . . 135

4.29 Initialisation2:positions des entresde lassespour lesdiérentsétats (=5et

n p

=256 positions). . . 135

4.30 Initialisation 2 : taux de re onnaissan e en apprentissage ( = 5 et n

p

= 256

positions). Le taux de onfusion tolérésur une lasse estde f

i

=10 %. . . 136

4.31 Initialisation 2 : taux de re onnaissan e en lassement ( = 5 et n

p

=256

posi-tions). Le tauxde re onnaissan eglobal reste supérieur ou égalà 96%.. . . 136

A.1 Lesdeux lasses desdonnées louds. . . 152

A.2 Degrésd'appartenan emaximalesparmilesappartenan es aux3 ensembles

d'ap-prentissage. . . 153

A.3 Iso-massesde la lasse 

1

pour =0:7 (T =5). . . 154

A.4 Régions/frontières obtenues pour = 0:7 (T = 5). Les régions laires

orres-pondent à la lasse1.. . . 154

A.5 Iso-massesde la lasse 

1

pour =0:38 (T =5). . . 155

A.6 Régions/frontières obtenues pour = 0:38 (T = 5). Les régions laires

orres-pondent à la lasse1.. . . 156

A.7 Régions/frontières obtenues ave un seul lassieur Bayesien. Les régions laires

orrespondent à la lasse 1. On onstate que le premier mode de la lasse 1 est

omplètement ignoré. . . 156

B.1 Lesdeux lassesdanslapositioninitialeetdanslaposition156(ave latraje toire

de haque lasse). . . 160

B.2 Evolutiondutauxdere onnaissan eenapprentissagelorsqu'ilya hevau hement

des lasses. . . 160

B.3 Evolution du taux de re onnaissan e en lassement lorsqu'il y a hevau hement

des lasses. . . 161

B.4 Les traje toires de lasses lors de l'apprentissage et lors du lassement (+5 et-5

surla ara téristique 1 de la lasse 1 et2 respe tivement). Lesdeux lasses sont

représentées danslapositioninitialeen apprentissage et en lassement. . . 161

(20)

1.1 Exemplesde lassieurs et de travaux on ernant les lassieurs,en fon tion des

typesde sorties etdestypesd'apprentissage. . . 30

1.2 Comparatifde quelquestravaux ré ents. . . 49

3.1 Exemple deSystème d'Information pour le on ept "appartenant à!

1

". . . 84

3.2 Partition nettede X

l r

obtenue par l'algorithmeF +2M(pour entages) pour =

2 :

1

et

2

sont les lassesréelles;!

1 et! 2 sont les CCs;! 12 est laCCA. . . 92 3.3 Partition nette de X l r

obtenue par l'algorithme F +2M pour =3 :Il ya trois

CCset4 CCAs possibles(2 d'entre elles, !

12

et !

13

,existent réellement). . . 94

3.4 Algorithme 3C;Matri ede onfusion pour =2. . . 94

3.5 Comparaisonave le lassieurBayesien:lemauvais résultatdu lassieur

Baye-sien vientdu faitque ladeuxième lasseestbimodale. . . 94

3.6 Inuen esdeT etde surletauxde re onnaissan e(en%)del'ensembledetest

etsurn

a

. . . 95

4.1 Centresdes lasses obtenus pourles diérentsétats(4)dusystème(après le y le

3). . . 121

4.2 Tauxglobalde onfusionengendrantdes hangementsd'états(leseuilde onfusion

tolérée surune lasseestde 10 %.. . . 121

4.3 Nombred'états dansunepériodepourdiérents (seuil de onfusion f

i

toléré :

10 %). . . 127

4.4 Centresdes lasses obtenus pourles diérentsétats(4)dusystème(après le y le

3). . . 131

A.1 Paramètres des3distributions dela lasse 

1

. . . 151

A.2 Inuen e de surle taux de re onnaissan ede l'ensemble d'apprentissage (pour

=3). . . 152

A.3 Matri e de onfusion sur un ensemble de test (pour = 3), ave un taux de

re onnaissan e global de85.75 %. . . 157

A.4 Comparaison ave le lassieurBayesien:lemauvais résultatdu lassieur

(21)
(22)

Dans le but de omprendre le fon tionnement de la vision et de la re onnaissan e,

un ertain nombre d'équipes étudient les relations possibles entre la per eption visuelle

et l'a tiviténeuronale sous-ja ente dans le erveau. On peut iter, plus parti ulièrement,

l'équipedu LauréatNobelFran isCri ketde ChristofKo h[65℄.Enre onnaissan e

arti- ielle,l'obje tifest,selon Simon[96℄,de "re ueillirlesdonnées d'un apteur, 'est-à-dire

une représentation (lesigniant

1

), et en obtenir une ou des interprétations (les signiés)

par l'exé ution d'algorithmes". Une autre dénition, qui fait allusion à l'aspe t

tempo-rel, est la suivante : à partir d'exemples de Formes et de dé isions orre tes on ernant

es Formes, apprendre à dé ider pour une Forme à venir. Les dis iplines s ientiques

qui traitent e type de problème sont essentiellement l'Intelligen e Arti ielle (IA) et la

Re onnaissan e des Formes (RdF). L'IA vise à reproduire les fa ultés humaines les plus

élevées tandisque laRdFse limiteà lasimulationdes apa ités humainesde per eption,

visuelles ou auditives.

Dansle adre de laRdF,nous nous intéressons plus parti ulièrementàlaprise de es

dé isions 2

lorsque lesFormes subissent des dérives au ours du temps.Ce type de lasse,

dontlemodèle

3

évolueau oursdutempsestnomméeparlasuite lasse évolutiveoubien

en ore lasse dynamique.

Dansle ontexte de laper eption, l'in ertitudeet laprédi tion sontintimementliées.

En eet, si nous sommes sûrs qu'un événement est possible, nous sommes prêts à

ad-mettre que les han es d'apparitionde et événement dans un futurpro he sont élevées.

Ainsi, la notion de prédi tion est liée à la notion d'ignoran e qui est une ara téristique

des systèmes à apprentissage. Le ma ro-système qu'est la so iété peut avoir diverses

at-titudes vis-à-vis de es deux notions. A tuellement, l'attitude défensive est dominante.

L'ignoran e, en parti ulier, est qualiée de "éau"so ialqu'il fautéliminer,même sielle

serégénère parlanaissan ede nouveaux "ignorants"quesontlesnouveau-nésetpar

l'in-novations ientique, te hnologiqueet ulturelle dontune grandepartie de lapopulation

reste ignorante. Le problème n'est pas d'éliminer l'ignoran e, mais plutt de l'a epter

an de mieux en tenir ompteetde lui donnerlapla e quilui revient dans laso iété, au

lieude faireabstra tion de son existen e.

1

Lestermes itésentreparenthèsessontdel'auteurdela itation.

2

A haquedé ision orrespondune lassedeFormes.

3

(23)

Dans le domaine de la vision humaine, la mise à prot de l'ignoran e est ee tive;

par exemple, lors de l'identi ation d'un a usé par un témoin, le suspe t est prié de

se pla er parmi un groupe d'individus, au lieu d'être présenté seul au témoin. Un avis

plus sûr, ou plus omplet, est ensé être donné par le témoin dans une situation où son

jugement est rendu plus di ile. Dansle as ontraire, lorsque letémoin aen fa e de lui

un seul "suspe t", il luiest plus fa ilede donnerun avis. Maisdans e as, son avis sera

de type binaire: "oui" ou"non". Paradoxalement, plus saréponse est pré ise,plus il est

permis de douter de son opinion. Ce i est dû au fait que l'avis obtenu est in omplet et

fait abstra tion,notamment,de son ignoran e (de ses doutes).

Dès lors, pour diminuerl'inuen e de l'ignoran edans lespro essus de dé ision,deux

appro hessontpossibles:améliorerl'informationet/oul'édu ationdu"signieur"

4 (dans

l'exemple i-dessus, le témoin) an de diminuer la part de doute dans son avis, ou bien

onsulterplusieurssignieurs, ha unétantspé ialisésurunaspe tduproblèmede

re on-naissan e etdé ideren onséquen e.Dans le ontexte de la re onnaissan e,nous sommes

limités par notre propre apa ité à informer et/ou à éduquer.L'informationet/ou

l'édu- ationde manière ontinue, adaptéesàl'instant onsidéré, onstitue uneautrelimitation.

Le se ond as présuppose la re her he de stratégies de dé ision : une ombinaison entre

les avis et/ou une oopération entre les signieurs et/ou une séle tion des avis des

si-gnieurs. Compte tenu des limitations liées à la première appro he, nous avons hoisi,

par ette étude, de ontribuer à la se onde. Nous proposons de re her her les meilleures

stratégies d'asso iations de es signieurs, en fon tion de leur apa ité à s'adapter à la

re onnaissan e de lasses évolutives.

Dans les deux dis iplines (RdF et IA), deux phases se distinguent lairement. L'une

onsiste à ee tuer l'apprentissage (par analogie ave la vision humaine, le témoin

sup-posé doitréellementavoirvulesuspe t!)etl'autreàre onnaître, 'est-à-dire à lasseren

plusieurs atégories ou lasses (dans l'exemple onsidéré : 'est lesuspe t, 'est peut-être

lesuspe t, e n'estpas lesuspe t, et .).Le adrede laRe onnaissan e d'ObjetsNaturels

fait appelà :

 la RdF : les informations propagées dans le pro essus de dé ision sont leplus

sou-vent analogiques, e quipermetde traduirelagrandevariété des Formesdes objets

naturelsévolutifs;

 l'IA : lagénéralisation s'ee tue par a umulation des informationsanalogiques et

apprentissage de modèles de omportement.

Lorsque plusieurssignieurs ou lassieurs sontamenésà on ourir àune mêmetâ he

de re onnaissan e, plusieurs stratégies de dé isions - impliquant es lassieurs de

dié-rents manières-sont possibles :

1. une première stratégie onsisteà dé ider àla suite de diérents avis; ils'agit de la

ombinaisonde lassieurs;

4

(24)

avis pour améliorerla prise de dé ision d'autres lassieurs, dans la phase de

las-sement; il s'agit de la oopérationde lassieurs;

3. enn, la troisième et dernière stratégie onsiste à privilégier un ou plusieurs

las-sieurs en fon tion de divers ritères ou en fon tion de la situation; il s'agit de la

séle tionde lassieurs.

Dans e travail, nous montrons qu'il est plus simple de prendre en ompte la

dy-namique d'une lasse dans la troisième stratégie. En eet, la séle tion des lassieurs

peut sefaire en fon tion de l'évolution du pro essus : e que nous appelons, par lasuite,

séle tion dynamiquede lassieurs.

L'ignoran e peut être gérée à travers les trois stratégies. Diérents adres théoriques

gérant l'in ertitude, l'impré ision,l'in omplétude, la abilité, la subje tivité,

l'asyn hro-nisme, ladépendan e, la pertinen e, oula omplexitépeuvent satisfaire ette tâ he

(Ap-priou[5℄).Lesprin ipauxsont:lesthéoriesdesprobabilités[112℄,desensemblesous[114℄,

des possibilités [26℄, de l'éviden e [93℄ [97℄, des logiques [2℄, et des méthodes

onnexion-nistes [66℄ [102℄.

En pratique, la prise en ompte de l'ignoran e pose en ore de nombreux problèmes

dans la phase de ombinaison des avis des lassieurs, en parti ulier par e que es

der-niers gèrent l'ignoran e de diérentes manières, oune la gèrent pas du tout (l'ignoran e

est alorsintégréedans leursavis).D'autre part,l'espa ededis ernementpeutne pasêtre

ommun (dans l'exemple, deux témoins peuvent avoir vu le oupable, or on présente à

ha und'eux un autre suspe t!). Dans es as, la ombinaison est souvent di ile, voire

impossible, à mettre en ÷uvre. Ex eption faite de es problèmes et à ondition que les

lassieurs entrant en ombinaison soient assez performants (taux de re onnaissan e

in-dividuels supérieurs à50 %), la ombinaisonest aujourd'huiune stratégieéprouvée.

Par rapport àun seul lassieur, la ombinaisonet la oopération de lassieurs

pré-sententl'avantagedepouvoirspé ialiserles lassieursdans l'espa edereprésentationou

dans l'espa e des ara téristiques. De plus,la oopérationpermetde spé ialiserles

lassi-eursdansl'espa ededis ernementdemanièreexpli ite,alorsquela ombinaisonpeutle

faire impli itement.Dans l'une oul'autre de es stratégies, malgré lefait que l'ignoran e

soit également intégrée dans les avis, son importan e quantitative est réduite grâ e à la

spé ialisation des lassieurs. Dans la plupart des travaux existants, en parti ulier eux

qui traitent de la ombinaison, les lassieurs retenus ne dépendent pas de la Forme à

lasser.Nous proposons, dansle hapitre 3,un systèmede re onnaissan e

met-tant en ÷uvre es deux stratégies, dans lequel un lassieur permet d'a tiver

(25)

Les lasses peuvent avoir une forme omplexe lorsque les ve teurs de Formes, a quis

à des instants expérimentaux diérents, sont issues d'un système non-stationnaire.Dans

e as, ela veut dire qu'il y a eu intégration dans le temps des ve teurs de Formes des

diérentes lasses.Lorsque leniveau de omplexité onduità des traje toires (de lasses)

qui se roisent, les méthodes globales dé rites i-dessus ne susent plus. Il devient alors

né essaire de onsidérer un système de re onnaissan e dynamique et une séle tion de

lassieurs dépendantdu temps.Dans le hapitre 4, nous proposons une méthode

de lassement utilisant la séle tion de lassieurs pour la re onnaissan e de

lassesévolutives.Cetteséle tionestdynamique.Cetteappro he onstitue,ànotre

onnaissan e, leseul systèmede re onnaissan e dontle omportementest dynamique(en

fon tion de la Forme à lasser et en fon tion de l'instant onsidéré).

Dans e mémoire,nous ommençons par dénirles termesde ombinaison,de

oopé-rationetde séle tionde lassieursetparre enser lestravauxdéjàee tuésdansle adre

de laRdF ( hapitre 1).Il s'ensuit que la stratégiede séle tion dynamiquede lassieurs

est laplusappropriéeàlare onnaissan ede lassesévolutives.Parlasuite,nousétudions

les aspe ts statiqueset dynamiquesde laRdF ainsi que les lasses dynamiques ( hapitre

2).Enfon tionde ritèrespermettantde jugerla omplexitéde l'évolutionde es lasses,

deux appro hes sont dégagées. Les deux hapitres suivants mettent en ÷uvre ha une

d'entre-elles et proposent deux méthodes de RdF :

1. une spé ialisationdes lassieurs :

Cette étape s'ee tue sur des sous-ensembles d'apprentissage de l'espa e de

repré-sentation, obtenus par une partition qui met en éviden e les zones denses

d'infor-mations(sur lesquelles les lassieurs seront spé ialisés)et des zones d'ambiguïtés,

faiblement denses. La redondan e des lassieurs est alors exploitée sur es zones

grâ e à une méthode de fusion. La méthode proposée est une méthode de

séle -tion adaptative de lassieurs mettant en ÷uvre la oopération et la ombinaison

de lassieurs ( hapitre 3). Nous montrons que, pour les lasses multimodales, la

méthode permet d'obtenir des taux de re onnaissan e largement supérieurs à eux

d'un seul lassieur;

2. une séparation des aspe ts statiqueset dynamiques de laRdF :

Deux types d'apprentissage sont ee tués : l'aspe t statique de l'apprentissage est

pris en harge par des lassieurs ou des systèmes de lassieurs, et l'aspe t

dyna-mique est pris en harge à travers l'apprentissage de la plani ation des diérents

états parun réseau de Petri ou. Laméthode proposée ee tueune séle tion

dyna-mique de lassieurs ave ombinaison de lassieurs ( hapitre 4). Nous montrons

que e type de séle tion permet de re onnaître des lasses dynamiques, sans

né es-siter la re her he de modèles d'évolution des lasses.

(26)

Combinaison, oopération et séle tion

de lassieurs

Ce hapitreétablitunétatdel'artdesstratégiesdeprisesdedé isionspossibleslorsque

plusieurs lassieurs interviennentdans unpro essus deRdF.Cette asso iationde

lassi-eursest présentée ommeunsystème apabledemettreen÷uvreplusieurstypes

d'opéra-tion: la ombinaisonquiestanalogueàune prisededé isiondémo ratique,la oopération

analogueà la on ertation(ave é hangesde pointsdevue)etlaséle tionquiest analogue

à la onsultation d'experts ( lassieursspé ialisés).L'aspe t temporel de la RdF,

'est-à-dire l'évolution possible des lasses à re onnaître, est traité dans le adre de la séle tion

(27)

Sommaire 1.1 Introdu tion . . . 25 1.2 La RdF et le lassieur . . . 26 1.2.1 Lesétapesde laRdF . . . 26 1.2.2 Le lassieur . . . 27 1.2.3 Taxonomiesde lassieurs . . . 28

1.3 Les systèmes de lassieurs . . . 30

1.3.1 Obje tifs etintérêts . . . 30

1.3.2 Dénition . . . 32

1.3.3 Ar hite ture. . . 34

1.3.4 Taxonomie dessystèmes de lassieurs . . . 36

1.4 Performan es des lassieurs et des systèmes de lassieurs . 37

1.4.1 Lesdiérentes appro hes. . . 37

1.4.2 Lamatri e de onfusion . . . 38

1.5 Combinaison de lassieurs . . . 38

1.5.1 Combinaison usuelles . . . 41

1.5.2 Combinaison par vote . . . 42

1.5.3 Combinaison par laThéorie Bayesiennede ladé ision . . . 42

1.5.4 Combinaison par laThéorie del'Eviden e . . . 42

1.5.5 Autres adresthéoriques de la ombinaison . . . 45

1.6 Coopération de lassieurs . . . 45

1.7 Séle tion de lassieurs . . . 46

1.8 Système de lassieurs hybride . . . 48

(28)

1.1 Introdu tion

LaRe onnaissan e des Formes (RdF) est la dis iplines ientique qui a pour obje tif

le lassement d'individus en un ertain nombre de lasses ou atégories

5

. En fon tion de

l'appli ation, un individu est un ensemble de mesures ara térisant un objet, une image

(ou une partie de elle- i), un signal ou un environnement ( as du diagnosti par RdF).

Le terme génériqueForme est parfois mieux adapté.

Dans le adre de la RdF pour des objets naturels subissant des évolutions dans le

temps, nous avons à traiterdes lasses de forme omplexe( omplexité due en parti ulier

aux évolutions de es objets).Un exemplede problème réel est posé lorsde la

re onnais-san e des diérentes espè es de poissons vivants dont les ara téristiques

6

(par exemple,

la ouleur) subissent des évolutionssaisonnières. Dans e hapitre, nousre ensons les

ap-pro hes existantes qui traitent ette problématique d'un point de vue multi-dé isionnel

(i.e., faisantintervenir les dé isionsde plusieurs lassieurs). Pour es lassieurs

indivi-duels,nous justierons, danslase tionsuivante,le hoixdes méthodes statistiquesparmi

les te hniques existantes.

La RdF omporte généralement deux étapes. La première étape onsiste à ee tuer

un apprentissage tandis que la deuxième onsiste à ee tuer un lassement (et/ou une

prédi tion). Lorsque l'apprentissage est ee tué de manièreautomatique, nous parlerons

de méthode de RdF non-supervisée. Lorsqu'il est guidé par un expert, nous parlerons de

méthode de RdFsupervisée. D'unpoint de vueformel, e type de problèmepeut

s'expri-mer omme suit :

 on onsidère n individus, ha un dé rit par p ara téristiques dénissant ainsi un

ve teur de Forme 7 x k , appartenant àun sous-ensemble de R p où k2[1;n℄, n est le nombre de Formes;

 haque individu appartient à une lasse !

j

(ou atégorie lorsqu'il s'agit d'une

mé-thode de RdF non-supervisée) du adre de dis ernement

=f! 1 ;:::;! i ;:::;! l g

 le but est de lasser un nouvel objet x

k

dans l'une des l lasses.

Souvent,deux dé isionssupplémentairessont introduites;lerejetd'ambiguïté(hésitation

entre plusieurs lasses) etle rejetd'individus aberrants (en Anglais : "outliers").

5

D'où lesexpressions lassi ationet atégorisation pourdésignerune méthoderegroupantla

popu-lation enl lassesou atégories.

6

Certains auteursutilisent leterme " ara tère"et d'autresle terme "paramètre".Ce dernierprend,

parfois,uneautresigni ation(parexemple,lorsqu'ils'agitdeparamètresseuilsde ertainsalgorithmes

oudeparamètresd'unmodèle).

7

(29)

Ainsi, une Forme peut être représentée par un point x k

dans l'espa e(de

représenta-tion)dedimensionp.Dansle as desméthodesstatistiquesde laRdF,les oordonnéesdu

point x

k

2R

p

sont déniespar lesdiérentes ara téristiquesextraites de la Forme. Une

phase d'analyse a permis de séle tionner les plus pertinentes (i.e., elles qui permettent

le mieux de distinguer une lasse d'une autre dans l'univers d'interprétation) des

ara -téristiques observables par quanti ation(évaluation numérique) et/ou par quali ation

(évaluationsymbolique). Ce travail traiteex lusivement lesaspe ts numériques.

1.2 La RdF et le lassieur

1.2.1 Les étapes de la RdF

Les p ara téristiques observées sont utilisées pour onstruire les ve teurs de Formes

x k 2R p , telque: x k =(x k1 ;x k2 ;:::;x kp ) t

Si les p ara téristiques on ernent des individus (au sens général) non-manufa turés

tels que, par exemple, des visages humains, des fruits ou des poissons, on dira alors que

les individusen questionsont des objets naturels.

La re onnaissan e est liée aux lasses d'individus à dis riminer dans l'espa e de

re-présentation à p-dimensions. La plupart des pro essus de re onnaissan e sur des objets

naturelssont onsidérés omplexes :un seul lassieur, gérant toutesles lassesettoutes

les ara téristiques, estalorssouventmaladapté;l'ensembled'apprentissageprésenteune

stru turededonnées trop omplexepourunemodélisation orre tedes diérentes lasses.

Theodoridiset al.[101℄ proposentde résumer lesdiérentes étapesde la onstru tion

d'un système de lassement par elles représentées sur la gure 1.1. Nous nous

intéres-serons plus parti ulièrement aux deux dernières étapes. Les trois étapes qui pré édent

sontlargementtraitéesdanslalittératureetdétailléesnotammentpar es auteurs. D'une

manièregénérale,la on eptiond'unsystèmede lassementné essitelesphasessuivantes:

 mesures par un apteur ou un ensemble de apteurs,

 extra tionde ara téristiquesà partir de es mesures,

 séle tiondes ara téristiquesles plus pertinentes,

(30)

 onstru tion du lassieur,

 évaluation de l'apprentissage, souvent par le lassement de l'ensemble

d'apprentis-sage,

 évaluationdes performan esdu système,généralement par letauxd'erreur en

las-sement.

Leste hniquesd'extra tiondes ara téristiquessontparfoisqualiéesdete hniquesde

dis rimination àbut des riptif [90℄. Le hoix des ara téristiquesextraites est plus liéau

problème à résoudre (l'appli ation spé ique) que le hoix de laméthode de lassement.

La onstru tiondu lassieur dépendde l'appro he etde late hnique hoisie omme

mé-thode de lassement. Pour un réseau de neurones, il s'agit de déterminer la matri e de

pondération, tandis que pour un lassieur statistique telle que le Bayesien, il s'agit de

déterminer les matri esde varian e- ovarian es etles moyennes des diérentes lasses.Il

est évident qu'en fon tion des performan es obtenues, onpeut modierle omportement

en modiant lesparamètres des phases pré édentes ou en hoisissant d'autres

ara téris-tiques, an d'optimiserle système de manière plus oumoins automatique.

Capteur(s)

Extraction de

Sélection de

du classifieur

performances

Evaluation des

Formes

caractéristiques

caractéristiques

Construction

du classifieur

Fig. 1.1 Lesdiérentes étapesde la onstru tion d'un système de lassement.

1.2.2 Le lassieur

Soient :

 p, lenombre de ara téristiquesdes Formes,

 X R

p

, un ensemblede ve teurs de Formes,

(31)

 2

,l'ensemblede puissan e (i.e.,tous lessous-ensembles possibles de ),

 x2X, un individu à lasser,

 et, leve teur d'interprétation issu du lassieur e appeléve teur de dé isionde e

etde taillel.

An de faire abstra tion de l'ar hite ture interne d'un lassieur, nous proposons de

dénir un lassieur par une fon tione, de lamanièresuivante :

e :X !2

x7 !=e(x)

Ainsi,le lassieur est vu ommeune "boite noire" quireçoit,en entrée,un ensemble

de ara téristiquesetquifournit,en sortie,leoulesappartenan esde l'individu(présenté

en entrée) aux diérentes lasses.

1.2.3 Taxonomies de lassieurs

On peut les lasser suivant diérents ritères. Ci-dessous, nous présentons les trois

taxonomieslesplus ouramment itéesetemployées :selon letypede méthodes utilisées,

selon le type des sorties de lassieurs et selon l'autonomie des lassieurs, i.e., de leur

dépendan evis-à-visd'unexpert.D'autres ritèrespeuventêtre onsidérés.Ils onduisent

à d'autres taxonomiesde lassieurs. La di hotomieen méthodes paramétriques et

non-paramétriques sefonde sur le type de représentation des lasses par un lassieur. Ainsi,

lesméthodesquitententdereprésenterlesdensitésdes lassespardesdistributionsde

pro-babilités(modèles mathématiques)sont qualiéesde méthodes paramétriques(exemple :

lassieur Bayesien). Les autres (exemples: k-ppv, noyaux de Parzen) sont qualiées de

méthodes non-paramétriques.

Taxonomie selon les te hniques ou méthodes

Les quatre appro hes lesplus onnues etutilisées sont les suivantes :

1. Mise en orrespondan e et en oïn iden e : La Forme à re onnaître (typiquement,

une Forme 2D) est omparée aux diérents prototypes ougabaritsreprésentant les

diérentes lasses, tout en permettant des translations, des rotations et des

han-gements d'é helles (Jain et al. [61℄). Ainsi, on travaille dire tement dans l'espa e

de représentation, sans passer par une phase d'extra tion de ara téristiques. La

mesurede similaritéentre laFormeàre onnaîtreetleprototypeest souventfondée

(32)

2. Méthodessyntaxiquesetstru turelles:Uneanalogieformelleestfaiteentrela

stru -ture des Formes et la syntaxe d'une langue. Ces méthodes gèrent les Formes sous

forme de "mots" et de "phrases" respe tant les grammaires des diérentes lasses.

A travers ette appro he, une perspe tive hiérar hique est privilégiée; une Forme

peut être divisée en sous-Formes, omme une phrase peut être divisée en mots.

3. Méthodes onnexionnistes (appelées "réseaux de neurones", par abus de langage) :

Unneuroneestdotédepentréesx

i

;i2[1;p℄, ha uneae téed'unpoidsa

i

etd'une

sortie S. S est fon tion de lasomme des a

i x

i

. La ommunautédes réseaux de

neu-ronestravailleessentiellementsurl'assemblagedetellesentitésetsurl'apprentissage

des poids a

i

(exemple :Per eptron MultiCou hes).

4. Méthodes statistiques: Cette appro he pré onise lareprésentation des Formes par

p ara téristiques, sur lesquelles des densités, propresà haque lasse, sontdénies.

Ensuite, les outils de la théorie de ladé ision statistique permettent d'ee tuer un

lassement. Lesméthodes paramétriques émettent l'hypothèse que es densités

ap-partiennentà une familledonnée de distributions (exemple : lassement Bayesien).

Au ontraire, les méthodes non-paramétriques ne posent pratiquement au une

hy-pothèse restri tivesur laformedes distributions(exemple : Cmoyennes).

Lesdeuxpremièresappro hesné essitentdesmoyensde al ulsimportants, equipose

des problèmespour lare onnaissan ed'objetsnaturelsévolutifs.Quantàlatroisième

ap-pro he, ellepeutêtrevue ommeunealternativeàlaquatrième.Eneet, ertainsauteurs

onsidèrentquelesméthodes onnexionnistes onstituentun sous-ensembledes méthodes

statistiques (par exemple, Holmström et al. [56℄). Nous on entrons nos eorts sur les

méthodes statistiquesoù les lasses sont représentées par des momentsdu premier et/ou

du se ond ordre.Lesphases d'apprentissage etde test seront étudiées etévaluéesà l'aide

de ritèresde performan es fondés sur lamatri ede onfusion.

Pour ha une de es appro hes,denombreuxtravauxont onduitàl'élaborationd'une

importantequantité de lassieurs.LaTable1.1présentequelques-unsdes es lassieurs

et quelques travaux on ernant les lassieurs. Les termes "abstrait", " lassement" et

"distan e" utilisés dans e tableau sont expliqués i-dessous, à travers deux taxonomies.

Un état de l'art on ernant les méthodes statistiques a été ré emment proposé par Jain

et al.[61℄.

Taxonomie selon les types de sorties des lassieurs

Selon Xu et al. [112℄, trois modèles sont possibles. Cette taxonomie (ou une variante

de elle- i)a égalementété adoptée par Ho [52℄ etpar Loonis [72℄ :

1. Niveau abstrait; le lassieur propose une lasse ou plusieurs lasses "également

(33)

Niveaux : Type d'apprentissage

Supervisé Non-supervisé

Abstrait Arbre de dé ision[54℄ Cmoyennes [50℄

Classement k-ppv [24℄ " lustering" k-ppv [113℄

Distan e Bayesien [61℄ Cmoyennes oues [9℄

Tab. 1.1  Exemples de lassieurs et de travaux on ernant les lassieurs, en fon tion

des types de sorties etdes typesd'apprentissage.

2. Niveau lassement; le lassieur applique une relation d'ordre sur les lasses

pos-sibles.

3. Niveau distan e; le lassieur attribue à haque lasse une mesure de similarité

entre elle- i et l'individu à lasser. Pour les méthodes statistiques paramétriques,

il s'agit d'estimationsdes lois de probabilités a posteriori.

Les types de sorties les plus ri hes en informationssont eux du niveau distan e. En

eet, à partir de e type de sorties, on peut établir un ordre de préféren e du lassieur

(on obtient alors une sortie de niveau lassement), puis de retenirque la première ou les

premières lasses proposées (auquel as, onobtientune sortie du niveau abstrait). De e

fait, leniveau abstraitest leniveau leplus générique.

Taxonomie selon les types d'apprentissage

1. Apprentissage supervisé (exemple : k-ppv). Un expert indique la lasse réelle pour

haque individu présenté ausystème de RdF lorsde l'apprentissage.

2. Apprentissage non supervisé (exemple :Cmoyennes oues).Les méthodes de

até-gorisationetde oales en e ee tuent e type d'apprentissage.

1.3 Les systèmes de lassieurs

1.3.1 Obje tifs et intérêts

Les premières allusions aux systèmes de lassieurs ou systèmes multi- lassieurs

8

(ou bien en ore ensemble de lassieurs

9

, terme utilisé surtout par la ommunauté des

s ientiques traitant les réseaux neuro-mimétiques onnexionnistes), itées par Ho [52℄,

remontentà Nilsson[81℄ etàHarali k[49℄ pour le al uld'erreurs on ernant unensemble

8

Autrestermesemployésdanslalittérature; ombinaisonmulti-experts, omitéde lassieurs,fusion

de lassieurset autres.

9

(34)

de lassieursBayesiens.Cependant, 'est àpartirdes années90quelessystèmesde

las-sieursontétémisen÷uvre on rètement,notammentdansle adredelare onnaissan e

de mots(Ho,1992[52℄)etde l'é rituremanus rite(Xuetal.,1992[112℄;Suenetal.,1990

[99℄, 1992[98℄).Ilest importantde pré iserqueletermesystème lassieurestutilisépar

la ommunauté des algorithmes génétiques (voirnotammentla thèse de Giani [38℄)dans

le sens d'un système expert dont le moteur de re her he est fondé sur un algorithme

gé-nétique pourgénérer des règlesde omportement,en intera tion ave son environnement.

Dans la RdF, l'obje tif est d'obtenir un système de lassieurs (i.e., une asso iation

de lassieurs)hautementperformantfondé surlesdé isionsd'unensemblede lassieurs

(Xuetal.,1992[112℄;plus ré emment,Gia intoetRoli,1999[35℄).Uneautremotivation

pour e typede systèmeréside dansla omplexitédes formes des lasses traitées;lorsque

les lasses sontmultimodalesou lorsqu'ellesse hevau hent, il devient di ile de les

mo-déliser, par e que leur représentation (par exemple, par des entres, des distributions de

probabilités ou des ensembles ous) devient ompliquée. Certes, il existe des méthodes

où interviennent des modèles de mélange (voir notamment les travaux de M La lan et

Basford[76℄)aptesàmodéliserdetelles lasses,maisdansles asoùlatailledel'ensemble

d'apprentissage est limitée, ette modélisation onduit àune sur-adaptationauxdonnées

disponibles qui ne représentent pas for ément bien les lasses réelles. En asso iant

dié-rents lassieurs(algorithmesdiérentset/ou onstru tionsdiérentes),onespèreobtenir

de meilleuresperforman es.Enn,dans le adre delare onnaissan e d'objetsévolutifs,il

est utile de déterminer lesstratégies d'asso iation lesmieux adaptées àl'aspe t temporel

des lasses dynamiques.

Lesintérêts de l'utilisationde systèmes de lassieurs sont lessuivants :

 Delamêmemanièrequ'une ara téristiquesupplémentairepermetàun lassieurde

mieux dé ider(à ondition qu'ellesoit omplémentaireauxautres ara téristiques),

un avis supplémentaire provenant d'un autre lassieur permet à un système

las-sieurs de mieux dé ider (à ondition que et avis soit omplémentaire aux autres

avis).

 Ce typed'asso iationsfavorise une appro he modulaireetrépartied'unsystème de

RdF.

 Lorsque pour un problème de RdF donné, ertaines ara téristiques sont réelles et

d'autres sontdis rètes ousymboliques,ilest souvent inévitabled'utiliserdeux

las-sieurs diérents. Grâ e à un espa e de dis ernement ommun, les avis des deux

lassieurs peuvent être fa ilement ombinés.

 Dans ertains as, la omplexité algorithmique (en phase d'apprentissage et/ou en

phase de lassement) peut être réduite si le traitement des données est réparti sur

plusieursniveaux.

(35)

las-sieurssurdiérentesintervallestemporels,etd'employer es lassieursenfon tion

du temps et/ou en fon tion de l'individu à lasser.

A tuellement,letyped'opérationleplus ourammentutilisépourasso ierlesdiérents

lassieurs d'unsystème est le type " ombinaison"des sorties de lassieurs(Gia intoet

al. [35℄). Ré emment, ertains her heurs ont étudié un autre type d'opération, appelé

"séle tion adaptative de lassieurs" (Gia into et al. [33℄) ou "séle tion dynamique de

lassieurs" (Ho et al. [53℄; Woods et al. [111℄). Cependant, il est à noter que la très

grande majoritédes travauxa tuels on ernent la ombinaisonseulement.

D'autres auteurs ont proposé d'utiliser les sorties de lassieurs individuels en tant

que ara téristiques d'entrée d'un autre lassieur (de "dé ision"), ee tuant

l'appren-tissage sur les dé isions de es lassieurs (Breukelen et al. [108℄; A hermann et Bunke

[1℄). Cetétat de l'art on erne,en plus de la ombinaisonde lassieurs,lestravaux

exis-tants(ànotre onnaissan e)dansle adred'autres stratégiesd'asso iationsde lassieurs.

Enn, très ré emment, une méthode de on eption automatique de "systèmes

multi- lassieurs" a été proposée (Gia into et al. [36℄). Sa proposition onsiste à hoisir un

ensemble de lassieurs de méthodes et/ou de paramètresdiérents,à séle tionner (ave

un ensembledevalidationdiérentde l'ensembledetest) lesous-ensembledes lassieurs

dont les performan es sont élevées. Ensuite, les lassieurs andidats qui font double

emploi( eux dontles erreurssont orrélées ave les erreursd'un ouplusieursautres

las-sieurs) sont éliminés. Enn, en phase de lassement, les sorties des lassieurs retenus

sont ombinéespar la règle de vote majoritaire.

Lors de la mise en ÷uvre d'un système de lassieurs, les phases né essaires à la

on eption du système de re onnaissan e restent les mêmes que pour un seul lassieur

( f. se tion pré édente), à la diéren e près qu'il s'agit, désormais, de onstruire une

asso iationde lassieurs etd'évaluer lesperforman es de et ensemble. Ci-dessous,nous

proposons une formalisationdes systèmes de lassieurs.

1.3.2 Dénition

Soit E = fe

i

g;i 2 [1;S℄, l'ensemble des lassieurs, où S est le nombre de

lassi-eurs intervenant dans le système de lassieurs et = f!

i g

i2[1;l ℄

, les diérentes lasses

d'interprétation. Un système de lassieurs doit permettre d'obtenir des performan es

supérieuresà ellesd'unseul lassieur.Ces performan es peuventêtredéterminéesselon

ertains ritères. Généralement, le taux de re onnaissan e ( f. se tion suivante) sur un

ensemble de test onstitue un bon ritère. Nous proposons de formaliser un système de

lassieurs (SC) à l'aide de ladénition 1 et d'unefon tion R.

Dénition 1 Un système de lassieurs est un ensemble de lassieurs asso iés mettant

en÷uvrela ombinaisonet/ou la oopérationet/ou laséle tionde lassieurs.Ilpeut être

déni formellement par un ensemble de lassieurs et un ensemble de relations entre es

(36)

SC :X !2

x7 ! =SC(x)

(1.1)

où x2X est un individu et  le ve teur de dé ision sur l'ensemble de puissan e 2

.

Unefon tionR peutreprésenterlesrelationsentreles lassieurs,lestermesr

ij

;i;j 2

[1;S℄ servant à qualier les types de relations entre deux lassieurs :

R : EE 7 !f0;1g; [ e 1  e j  e S ℄ R = 2 6 6 6 6 6 6 6 4 r 11  r 1j  r 1S . . . . . . . . . . . . . . . r i1  r ij  r iS . . . . . . . . . . . . . . . r S1  r Sj  r SS 3 7 7 7 7 7 7 7 5 2 6 6 6 6 6 6 6 4 e 1 . . . e i . . . e S 3 7 7 7 7 7 7 7 5 Les relations r ij

peuvent prendre deuxvaleurs :

1. r

ij

=0: Pouri6=j, le lassieur e

i

nefournit pas d'informationsau lassieur e

j .

Si i=j, le lassieur e

i

n'est pas séle tionné.

2. r

ij

=1 : Le lassieur e

i

fournit des informations au lassieur e

j

(exemple : il lui

fournit sonve teurde dé ision).Lasortiede e dernier est ombinée ave ellesdes

autres lassieurs.Si i=j (e

i

oopère ave lui-même),la sortiedu lassieur e

i est

également à ombiner.

Les relations dépendent des types de lassieurs impliqués. Chaque lassieur peut

se omporter d'une manière diérente des autres lassieurs et haque lassieur peut

fon tionner ave un espa e des ara téristiques diérent de eux des autres lassieurs.

Cependant, les lassieurs doivent ontribuer (éventuellement, à diérents niveaux) à

une tâ he ommune qui onsiste à lassier un individu. Les dé isions des lassieurs

individuels doivent ensuite être ombinées selon l'ar hite ture retenue an d'obtenir une

dé ision nale quisera alors lasortie du système.

Si la fon tion R est onstante, alors la séle tion de lassieurs est statique. Dans le

as ontraire, la séle tion est adaptative ou dynamique (nous ferons la distin tion entre

es deux types de séle tion dans la se tion onsa rée à la séle tion de lassieurs). Dans

l'exemplesuivant,R

1

représente un systèmede lassieursmulti-niveaux(équivalentàla

(37)

R 1 = 2 6 6 6 4 0 1 0 0 0 1 0 0 0 1 0 0 0 0 0 1 3 7 7 7 5 (1.2)

Combinaison (Fusion)

e

2

1

e

e

3

e

4

Fig. 1.2  Exemple de Système de Classieurs (selon R

1 ) : les lassieurs e 1 et e 3

four-nissent des informations au lassieur e

2

( ar r

12

= 1 et r

32

= 1), les dé isions des

lassieurse 2 (r 22 =1)ete 4 (r 44

=1)sont ombinéespourobtenirunve teurde dé ision

nal.

1.3.3 Ar hite ture

La gure1.3illustre lesintera tions possibles entre lesdiérents lassieurs d'un

sys-tème mettant en ÷uvre les diérentes opérations de ombinaison, de oopération et de

séle tion. Les liaisonsen pointillés, entre les diérents "modules" représentent des

infor-mationsdiverses. Ces informationspeuvent être ommuniquées à lafois lorsde

l'appren-tissageet lorsdu lassement. En e sens, lemodule de séle tionest un moduleintelligent

qui retient un ertain nombre d'informations issues de la phase d'apprentissage et les

utilise dans laphase de lassement. Un lassieur peut transmettreses dé isionsà un ou

plusieursautres lassieurs.

Exemples d'informations é hangées :

 Le lassieur e

1

ommunique àe

3

son ensembled'apprentissage (phase

d'apprentis-sage du système),

 Le lassieur e

1

informe le module de séle tion qu'il faut prendre ou non en

onsi-dérationla sortie du lassieur e

3

(phase de lassement),

 Le module de séle tion "demande une réponse" à e

1

et e

2

, on ernant un individu

(38)

1

e

e

2

e

3

x

x

x

d

1

d

2

d

3

1

2

3

Sélection d’un

ou plusieurs

classifieurs

Sélection

1

l

l

2

l

3

l

Décision

Combinaison (Fusion)

Fig. 1.3  Système de lassieurs ee tuant les diérents opérationsde ombinaison,de

oopération etde séle tionde lassieurs.

Les liaisons en traits pleins représentent les ara téristiques ( elles qui sont barrées

de traits) ou les dé isions (barrées de roix). Dans ette onguration, les ve teurs de

ara téristiques X 1 , X 2 et X 3

on ernent un même individu à lasser, mais ils peuvent

être diérents lesuns des autres. Sion dispose de d ara téristiques, ona d

1 d, d 2  d etd 3 d. Les lassieurse 1 ,e 2 ete 3

n'ont pas né essairement unespa e de dis ernement

ommun. La dimension de étant l, on a l

1  l, l 2  l et l 3  l. Lorsque un seul

lassieur est séle tionné, il n'y pas d'opération de ombinaison. Par ontre, si on veut

retenir les résultats de plusieurs lassieurs an de les ombiner, il sera alors préférable

que les lassieurs séle tionnés aient un espa e de dis ernement ommun. Lorsque ette

dernière ontrainten'estpasrespe tée, 'est,en général,àtraverslathéoriedes royan es

que la ombinaison est traitée.

Exemple : Dans le as où la séle tion pré onise le hoix des résultats des lassieurs

e 1

et e

2

, ilest préférableque lesl lasses soient les mêmesd'un lassieur à un autre;

( l 1 =l 2 =l et 1 = 2 = (1.3)

Le module de séle tion peut être fondé sur un algorithme de atégorisation dont le

résultatpeutêtreutiliséen lassementpourséle tionnerdes lassieurs.( 'estle aspour

le système 3C, proposé au hapitre3). D'autre part, un lassieur e

i

peut lui-mêmeêtre

(39)

1.3.4 Taxonomie des systèmes de lassieurs

Ré emment, Gia into et al. [35℄ ont insisté sur la possibilité de faire intervenir

dié-rents types d'opérations dans lessystèmes de lassieurs. En plus de l'opération

" ombi-naison"des sortiesde lassieurs, des her heurs ont ré emment introduit d'autres types

d'opérations.Gosselin[39℄utilise lestermes de oopération et ombinaison dans le même

sens. FrankeetMandler [32℄font également ette onfusiontout en proposantdeux types

d'assemblagesdiérents;"lessorties ombinéesde lassieurs oopérantsservantde

ara -téristiquesàun lassieur deplushautniveau"ou" ombinaisondessortiesde lassieurs

s'interprétant ommedes votes de spé ialistesautomatiques possédant ha un un ertain

point de vue sur l'individu en entrée". Nous appelons es deux types d'asso iations

o-opération de lassieurs et ombinaison ou fusion de lassieurs, respe tivement. Nous

proposonsdedistinguer lessystèmesde lassieursen quatre atégories(gure1.4),selon

les types d'opérationsentre les lassieurs :

 ombinaisonde lassieurs,

 oopérationde lassieurs,

 séle tionde lassieurs,

 systèmes hybrides ou mixtes.

Combinaisonde lassieurs Coopération de lassieurs Séle tion de lassieurs

Type 1 Type2 Type 3

Systèmesde lassieurs

Fig. 1.4  Les diérents types d'asso iations de lassieurs. Si un système opère ave

plusieurstypes d'asso iations, lesystème est dithybride.

Lesdeuxpremierstypesd'opérations(ouasso iations)apparaissentégalement omme

despréo upationsmajeuresdansla ommunautédes réseauxde neurones.SelonSharkey

[95℄, ette ommunauté utilise prin ipalement deux termes; ombinaison d'un ensemble

(de lassieurs) et ombinaison de modules (de lassement). Ainsi,le terme ombinaison

est i iutilisédanslesensd'asso iation.Selon et auteur,"dansun ensemble,lesréseaux

sont redondants dans le sens où ils fournissent tous une solution pour une même tâ he

(de lassement). Par ontre, l'appro he modulaire onsidère qu'une tâ he est dé omposée

en plusieurs sous-tâ hes et qu'une solution omplète de la tâ he né essite la ontribution

de plusieurs modules (même si des entrées individuelles peuvent être traitées par un seul

de es modules)". Il est lair que l'appro he ensemble est une expression de la

(40)

de lassieurs. Le ontenu des dernières parenthèses de ette itation fait impli itement

allusion àlaséle tion(adaptative, voir ladénition de e terme plus loin)de lassieurs.

L'auteur pré ise également que la notion de séle tion des membres d'un ensemble a été

abordée dans un ertain nombre de publi ations et propose de s'en servir expli itement.

Sa proposition est de déterminer lesperforman es des diérents ensemblesde lassieurs

(parmi un plus grand nombre, xe, de lassieurs) et e i en les testant (méthode "test

andsele t")surunensembledevalidation,diérentàlafoisdel'ensembled'apprentissage

et de l'ensemble de test. Mais les in onvénients de ette appro he sont que, d'une part,

la phase de validation/ onstitution d'un ensemble né essite un eort de séle tion/mise

au point important etd'autre part, que l'ensemble retenu est xe et ne peut hanger en

fon tion d'un individu à lasser.

Certains auteurs, en s'intéressant aussi à la omplexité des algorithmes, ont proposé

d'ee tuer des ombinaisons onditionnelles. Ainsi, Gosselin [39℄ propose de lasser les

lassieurs selon leur performan es et de traiter un individu in onnu par le premier

lassieur. Il propose d'a epter sa dé ision, si l'individu n'est pas rejeté. Dans le as

ontraire,ladé isionseraprise suiteàla ombinaisondupremier lassieur ave lasortie

dudeuxième lassieur.Lemêmeraisonnementpeuts'appliquer,jusqu'à equel'individu

soit lassé ou que les sorties de tous les lassieurs soient ombinées. Cette ombinaison

onditionnellepermetde réduirelestempsd'exé ution e a ement.L'in onvénientest la

né essité de xer de multiples seuils de rejets asso iés auxdiérentes dé isions.

Le tableau de la gure 1.8, en n de e hapitre, présente de façon synthétique les

travaux existants. Ces travaux sont présentés selon la taxonomie i-dessus ainsi qu'en

fon tiondestypesdespé ialisationsdes lassieurs.Danslase tionquisuit,nousverrons

que es spé ialisationssontd'uneimportan eprimordialedans le adrede la ombinaison

de lassieurs.

1.4 Performan es des lassieurs et des systèmes de

lassieurs

1.4.1 Les diérentes appro hes

Le al ulde lamatri ede onfusion(voirplus loin)est lasolutionlaplus onnue etla

plus employée. Cependant, d'autres mesures, telles que elles issues de la théorie de

l'in-formation existent. Ré emment,Loonis [73℄ aproposé l'Outild'Analyse Informationnelle

(OAI) fondé sur la théoriede l'information,qui évalue la qualité d'une méthode de RdF

lasse par lasse.

L'ensemble des individus disponibles est souvent divisé en plusieurs sous-ensembles.

Le plus souvent, et ensemble est divisé en deux, lamoitié servant àl'apprentissage

(en-semble d'apprentissage), l'autre moitié (ensemble de test) servant à tester le lassieur

ou le système. Sharkey [95℄ subdivise l'ensemble en trois sous-ensembles (pas for ément

(41)

las-sieursen fon tionsde leurs performan es (validationdes lassieurs). Twomey etSmith

[104℄ utilisent une te hnique de validation roisée : si on dispose de n individus, on se

sert de (n 1)individus pour l'apprentissage,puis onutilise l'individu qui reste pour la

validation,et e i dans lesn voies possibles.

1.4.2 La matri e de onfusion

Pour dénir ette matri e,dénissonsd'abord letauxde re onnaissan e etle tauxde

onfusion.Soitl,lenombrede lassesréelles.Soientn

ii

,l'ee tifdesindividusappartenant

à une lasse i (d'après un expert) et ae tés à une même lasse i (par un lassieur), et

n ij

, l'ee tif des individus appartenant à une lasse i et ae tés à une lasse j (i et j

2[1;l℄). Letaux de re onnaissan e est letaux des ee tifs orre tement lassés.

Dénition 2 Le tauxdere onnaissan eglobal

g

estlerapport delasommedeséléments

n ii

sur l'ee tif total de l'ensemble d'apprentissage.

 g =  l i=1 n ii  l i=1  l j=1 n ij (1.4)

Dénition 3 Le taux de onfusion est la mesure duale du taux de re onnaissan e :

f g

=1 

g

(1.5)

La matri ede onfusion dont les termes interviennent dans l'équation 1.4 est dénie

par la matri eM telque;

M= 2 6 6 6 6 6 6 6 4 n 11  n 1j  n 1l . . . . . . . . . . . . . . . n i1  n ij  n il . . . . . . . . . . . . . . . n l 1  n l j  n l l 3 7 7 7 7 7 7 7 5 (1.6)

Dans ette dénition, les termes de la matri e sont exprimés en nombre d'individus,

mais souvent, ils sont aussi exprimés en pour entages de la lasse réelle i. Cal ulée en

lassant l'ensemble d'apprentissage, ette matri e peut servir dans le adre de la

ombi-naisonde lassieurs. Eneet, Xuetal.[112℄etplusré emment,Parker[82℄,ontproposé

d'utiliser ette matri e pour la détermination des probabilités a priori servant àla

om-binaison.

1.5 Combinaison de lassieurs

La ombinaison de lassieurs

10

se pla e dans le adre plus général de ombinaison

multi-sour es. Les problèmes ren ontrés sont eux que l'on retrouve aussi dans les

do-maines suivants:

10

Références

Documents relatifs

[r]

Variantes de la base d’apprentissage obtenues par tirages aléatoires avec remise depuis la base initiale. (sorte de « bootstrap » duplication/disparition aléatoires de

[r]

[r]

Zaidou tire une boule au hasard et gagne s’il sort une boule blanche.. • Djelan dit "J’ai une chance sur deux

Considérons l’application g qui au point M associe l’isobarycentre des points M, M’

Un code pour le cadenas est donc un nombre constitué de 6 chires, chacun d'entre eux provenant d'une des roues. (Les réponses aux questions suivantes devront être précisément

PETIT GUIDE DE CALCUL