HAL Id: tel-00631621
https://tel.archives-ouvertes.fr/tel-00631621
Submitted on 12 Oct 2011
HAL is a multi-disciplinary open access
archive for the deposit and dissemination of
sci-entific research documents, whether they are
pub-lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.
L’archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d’enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.
coopération et sélection de classifieurs
Veyis Gunes
To cite this version:
Veyis Gunes. Reconnaissance des formes évolutives par combinaison, coopération et sélection de
classifieurs. Apprentissage [cs.LG]. Université de La Rochelle, 2001. Français. �tel-00631621�
E
L
L
E
O
R
A
L
P^ole S ien es E ole do toraleRe onnaissan e des formes évolutives par ombinaison,
oopération et séle tion de lassieurs
TH ESE
presentee le15 O tobre 2001
pourl'obtention du
Do torat de l'Universite de La Ro helle
(spe ialite informatique)
par
Veyis GUNES
Composition du jury
Rapporteurs : J.G. POSTAIRE ProfesseurdesUniversites
U.S.T.L.Lille
M. ROMBAUT ProfesseurdesUniversites
I.U.T.de Troyes
Examinateur : J.MITERAN Ma^trede Conferen es
Universitede Bourgogne
Dire teur dethèse : P.ESTRAILLIER ProfesseurdesUniversites
Universitede La Ro helle
Co-dire teurs : P.LOONIS Ma^trede Conferen es
Universitede La Ro helle
M. MENARD Ma^trede Conferen es
THESE
présentée le 15O tobre 2001 pour l'obtention du
Do torat de l'Université de La Ro helle
(spé ialité informatique)
par
Veyis GUNES
Composition du jury
Rapporteurs : J.G.POSTAIRE Professeurdes Universités
U.S.T.L. Lille
M.ROMBAUT Professeurdes Universités
I.U.T.de Troyes
Examinateur : J.MITERAN Maître de Conféren es
Université de Bourgogne
Dire teurde thèse : P. ESTRAILLIER Professeurdes Universités
Université de La Ro helle
Co-dire teurs : P. LOONIS Maître de Conféren es
Université de La Ro helle
M.MENARD Maître de Conféren es
Jeremer ietoutd'abordM.Ja k-GérardPostaire,Professeuràl'UniversitédesS ien es
et Te hnologies de Lille, etMlle Mi hèle Rombaut, Professeur à l'I.U.T. de Troyes, pour
avoir soigneusement rapporté e mémoire et pour leur parti ipation au jury. L'intérêt
qu'ils ont porté à e travail, leurs nombreuses remarques et suggestions m'ont beau oup
tou hé.
J'aiététrès sensibleàl'honneurquem'a faitM.JohelMitéran,MaîtredeConféren es
à l'Université de Bourgogne,en parti ipant aujury en tant qu'examinateur.
J'adresse mes plus vifs remer iements à M. Pierre Loonis et à M. Mi hel Ménard,
Maîtres de Conféren es à l'Université de la Ro helle, pour leur investissement dans mes
travauxde re her hes ainsi quepour leurs pré ieux onseils.
Jeremer iesin èrementM.Pas al Estraillier,professeurà l'Universitéde LaRo helle
et dire teur du LaboratoireL3i,pour ladire tion de mathèse, bien sûr, mais aussi pour
ses qualités humaineset relationnelles.
Enn, que l'ensemble des membres du laboratoire L3i soient remer iés. Je pense en
parti ulier àBertrandVa hon, Rémy Mullot, PierreCourtellemont,Jean-Christophe
Bu-rie, Christophe Demko, Thierry Bouwmans, El-Hadi Zahzah, Carl Freli ot et tous les
Notations prin ipales 11
Table des gures 13
Liste des tableaux 17
Introdu tion 19
Chapitre 1
Combinaison, oopération et séle tion de lassieurs
1.1 Introdu tion . . . 25
1.2 La RdF etle lassieur . . . 26
1.2.1 Les étapes de la RdF . . . 26
1.2.2 Le lassieur . . . 27
1.2.3 Taxonomies de lassieurs . . . 28
1.3 Les systèmesde lassieurs . . . 30
1.3.1 Obje tifset intérêts . . . 30
1.3.2 Dénition . . . 32
1.3.3 Ar hite ture . . . 34
1.3.4 Taxonomie des systèmes de lassieurs . . . 36
1.4 Performan es des lassieurs etdes systèmes de lassieurs . . . 37
1.4.1 Les diérentes appro hes . . . 37
1.4.2 La matri ede onfusion . . . 38
1.5 Combinaisonde lassieurs . . . 38
1.5.1 Combinaisonusuelles . . . 41
1.5.2 Combinaisonpar vote . . . 42
1.5.4 Combinaisonpar la Théoriede l'Eviden e . . . 42
1.5.5 Autres adres théoriques de la ombinaison. . . 45
1.6 Coopérationde lassieurs . . . 45
1.7 Séle tion de lassieurs . . . 46
1.8 Système de lassieurs hybride . . . 48
1.9 Con lusion . . . 51
Chapitre 2 Aspe ts statiques et dynamiques de la RdF 2.1 Introdu tion . . . 55
2.2 Objets dynamiques . . . 57
2.3 Quelquesmodèles de lasses dynamiques . . . 59
2.4 Quelquesexpérimentations . . . 60
2.4.1 Classement Bayesien . . . 61
2.4.2 Génération de distributions Gaussiennes . . . 62
2.4.3 Proto ole expérimental . . . 64
2.4.4 Dégradations dues aux dépla ements des entres de lasses . . . 65
2.4.5 Dégradations dues aux variationsdes densités de lasses . . . 65
2.5 Re onnaissan e de lassesdynamiques . . . 67
2.5.1 Appro he 1 : Rendrestatique un problème dynamique . . . 69
2.5.2 Appro he 2 : Rendredynamique le système de re onnaissan e . . . 69
2.6 Choix d'une appro he pour les évolutions périodiques . . . 70
2.6.1 Critères de hoix . . . 70 2.6.2 Algorithme . . . 72 2.7 Con lusion . . . 73 Chapitre 3 Coopération de lassieurs 3.1 Introdu tion . . . 77
3.2 Uneméthode de oopérationde lassieurs . . . 78
3.3 Détermination des ensembles d'apprentissage . . . 79
3.3.1 Coales en e oue . . . 79
3.3.2 Coales en e ave rejet d'ambiguïté . . . 81
3.3.3 Le on ept d'ambiguïté: frontièresdans lesproblèmes de oales en e 82 3.3.4 Distan e à une CCA . . . 85
3.4 Une fusionmulti- lassieursparallèleet adaptée . . . 86
3.4.1 La pro édure de oales en e: Module de séle tion . . . 87
3.4.2 Les lassieurs . . . 88 3.4.3 Module de fusion . . . 88 3.4.4 Algorithmes . . . 89 3.5 Appli ation . . . 91 3.5.1 Données synthétiques . . . 91 3.5.2 Résultats . . . 91
3.6 Inuen es des paramètres . . . 94
3.6.1 Inuen e du taux de rejet de distan e . . . 94
3.6.2 Inuen e du taux de rejet d'ambiguïté . . . 98
3.6.3 Ambiguïtéélevée . . . 98
3.6.4 Frontières de dé isions . . . 98
3.6.5 Autres types de ombinaisons . . . 98
3.7 Con lusion . . . 103
Chapitre 4 Une plani ation temporelle de systèmes de lassieurs 4.1 Introdu tion . . . 107
4.2 Problématique . . . 107
4.3 Représentation de onnaissan es dynamiquespar des réseaux de Petri ous 109 4.3.1 RPF pour leraisonnement . . . 110
4.3.2 RPF pour onnaissan es dynamiques . . . 111
4.3.3 Exemple de RPF . . . 112
4.4 Synthèse d'un Réseau de Petri Flou . . . 113
4.4.1 Aspe t dynamique de l'apprentissage . . . 113
4.4.2 Algorithmede onstru tiondu système de RdF . . . 115
4.5 Aspe t statique de l'apprentissage . . . 117
4.6 Fon tionnementdu système de RdF . . . 117
4.7 Validation . . . 117
4.7.1 Données synthétiques . . . 117
4.7.2 Apprentissage . . . 119
4.7.4 Variationdu nombre de positions dans une période. . . 124
4.7.5 Variationdu seuil de onfusiontolérée . . . 124
4.7.6 Variationde l'é art-type des distributions . . . 128
4.7.7 Autre type de traje toire . . . 128
4.7.8 Autres positions initiales . . . 132
4.8 Con lusion . . . 137
Con lusions et perspe tives 139 Bibliographie 143 Annexe A Résultats de l'algorithme 3C ave les données ELENA 151 A.1 Lesdonnées ELENA utilisées . . . 151
A.2 Inuen e de l'ambiguïté . . . 152
A.3 Résultatspour optimal . . . 153
A.4 Compromis entre pré isionet généralisation . . . 153
A.5 Résultatssur un ensemble de test . . . 155
Annexe B Robustesse de l'algorithme RCD-RPF 159 B.1 Robustesse aux hevau hements des lasses . . . 159
B.2 Robustesse aux évolutions des traje toires . . . 159
x k Ve teur deFormek v i Centre de lassei
X Ensemblede ve teursde Formes
X l r Ensembled'apprentissage X t Ensemblede test
Classe Ensembled'individus ayant,selon unexpertouselon un lassieur, une
même interprétation
l Nombre de lassesréelles (d'aprèsl'expert)ou d'interprétation(d'après
un algorithmede lassement)
i
Classe i, réelle (d'après l'expert) ou d'interprétation (d'après un
algo-rithmede lassement)
Ensembledes lasses (réelles) d'interprétation
Nombre de lasses obtenues par un algorithme de lassi ation
(single-tons) !
i
Classe de oales en e i
Ensemble des lasses d'interprétation = Cadre de dis ernement =
Uni-vers dudis ours
CC Classe de oales en e
CCA Classe de oales en e derejet d'ambiguïté(enAnglais: luster)
R PF Réseaude Petri Flou
P i Pla e id'unR PF T i Transition id'unR PF e i Classieur i SC Système de lassieurs
1.1 Lesdiérentesétapes dela onstru tion d'unsystème de lassement. . . 27
1.2 ExempledeSystème deClassieurs(selonR
1 ):les lassieurse 1 ete 3 fournissent
des informations au lassieur e
2
( ar r
12
= 1 et r
32
= 1), les dé isions des
lassieurse 2 (r 22 =1) ete 4 (r 44
=1) sont ombinéespourobtenir unve teur de
dé ision nal. . . 34
1.3 Système de lassieurs ee tuant lesdiérentsopérationsde ombinaison, de
o-opérationetde séle tion de lassieurs.. . . 35
1.4 Les diérents types d'asso iations de lassieurs. Si un système opère ave
plu-sieurs typesd'asso iations,lesystèmeest dithybride.. . . 36
1.5 Système de lassieursee tuant la ombinaisonde lassieurspourunproblème
à l lasses etd ara téristiquesdisponibles. . . 39
1.6 Système de lassieursee tuant la oopération de lassieurs. . . 46
1.7 Système de lassieursee tuant laséle tion de lassieurs. . . 48
1.8 Exemplesdetravaux on ernantlessystèmesde lassieurs.Anotre onnaissan e,
ertaines solutions n'ont pasen ore ététraitées ( asesvides). . . 50
2.1 Lesdiérentessituationsdans le adrede laRdF. . . 57
2.2 Passage d'uneproblématique de RdFàune autre. . . 58
2.3 Distributionsàl'origine(Y =30),traje toiresetdistributionsnalesdes3 lasses.
La duréeentredeux passu essifsest
t
=12. . . 66
2.4 Evolutiondestauxre onnaissan epour les3 lassesd'individus.Lestaux
on er-nant les lasses 2 et 3 nissent par s'annuler ar elles sont onfondues ave une
autre lasse. . . 66
2.5 Distributions àl'origine (zonesplus sombres) etdistributions nales des3 lasses. 68
2.6 Evolution destauxre onnaissan e pour les 3 lasses d'individus. . . 68
2.7 Les diérentes étapes d'unsystème de lassement, dansle asoù les lasses
évo-luent périodiquement. . . 69
2.8 Exempledeproblèmeàdeux lasses:pasde roisementdetraje toires,lase onde
lasse estbimodale. . . 70
2.9 Exemple de problème à deux lasses :il y a roisement entre les traje toires des
deux lasses.. . . 71
3.1 Partition des ensembles d'individus d'apprentissage, X
l r
X, lorsque le rejet
d'ambiguïtéest exer é. f!
1 g,f! 2 g,f! 3 g :CCs;! 12 =f! 1 ;! 2 g,! 23 =f! 2 ;! 3 g : CCAs. . . 79
3.2 Un lassieur est asso ié à haque CC. L'ensemble d'apprentissage, S !i
du
las-sieur e
i
, est déni sur !
i
et ses CCAs asso iées (par exemple, la CCA !
12 est asso iéeà ! 1 età ! 2 . . . 80 3.3 Prin ipe dela oopération. . . 80
3.4 La gure (a) illustre la partition de l'espa e de représentation en trois CCs. La gure (b) illustre la partition de l'espa e de représentation lorsque le on ept d'ambiguïté est appliqué. Nous asso ions une CCA à ha un des sous-ensembles A22 nf;;(f! i g) i2[1;3℄ g. . . 82
3.5 Lafon tion d'appartenan emaximale dansleplanfa toriel prin ipaldesdonnées IRIS, parmi lestroisCCs, ave m=1:2et=0:8. Distan ede Mahalanobis. . . 87
3.6 Lafon tion d'appartenan emaximale dansleplanfa toriel prin ipaldesdonnées IRIS, parmi lesquatreCCAs,ave m=1:2 et=0:8. Norme deMahalanobis. . 88
3.7 Laprisededé isionestlerésultatdelafusiondessortiesdes lassieurslesmieux adaptés. . . 89 3.8 Ensembled'apprentissage: X l r X. . . 92 3.9 Ensemblede test:X t X. . . 93
3.10 Résultats obtenus ave notreméthode de oopération (3C) pour =2. Les indi-vidusentourés (6parmi 210) sont euxqui sontmal lassés. . . 93
3.11 Masses ae tées à la lasse 2, ave rejet de distan e (T = 5), d'où la limitation dansun er le dont lerayon dépenddu taux derejet de distan e hoisi. . . 95
3.12 Massesae tées àla lasse2,sansrejet dedistan e(T !1). Onvoitapparaître lesfrontières entreles deux lasses (iso-masses). . . 96
3.13 Massesae tées àla lasse 1,ave ou sansrejet de distan e. . . 96
3.14 Inuen edeT surlesfrontièresdedé isionsdela lasse2pour T =3:5(et=0:1). 97 3.15 Inuen ede T surlesfrontières de dé isions dela lasse 2pour T =7 (et=0:1). 97 3.16 Iso-massesde la lasse 2pour =0:048(T =5). . . 99
3.17 Iso-massesde la lasse 1pour =0:048. . . 99
3.18 Iso-massesde la lasse 2pour =0:03(T =5). . . 100
3.19 Iso-massesde la lasse 1pour =0:03. . . 100
3.20 Lesrégionsobtenues pour =0:048etT =5.. . . 101
3.21 Lesrégionsobtenues pour =0:02etT =5. . . 101
4.1 Représentation d'unerègle de produ tionoue par un RPF. . . 112
4.2 Représentation de onnaissan e dynamiquepar unRPF. . . 113
4.3 Constru tion desfon tions d'appartenan edes transitions Tn (t)etde elles des jetons Pn (t). . . 116
4.4 Fon tionnement du système de RdF proposé et prin ipe de lassement d'un in-dividu in onnu x : haque pla e (P i ) est asso iée à un état du système de RdF et haque état du système est représenté par un lassieur ou un Système de Classieurs (SC). L'individu x est lassé par le SC dont l'état du système est adaptéàl'instant onsidéré.PlusieursSCs(les mieuxadaptés)peuventégalement ontribuerà lasserl'individu à travers unephase defusion etdedé ision. . . 118
4.5 Exemple de problème à deux lasses, dont les traje toires sont elliptiques. La position 1 estsuperposée ave laposition10. Pour les autres positions,seules les entres de lasses sont représentées. . . 119
visibles surla ourbe.. . . 121
4.8 Résultat de l'apprentissage des diérentes positions des entres de lasses (pour
les diérentsétats indiqués surlagure).. . . 122
4.9 Pla es (états) su essivesettransitions (événements) obtenues àlan du y le3. 122
4.10 Fon tions d'appartenan e des transitions
Tn
(t) (pour les transitions T
1
à T
4 ).
Onpeut onstaterqueles fon tionsgénéréessontnon symétriqueset desupports
diérents (don adaptées àl'appli ation envisagée). . . 123
4.11 Fon tionsd'appartenan edesjetons
Pn
(t)d'initialisationdespla esP
n
.Onpeut
onstaterquelesfon tionsgénéréessontnonsymétriquesetdesupportsdiérents
(don adaptées à l'appli ation envisagée). . . 123
4.12 Fon tions d'appartenan e des jetons
Pn
(t) obtenues pour les diérentes pla es
P n
,résultantsdel'opérationt-normeentrelafon tionde satransitiond'entrée et
ellede lapla e d'entrée de ette transition. . . 125
4.13 Evolution dutaux de re onnaissan een lassement (ave X
t
=X
l r
etune même
évolutiondansletemps). Les hutessontminimes arlesystèmedeRdFanti ipe
l'évolutiondes lasses. . . 125
4.14 Evolution dutaux de re onnaissan e en lassement ave fusion(ave X
t
=X
l r ).
Lesrésultatssont amélioréspar lafusiondessortiesdes lassieurs pour lesdeux
états les plusvalides. . . 126
4.15 Evolutiondutauxde re onnaissan een lassement ave bruit(
entres =1,X t 6= X l r
)etsansfusion.Peudedégradationdueaubruit:lesystèmedeRdFestrobuste.126
4.16 Evolutiondutauxde re onnaissan een lassement ave bruit(
entres =1,X t 6= X l r
)et ave fusion.Le résultat estégalement amélioré. . . 127
4.17 Inuen edu nombrede positionspour =8(ave f
i
=0:1).Plus le
hevau he-ment peut être important et plus le nombre d'états générés sera élevé. Dans e
as, lenombre de positionsinue peu. . . 128
4.18 Les deux lasses dansles positions 0 et10 ave leurs traje toires pour =8 (et
n p
=256 positions). . . 129
4.19 Inuen edu seuilde onfusion tolérée(pour =8 etn
p
=256 positions). . . 129
4.20 Inuen e de l'é art-type des distributions des deux lasses (pour f
i
= 0:1 et
n p
=256 positions). . . 130
4.21 Les deux lasses dansles positions 0 et16 ave leurs traje toires (pour =2 et
n p
=256 positions). . . 130
4.22 Positions des entres de lasses pourles diérents états. . . 131
4.23 Initialisation 1 :les deux lasses dansles positions 0et 16 ave leurs traje toires
(pour =5etn
p
=256 positions). . . 132
4.24 Initialisation 1 : positions des entres de lasses pour les diérents états (pour
=5 etn
p
=256 positions). . . 133
4.25 Initialisation 1 :marquages obtenus au ours du temps (pour =5 et n
p
=256
positions). . . 133
4.26 Initialisation1:tauxde re onnaissan eenapprentissage(pour =5etn
p
=256
positions).Le taux de onfusion toléré surune lasseestde f
i
=10 %. . . 134
4.27 Initialisation 1 : taux de re onnaissan e en lassement (pour = 5 et n
p
= 256
4.28 Initialisation 2 :les deux lasses dans les positions 0 et 16 ave leurs traje toires
(pour =5 etn
p
=256 positions). . . 135
4.29 Initialisation2:positions des entresde lassespour lesdiérentsétats (=5et
n p
=256 positions). . . 135
4.30 Initialisation 2 : taux de re onnaissan e en apprentissage ( = 5 et n
p
= 256
positions). Le taux de onfusion tolérésur une lasse estde f
i
=10 %. . . 136
4.31 Initialisation 2 : taux de re onnaissan e en lassement ( = 5 et n
p
=256
posi-tions). Le tauxde re onnaissan eglobal reste supérieur ou égalà 96%.. . . 136
A.1 Lesdeux lasses desdonnées louds. . . 152
A.2 Degrésd'appartenan emaximalesparmilesappartenan es aux3 ensembles
d'ap-prentissage. . . 153
A.3 Iso-massesde la lasse
1
pour =0:7 (T =5). . . 154
A.4 Régions/frontières obtenues pour = 0:7 (T = 5). Les régions laires
orres-pondent à la lasse1.. . . 154
A.5 Iso-massesde la lasse
1
pour =0:38 (T =5). . . 155
A.6 Régions/frontières obtenues pour = 0:38 (T = 5). Les régions laires
orres-pondent à la lasse1.. . . 156
A.7 Régions/frontières obtenues ave un seul lassieur Bayesien. Les régions laires
orrespondent à la lasse 1. On onstate que le premier mode de la lasse 1 est
omplètement ignoré. . . 156
B.1 Lesdeux lassesdanslapositioninitialeetdanslaposition156(ave latraje toire
de haque lasse). . . 160
B.2 Evolutiondutauxdere onnaissan eenapprentissagelorsqu'ilya hevau hement
des lasses. . . 160
B.3 Evolution du taux de re onnaissan e en lassement lorsqu'il y a hevau hement
des lasses. . . 161
B.4 Les traje toires de lasses lors de l'apprentissage et lors du lassement (+5 et-5
surla ara téristique 1 de la lasse 1 et2 respe tivement). Lesdeux lasses sont
représentées danslapositioninitialeen apprentissage et en lassement. . . 161
1.1 Exemplesde lassieurs et de travaux on ernant les lassieurs,en fon tion des
typesde sorties etdestypesd'apprentissage. . . 30
1.2 Comparatifde quelquestravaux ré ents. . . 49
3.1 Exemple deSystème d'Information pour le on ept "appartenant à!
1
". . . 84
3.2 Partition nettede X
l r
obtenue par l'algorithmeF +2M(pour entages) pour =
2 :
1
et
2
sont les lassesréelles;!
1 et! 2 sont les CCs;! 12 est laCCA. . . 92 3.3 Partition nette de X l r
obtenue par l'algorithme F +2M pour =3 :Il ya trois
CCset4 CCAs possibles(2 d'entre elles, !
12
et !
13
,existent réellement). . . 94
3.4 Algorithme 3C;Matri ede onfusion pour =2. . . 94
3.5 Comparaisonave le lassieurBayesien:lemauvais résultatdu lassieur
Baye-sien vientdu faitque ladeuxième lasseestbimodale. . . 94
3.6 Inuen esdeT etde surletauxde re onnaissan e(en%)del'ensembledetest
etsurn
a
. . . 95
4.1 Centresdes lasses obtenus pourles diérentsétats(4)dusystème(après le y le
3). . . 121
4.2 Tauxglobalde onfusionengendrantdes hangementsd'états(leseuilde onfusion
tolérée surune lasseestde 10 %.. . . 121
4.3 Nombred'états dansunepériodepourdiérents (seuil de onfusion f
i
toléré :
10 %). . . 127
4.4 Centresdes lasses obtenus pourles diérentsétats(4)dusystème(après le y le
3). . . 131
A.1 Paramètres des3distributions dela lasse
1
. . . 151
A.2 Inuen e de surle taux de re onnaissan ede l'ensemble d'apprentissage (pour
=3). . . 152
A.3 Matri e de onfusion sur un ensemble de test (pour = 3), ave un taux de
re onnaissan e global de85.75 %. . . 157
A.4 Comparaison ave le lassieurBayesien:lemauvais résultatdu lassieur
Dans le but de omprendre le fon tionnement de la vision et de la re onnaissan e,
un ertain nombre d'équipes étudient les relations possibles entre la per eption visuelle
et l'a tiviténeuronale sous-ja ente dans le erveau. On peut iter, plus parti ulièrement,
l'équipedu LauréatNobelFran isCri ketde ChristofKo h[65℄.Enre onnaissan e
arti- ielle,l'obje tifest,selon Simon[96℄,de "re ueillirlesdonnées d'un apteur, 'est-à-dire
une représentation (lesigniant
1
), et en obtenir une ou des interprétations (les signiés)
par l'exé ution d'algorithmes". Une autre dénition, qui fait allusion à l'aspe t
tempo-rel, est la suivante : à partir d'exemples de Formes et de dé isions orre tes on ernant
es Formes, apprendre à dé ider pour une Forme à venir. Les dis iplines s ientiques
qui traitent e type de problème sont essentiellement l'Intelligen e Arti ielle (IA) et la
Re onnaissan e des Formes (RdF). L'IA vise à reproduire les fa ultés humaines les plus
élevées tandisque laRdFse limiteà lasimulationdes apa ités humainesde per eption,
visuelles ou auditives.
Dansle adre de laRdF,nous nous intéressons plus parti ulièrementàlaprise de es
dé isions 2
lorsque lesFormes subissent des dérives au ours du temps.Ce type de lasse,
dontlemodèle
3
évolueau oursdutempsestnomméeparlasuite lasse évolutiveoubien
en ore lasse dynamique.
Dansle ontexte de laper eption, l'in ertitudeet laprédi tion sontintimementliées.
En eet, si nous sommes sûrs qu'un événement est possible, nous sommes prêts à
ad-mettre que les han es d'apparitionde et événement dans un futurpro he sont élevées.
Ainsi, la notion de prédi tion est liée à la notion d'ignoran e qui est une ara téristique
des systèmes à apprentissage. Le ma ro-système qu'est la so iété peut avoir diverses
at-titudes vis-à-vis de es deux notions. A tuellement, l'attitude défensive est dominante.
L'ignoran e, en parti ulier, est qualiée de "éau"so ialqu'il fautéliminer,même sielle
serégénère parlanaissan ede nouveaux "ignorants"quesontlesnouveau-nésetpar
l'in-novations ientique, te hnologiqueet ulturelle dontune grandepartie de lapopulation
reste ignorante. Le problème n'est pas d'éliminer l'ignoran e, mais plutt de l'a epter
an de mieux en tenir ompteetde lui donnerlapla e quilui revient dans laso iété, au
lieude faireabstra tion de son existen e.
1
Lestermes itésentreparenthèsessontdel'auteurdela itation.
2
A haquedé ision orrespondune lassedeFormes.
3
Dans le domaine de la vision humaine, la mise à prot de l'ignoran e est ee tive;
par exemple, lors de l'identi ation d'un a usé par un témoin, le suspe t est prié de
se pla er parmi un groupe d'individus, au lieu d'être présenté seul au témoin. Un avis
plus sûr, ou plus omplet, est ensé être donné par le témoin dans une situation où son
jugement est rendu plus di ile. Dansle as ontraire, lorsque letémoin aen fa e de lui
un seul "suspe t", il luiest plus fa ilede donnerun avis. Maisdans e as, son avis sera
de type binaire: "oui" ou"non". Paradoxalement, plus saréponse est pré ise,plus il est
permis de douter de son opinion. Ce i est dû au fait que l'avis obtenu est in omplet et
fait abstra tion,notamment,de son ignoran e (de ses doutes).
Dès lors, pour diminuerl'inuen e de l'ignoran edans lespro essus de dé ision,deux
appro hessontpossibles:améliorerl'informationet/oul'édu ationdu"signieur"
4 (dans
l'exemple i-dessus, le témoin) an de diminuer la part de doute dans son avis, ou bien
onsulterplusieurssignieurs, ha unétantspé ialisésurunaspe tduproblèmede
re on-naissan e etdé ideren onséquen e.Dans le ontexte de la re onnaissan e,nous sommes
limités par notre propre apa ité à informer et/ou à éduquer.L'informationet/ou
l'édu- ationde manière ontinue, adaptéesàl'instant onsidéré, onstitue uneautrelimitation.
Le se ond as présuppose la re her he de stratégies de dé ision : une ombinaison entre
les avis et/ou une oopération entre les signieurs et/ou une séle tion des avis des
si-gnieurs. Compte tenu des limitations liées à la première appro he, nous avons hoisi,
par ette étude, de ontribuer à la se onde. Nous proposons de re her her les meilleures
stratégies d'asso iations de es signieurs, en fon tion de leur apa ité à s'adapter à la
re onnaissan e de lasses évolutives.
Dans les deux dis iplines (RdF et IA), deux phases se distinguent lairement. L'une
onsiste à ee tuer l'apprentissage (par analogie ave la vision humaine, le témoin
sup-posé doitréellementavoirvulesuspe t!)etl'autreàre onnaître, 'est-à-dire à lasseren
plusieurs atégories ou lasses (dans l'exemple onsidéré : 'est lesuspe t, 'est peut-être
lesuspe t, e n'estpas lesuspe t, et .).Le adrede laRe onnaissan e d'ObjetsNaturels
fait appelà :
la RdF : les informations propagées dans le pro essus de dé ision sont leplus
sou-vent analogiques, e quipermetde traduirelagrandevariété des Formesdes objets
naturelsévolutifs;
l'IA : lagénéralisation s'ee tue par a umulation des informationsanalogiques et
apprentissage de modèles de omportement.
Lorsque plusieurssignieurs ou lassieurs sontamenésà on ourir àune mêmetâ he
de re onnaissan e, plusieurs stratégies de dé isions - impliquant es lassieurs de
dié-rents manières-sont possibles :
1. une première stratégie onsisteà dé ider àla suite de diérents avis; ils'agit de la
ombinaisonde lassieurs;
4
avis pour améliorerla prise de dé ision d'autres lassieurs, dans la phase de
las-sement; il s'agit de la oopérationde lassieurs;
3. enn, la troisième et dernière stratégie onsiste à privilégier un ou plusieurs
las-sieurs en fon tion de divers ritères ou en fon tion de la situation; il s'agit de la
séle tionde lassieurs.
Dans e travail, nous montrons qu'il est plus simple de prendre en ompte la
dy-namique d'une lasse dans la troisième stratégie. En eet, la séle tion des lassieurs
peut sefaire en fon tion de l'évolution du pro essus : e que nous appelons, par lasuite,
séle tion dynamiquede lassieurs.
L'ignoran e peut être gérée à travers les trois stratégies. Diérents adres théoriques
gérant l'in ertitude, l'impré ision,l'in omplétude, la abilité, la subje tivité,
l'asyn hro-nisme, ladépendan e, la pertinen e, oula omplexitépeuvent satisfaire ette tâ he
(Ap-priou[5℄).Lesprin ipauxsont:lesthéoriesdesprobabilités[112℄,desensemblesous[114℄,
des possibilités [26℄, de l'éviden e [93℄ [97℄, des logiques [2℄, et des méthodes
onnexion-nistes [66℄ [102℄.
En pratique, la prise en ompte de l'ignoran e pose en ore de nombreux problèmes
dans la phase de ombinaison des avis des lassieurs, en parti ulier par e que es
der-niers gèrent l'ignoran e de diérentes manières, oune la gèrent pas du tout (l'ignoran e
est alorsintégréedans leursavis).D'autre part,l'espa ededis ernementpeutne pasêtre
ommun (dans l'exemple, deux témoins peuvent avoir vu le oupable, or on présente à
ha und'eux un autre suspe t!). Dans es as, la ombinaison est souvent di ile, voire
impossible, à mettre en ÷uvre. Ex eption faite de es problèmes et à ondition que les
lassieurs entrant en ombinaison soient assez performants (taux de re onnaissan e
in-dividuels supérieurs à50 %), la ombinaisonest aujourd'huiune stratégieéprouvée.
Par rapport àun seul lassieur, la ombinaisonet la oopération de lassieurs
pré-sententl'avantagedepouvoirspé ialiserles lassieursdans l'espa edereprésentationou
dans l'espa e des ara téristiques. De plus,la oopérationpermetde spé ialiserles
lassi-eursdansl'espa ededis ernementdemanièreexpli ite,alorsquela ombinaisonpeutle
faire impli itement.Dans l'une oul'autre de es stratégies, malgré lefait que l'ignoran e
soit également intégrée dans les avis, son importan e quantitative est réduite grâ e à la
spé ialisation des lassieurs. Dans la plupart des travaux existants, en parti ulier eux
qui traitent de la ombinaison, les lassieurs retenus ne dépendent pas de la Forme à
lasser.Nous proposons, dansle hapitre 3,un systèmede re onnaissan e
met-tant en ÷uvre es deux stratégies, dans lequel un lassieur permet d'a tiver
Les lasses peuvent avoir une forme omplexe lorsque les ve teurs de Formes, a quis
à des instants expérimentaux diérents, sont issues d'un système non-stationnaire.Dans
e as, ela veut dire qu'il y a eu intégration dans le temps des ve teurs de Formes des
diérentes lasses.Lorsque leniveau de omplexité onduità des traje toires (de lasses)
qui se roisent, les méthodes globales dé rites i-dessus ne susent plus. Il devient alors
né essaire de onsidérer un système de re onnaissan e dynamique et une séle tion de
lassieurs dépendantdu temps.Dans le hapitre 4, nous proposons une méthode
de lassement utilisant la séle tion de lassieurs pour la re onnaissan e de
lassesévolutives.Cetteséle tionestdynamique.Cetteappro he onstitue,ànotre
onnaissan e, leseul systèmede re onnaissan e dontle omportementest dynamique(en
fon tion de la Forme à lasser et en fon tion de l'instant onsidéré).
Dans e mémoire,nous ommençons par dénirles termesde ombinaison,de
oopé-rationetde séle tionde lassieursetparre enser lestravauxdéjàee tuésdansle adre
de laRdF ( hapitre 1).Il s'ensuit que la stratégiede séle tion dynamiquede lassieurs
est laplusappropriéeàlare onnaissan ede lassesévolutives.Parlasuite,nousétudions
les aspe ts statiqueset dynamiquesde laRdF ainsi que les lasses dynamiques ( hapitre
2).Enfon tionde ritèrespermettantde jugerla omplexitéde l'évolutionde es lasses,
deux appro hes sont dégagées. Les deux hapitres suivants mettent en ÷uvre ha une
d'entre-elles et proposent deux méthodes de RdF :
1. une spé ialisationdes lassieurs :
Cette étape s'ee tue sur des sous-ensembles d'apprentissage de l'espa e de
repré-sentation, obtenus par une partition qui met en éviden e les zones denses
d'infor-mations(sur lesquelles les lassieurs seront spé ialisés)et des zones d'ambiguïtés,
faiblement denses. La redondan e des lassieurs est alors exploitée sur es zones
grâ e à une méthode de fusion. La méthode proposée est une méthode de
séle -tion adaptative de lassieurs mettant en ÷uvre la oopération et la ombinaison
de lassieurs ( hapitre 3). Nous montrons que, pour les lasses multimodales, la
méthode permet d'obtenir des taux de re onnaissan e largement supérieurs à eux
d'un seul lassieur;
2. une séparation des aspe ts statiqueset dynamiques de laRdF :
Deux types d'apprentissage sont ee tués : l'aspe t statique de l'apprentissage est
pris en harge par des lassieurs ou des systèmes de lassieurs, et l'aspe t
dyna-mique est pris en harge à travers l'apprentissage de la plani ation des diérents
états parun réseau de Petri ou. Laméthode proposée ee tueune séle tion
dyna-mique de lassieurs ave ombinaison de lassieurs ( hapitre 4). Nous montrons
que e type de séle tion permet de re onnaître des lasses dynamiques, sans
né es-siter la re her he de modèles d'évolution des lasses.
Combinaison, oopération et séle tion
de lassieurs
Ce hapitreétablitunétatdel'artdesstratégiesdeprisesdedé isionspossibleslorsque
plusieurs lassieurs interviennentdans unpro essus deRdF.Cette asso iationde
lassi-eursest présentée ommeunsystème apabledemettreen÷uvreplusieurstypes
d'opéra-tion: la ombinaisonquiestanalogueàune prisededé isiondémo ratique,la oopération
analogueà la on ertation(ave é hangesde pointsdevue)etlaséle tionquiest analogue
à la onsultation d'experts ( lassieursspé ialisés).L'aspe t temporel de la RdF,
'est-à-dire l'évolution possible des lasses à re onnaître, est traité dans le adre de la séle tion
Sommaire 1.1 Introdu tion . . . 25 1.2 La RdF et le lassieur . . . 26 1.2.1 Lesétapesde laRdF . . . 26 1.2.2 Le lassieur . . . 27 1.2.3 Taxonomiesde lassieurs . . . 28
1.3 Les systèmes de lassieurs . . . 30
1.3.1 Obje tifs etintérêts . . . 30
1.3.2 Dénition . . . 32
1.3.3 Ar hite ture. . . 34
1.3.4 Taxonomie dessystèmes de lassieurs . . . 36
1.4 Performan es des lassieurs et des systèmes de lassieurs . 37
1.4.1 Lesdiérentes appro hes. . . 37
1.4.2 Lamatri e de onfusion . . . 38
1.5 Combinaison de lassieurs . . . 38
1.5.1 Combinaison usuelles . . . 41
1.5.2 Combinaison par vote . . . 42
1.5.3 Combinaison par laThéorie Bayesiennede ladé ision . . . 42
1.5.4 Combinaison par laThéorie del'Eviden e . . . 42
1.5.5 Autres adresthéoriques de la ombinaison . . . 45
1.6 Coopération de lassieurs . . . 45
1.7 Séle tion de lassieurs . . . 46
1.8 Système de lassieurs hybride . . . 48
1.1 Introdu tion
LaRe onnaissan e des Formes (RdF) est la dis iplines ientique qui a pour obje tif
le lassement d'individus en un ertain nombre de lasses ou atégories
5
. En fon tion de
l'appli ation, un individu est un ensemble de mesures ara térisant un objet, une image
(ou une partie de elle- i), un signal ou un environnement ( as du diagnosti par RdF).
Le terme génériqueForme est parfois mieux adapté.
Dans le adre de la RdF pour des objets naturels subissant des évolutions dans le
temps, nous avons à traiterdes lasses de forme omplexe( omplexité due en parti ulier
aux évolutions de es objets).Un exemplede problème réel est posé lorsde la
re onnais-san e des diérentes espè es de poissons vivants dont les ara téristiques
6
(par exemple,
la ouleur) subissent des évolutionssaisonnières. Dans e hapitre, nousre ensons les
ap-pro hes existantes qui traitent ette problématique d'un point de vue multi-dé isionnel
(i.e., faisantintervenir les dé isionsde plusieurs lassieurs). Pour es lassieurs
indivi-duels,nous justierons, danslase tionsuivante,le hoixdes méthodes statistiquesparmi
les te hniques existantes.
La RdF omporte généralement deux étapes. La première étape onsiste à ee tuer
un apprentissage tandis que la deuxième onsiste à ee tuer un lassement (et/ou une
prédi tion). Lorsque l'apprentissage est ee tué de manièreautomatique, nous parlerons
de méthode de RdF non-supervisée. Lorsqu'il est guidé par un expert, nous parlerons de
méthode de RdFsupervisée. D'unpoint de vueformel, e type de problèmepeut
s'expri-mer omme suit :
on onsidère n individus, ha un dé rit par p ara téristiques dénissant ainsi un
ve teur de Forme 7 x k , appartenant àun sous-ensemble de R p où k2[1;n℄, n est le nombre de Formes;
haque individu appartient à une lasse !
j
(ou atégorie lorsqu'il s'agit d'une
mé-thode de RdF non-supervisée) du adre de dis ernement
=f! 1 ;:::;! i ;:::;! l g
le but est de lasser un nouvel objet x
k
dans l'une des l lasses.
Souvent,deux dé isionssupplémentairessont introduites;lerejetd'ambiguïté(hésitation
entre plusieurs lasses) etle rejetd'individus aberrants (en Anglais : "outliers").
5
D'où lesexpressions lassi ationet atégorisation pourdésignerune méthoderegroupantla
popu-lation enl lassesou atégories.
6
Certains auteursutilisent leterme " ara tère"et d'autresle terme "paramètre".Ce dernierprend,
parfois,uneautresigni ation(parexemple,lorsqu'ils'agitdeparamètresseuilsde ertainsalgorithmes
oudeparamètresd'unmodèle).
7
Ainsi, une Forme peut être représentée par un point x k
dans l'espa e(de
représenta-tion)dedimensionp.Dansle as desméthodesstatistiquesde laRdF,les oordonnéesdu
point x
k
2R
p
sont déniespar lesdiérentes ara téristiquesextraites de la Forme. Une
phase d'analyse a permis de séle tionner les plus pertinentes (i.e., elles qui permettent
le mieux de distinguer une lasse d'une autre dans l'univers d'interprétation) des
ara -téristiques observables par quanti ation(évaluation numérique) et/ou par quali ation
(évaluationsymbolique). Ce travail traiteex lusivement lesaspe ts numériques.
1.2 La RdF et le lassieur
1.2.1 Les étapes de la RdF
Les p ara téristiques observées sont utilisées pour onstruire les ve teurs de Formes
x k 2R p , telque: x k =(x k1 ;x k2 ;:::;x kp ) t
Si les p ara téristiques on ernent des individus (au sens général) non-manufa turés
tels que, par exemple, des visages humains, des fruits ou des poissons, on dira alors que
les individusen questionsont des objets naturels.
La re onnaissan e est liée aux lasses d'individus à dis riminer dans l'espa e de
re-présentation à p-dimensions. La plupart des pro essus de re onnaissan e sur des objets
naturelssont onsidérés omplexes :un seul lassieur, gérant toutesles lassesettoutes
les ara téristiques, estalorssouventmaladapté;l'ensembled'apprentissageprésenteune
stru turededonnées trop omplexepourunemodélisation orre tedes diérentes lasses.
Theodoridiset al.[101℄ proposentde résumer lesdiérentes étapesde la onstru tion
d'un système de lassement par elles représentées sur la gure 1.1. Nous nous
intéres-serons plus parti ulièrement aux deux dernières étapes. Les trois étapes qui pré édent
sontlargementtraitéesdanslalittératureetdétailléesnotammentpar es auteurs. D'une
manièregénérale,la on eptiond'unsystèmede lassementné essitelesphasessuivantes:
mesures par un apteur ou un ensemble de apteurs,
extra tionde ara téristiquesà partir de es mesures,
séle tiondes ara téristiquesles plus pertinentes,
onstru tion du lassieur,
évaluation de l'apprentissage, souvent par le lassement de l'ensemble
d'apprentis-sage,
évaluationdes performan esdu système,généralement par letauxd'erreur en
las-sement.
Leste hniquesd'extra tiondes ara téristiquessontparfoisqualiéesdete hniquesde
dis rimination àbut des riptif [90℄. Le hoix des ara téristiquesextraites est plus liéau
problème à résoudre (l'appli ation spé ique) que le hoix de laméthode de lassement.
La onstru tiondu lassieur dépendde l'appro he etde late hnique hoisie omme
mé-thode de lassement. Pour un réseau de neurones, il s'agit de déterminer la matri e de
pondération, tandis que pour un lassieur statistique telle que le Bayesien, il s'agit de
déterminer les matri esde varian e- ovarian es etles moyennes des diérentes lasses.Il
est évident qu'en fon tion des performan es obtenues, onpeut modierle omportement
en modiant lesparamètres des phases pré édentes ou en hoisissant d'autres
ara téris-tiques, an d'optimiserle système de manière plus oumoins automatique.
Capteur(s)
Extraction de
Sélection de
du classifieur
performances
Evaluation des
Formes
caractéristiques
caractéristiques
Construction
du classifieur
Fig. 1.1 Lesdiérentes étapesde la onstru tion d'un système de lassement.
1.2.2 Le lassieur
Soient :
p, lenombre de ara téristiquesdes Formes,
X R
p
, un ensemblede ve teurs de Formes,
2
,l'ensemblede puissan e (i.e.,tous lessous-ensembles possibles de ),
x2X, un individu à lasser,
et, leve teur d'interprétation issu du lassieur e appeléve teur de dé isionde e
etde taillel.
An de faire abstra tion de l'ar hite ture interne d'un lassieur, nous proposons de
dénir un lassieur par une fon tione, de lamanièresuivante :
e :X !2
x7 !=e(x)
Ainsi,le lassieur est vu ommeune "boite noire" quireçoit,en entrée,un ensemble
de ara téristiquesetquifournit,en sortie,leoulesappartenan esde l'individu(présenté
en entrée) aux diérentes lasses.
1.2.3 Taxonomies de lassieurs
On peut les lasser suivant diérents ritères. Ci-dessous, nous présentons les trois
taxonomieslesplus ouramment itéesetemployées :selon letypede méthodes utilisées,
selon le type des sorties de lassieurs et selon l'autonomie des lassieurs, i.e., de leur
dépendan evis-à-visd'unexpert.D'autres ritèrespeuventêtre onsidérés.Ils onduisent
à d'autres taxonomiesde lassieurs. La di hotomieen méthodes paramétriques et
non-paramétriques sefonde sur le type de représentation des lasses par un lassieur. Ainsi,
lesméthodesquitententdereprésenterlesdensitésdes lassespardesdistributionsde
pro-babilités(modèles mathématiques)sont qualiéesde méthodes paramétriques(exemple :
lassieur Bayesien). Les autres (exemples: k-ppv, noyaux de Parzen) sont qualiées de
méthodes non-paramétriques.
Taxonomie selon les te hniques ou méthodes
Les quatre appro hes lesplus onnues etutilisées sont les suivantes :
1. Mise en orrespondan e et en oïn iden e : La Forme à re onnaître (typiquement,
une Forme 2D) est omparée aux diérents prototypes ougabaritsreprésentant les
diérentes lasses, tout en permettant des translations, des rotations et des
han-gements d'é helles (Jain et al. [61℄). Ainsi, on travaille dire tement dans l'espa e
de représentation, sans passer par une phase d'extra tion de ara téristiques. La
mesurede similaritéentre laFormeàre onnaîtreetleprototypeest souventfondée
2. Méthodessyntaxiquesetstru turelles:Uneanalogieformelleestfaiteentrela
stru -ture des Formes et la syntaxe d'une langue. Ces méthodes gèrent les Formes sous
forme de "mots" et de "phrases" respe tant les grammaires des diérentes lasses.
A travers ette appro he, une perspe tive hiérar hique est privilégiée; une Forme
peut être divisée en sous-Formes, omme une phrase peut être divisée en mots.
3. Méthodes onnexionnistes (appelées "réseaux de neurones", par abus de langage) :
Unneuroneestdotédepentréesx
i
;i2[1;p℄, ha uneae téed'unpoidsa
i
etd'une
sortie S. S est fon tion de lasomme des a
i x
i
. La ommunautédes réseaux de
neu-ronestravailleessentiellementsurl'assemblagedetellesentitésetsurl'apprentissage
des poids a
i
(exemple :Per eptron MultiCou hes).
4. Méthodes statistiques: Cette appro he pré onise lareprésentation des Formes par
p ara téristiques, sur lesquelles des densités, propresà haque lasse, sontdénies.
Ensuite, les outils de la théorie de ladé ision statistique permettent d'ee tuer un
lassement. Lesméthodes paramétriques émettent l'hypothèse que es densités
ap-partiennentà une familledonnée de distributions (exemple : lassement Bayesien).
Au ontraire, les méthodes non-paramétriques ne posent pratiquement au une
hy-pothèse restri tivesur laformedes distributions(exemple : Cmoyennes).
Lesdeuxpremièresappro hesné essitentdesmoyensde al ulsimportants, equipose
des problèmespour lare onnaissan ed'objetsnaturelsévolutifs.Quantàlatroisième
ap-pro he, ellepeutêtrevue ommeunealternativeàlaquatrième.Eneet, ertainsauteurs
onsidèrentquelesméthodes onnexionnistes onstituentun sous-ensembledes méthodes
statistiques (par exemple, Holmström et al. [56℄). Nous on entrons nos eorts sur les
méthodes statistiquesoù les lasses sont représentées par des momentsdu premier et/ou
du se ond ordre.Lesphases d'apprentissage etde test seront étudiées etévaluéesà l'aide
de ritèresde performan es fondés sur lamatri ede onfusion.
Pour ha une de es appro hes,denombreuxtravauxont onduitàl'élaborationd'une
importantequantité de lassieurs.LaTable1.1présentequelques-unsdes es lassieurs
et quelques travaux on ernant les lassieurs. Les termes "abstrait", " lassement" et
"distan e" utilisés dans e tableau sont expliqués i-dessous, à travers deux taxonomies.
Un état de l'art on ernant les méthodes statistiques a été ré emment proposé par Jain
et al.[61℄.
Taxonomie selon les types de sorties des lassieurs
Selon Xu et al. [112℄, trois modèles sont possibles. Cette taxonomie (ou une variante
de elle- i)a égalementété adoptée par Ho [52℄ etpar Loonis [72℄ :
1. Niveau abstrait; le lassieur propose une lasse ou plusieurs lasses "également
Niveaux : Type d'apprentissage
Supervisé Non-supervisé
Abstrait Arbre de dé ision[54℄ Cmoyennes [50℄
Classement k-ppv [24℄ " lustering" k-ppv [113℄
Distan e Bayesien [61℄ Cmoyennes oues [9℄
Tab. 1.1 Exemples de lassieurs et de travaux on ernant les lassieurs, en fon tion
des types de sorties etdes typesd'apprentissage.
2. Niveau lassement; le lassieur applique une relation d'ordre sur les lasses
pos-sibles.
3. Niveau distan e; le lassieur attribue à haque lasse une mesure de similarité
entre elle- i et l'individu à lasser. Pour les méthodes statistiques paramétriques,
il s'agit d'estimationsdes lois de probabilités a posteriori.
Les types de sorties les plus ri hes en informationssont eux du niveau distan e. En
eet, à partir de e type de sorties, on peut établir un ordre de préféren e du lassieur
(on obtient alors une sortie de niveau lassement), puis de retenirque la première ou les
premières lasses proposées (auquel as, onobtientune sortie du niveau abstrait). De e
fait, leniveau abstraitest leniveau leplus générique.
Taxonomie selon les types d'apprentissage
1. Apprentissage supervisé (exemple : k-ppv). Un expert indique la lasse réelle pour
haque individu présenté ausystème de RdF lorsde l'apprentissage.
2. Apprentissage non supervisé (exemple :Cmoyennes oues).Les méthodes de
até-gorisationetde oales en e ee tuent e type d'apprentissage.
1.3 Les systèmes de lassieurs
1.3.1 Obje tifs et intérêts
Les premières allusions aux systèmes de lassieurs ou systèmes multi- lassieurs
8
(ou bien en ore ensemble de lassieurs
9
, terme utilisé surtout par la ommunauté des
s ientiques traitant les réseaux neuro-mimétiques onnexionnistes), itées par Ho [52℄,
remontentà Nilsson[81℄ etàHarali k[49℄ pour le al uld'erreurs on ernant unensemble
8
Autrestermesemployésdanslalittérature; ombinaisonmulti-experts, omitéde lassieurs,fusion
de lassieurset autres.
9
de lassieursBayesiens.Cependant, 'est àpartirdes années90quelessystèmesde
las-sieursontétémisen÷uvre on rètement,notammentdansle adredelare onnaissan e
de mots(Ho,1992[52℄)etde l'é rituremanus rite(Xuetal.,1992[112℄;Suenetal.,1990
[99℄, 1992[98℄).Ilest importantde pré iserqueletermesystème lassieurestutilisépar
la ommunauté des algorithmes génétiques (voirnotammentla thèse de Giani [38℄)dans
le sens d'un système expert dont le moteur de re her he est fondé sur un algorithme
gé-nétique pourgénérer des règlesde omportement,en intera tion ave son environnement.
Dans la RdF, l'obje tif est d'obtenir un système de lassieurs (i.e., une asso iation
de lassieurs)hautementperformantfondé surlesdé isionsd'unensemblede lassieurs
(Xuetal.,1992[112℄;plus ré emment,Gia intoetRoli,1999[35℄).Uneautremotivation
pour e typede systèmeréside dansla omplexitédes formes des lasses traitées;lorsque
les lasses sontmultimodalesou lorsqu'ellesse hevau hent, il devient di ile de les
mo-déliser, par e que leur représentation (par exemple, par des entres, des distributions de
probabilités ou des ensembles ous) devient ompliquée. Certes, il existe des méthodes
où interviennent des modèles de mélange (voir notamment les travaux de M La lan et
Basford[76℄)aptesàmodéliserdetelles lasses,maisdansles asoùlatailledel'ensemble
d'apprentissage est limitée, ette modélisation onduit àune sur-adaptationauxdonnées
disponibles qui ne représentent pas for ément bien les lasses réelles. En asso iant
dié-rents lassieurs(algorithmesdiérentset/ou onstru tionsdiérentes),onespèreobtenir
de meilleuresperforman es.Enn,dans le adre delare onnaissan e d'objetsévolutifs,il
est utile de déterminer lesstratégies d'asso iation lesmieux adaptées àl'aspe t temporel
des lasses dynamiques.
Lesintérêts de l'utilisationde systèmes de lassieurs sont lessuivants :
Delamêmemanièrequ'une ara téristiquesupplémentairepermetàun lassieurde
mieux dé ider(à ondition qu'ellesoit omplémentaireauxautres ara téristiques),
un avis supplémentaire provenant d'un autre lassieur permet à un système
las-sieurs de mieux dé ider (à ondition que et avis soit omplémentaire aux autres
avis).
Ce typed'asso iationsfavorise une appro he modulaireetrépartied'unsystème de
RdF.
Lorsque pour un problème de RdF donné, ertaines ara téristiques sont réelles et
d'autres sontdis rètes ousymboliques,ilest souvent inévitabled'utiliserdeux
las-sieurs diérents. Grâ e à un espa e de dis ernement ommun, les avis des deux
lassieurs peuvent être fa ilement ombinés.
Dans ertains as, la omplexité algorithmique (en phase d'apprentissage et/ou en
phase de lassement) peut être réduite si le traitement des données est réparti sur
plusieursniveaux.
las-sieurssurdiérentesintervallestemporels,etd'employer es lassieursenfon tion
du temps et/ou en fon tion de l'individu à lasser.
A tuellement,letyped'opérationleplus ourammentutilisépourasso ierlesdiérents
lassieurs d'unsystème est le type " ombinaison"des sorties de lassieurs(Gia intoet
al. [35℄). Ré emment, ertains her heurs ont étudié un autre type d'opération, appelé
"séle tion adaptative de lassieurs" (Gia into et al. [33℄) ou "séle tion dynamique de
lassieurs" (Ho et al. [53℄; Woods et al. [111℄). Cependant, il est à noter que la très
grande majoritédes travauxa tuels on ernent la ombinaisonseulement.
D'autres auteurs ont proposé d'utiliser les sorties de lassieurs individuels en tant
que ara téristiques d'entrée d'un autre lassieur (de "dé ision"), ee tuant
l'appren-tissage sur les dé isions de es lassieurs (Breukelen et al. [108℄; A hermann et Bunke
[1℄). Cetétat de l'art on erne,en plus de la ombinaisonde lassieurs,lestravaux
exis-tants(ànotre onnaissan e)dansle adred'autres stratégiesd'asso iationsde lassieurs.
Enn, très ré emment, une méthode de on eption automatique de "systèmes
multi- lassieurs" a été proposée (Gia into et al. [36℄). Sa proposition onsiste à hoisir un
ensemble de lassieurs de méthodes et/ou de paramètresdiérents,à séle tionner (ave
un ensembledevalidationdiérentde l'ensembledetest) lesous-ensembledes lassieurs
dont les performan es sont élevées. Ensuite, les lassieurs andidats qui font double
emploi( eux dontles erreurssont orrélées ave les erreursd'un ouplusieursautres
las-sieurs) sont éliminés. Enn, en phase de lassement, les sorties des lassieurs retenus
sont ombinéespar la règle de vote majoritaire.
Lors de la mise en ÷uvre d'un système de lassieurs, les phases né essaires à la
on eption du système de re onnaissan e restent les mêmes que pour un seul lassieur
( f. se tion pré édente), à la diéren e près qu'il s'agit, désormais, de onstruire une
asso iationde lassieurs etd'évaluer lesperforman es de et ensemble. Ci-dessous,nous
proposons une formalisationdes systèmes de lassieurs.
1.3.2 Dénition
Soit E = fe
i
g;i 2 [1;S℄, l'ensemble des lassieurs, où S est le nombre de
lassi-eurs intervenant dans le système de lassieurs et = f!
i g
i2[1;l ℄
, les diérentes lasses
d'interprétation. Un système de lassieurs doit permettre d'obtenir des performan es
supérieuresà ellesd'unseul lassieur.Ces performan es peuventêtredéterminéesselon
ertains ritères. Généralement, le taux de re onnaissan e ( f. se tion suivante) sur un
ensemble de test onstitue un bon ritère. Nous proposons de formaliser un système de
lassieurs (SC) à l'aide de ladénition 1 et d'unefon tion R.
Dénition 1 Un système de lassieurs est un ensemble de lassieurs asso iés mettant
en÷uvrela ombinaisonet/ou la oopérationet/ou laséle tionde lassieurs.Ilpeut être
déni formellement par un ensemble de lassieurs et un ensemble de relations entre es
SC :X !2
x7 ! =SC(x)
(1.1)
où x2X est un individu et le ve teur de dé ision sur l'ensemble de puissan e 2
.
Unefon tionR peutreprésenterlesrelationsentreles lassieurs,lestermesr
ij
;i;j 2
[1;S℄ servant à qualier les types de relations entre deux lassieurs :
R : EE 7 !f0;1g; [ e 1 e j e S ℄ R = 2 6 6 6 6 6 6 6 4 r 11 r 1j r 1S . . . . . . . . . . . . . . . r i1 r ij r iS . . . . . . . . . . . . . . . r S1 r Sj r SS 3 7 7 7 7 7 7 7 5 2 6 6 6 6 6 6 6 4 e 1 . . . e i . . . e S 3 7 7 7 7 7 7 7 5 Les relations r ij
peuvent prendre deuxvaleurs :
1. r
ij
=0: Pouri6=j, le lassieur e
i
nefournit pas d'informationsau lassieur e
j .
Si i=j, le lassieur e
i
n'est pas séle tionné.
2. r
ij
=1 : Le lassieur e
i
fournit des informations au lassieur e
j
(exemple : il lui
fournit sonve teurde dé ision).Lasortiede e dernier est ombinée ave ellesdes
autres lassieurs.Si i=j (e
i
oopère ave lui-même),la sortiedu lassieur e
i est
également à ombiner.
Les relations dépendent des types de lassieurs impliqués. Chaque lassieur peut
se omporter d'une manière diérente des autres lassieurs et haque lassieur peut
fon tionner ave un espa e des ara téristiques diérent de eux des autres lassieurs.
Cependant, les lassieurs doivent ontribuer (éventuellement, à diérents niveaux) à
une tâ he ommune qui onsiste à lassier un individu. Les dé isions des lassieurs
individuels doivent ensuite être ombinées selon l'ar hite ture retenue an d'obtenir une
dé ision nale quisera alors lasortie du système.
Si la fon tion R est onstante, alors la séle tion de lassieurs est statique. Dans le
as ontraire, la séle tion est adaptative ou dynamique (nous ferons la distin tion entre
es deux types de séle tion dans la se tion onsa rée à la séle tion de lassieurs). Dans
l'exemplesuivant,R
1
représente un systèmede lassieursmulti-niveaux(équivalentàla
R 1 = 2 6 6 6 4 0 1 0 0 0 1 0 0 0 1 0 0 0 0 0 1 3 7 7 7 5 (1.2)
Combinaison (Fusion)
e
2
1
e
e
3
e
4
Fig. 1.2 Exemple de Système de Classieurs (selon R
1 ) : les lassieurs e 1 et e 3
four-nissent des informations au lassieur e
2
( ar r
12
= 1 et r
32
= 1), les dé isions des
lassieurse 2 (r 22 =1)ete 4 (r 44
=1)sont ombinéespourobtenirunve teurde dé ision
nal.
1.3.3 Ar hite ture
La gure1.3illustre lesintera tions possibles entre lesdiérents lassieurs d'un
sys-tème mettant en ÷uvre les diérentes opérations de ombinaison, de oopération et de
séle tion. Les liaisonsen pointillés, entre les diérents "modules" représentent des
infor-mationsdiverses. Ces informationspeuvent être ommuniquées à lafois lorsde
l'appren-tissageet lorsdu lassement. En e sens, lemodule de séle tionest un moduleintelligent
qui retient un ertain nombre d'informations issues de la phase d'apprentissage et les
utilise dans laphase de lassement. Un lassieur peut transmettreses dé isionsà un ou
plusieursautres lassieurs.
Exemples d'informations é hangées :
Le lassieur e
1
ommunique àe
3
son ensembled'apprentissage (phase
d'apprentis-sage du système),
Le lassieur e
1
informe le module de séle tion qu'il faut prendre ou non en
onsi-dérationla sortie du lassieur e
3
(phase de lassement),
Le module de séle tion "demande une réponse" à e
1
et e
2
, on ernant un individu
1
e
e
2
e
3
x
x
x
d
1
d
2
d
3
1
2
3
Sélection d’un
ou plusieurs
classifieurs
Sélection
1
l
l
2
l
3
l
Décision
Combinaison (Fusion)
Fig. 1.3 Système de lassieurs ee tuant les diérents opérationsde ombinaison,de
oopération etde séle tionde lassieurs.
Les liaisons en traits pleins représentent les ara téristiques ( elles qui sont barrées
de traits) ou les dé isions (barrées de roix). Dans ette onguration, les ve teurs de
ara téristiques X 1 , X 2 et X 3
on ernent un même individu à lasser, mais ils peuvent
être diérents lesuns des autres. Sion dispose de d ara téristiques, ona d
1 d, d 2 d etd 3 d. Les lassieurse 1 ,e 2 ete 3
n'ont pas né essairement unespa e de dis ernement
ommun. La dimension de étant l, on a l
1 l, l 2 l et l 3 l. Lorsque un seul
lassieur est séle tionné, il n'y pas d'opération de ombinaison. Par ontre, si on veut
retenir les résultats de plusieurs lassieurs an de les ombiner, il sera alors préférable
que les lassieurs séle tionnés aient un espa e de dis ernement ommun. Lorsque ette
dernière ontrainten'estpasrespe tée, 'est,en général,àtraverslathéoriedes royan es
que la ombinaison est traitée.
Exemple : Dans le as où la séle tion pré onise le hoix des résultats des lassieurs
e 1
et e
2
, ilest préférableque lesl lasses soient les mêmesd'un lassieur à un autre;
( l 1 =l 2 =l et 1 = 2 = (1.3)
Le module de séle tion peut être fondé sur un algorithme de atégorisation dont le
résultatpeutêtreutiliséen lassementpourséle tionnerdes lassieurs.( 'estle aspour
le système 3C, proposé au hapitre3). D'autre part, un lassieur e
i
peut lui-mêmeêtre
1.3.4 Taxonomie des systèmes de lassieurs
Ré emment, Gia into et al. [35℄ ont insisté sur la possibilité de faire intervenir
dié-rents types d'opérations dans lessystèmes de lassieurs. En plus de l'opération
" ombi-naison"des sortiesde lassieurs, des her heurs ont ré emment introduit d'autres types
d'opérations.Gosselin[39℄utilise lestermes de oopération et ombinaison dans le même
sens. FrankeetMandler [32℄font également ette onfusiontout en proposantdeux types
d'assemblagesdiérents;"lessorties ombinéesde lassieurs oopérantsservantde
ara -téristiquesàun lassieur deplushautniveau"ou" ombinaisondessortiesde lassieurs
s'interprétant ommedes votes de spé ialistesautomatiques possédant ha un un ertain
point de vue sur l'individu en entrée". Nous appelons es deux types d'asso iations
o-opération de lassieurs et ombinaison ou fusion de lassieurs, respe tivement. Nous
proposonsdedistinguer lessystèmesde lassieursen quatre atégories(gure1.4),selon
les types d'opérationsentre les lassieurs :
ombinaisonde lassieurs,
oopérationde lassieurs,
séle tionde lassieurs,
systèmes hybrides ou mixtes.
Combinaisonde lassieurs Coopération de lassieurs Séle tion de lassieurs
Type 1 Type2 Type 3
Systèmesde lassieurs
Fig. 1.4 Les diérents types d'asso iations de lassieurs. Si un système opère ave
plusieurstypes d'asso iations, lesystème est dithybride.
Lesdeuxpremierstypesd'opérations(ouasso iations)apparaissentégalement omme
despréo upationsmajeuresdansla ommunautédes réseauxde neurones.SelonSharkey
[95℄, ette ommunauté utilise prin ipalement deux termes; ombinaison d'un ensemble
(de lassieurs) et ombinaison de modules (de lassement). Ainsi,le terme ombinaison
est i iutilisédanslesensd'asso iation.Selon et auteur,"dansun ensemble,lesréseaux
sont redondants dans le sens où ils fournissent tous une solution pour une même tâ he
(de lassement). Par ontre, l'appro he modulaire onsidère qu'une tâ he est dé omposée
en plusieurs sous-tâ hes et qu'une solution omplète de la tâ he né essite la ontribution
de plusieurs modules (même si des entrées individuelles peuvent être traitées par un seul
de es modules)". Il est lair que l'appro he ensemble est une expression de la
de lassieurs. Le ontenu des dernières parenthèses de ette itation fait impli itement
allusion àlaséle tion(adaptative, voir ladénition de e terme plus loin)de lassieurs.
L'auteur pré ise également que la notion de séle tion des membres d'un ensemble a été
abordée dans un ertain nombre de publi ations et propose de s'en servir expli itement.
Sa proposition est de déterminer lesperforman es des diérents ensemblesde lassieurs
(parmi un plus grand nombre, xe, de lassieurs) et e i en les testant (méthode "test
andsele t")surunensembledevalidation,diérentàlafoisdel'ensembled'apprentissage
et de l'ensemble de test. Mais les in onvénients de ette appro he sont que, d'une part,
la phase de validation/ onstitution d'un ensemble né essite un eort de séle tion/mise
au point important etd'autre part, que l'ensemble retenu est xe et ne peut hanger en
fon tion d'un individu à lasser.
Certains auteurs, en s'intéressant aussi à la omplexité des algorithmes, ont proposé
d'ee tuer des ombinaisons onditionnelles. Ainsi, Gosselin [39℄ propose de lasser les
lassieurs selon leur performan es et de traiter un individu in onnu par le premier
lassieur. Il propose d'a epter sa dé ision, si l'individu n'est pas rejeté. Dans le as
ontraire,ladé isionseraprise suiteàla ombinaisondupremier lassieur ave lasortie
dudeuxième lassieur.Lemêmeraisonnementpeuts'appliquer,jusqu'à equel'individu
soit lassé ou que les sorties de tous les lassieurs soient ombinées. Cette ombinaison
onditionnellepermetde réduirelestempsd'exé ution e a ement.L'in onvénientest la
né essité de xer de multiples seuils de rejets asso iés auxdiérentes dé isions.
Le tableau de la gure 1.8, en n de e hapitre, présente de façon synthétique les
travaux existants. Ces travaux sont présentés selon la taxonomie i-dessus ainsi qu'en
fon tiondestypesdespé ialisationsdes lassieurs.Danslase tionquisuit,nousverrons
que es spé ialisationssontd'uneimportan eprimordialedans le adrede la ombinaison
de lassieurs.
1.4 Performan es des lassieurs et des systèmes de
lassieurs
1.4.1 Les diérentes appro hes
Le al ulde lamatri ede onfusion(voirplus loin)est lasolutionlaplus onnue etla
plus employée. Cependant, d'autres mesures, telles que elles issues de la théorie de
l'in-formation existent. Ré emment,Loonis [73℄ aproposé l'Outild'Analyse Informationnelle
(OAI) fondé sur la théoriede l'information,qui évalue la qualité d'une méthode de RdF
lasse par lasse.
L'ensemble des individus disponibles est souvent divisé en plusieurs sous-ensembles.
Le plus souvent, et ensemble est divisé en deux, lamoitié servant àl'apprentissage
(en-semble d'apprentissage), l'autre moitié (ensemble de test) servant à tester le lassieur
ou le système. Sharkey [95℄ subdivise l'ensemble en trois sous-ensembles (pas for ément
las-sieursen fon tionsde leurs performan es (validationdes lassieurs). Twomey etSmith
[104℄ utilisent une te hnique de validation roisée : si on dispose de n individus, on se
sert de (n 1)individus pour l'apprentissage,puis onutilise l'individu qui reste pour la
validation,et e i dans lesn voies possibles.
1.4.2 La matri e de onfusion
Pour dénir ette matri e,dénissonsd'abord letauxde re onnaissan e etle tauxde
onfusion.Soitl,lenombrede lassesréelles.Soientn
ii
,l'ee tifdesindividusappartenant
à une lasse i (d'après un expert) et ae tés à une même lasse i (par un lassieur), et
n ij
, l'ee tif des individus appartenant à une lasse i et ae tés à une lasse j (i et j
2[1;l℄). Letaux de re onnaissan e est letaux des ee tifs orre tement lassés.
Dénition 2 Le tauxdere onnaissan eglobal
g
estlerapport delasommedeséléments
n ii
sur l'ee tif total de l'ensemble d'apprentissage.
g = l i=1 n ii l i=1 l j=1 n ij (1.4)
Dénition 3 Le taux de onfusion est la mesure duale du taux de re onnaissan e :
f g
=1
g
(1.5)
La matri ede onfusion dont les termes interviennent dans l'équation 1.4 est dénie
par la matri eM telque;
M= 2 6 6 6 6 6 6 6 4 n 11 n 1j n 1l . . . . . . . . . . . . . . . n i1 n ij n il . . . . . . . . . . . . . . . n l 1 n l j n l l 3 7 7 7 7 7 7 7 5 (1.6)
Dans ette dénition, les termes de la matri e sont exprimés en nombre d'individus,
mais souvent, ils sont aussi exprimés en pour entages de la lasse réelle i. Cal ulée en
lassant l'ensemble d'apprentissage, ette matri e peut servir dans le adre de la
ombi-naisonde lassieurs. Eneet, Xuetal.[112℄etplusré emment,Parker[82℄,ontproposé
d'utiliser ette matri e pour la détermination des probabilités a priori servant àla
om-binaison.
1.5 Combinaison de lassieurs
La ombinaison de lassieurs
10
se pla e dans le adre plus général de ombinaison
multi-sour es. Les problèmes ren ontrés sont eux que l'on retrouve aussi dans les
do-maines suivants:
10