Combinaison parallèle de classifieurs

Les approches séquentielles et hybrides de combinaison ont été largement ignorées par les chercheurs. La majorité des travaux dans le domaine d’ensemble de classifieurs se concentre principalement sur la combinaison parallèle de classifieurs. Plusieurs raisons peuvent expliquer l'intérêt porté par les chercheurs à la combinaison parallèle [Zouari 2004]:

 Deux membres différents du même ensemble peuvent présenter des performances globales équivalentes mais chacun d'eux est un expert dans certaines régions locales de l'espace de caractéristiques ou il est le plus performant.

 Dans un système ensembliste, il est possible d'utiliser un espace de caractéristiques de grande dimension mais en les repartant à des sous-ensembles différents ou chaque sous-espace est utilisé pour entrainer un classifieur individuel.

 La performance d'un classifieur peut être affectée par le choix de paramètres initiaux tels que le nombre de voisins (k) pour un kPPV et les nombres de couches et de neurones par couche pour un réseau de neurones multicouches (Multi Layer

Perceptron, MLP). Plutôt que de chercher la meilleure configuration des

paramètres, la combinaison parallèle peut profiter des avantages de ces modèles appris différemment.

 Dans la combinaison, on peut avoir à notre disposition, différentes bases d'apprentissage où chacune a été capturée sur les mêmes données par différents

20

capteurs ayant des caractéristiques différentes. L'apprentissage d'un même modèle de classification sur ces bases peut produire des résultats différents.

Ce sont ces avantages qui nous ont conduits à focaliser notre travail sur la combinaison parallèle.

1.5.1 Problématique de la combinaison parallèle

Dans un système de combinaison parallèle, chaque membre participe de manière indépendante sur le même problème de classification et les sorties de tous les classifieurs sont combinée dans une dernière étape à une décision unique. Le problème principal de la combinaison est comment combiner les réponses de ces classifieurs sont combinées pour produire une décision finale ? Ce problème nécessite l’utilisation d’un opérateur de combinaison pour élaborer une réponse finale [Zouari 2004].

Considérons un système de classification composé d'un ensemble de L classifieurs . Pour reconnaître la classe d’un exemple inconnu , chaque classifieur

produit une sortie sous forme d'un vecteur des fonctions discriminantes

. Cette sortie peut être de type classe, rang

ou mesure. La composante indique que le classifieur a attribué la classe à

l’exemple parmi l'ensemble de classes possibles ( , . Toutes les réponses de l'ensemble des classifieurspour un exemple peuvent être présenter sous forme d'unematrice . Chaque ligne de cette matrice représente les décisions de tous les classifieurs concernant la classe .

Chaque colonne représente le vecteur de sorties d'un classifieur pour l’échantillon .

( ) (1.10)

La décision de fusion est obtenue en combinant les vecteurs de s de chaque classifieur :

21

est appelé opérateur de fusion ou méthode de combinaison ou d'agrégation. De nombreux opérateurs de combinaison ont été proposés dans la littérature et ils ont été présentés par différentes taxonomies. Nous les passons maintenant en revue.

1.5.2 Catégorisation des méthodes de combinaison

Différentes taxonomies des méthodes de fusion des sorties des classifieurs ont été présentées dans la littérature [Xu 1992 ; Duin 2000 ; Jain 2000 ; Kuncheva 2000]. La première catégorisation a été proposée par Xu [1992] qui a construit une taxonomie simple basé sur le type de sorties des classifieurs (classe, rang, mesure). La faiblesse de cette catégorisation est qu'elle est trop générale et qu'au sein de chaque groupe, il existe encore une grande variété parmi les méthodes de combinaison de classifieurs.

Une autre taxonomie des méthodes de fusion baséesur la stratégie de combinaison est proposée par Kuncheva [2000] qui a fait la différence entre la fusion et la sélection de classifieurs. Rappelons que la fusion consiste à combiner toutes les réponses de classifieurs alors que la sélection consiste à choisir le meilleur sous-ensemble de classifieurs parmi l’ensemble initial pour identifier unéchantillon inconnu.

Selon Duin [2000], la catégorisation des méthodes de combinaison parallèle estliée au type de classifieurs à combiner : classifieurs hétérogènes (différents) et classifieurs homogènes (faibles). En effet, même si ces dernières tiennent compte de toutes les informations produites par les classifieurs, l'intérêt des méthodes de combinaison de classifieurs faibles réside dans la combinaison de classifieurs ayant la même structure mais entraînés sur différents sous-espaces de caractéristiques ou leurs paramètres sont configurés de manière différente [Zouari 2004].

La taxonomie présenté par Jain [2000] a catégorisé les méthodes defusion suivant trois critères d'égale importance : type de sorties des classifieurs, capacité d'exploitation des expertises des classifieurs et la capacité d'apprentissage de la combinaison. Ce travail a ouvert la voie à d’autres travaux sur l’utilisation de la capacité d’apprentissage pour séparer les méthodes de fusion comme le travail de Zouari [2004] qui a proposé une taxonomie des méthodes de fusion en fonction de deux critères: type de sorties des classifieurs à combiner et la capacité d'apprentissage.

22

Les méthodes avec apprentissage (ou paramétriques) permettent d’optimiser les paramètres à utiliser dans les fonctions d’agrégation sur la base d’apprentissage. Les méthodes de combinaison sans-apprentissage (ou non paramétriques) sont totalement indépendantes des données d’entrainements. Ces stratégies se contentent d'utiliser seulement les sorties des classifieurs sans intégrer d'autres informations a priori sur les performances de chacun desclassifieurs, par conséquent, une fois que les classifieurs de base sont formés, l'ensemble est prêt à fonctionner. Dans les sections suivantes, nous présentons une brève description de méthodes de combinaison les plus utilisées en se basant sur la taxonomie de Zouari [2004].

Taxonomie des méthodes de combinaison parallèle de classifieurs [Zouari

Figure 1.6.

23