o`u x(i)j est le j-i`eme point de la classe ci. L’erreur quadratique ε2
i sur la classe ci est alors donn´ee par :
ε2i = |ci|
j=1
d2(x(i)j , gi) (3.8)
L’erreur quadratique (aussi appel´ee inertie intraclasse : IW) de la partition est alors :
IW = Eq2 = K j=1
ε2j (3.9)
Bien ´evidemment, ce crit`ere ne peut servir `a comparer des partitions ayant un nombre de classe diff´erent. En effet, si K = N alors Eq = 0 car xi = gi ∀i ∈ {1, . . . , N} et
l’erreur quadratique est minimale.
Le vecteur moyen g de l’ensemble O est donn´e par :
g = 1 N K i=1 |ci|gi (3.10)
Enfin, l’inertie interclasse, not´eeIB, est donn´ee par :
IB = K i=1 |ci|d2(gi, g) (3.11) L’inertie totaleI : I = IB+IW (3.12)
est stable pour un nombre de classes K fix´e.
3.3 Tour d’horizon des m´ethodes de
partitionne-ment
Les m´ethodes de r´esolution du probl`eme de partitionnement peuvent se comporter de deux fa¸cons :
– m´ethode agglom´erative : chaque groupe d’objet est constitu´e par agglom´eration des objets autour d’un centre (un noyau). Au d´epart il peut y avoir autant de groupes que d’objets ;
– m´ethode divisive. La d´emarche est inverse : on d´emarre avec un groupe contenant tous les objets puis le partitionnement est construit en divisant successivement ce groupe initial en groupes plus petits.
D’autres crit`eres permettent de diff´erencier les m´ethodes de classification non super-vis´ee : par exemple si les objets sont trait´es un par un ou simultan´ement, ou encore si les attributs sont pris en compte un par un ou tous ensemble.
3.3.1 L’algorithme des centres mobiles
L’algorithme des centres mobiles (K-means ou C-means) est une technique de partitionnement des plus simples qui puisse ˆetre en utilisant l’erreur quadratique comme crit`ere d’´evaluation d’une partition. Dans un premier temps, les objets sont regroup´es autour de K centres arbitraires c1, . . . , cK de la mani`ere suivante : la classe ci associ´ee au centre ci est constitu´ee de l’ensemble des points les plus proches de ci que de tout autre centre. G´eom´etriquement, cela revient `a partager l’espace des points en K zones d´efinies par les plans m´ediateurs des segments [ci, cj]. La figure 3.3 donne l’exemple d’une partition associ´ee `a trois centres dans le plan. Les centres de gravit´e g1, . . . , gK
c
c
c
1 2 3Fig. 3.3 – Exemple de partition obtenue par les centres mobiles.
sont ensuite calcul´es `a partir des classes qui viennent d’ˆetre form´ees. On recommence l’op´eration en prenant comme centre de classe les centres de gravit´e trouv´es et ainsi de suite jusqu’`a ce que les objets ne changent plus de classe. L’algorithme 3.1 r´esume toutes ces op´erations.
Algorithme 3.1: Algorithme des centres mobiles
K-means(Partition P de K classes)
(1) tantque l’inertie intraclasse ne s’est pas stabilis´ee faire
(2) G´en´erer une nouvelle partition P en affectant chaque objet `a la classe dont le centre est le plus proche
(3) Calculer les centres de gravit´e des classes de la nouvelle partition P
(4) P ← P
(5) fintantque
(6) retourner P
Remarques :
– le nombre de classes K fix´e au d´ebut peut diminuer au cours des it´erations : en effet, si une classe n’attire aucun objet, elle sera vide et donc ´elimin´ee. Cela peut
54 3.3 Tour d’horizon des m´ethodes de partitionnement
repr´esenter un inconv´enient si l’on d´esire obtenir K classes non vide ;
– on peut montrer que d’une it´eration `a l’autre (i.e. d’une partition `a l’autre), l’inertie intraclasse IW d´ecroˆıt ce qui entraine la convergence de l’algorithme (Jain and Dubes, 1988, page 99) ;
– la complexit´e de cette m´ethode est enO(NMKT ) o`u T est le nombre d’it´erations
effectu´ees (Jain and Dubes, 1988, page 100) ;
– le principal inconv´enient des centres mobiles est que la partition finale d´epend du choix de la partition initiale. Le minimum global n’est pas obligatoirement atteint, on est seulement certain d’obtenir la meilleure partition `a partir de la partition de d´epart choisie (ceci grˆace au deuxi`eme point de ces remarques) ; – de nombreuses variantes peuvent ˆetre rencontr´ees, par exemple au lieu de calculer
le centre des classes apr`es avoir affect´e tous les objets, le centre peut ˆetre recalcul´e apr`es chaque affectation ;
– la m´ethode des centres mobiles a ´et´e g´en´eralis´ee sous l’appellation de la m´ethode des nu´ees dynamiques (Diday and Simon, 1976). Au lieu de d´efinir une classe par un seul point, son centre de gravit´e, on la d´efinit par un groupe d’objets formant un (( noyau )).
Afin de d´eterminer le nombre de classes en mˆeme temps qu’une partition acceptable, Ballet Hall (Ball and Hall, 1965) ont propos´e l’algorithme ISODATA. Par rapport aux centres mobiles, ISODATA poss`ede les fonctionalit´es suivantes :
– une classe peut ˆetre d´etruite si elle ne comporte pas suffisamment d’objets ; – deux classes peuvent ˆetre agglom´er´ees si la distance entre leurs centres est inf´
e-rieure `a un seuil donn´e ;
– une classe peut ˆetre scind´ee en deux si la dispersion des objets la constituant est sup´erieure `a un seuil donn´e.
L’algorithme ISODATA est d´etaill´e en annexe A.
Le nombre de m´ethodes de partitionnement est pratiquement aussi important que le nombre de probl`emes pos´es, aussi nous renvoyons le lecteur aux ouvrages (Bow, 1984) et (Jain and Dubes, 1988) pour un expos´e complet des m´ethodes de partitionnement classiques.
La suite de ce chapitre expose rapidement certaines inspirations biomim´etiques pour la r´esolution du probl`eme de classification non supervis´ee. Nous exposons tout d’abord l’utilisation des r´eseaux de neurones artificiels.
3.3.2 Les r´eseaux de neurones artificiels
L’apprentissage non supervis´e peut ˆetre trait´e par les r´eseaux de neurones artificiels (RNA). Les cellules d’entr´ee du r´eseau correspondent chacune `a un attribut des objets. Les cellules de sortie donnent la classe de l’objet. La figure 3.4 pr´esente un r´eseau pouvant accepter des objets `a cinq attributs (cellules noires) et peut founir de une `
a trois classes (cellules blanches). Des poids ωkj sont associ´es aux connexions entre chaque cellule d’entr´ee (Ek) et chaque cellule de sortie (Sj). La sortie sj d’une cellule
E
1 2 3E
4E
5E
E
S S S
1 2 3Fig. 3.4 – R´eseau de neurone artificiels : 5 cellules d’entr´ee (E1, . . . , E5) et 3 cellules de sortie (S1, . . . , S3).
Sj est calcul´ee de la fa¸con suivante pour l’objet oi :
sj(oi) = M k=1
ωkjxik (3.13)
o`u xik est la valeur de l’attribut k de l’objet oi. Les connexions entre les cellules de sortie servent `a s´electionner la sortie la plus ´elev´ee comme classe. L’apprentissage des poids du r´eseau se fait pour chaque donn´ee. Les poids sont tout d’abord initialis´es al´eatoirement. Puis pour chaque objet oi, les poids sont modifi´es de la valeur suivante :
∆ωkj = LR(xik− ωkj) (3.14)
Cette ´etape est r´ep´et´ee jusqu’`a ce que les poids se stabilisent ou selon d’autres heu-ristiques, par exemple en faisant d´ecroitre LR au cours des it´erations (Hertz et al., 1993).
Les cartes de Kohonen (Kohonen, 1988) (Self Organizing Maps) sont assez proches du mod`ele qui vient d’ˆetre propos´e mais aussi de l’algorithme K-means. Les exemples sont pr´esent´es au r´eseau dans un ordre al´eatoire et sont affect´es `a la cellule dont le repr´esentant ωj = (ω1j, . . . , ωM j) est le plus proche, tout comme les objets sont af-fect´es `a la classe dont le centre de gravit´e est le plus proche dans le cas des centres mobiles. Ensuite, les poids sont mis `a jour non seulement pour la cellule Sj choisie mais aussi pour les cellules voisines de Sj. Cette structure de voisinage est le plus souvent repr´esent´ee sous la forme d’une grille `a deux dimensions ce qui explique l’analogie avec une carte. La mise `a jour des poids est assez proche de la formule 3.14 : pour chaque cellule Sv du voisinage de Sj les poids sont modifi´es de la quantit´e suivante :
∆ωkv = hvjLR(xik− ωkv) (3.15)
o`u hvj d´epend de la proximit´e des cellules Sv et Sj, par exemple hvj = e−d(v,j). Chaque neurone de la carte a donc tendance `a repr´esenter des objets assez proches des objets que repr´esentent les neurones qui lui sont voisins. Au cours des it´erations, la taille