Rappels de notions générales sur la classication

2.2 Rappels de notions générales sur la classication

L'objectif de la classication est de construire une typologie pour caractériser un en-semble de N observations décrites par p variables. Pour atteindre cet objectif, on émet l'hypothèse que les observations collectées ne sont pas toutes issues de la même population homogène, mais plutôt de K sous populations. Cette section dénit les concepts nécessaires à la compréhension et à la dénition d'une classication sur un ensemble de données.

On note Z l'ensemble des observations, zi = (z¹_i, . . . , z_i^j, . . . , z^p_i) où i = 1, . . . , N. zj i

désigne la valeur prise par l'observation zi pour la variable zj. L'ensemble des variables est noté V = {z1, . . . , z^p}. La matrice des données de dimension (N × p) est notée Z. Dans toute la suite de ce mémoire de thèse, les termes objet et individu seront utilisés de manière équivalente pour désigner une observation.

2.2.1 Notations et dénitions

Classe

Une classe c est un sous-ensemble de l'ensemble Z des observations à classer. En clas-sication non-supervisée, la description des classes se fait soit par énumération de la liste des objets appartenant à la classe (description par extension), soit par l'énumération des propriétés caractéristiques des classes (description par intention). Dans les faits, les mé-thodes de classication fournissent généralement des descriptions par extension alors que l'utilisateur nal est intéressé par la description en intention. Par rapport à l'ensemble Z, la notion de classe induit la notion de partition de l'ensemble Z.

Partition

Dénition 1 (Partition) Soit Z un ensemble d'observations, une partition P de Z en K classes est dénie par P = {c1, . . . , ck, . . . , cK} avec ck∈ P (ensemble des parties de Z) vériant :

(P₁) : c_k6= ∅ pour k = 1, . . . , K (P2) : ∪^K_k=1c_k= Z

(P₃) : c_l∩ c_k= ∅ ∀ l 6= k.

Les contraintes (P2) et (P3) peuvent souvent être relaxées. Si on relaxe la contrainte (P3) que tout objet doit appartenir à une et une seule classe on obtient des classes empiétantes. La relaxation de (P3) se rapproche alors plus de la réalité car il n'est pas rare d'obtenir des partitions pour lesquelles un objet peut appartenir à une ou plusieurs classes ; par exemple un ouvrage de statistique médicale peut être classé soit au rayon médical soit au rayon statistique.

Hiérarchie

Une hiérarchie est un ensemble de partitions emboitées. On la représente en général par un arbre hiérarchique appelé dendrogramme où les objets sont à la base et l'ensemble tout entier au sommet. La dénition formelle d'une hiérarchie est la suivante :

Dénition 2 (Hiérarchie) (H, g) est une hiérarchie indicée si H ⊆ P (ensemble des par-ties de Z) et si g est une fonction à valeurs dans R+, telle que :

(h₀) : ∅ ∈ H, (h1) : Z ∈ H,

(h2) : ∀zi ∈ Z, {z_i} ∈ H,

(h₃) : ∀h, h⁰ ∈ H, h ∩ h0 ∈ {∅, h, h0}, (h4) : h ⊂ h⁰ =⇒ g(h) < g(h⁰)

(h₅) : g(h) = 0 ⇐⇒ ∃z_i ∈ Z tel que h = {zi}.

Les axiomes (h0-h3) dénissent la hiérarchie et les axiomes h4 et h5 dénissent respec-tivement la cohérence entre l'indice de hauteur g et la relation d'inclusion entre les classes. Les hiérarchies se lisent souvent plus simplement comme des arbres dont les n÷uds termi-naux et intermédiaires sont des classes.

Le regroupement des observations en classes dans les structures partition et hiérarchie se fait, en l'absence d'hypothèses concernant la distribution des données, sur des considé-rations géométriques. Les observations proches les unes des autres sont alors regroupées ensemble. La notion de regroupement induit la nécessité de dénir une mesure de proximité entre observations.

Dénition 3 (Mesure de dissimilarité) On appelle mesure ou indice de dissimilarité sur un ensemble Z, une application d : Z × Z → R+ tel que :

(a0) : ∀zi, zj ∈ Z, d(z_i, zj) = 0 ⇐⇒ zi = zj, (a1) : ∀zi, z_j ∈ Z, d(z_i, z_j) = d(z_j, z_i),

Dénition 4 (Distance) Une distance est une application d : Z × Z → R+ tel que : (a0) : ∀zi, zj ∈ Z, d(z_i, zj) = 0 ⇐⇒ zi = zj,

(a1) : ∀zi, z_j ∈ Z, d(z_i, z_j) = d(z_j, z_i),

(a2) : ∀zi, zj, zk∈ Z, d(z_i, zj) ≤ d(zi, zk) + d(zk, zj),

Dénition 5 (Distance ultramétrique) Une distance ultramétrique est une application d: Z × Z → R+ tel que :

(a0) : ∀zi, zj ∈ Z, d(z_i, zj) = 0 ⇐⇒ zi = zj, (a1) : ∀zi, z_j ∈ Z, d(z_i, z_j) = d(z_j, z_i),

(a3) : ∀zi, z_j, z_k∈ Z, d(z_i, z_j) ≤ max(d(z_i, z_k), d(z_k, z_j)),

La notion de distance ultra-métrique constitue une base de la classication hiérarchique que nous présenterons dans la section 2.3.1.

En posant :

s(zi, zj) = max

zi,zj∈Z(d(zi, zj)) − d(zi, zj)

on dénit une mesure de similarité associée à la distance d. Remarquons que s est symé-trique et vérie s(zi, zi) ≥ 0 ∀ zi, 6= zj.

2.2.2 Inertie intraclasse et interclasse

Soit P une partition en K groupes ck de l'ensemble Z, on dénira les quantités sui-vantes : w est le centre de gravité du nuage de points de l'ensemble Z, w1, . . . , w_K les centres de gravité des K sous nuages de points associés aux classes ck, et µk = ⁿk

N est le poids de la classe ck. L'inertie d'un nuage de points désigne la moyenne des carrés des distances au centre de gravité. L'inertie totale de l'ensemble Z est dénie par :

IT = ¹ N K X k=1 X zi∈c_k ||z_i− w||² = K X k=1 1 N X zi∈c_k ||z_i− w_k||² | {z } Inertie−intraclasse + K X k=1 µk||w_k− w||² | {z } Inertie−interclasse

L'inertie intra-classe prend de faibles valeurs si les classes sont homogènes. L'inertie inter-classe mesure à quel point les centres de inter-classe wk sont loin de w. Ainsi, lorsqu'il existe une structure en K classes dans l'ensemble Z, un critère usuel de classication consiste à chercher la partition telle que l'inertie intra-classe soit minimale en optimisant :

P^∗= argmin P ∈PK       K X k=1 1 N X zi∈c_k ||z_i− w_k||² | {z } Inertie Intra       (2.1)

où Pk est l'ensemble des partitions en K classes possible de Z. Remarquons que ce critère ne s'applique qu'à un nombre de classes xé.

La connaissance de toutes les partitions possible de l'ensemble Z permet la détermina-tion de la partidétermina-tion optimale au sens de la minimisadétermina-tion de l'inertie intra-classes. Cependant, dans la pratique sa résolution est impossible à cause de la cardinalité élevée de l'ensemble P_k. En eet, pour N = 19 et k = 4 le nombre de partitions de l'ensemble Pk est supérieur

10¹⁰. De nombreuses heuristiques proposent une solution approchée de la partition opti-male en visitant un faible nombre de partitions.

2.2.3 Mesures de similarité pour données quantitatives et qualitatives

2.2.3.1 Données quantitatives

La première étape dans la grande majorité des algorithmes de classication est l'évalua-tion de la similarité entre les observal'évalua-tions. Il s'agit de dénir une matrice de taille N × N dont les entrées représentent la similarité entre deux observations. Le choix de la distance est primordial pour les méthodes de classication et doit être réalisé en tenant compte du type de données (numérique ou catégorielle). Le tableau (2.1) ci-dessous présente les prin-cipales distances usuelles utilisées dans la littérature pour les données numériques. Pour plus de détails sur les distances on pourra se référer aux revues présentées par Cha [2007] et Choi et al. [2010]. Euclidienne L2 deucl= q Pp j(z^j_i − z_i^j0)2 City block L1 d_cb =Pp j|z_i^j− z_i^j0| Minkowski Lq d_mk= ^qp Pp j(z_i^j− z_i^j0)q

Chebychev L∞ d_Cheb= max |z_i^j− z_i^j0|

Table 2.1  Quelques distances usuelles pour des données numériques

2.2.3.2 Données qualitatives

De nombreux exemples montrent que la distance euclidienne n'est pas adaptée pour les données catégorielles et binaires. Ainsi, comme dans le cas des données quantitatives, il existe plusieurs notions de dissimilarité spéciques aux données catégorielles (Cf. tableau 2.2). Une connaissance a priori des données pourrait guider le choix de l'une ou l'autre des mesures. Chacune de ces mesures de similarité possède ses propres propriétés qui inuencent les résultats de la classication. Lorsque les objets sont décrits par un ensemble de variables qualitatives, il est d'usage de représenter les p variables qualitatives initiales contenant chacune m1, . . . , m_p modalités par un tableau d'indicatrices des modalités appelé tableau disjonctif complet noté X. On est alors en présence de données binaires xj

i (xj

i ∈ {0, 1}). Les indices de similarité présentés dans le tableau 2.2 sont ensuite proposés en combinant

de diverses manières les quatre nombres suivants associés à un couple i, i0 d'individus :  N11, le nombre de caractéristiques communes (accords positifs) ;

 N10, le nombre de caractéristiques possédées par i et pas par i0;  N01, le nombre de caractéristiques possédées par i0 et pas par i ;  N00, le nombre de caractéristiques que ne possèdent ni i, ni i0;

Concordances simple (Sokal, Michener) N11+N00

N11+N01+N10 Jaccard N11 N11+N01+N10+N00 Russel-Rao N11 N11+N01+N10 Ochiai √ N11 (N11+N01)(N10+N00) Ochiai II √ N11×N₀₀ (N11+N00)(N11+N10)(N00+N01)(N00+N10) Dice N11 2N11+N01+N10 Rogers-Tanimoto N11+N00 N11+2(N01+N10)+N00 Kulzinsky N11 N01+N10

Table 2.2  Quelques distances usuelles pour des données catégorielles Citons aussi la distance de Hamming

d_h(x^j_i, x^j_i0) = p X j=1 σ(x^j_i, x^j_i0) (2.2) où σ(x^j_i, x^j_i0) = ( 0 si (x^j_i = x^j_i0) 1 si (x^j_i 6= x^j_i0)

Il est aussi possible d'utiliser pour deux individus i et i0 la distance du χ2 : d_χ2(i, i⁰) =^X j N n.j (^x j i − x^j_i0 p ⁾ 2 (2.3)

où n.jest le nombre d'individus ayant la modalité j. C'est par exemple le cas en analyse des correspondances multiples (ACM).

La distance dχ2 montre que la similarité dépend du nombre de modalités possédées en commun par i et i0 et de leur fréquence, ce qui revient à dire que deux individus ayant en commun une modalité rare sont plus proches que deux individus ayant en commun une modalité fréquente.

Une méthode classique pour traiter les données qualitatives consiste à eectuer une transformation des variables qualitatives via une analyse des correspondances multiples en variables quantitatives au préalable. Ce qui revient à coder tous les individus par les co-ordonnées factorielles résultant de cette transformation. Une fois les individus représentés

par des variables numériques, la classication est obtenue en utilisant un algorithme dédié aux variables quantitatives. Cependant, on perd la représentation initiale des données (les modalités). Cela engendre donc des dicultés d'interprétation.

2.2.3.3 Mesure de similarité pour données mixtes

Dans le cas où les individus sont décrits par des variables quantitatives et des variables qualitatives Huang [1998] et Lebbah et al. [2005] montrent que les formalismes habituels des problèmes de classication restent valables sous condition d'utilisation d'une distance adaptée. Une méthode classique consiste à combiner la distance euclidienne à celle de Hamming :

dmix= d_eucl+ d_h (2.4)

Cependant dans cette combinaison, il est important de prendre en considération l'inuence de la partie quantitative des données par rapport à la partie qualitative et inversement. Ainsi, certains auteurs ont proposé d'introduire un paramètre de pondération de cette in-uence. Cela sera discuté plus en détail dans le chapitre 4.

Nous avons présenté dans cette section quelques notations et dénitions liées à la classica-tion. La section suivante présente quelques méthodes usuelles de classication qui serviront de base aux approches proposées dans cette thèse.