• m ´ethode de base: ACP

• Typologie de la r ´eduction de dimension

• m ´ethode de base: ACP

• “groupement (clustering) des dimensions”

• extensions:

• ACP non-lin ´eaire (NLPCA)

• ´echelonnement multidimensionnel (multidimensional scaling – MDS)

• cartes auto-organisatrices (self-organizing maps – SOM)

• local linear embedding (LLE)

• ISOMAP

• courbes principales (principal curves)

• Typologie de groupement (clustering)

• m ´ethode de base: k-moyennes

• groupement (clustering) des points

• extensions:

• k-moyennes flou (fuzzy k-means) ≡ SOM

• densit ´es du m ´elange ⊆ k-moyennes flou

• groupement hi´erarchique (hierarchical clustering)

• Densit ´es du m ´elange

• mod `ele semi-param ´etrique:

p(x | ! ) = "

!=1

p(x | C

, !

)P( C

)

• k classes

• vecteur des param `etres: ! = ( !

, . . ., !

)

• densit ´es de composante: p(x | C

, !

)

• probabilit ´es a-priori (param `etres du m ´elange): P(C

)

• Objectif

• estimer ! , (P(C

)) ´etant donn ´e X

= { X

, X

, . . . , X

}

• Approche de maximum de vraisemblance

• p( X

_{| !} ) = #

i=1

p(x

| ! )

• l = "

i=1

log p(x

| ! )

!

l = "

i=1

1

p(x

| ! ) !

!

"

j=1

p(x

| C

, !

)P(C

)

"

= "

i=1

P( C

| x

, ! ) !

log p(x

| C

, !

) = 0

• o `u P(C

| x

, ! ) = p(x

| C

, !

)P(C

)

p(x

| ! )

• Algorithme it ´eratif

D ENSIT ES ´ D U M ´ ELANGE ( X

) 1 !

← #

!

, . . ., !

$

, j ← 0 2 faire

3 pour ! ← 1 `a k faire 4 pour i ← 1 `a n faire

5 P

= P(C

| x

, !

) ← p(x

| C

, !

)P(C

) p(x

| !

) 6 pour ! ← 1 `a k faire

7 !

← solution

%

"

i=1

P

!

log p(x

| C

, !

) = 0

&

8 j ← j + 1 9 jusqu’`a '

1 −

( < seuil

• k-moyennes flou (fuzzy k-means)

• x

appartient `a V

avec un poids W

( ∼ P(C

| x

))

• W

est normalis ´e pour tous les points x

:

k

"

!=1

W

= 1

• objectif: minimiser

J

= "

!=1 n

"

i=1

W

& x

− µ

&

• Solution (b > 1)

• µ

= "

W

x

"

W

• W

= (1/d

)

"

(1/d

)

, (d

= & x

− µ

&

)

• algorithme it ´eratif

• Normalisation

.2 .4 .6 .8 1

0 .2 .4 .6 .8 1

.25 .5 .75 1 1.25 1.5 1.75 2

0 .1 .2 .3 .4 .5

.1 .2 .3 .4 .5 0

.2 .4 .6 .8 1 1.2 1.4 1.6

2 00 .5

( )

x2

x2

x2

x1

x1

x₁

.5 0

( )

• Normalisation

x

x

x

x

• Crit `eres diff ´erents

• m ´etrique de Minkowski:

d(x, x

) = )

"

i=1

| x

− x

|

*

• mesures de similarit ´e:

s(x, x

) = x

x

& x & & x

&

• x

x

est le nombre des attributs partag´es (variables binaires)

• & x & & x

& est la moyenne g´eom ´etrique des attributs poss´ed ´es par x et x

• s(x, x

): possession relative des attributs

• Crit `eres diff ´erents

• versions diff ´erentes:

• fraction des attributs partag´es: s(x, x

) = x

x

d

• distance de Tanimoto: s(x, x

) = x

x

x

x + x

x

− x

x

• Crit `eres diff ´erents

• m ´etrique quadratique:

J

= "

i=1

"

x∈

V

& x

− v

&

= 1 2

c

"

i=1

n

s

• o `u s

= 1 n

"

x∈

V

"

x^'∈

V

& x − x

&

• g ´en ´eralisations:

s

= 1 n

"

x∈

V

"

x^'∈

V

s(x, x

) s

= max

x,x^'∈

V

s(x, x

)

• Groupement hi ´erarchique

• dendogramme:

0 10 20 30 40 50 60 70 80 90

x

100 k = 1

k = 2 k = 3 k = 4 k = 5 k = 6 k = 7

x

x

x

x

x

x

x

k = 8

´ec helle de similarit ´e

• Groupement hi ´erarchique agglom ´eratif

G ROUPEMENT H IERARCHIQUE A GGLOMERATIF ( X

, c) 1 + c ← n

2 pour i ← 1 `a n faire 3 V

← { x

}

4 faire

5 trouver les groupes les plus proches V

et V

6 fusionner V

et V

7 c + ← + c − 1

8 jusqu’`a c = + c

• Distances des groupes

• d

(V

, V

) = min

x∈V_i x^'∈V_j

& x − x

&

• d

(V

, V

) = max

x∈V_i x^'∈V_j

& x − x

&

• d

(V

, V

) = 1 n

n

"

x∈V_i

"

x^'∈V_j

& x − x

&

• d

(V

, V

) = &

−

&

• Groupement hi ´erarchique – plus proche voisin

• d

(V

, V

) = min

x∈V_i x^'∈V_j

& x − x

&

• algorithme du lien simple (single-linkage)

• arbre couvrant minimal (Kruskal)

• Groupement hi ´erarchique – plus proche voisin

• Groupement hi ´erarchique – plus loin voisin

• d

(V

, V

) = max

x∈V_i x^'∈V_j

& x − x

&

• algorithme du lien complet (complete linkage)

• augmenter le diam `etre le moins possible

• Groupement hi ´erarchique – plus loin voisin

d

= large d

= small

• Groupement hi ´erarchique incr ´ementiel

G ROUPEMENT H IERARCHIQUE I NCREMENTIEL ( X

_, c) 1 + c ← n

2 pour i ← 1 `a n faire 3 V

← { x

}

4 faire

5 trouver V

et V

dont la fusion change une crit`ere le moins 6 fusionner V

et V

7 c + ← + c − 1 8 jusqu’`a c = + c

• crit `ere: J

= "

i=1

"

x∈V_i

& x −

&

• distance: d

( V

,V

) = , n

n

n

+ n

&

−

&

• Groupement hi ´erarchique – approche de th ´eorie de graphe

• Matrice (graphe) de similarit ´e S _{i j} =

% 1 si d (x _i , x _j ) < d ₀ 0 sinon.

• d

−→ composantes connexes

• d

−→ sous-graphes complets

• Approche de division

• Statistique de longueurs des arr ˆetes

• Chemin de diam `etre

• Groupement hi ´erarchique – approche de division

• construire un arbre couvrant minimal

• couper les arr ˆetes “longues”

• Groupement hi ´erarch. – statistique de longueurs des arr ˆetes

1 2 3 4 5 6 7 8 9

1 2 3 4 5 6 7 8 9

longueur longueur

nombr e

nombr e

• Groupement hi ´erarchique – m ´etrique g ´en ´er ´ee

• $ (x, x

) “dissimilarit ´e” non-m ´etrique

• non-n´egativit ´e: $(x, x

) ≥ 0

• r ´eflexivit ´e: $(x, x

) = 0 sii x = x

• “dissimilarit ´e” des groupes

• $

(V

,V

) = min

x∈V_i x^'∈V_j

$ (x, x

)

• $

(V

,V

) = max

x∈V_i x^'∈Vj

$ (x, x

)

• d(x, x

) m ´etrique g ´en ´er ´ee:

• le niveau de groupement plus bas o `u x et x

se trouvent dans le mˆeme groupe

• aussi sym ´etrique et satisfait l’in´egalit ´e de triangle

• Groupement hi ´erarchique – dans l’espace des attributs

• trouver les attributs les plus corr ´el ´es

• matrice de covariance: R = [ %

]

• coefficients de corr ´elation: &

= %

%

%

• 0 ≤ &

≤ 1: mesure de similarit ´e entre deux attributs