Comparaison de différents modèles de programmation par contraintes pour le clustering conceptuel

HAL Id: hal-02076396

https://hal.archives-ouvertes.fr/hal-02076396

Submitted on 22 Mar 2019

HAL is a multi-disciplinary open access

archive for the deposit and dissemination of

sci-entific research documents, whether they are

pub-lished or not. The documents may come from

teaching and research institutions in France or

abroad, or from public or private research centers.

L’archive ouverte pluridisciplinaire HAL, est

destinée au dépôt et à la diffusion de documents

scientifiques de niveau recherche, publiés ou non,

émanant des établissements d’enseignement et de

recherche français ou étrangers, des laboratoires

publics ou privés.

Comparaison de différents modèles de programmation

par contraintes pour le clustering conceptuel

Maxime Chabert, Pierre-Antoine Champin, Amélie Cordier, Christine Solnon

To cite this version:

Actes JFPC 2017

Comparaison de diff´

erents mod`

eles de

programmation par contraintes pour le clustering

conceptuel

Maxime Chabert

_{Pierre-Antoine Champin}

_Am´

_{elie Cordier}

_{Christine Solnon}

_{LIRIS, INSA Lyon, Lyon, France}

2

_{LIRIS, Universit´}

_{e Lyon 1, Lyon, France}

_{Infologic, Bourg-l`}

_{es-Valence, France}

{pr´

enom.nom}@liris.cnrs.fr

R´esum´e

Le clustering conceptuel permet de partitionner un ensemble d’objets en clusters d’objets similaires, cor-respondant `a des concepts formels. Nous pr´esentons une nouvelle approche bas´ee sur la programmation par

5

contraintes, o`u l’ensemble des concepts formels est ex-trait dans une ´etape de pr´e-traitement en utilisant des techniques sp´ecialis´ees de fouille de donn´ees. Nous com-parons l’efficacit´e de notre approche avec celle de plu-sieurs approches r´ecentes utilisant la programmation par

10

contraintes ou la programmation lin´eaire en nombres entiers sur des instances classiques d’apprentissage au-tomatique. Nous introduisons ´egalement un nouvel en-semble d’instances provenant d’une application r´eelle, visant `a extraire des concepts de param´etrage `a partir

15

de s´equences de param´etrage d’un progiciel de gestion, et nous ´evaluons la pertinence des concepts extraits en fonction des crit`eres utilis´es dans la d´efinition de la fonc-tion objectif.

Abstract

20

Conceptual clustering allows to partition a set of ob-jects into clusters of similar obob-jects, corresponding to formal concepts. We present a new approach based on constraint programming where formal concepts are ex-tracted in a pre-processing step by using a dedicated

25

data-mining approach. We compare the efficiency of our approach with several recent approaches using constraint programming or integer linear programming on classical machine learning instances. We also introduce a new set of instances coming from a real application case, which

30

aims at extracting setting concepts from an Enterprise Ressource Planning (ERP) software. We assess the rele-vance of extracted concepts depending on criteria used in the objective function.

∗_{Papier doctorant : Maxime Chabert}1,3_{est auteur principal.}

1

Introduction

35

Nous proposons dans cet article de nouveaux mo-d`eles `a base de contraintes pour r´esoudre un probl`eme de clustering conceptuel, et nous ´evaluons ces mod`eles sur des instances acad´emiques, ainsi que sur un nou-vel ensemble d’instances provenant d’une application

40

r´eelle visant `a automatiser la phase de param´etrage d’un progiciel de gestion (Enterprise Ressource Plan-ning, ERP).

Pr´esentation du contexte applicatif du travail. Les ERP sont des logiciels avec un vaste p´erim`etre

fonc-45

tionnel allant de la gestion commerciale jusqu’`a la ges-tion des ateliers de producges-tion et de stockage [8]. Cette amplitude de fonctionnalit´es rend le processus d’ins-tallation complexe, et une ´etude r´ecente souligne que 57% des installations d’ERP d´epassent le budget et le

50

temps pr´evus [1]. Nous avons ´etudi´e le processus d’ins-tallation du progiciel de gestion Copilote de la soci´et´e Infologic, sp´ecialis´ee en agro-alimentaire. Il apparaˆıt que 65% du temps est d´edi´e `a la phase de param´ e-trage : cette phase consiste `a affecter des valeurs `a

55

des param`etres afin de r´epondre aux besoins du client et `a ses sp´ecificit´es structurelles et organisationnelles [18]. Cette complexit´e est due au grand nombre de param`etres pouvant interagir entre eux. De plus, plu-sieurs ´etudes [14, 2] portant sur le processus

d’instal-60

lation des ERP montrent que le param´etrage n’est pas consid´er´e comme un facteur critique de succ`es contrai-rement `a l’accompagnement au changement ou `a la formation des utilisateurs. C’est pourquoi, r´eduire le temps de param´etrage devient un r´eel enjeu pour les

int´egrateurs d’ERP afin d’allouer plus de temps aux phases critiques du processus d’installation.

Pour r´epondre `a cette probl´ematique, nous propo-sons d’analyser une base de param´etrages existants, correspondant `a des installations de l’ERP chez

dif-70

f´erents clients. Notre objectif est d’identifier des s´ e-quences pertinentes de param´etrage afin de les asso-cier `a des besoins fonctionnels. ´Etant donn´e que beau-coup de besoins se retrouvent chez plusieurs clients, ces s´equences de param´etrage pourront ˆetre r´eutilis´ees

75

durant l’installation de l’ERP chez un nouveau client ayant des besoins similaires.

Pour identifier des s´equences pertinentes de param´ e-trage, nous proposons de partitionner la base de pa-ram´etrages de fa¸con `a regrouper les param´etrages

si-80

milaires. Nous proposons pour cela d’utiliser le cluste-ring conceptuel [12] car cette approche ne pr´e-suppose pas qu’il existe une fonction de similarit´e permettant d’´evaluer la similarit´e de deux objets : chaque clus-ter correspond `a un concept formel et est d´ecrit par

85

l’ensemble des param`etres communs `a tous les para-m´etrages du cluster.

Pr´esentation des contributions de l’article. Plu-sieurs travaux r´ecents proposent de r´esoudre des pro-bl`emes de clustering conceptuel en utilisant des

ap-90

proches d´eclaratives telles que la programmation par contraintes (PPC) [4] ou la programmation lin´eaire en nombres entiers (PLNE) [15]. Ces approches sont particuli`erement pertinentes dans notre contexte ap-plicatif du fait de leur souplesse pour ajouter des

95

contraintes ou modifier la fonction objectif : une de nos probl´ematiques majeures est de trouver une fonc-tion objectif et des contraintes permettant d’extraire des concepts de param´etrage pertinents pour les ex-perts m´etiers.

100

Nous pr´esentons une nouvelle approche bas´ee sur la PPC. Comme propos´e dans [15], nous introduisons une ´etape de pr´e-traitement pour extraire l’ensemble des concepts formels candidats `a l’aide d’un outil d´edi´e au probl`eme de l’extraction de motifs fr´equents. Nous

105

proposons d’utiliser la programmation par contraintes pour s´electionner un sous-ensemble de cet ensemble formant une partition optimale, et nous introduisons deux nouveaux mod`eles ensemblistes pour cela. Nous comparons ces mod`eles avec ceux de [15] et [4]. Cette

110

comparaison est r´ealis´ee sur un ensemble d’instances classiques dans le domaine de l’apprentissage automa-tique. Nous introduisons ´egalement un nouveau bench-mark compos´e d’instances construites `a partir de notre base de param´etrages. Enfin, nous comparons d’un

115

point de vue qualitatif la qualit´e des clusterings ob-tenus selon diff´erentes fonctions objectifs.

Organisation de l’article. La section 2 d´efinit formel-lement le probl`eme de clustering conceptuel, et d´ecrit les approches permettant de r´esoudre ce probl`eme, et

120

plus particuli`erement les approches r´ecentes de [15] et [4]. La section3introduit deux nouveaux mod`eles PPC pour r´esoudre ce probl`eme, l’un bas´e sur les clusters, l’autre sur les transactions. Enfin, la section 4 com-pare les diff´erentes approches en termes de passage `a

125

l’´echelle, et la section5 compare la qualit´e des solu-tions calcul´ees en fonction des crit`eres consid´er´es dans la fonction objectif.

2

Contexte

2.1 Clustering conceptuel

130

Le clustering conceptuel est une approche de clas-sification non-supervis´ee qui vise `a partitionner un ensemble d’objets en clusters homog`enes. La parti-cularit´e de cette m´ethode est qu’elle donne, en plus des clusters, une description de chaque cluster sous la

135

forme d’un concept formel.

Soit T un ensemble de m transactions (ou objets), I un ensemble de n items (ou attributs), et R ⊆ T × I une relation binaire qui lie les transactions aux items : (t, i) ∈ R (not´e ´egalement tRi) traduit le fait qu’une transaction t contient l’item i. Nous supposons que toutes les transactions ont des ensembles d’items dif-f´erents, i.e.,

∀t, t0 ∈ T , t 6= t0⇒ {i ∈ I : tRi} 6= {i ∈ I : t0Ri}. ´

Etant donn´e un ensemble E, nous notons P(E) l’en-semble de ses sous-enl’en-sembles, et #E sa cardinalit´e. Enfin, sans perte de g´en´eralit´e, nous supposons que les transactions sont num´erot´ees de 1 `a m et les items

140

de 1 `a n.

L’intention d’un sous-ensemble T ⊆ T de transac-tions est l’ensemble des items contenus dans toutes les transactions de T , i.e.,

intent(T ) = {i ∈ I : ∀t ∈ T, tRi}.

L’extension d’un sous-ensemble I ⊆ I d’items est l’en-semble des transactions qui contiennent tous les items de I, i.e.,

extent(I) = {t ∈ T : ∀i ∈ I, tRi}.

Ces deux op´erateurs induisent une connexion de Galois entre P(T ) et P(I), i.e.,

T ⊆ extent(I) ⇔ I ⊆ intent(T ).

Table 1 – Jeu de donn´ees transactionnel T i1 i2 i3 i4 t1 1 0 0 1 t2 1 0 1 1 t3 0 1 0 1 t4 0 1 1 0 t5 1 0 1 0

note F l’ensemble de tous les concepts formels. No-tons qu’un concept formel correspond `a un ensemble

145

clos d’items (closed itemset) tel que d´efini en fouille de donn´ees. Par cons´equent, l’ensemble F des concepts formels peut ˆetre calcul´e en utilisant un algorithme de recherche de motifs clos fr´equents (tel que LCM [19], par exemple), en fixant le seuil de fr´equence `a 1.

150

En clustering conceptuel, chaque cluster correspond `

a un concept formel, et un clustering est un ensemble de k concepts formels C = {(T1, I1), . . . , (Tk, Ik)} tel

que {T1, . . . , Tk} forme une partition de l’ensemble de

transactions T .

155

La fr´equence d’un cluster (Tj, Ij) est son nombre de

transactions, i.e., f req(Tj, Ij) = #Tj, et sa taille est

son nombre d’items, i.e., taille(Tj, Ij) = #Ij.

Diff´erents crit`eres peuvent ˆetre consid´er´es pour d´ e-finir la qualit´e d’un clustering conceptuel. Dans cet

160

article, nous en consid´erons trois :

1. maximiser la taille minimale d’un cluster, de fa-¸

con `a ´eviter d’avoir des concepts comportant peu d’items ;

2. maximiser la fr´equence minimale d’un cluster, de

165

fa¸con `a ´eviter d’avoir des concepts comportant peu de transactions ;

3. maximiser la somme des tailles des clusters, de fa¸con `a favoriser les concepts comportant un grand nombre d’items.

170

Exemple. La table 1 pr´esente un jeu de donn´ees transactionnelles T compos´e de cinq transactions d´ e-finies sur quatre items. La table 2 donne l’ensemble F des concepts formels de T . Par exemple, le concept c1 est d´efini par le couple ({i1}, {t1, t2, t5}). Sa fr´

e-175

quence et sa taille sont : f req(c1) = 3 et taille(c1) =

1. C1 = {({i1}, {t1, t2, t5}), ({i2}, {t3, t4})} et C2 =

{({i1}, {t1, t2, t5}), ({i2, i4}, {t3}), ({i2, i3}, {t4})} sont

deux exemples de clusterings de T . Selon le crit`ere consid´er´e, la qualit´e de C1 (resp. C2) est ´evalu´ee `a 1

180

(resp. 1), pour le crit`ere de taille minimale d’un clus-ter, 2 (resp. 1), pour le crit`ere de fr´equence minimale d’un cluster, et 2 (resp. 5), pour le crit`ere de somme des tailles des clusters.

Table 2 – Ensemble F des concepts formels de T C intent extent fr´eq. taille c1 {i1} {t1, t2, t5} 3 1 c2 {i3} {t2, t4, t5} 3 1 c3 {i1, i3} {t2, t5} 2 2 c4 {i4} {t1, t2, t3} 3 1 c5 {i1, i4} {t1, t2} 2 2 c6 {i1, i3, i4} {t2} 1 3 c7 {i2} {t3, t4} 2 1 c8 {i2, i3} {t4} 1 2 c9 {i2, i4} {t3} 1 2

2.2 Approches d´edi´ees au clustering conceptuel

185

Depuis l’introduction du clustering conceptuel par [12], de multiples approches d´edi´ees `a ce probl`eme ont ´

et´e propos´ees.

Plusieurs de ces approches utilisent des heuristiques bas´ees sur des mesures statistiques pour construire

190

des clusters [7] pouvant ˆetre organis´es en hi´erarchie [5,10]. Le syst`eme COBWEB [5] s’appuie sur la simi-larit´e intra-cluster et la dissimilarit´e inter-cluster pour construire incr´ementalement une hi´erarchie de clus-ters, l’interpr´etation conceptuelle des clusters ´etant

195

alors une ´etape ind´ependante de la construction des clusters. Ces deux tˆaches sont souvent d´ecoupl´ees dans des approches plus r´ecentes soit en utilisant des tech-niques de clustering apr`es avoir extrait un ensemble de concepts [16], soit en clusterisant des objets puis

200

en extrayant une description associ´ee `a chaque clus-ter [17]. D’autres approches ont introduit l’utilisa-tion de connaissances lors de la construcl’utilisa-tion des clus-ters pour am´eliorer la pertinence des concepts extraits [13,9,20].

205

La qualit´e des r´esultats obtenus par ces approches reste variable tout comme le passage `a l’´echelle sur de grands volumes de donn´ees.

Ces approches d´edi´ees ne permettent pas facilement d’ajouter de nouvelles contraintes, ou de modifier la

210

fonction objectif. Ce point ´etant particuli`erement im-portant dans notre contexte applicatif o`u nous souhai-tons ´evaluer la qualit´e de diff´erents clusterings obtenus en consid´erant diff´erents crit`eres, nous nous sommes int´eress´es `a des approches d´eclaratives telles que la

215

PPC et la PLNE.

2.3 PPC pour le clustering conceptuel

Guns a montr´e dans sa th`ese [6] que la PPC fournit un cadre d´eclaratif permettant de facilement mod´ e-liser diff´erents probl`emes de recherche de motifs fr´

e-220

quents, et que les solveurs g´en´eriques de PPC peuvent ˆ

notamment propos´e une mod´elisation utilisant des va-riables binaires pour exprimer le fait qu’un item ap-partient `a l’intention d’un concept associ´e `a un cluster.

225

Dao et al [4] ont propos´e un nouveau mod`ele utilisant des variables ensemblistes, et ont montr´e que ce mo-d`ele ensembliste a de bien meilleures performances en pratique que le mod`ele binaire. Nous d´ecrivons ici ce mod`ele ensembliste.

230

Variables. Pour chaque transaction t ∈ T , la variable enti`ere Gtrepr´esente le cluster de t. Le nombre de

clus-ters est d´efini par une constante k donn´ee en entr´ee, et les clusters sont num´erot´es de 1 `a k. Ainsi, chaque variable Gt a pour domaine D(Gt) = [1, k].

235

Pour chaque cluster c ∈ [1, k], la variable ensem-bliste Ec repr´esente l’ensemble des items de

l’inten-tion du concept formel associ´e au cluster c. Le do-maine de Ec est l’ensemble des sous-ensembles de I,

i.e., D(Ec) = P(I).

240

Contraintes. Les sym´etries (dues au fait que les clus-ters sont interchangeables) sont ´elimin´ees en posant une contrainte de pr´ec´edence [11] :

precede(G, [1, k]).

Cette contrainte assure que la premi`ere transaction appartient au premier cluster (i.e., G1 = 1), et que

∀j ∈ [2, n], ∃l < j, Gl= Gj− 1.

Chaque cluster est contraint `a poss´eder au moins une transaction `a l’aide de la contrainte :

atLeast(1, G, k).

La contrainte d’extension est exprim´ee par : ∀c ∈ [1, k], ∀t ∈ T , Gt= c ⇔ Ec ⊆ {i ∈ I|tRi}.

La contrainte d’intention est exprim´ee par : ∀c ∈ [1, k], Ec = ∩t∈T ,Gt=c{i ∈ I|tRi}.

Chaque contrainte d’intention n´ecessite n contraintes de domaine r´eifi´ees pour construire l’ensemble Ic =

245

{t ∈ T |Gt= c}, et une contrainte element ensembliste.

Fonction objectif. Pour maximiser la fr´equence mi-nimale des clusters, on introduit une variable enti`ere F devant ˆetre maximis´ee. Son domaine est D(F ) = [1, m], et elle est contrainte `a ˆetre inf´erieure ou ´egale `a

250

la fr´equence de chaque cluster c ∈ [1, k] en posant une contrainte atLeast(F, G, c).

Pour maximiser la taille minimale des clusters, on introduit une variable enti`ere T devant ˆetre maximis´ee. Son domaine est D(T ) = [1, n], et elle est contrainte

255

`

a ˆetre inf´erieure ou ´egale `a la taille de chaque cluster c ∈ [1, k] en posant la contrainte T ≤ #Ec.

Si le cas n’a pas ´et´e explicitement ´etudi´e dans [4], on peut facilement ´etendre ce mod`ele pour maximiser la somme des tailles en ajoutant une variable S devant

260

ˆ

etre maximis´ee. Son domaine est D(S) = nk, et elle est contrainte `a ˆetre ´egale `a la somme des variables T .

Extension du mod`ele `a un nombre variable de clus-ters. Le mod`ele introduit dans [4] suppose que le nombre de clusters est fix´e par une constante k.

L’ex-265

tension au cas o`u le nombre de clusters n’est pas connu a priori est relativement triviale : il suffit d’introduire une constante kM ax, fixant le nombre maximal de clusters (si le nombre de clusters n’est pas born´e, alors kM ax = m), et de d´efinir k comme une variable

en-270

ti`ere de domaine D(k) = [2, kM ax]. Dans ce cas, la contrainte atLeast(1, G, k) n’a plus de raison d’ˆetre.

2.4 PLNE pour le clustering conceptuel

Ouali et al [15] ont propos´e de combiner un outil d´edi´e `a l’extraction de motifs fr´equents avec la PLNE

275

pour faire du clustering conceptuel : dans une ´etape de pr´e-traitement, l’ensemble de tous les concepts formels est calcul´e en utilisant un outil d´edi´e `a ce probl`eme tel que LCM [19] ; la PLNE est utilis´ee ensuite pour s´ e-lectionner un sous-ensemble de ces concepts qui forme

280

une partition de T et qui optimise la fonction objectif. Plus pr´ecis´ement, soit F l’ensemble de tous les concepts formels calcul´es en pr´e-traitement. L’objec-tif est de s´electionner un sous-ensemble de F tel que chaque transaction de T appartienne `a exactement un

285

concept formel du sous-ensemble, et optimise un cri-t`ere donn´e. Cela est mod´elis´e en PLNE dans [15] de la fa¸con suivante.

Variables. Pour chaque concept formel f ∈ F , on introduit une variable binaire xf telle que xf = 1 ssi

290

le concept formel f est s´electionn´e.

La variable enti`ere k correspond au nombre de concepts s´electionn´es.

Contraintes. Pour garantir que l’ensemble des concepts s´electionn´es forme une partition de T on pose, pour chaque transaction t ∈ T , la contrainte :

X

f ∈F

atfxf = 1.

o`u atf = 1 si la transaction t appartient `a l’extension

du concept f .

Pour contraindre k `a ˆetre ´egal au nombre de concepts s´electionn´es, on pose la contrainte :

k =X

f ∈F

xf.

Enfin, on peut borner le nombre de concepts s´ elec-tionn´es k en posant la contrainte :

kM in ≤ k ≤ kM ax.

Fonction objectif. Un gain vf est associ´e `a chaque

concept formel f ∈ F : vf est ´egal `a la taille de f . La

fonction objectif `a maximiser est la somme des gains : X

f ∈F

vfxf.

Si le cas n’a pas ´et´e explicitement ´etudi´e dans [15], on peut facilement ´etendre le mod`ele pour maximiser le gain minimal d’un concept. Le gain vf est ´egal soit `a la

taille de f , soit `a sa fr´equence, selon le crit`ere choisi. Une variable vmin est introduite et est contrainte `a

ˆ

etre inf´erieure ou ´egale au gain des concepts s´ election-n´es en posant, pour chaque concept formel f ∈ F , la contrainte :

vmin≤ vfxf+ M (1 − xf)

o`u M est une constante positive sup´erieure au plus grand gain possible. La fonction objectif `a maximiser est vmin.

3

Nouveaux mod`

eles PPC

Nous proposons de nous inspirer de l’approche de

300

[15], consistant `a extraire dans une phase de pr´ e-traitement l’ensemble F de tous les concepts for-mels avec un outil d´edi´e `a ce probl`eme, et nous pro-posons d’´evaluer les capacit´es de la programmation par contraintes pour s´electionner le sous-ensemble de

305

concepts formels formant un clustering optimal. Nous proposons deux mod`eles utilisant des contraintes ensemblistes : le premier mod`ele associe une variable enti`ere `a chaque cluster (d´eterminant le concept formel associ´e au cluster) et pose une

310

contrainte ensembliste de partition sur l’ensemble des extensions des concepts formels associ´es aux clusters ; le second mod`ele utilise une variable ensembliste pour repr´esenter le sous-ensemble de clusters s´electionn´es et pose des contraintes member et card pour assurer

315

que ce sous-ensemble d´efinit bien une partition.

3.1 Mod`ele ensembliste bas´e sur les clusters Variables. Pour chaque cluster c ∈ [1, kM ax], on d´ e-finit une variable enti`ere Gc d´eterminant le concept

formel associ´e au cluster c. Comme la solution

opti-320

male peut avoir moins de kM ax clusters, on introduit un concept formel vide : ce concept a le num´ero 0, et son extension est l’ensemble vide, i.e., extent(0) = ∅. Nous supposons que les concepts formels de F sont num´erot´es de 1 `a p. Par cons´equent, le domaine de

325

chaque variable Gc est D(Gc) = [0, p] : si Gc ∈ [1, p],

alors le cluster c correspond au concept formel Gc ; si

Gc= 0 alors le cluster c est vide.

On introduit une variable enti`ere k qui repr´esente le nombre de clusters non vides de la solution, et

330

une autre variable enti`ere kempty qui repr´esente le

nombre de clusters vides de la solution. Leurs do-maines sont, respectivement, D(k) = [2, kM ax] et D(kempty) = [0, kM ax − 2].

Contraintes. Pour ´eliminer les sym´etries, dues au fait que les valeurs affect´ees `a deux variables Gi et

Gj peuvent ˆetre interchang´ees, nous contraignons G `a

prendre des valeurs croissantes par rapport `a un ordre d´efini sur F . Pour assurer que les extensions des clus-ters forment une partition de l’ensemble des transac-tions, nous posons une contrainte de partition [3] :

partition({extent(Gc)|c ∈ [1, kM ax]}, [1, m])

Pour assurer que le nombre de clusters vides est ´egal `

a kempty, nous posons la contrainte :

count(G, 0, kempty)

Enfin, nous assurons que k est ´egal au nombre de clus-ters non vides `a l’aide de la contrainte :

k + kempty= kM ax.

Fonction objectif. Un gain vf est associ´e `a chaque

concept formel f ∈ F . Selon les cas, ce gain peut ˆetre la fr´equence ou la taille de f . La fonction objectif `a maximiser peut ˆetre soit la somme des gains, i.e.,

kM ax

X

c=1

vGc

(et dans ce cas on d´efinit le gain du cluster vide par v0= 0), soit le gain minimal, i.e.,

min

c∈[1,kM ax]

vGc

(et dans ce cas on d´efinit le gain du cluster vide par

335

v0= ∞).

objectif. Dans les deux cas, les concepts formels sont

340

class´es par ordre d´ecroissant selon leur gain vf. Ainsi,

∀f, f0_{∈ F, f > f}0 _{⇔ v}

f < vf0.

Si le crit`ere consid´er´e est la taille, les solutions tendent `a avoir un nombre de clusters proche de kM ax. Nous utilisons un s´electeur qui choisit la borne

345

minimale du domaine comme prochaine valeur pour la variable kempty. De la mˆeme mani`ere, pour chaque

variable Gc, les concepts formels de plus grande taille

sont d’abord choisis. Ainsi, les solutions avec un maxi-mum de clusters non vides sont recherch´ees en premier.

350

Si le crit`ere consid´er´e est la fr´equence, les solutions tendent `a avoir peu de clusters. Les variables de d´ eci-sion sont uniquement les variables Gc. Nous utilisons la

strat´egie first fail qui consiste `a s´electionner la variable avec le plus petit domaine comme prochaine variable `a

355

instancier. De plus, le s´electeur des variables Gc

choi-sit la borne minimale du domaine comme prochaine valeur. Ainsi, les solutions avec le moins de clusters possibles sont explor´ees en premier.

3.2 Mod`ele ensembliste bas´e sur les transactions

360

Variables. Pour chaque transaction t ∈ T , nous d´ efi-nissons une variable enti`ere Ctd´eterminant le concept

s´electionn´e dont l’extension contient t : chaque tran-saction t doit appartenir `a l’extension d’exactement un concept s´electionn´e, et l’ensemble des concepts

can-365

didats est l’ensemble des concepts dont l’extension contient t. Ainsi, pour chaque transaction t ∈ T , le domaine de Ctest D(Ct) = {f ∈ F | t ∈ extent(f )}.

Nous d´efinissons une variable ensembliste P d´ eter-minant l’ensemble des concepts s´electionn´es : chaque

370

concept appartenant `a P correspond `a un cluster. Le domaine de P est : D(P ) = P(F ).

La variable enti`ere k d´efinit le nombre de clusters de la solution (et donc la cardinalit´e de P ). Son domaine est : D(k) = [2, kM ax].

375

Contraintes. On assure que, pour chaque transaction t ∈ T , Ctest un ´el´ement de l’ensemble P en posant la

contrainte :

member(Ct, P )

On assure que, pour chaque transaction t ∈ T , il y a exactement un concept formel de P dont l’extension contient t (autrement dit, les extensions des concepts de P forment une partition de l’ensemble des transac-tions) en v´erifiant que l’intersection entre P et l’en-semble des concepts dont t appartient `a l’extension contient un seul ´el´ement, i.e.,

∀t ∈ T , card({f ∈ F | t ∈ extent(f )} ∩ P ) = 1 Enfin, le nombre de clusters de la solution est contraint avec la contrainte card(P ) = k, assurant que

le nombre d’´el´ements de P est ´egal `a k, i.e., le nombre de clusters est ´egal `a k.

Fonction objectif. Comme pour le mod`ele pr´ec´edent,

380

la fonction objectif est d´efinie en associant un gain vf

`

a chaque concept formel f .

Strat´egie de recherche. Les concepts formels sont class´es par ordre d´ecroissant selon leur gain vf. Les

variables de d´ecision sont uniquement les variables Ct

385

avec une strat´egie first fail. De plus, le s´electeur des variables Ct choisit la borne minimale du domaine

comme prochaine valeur.

4

Comparaison exp´

erimentale des diff´

e-rents mod`

eles

390

Dans cette section, nous comparons l’efficacit´e de nos mod`eles par rapport aux approches de Ouali et al. [15] et de Bich et. al [4].

Protocole exp´erimental. Toutes les exp´ erimenta-tions ont ´et´e men´ees sur un Intel(R) Core(TM) i7-6700

395

avec 3.40GHz de CPU et 65GB de RAM. Nous avons utilis´e LCM [19] pour extraire les concepts formels, Ge-code v4.3 pour les mod`eles PPC et Cplex v12.7 pour le mod`ele PLNE. Dans chaque mod`ele, nous avons fix´e kM ax, le nombre de cluster maximal, `a m−1, m ´etant

400

le nombre de transactions de l’instance. Chaque r´ eso-lution a ´et´e limit´ee `a deux heures de temps CPU.

Description des instances. Nous avons consid´er´e quatre instances classiques en apprentissage automa-tique et utilis´ees dans [15] : zoo, vote, tic-tac-toe et

405

mushroom. Nous avons ´egalement consid´er´e quatre

Table 3 – Description des jeux de donn´ees : chaque ligne donne successivement le nom du jeu de don-n´ees, le nombre de transactions, le nombre d’items, le nombre de concepts, et le temps (en secondes) mis par LCM pour extraire les concepts.

Table 4 – Comparaison des temps de r´esolution : chaque ligne donne successivement le nom de l’instance, et les r´esultats pour les trois crit`eres `a maximiser (taille minimale, fr´equence minimale, et somme des tailles). Pour chaque crit`ere, nous donnons les temps CPU (en secondes) des trois mod`eles PPC (FullCP, CB et TB) et du mod`ele PLNE (LP). Pour les mod`eles CB, TB et LP, le temps CPU comprend le temps mis par LCM pour extraire les concepts formels. Le symbole “-” indique que le temps d´epasse la limite de 2h.

Instance (1) - Max. taille minimale (2) - Max. fr´equence minimale (3) - Max. somme des tailles

FullCP CB TB LP FullCP CB TB LP FullCP CB TB LP

ERP 1 0,6 0,3 0,0 0,4 0,1 0,2 0,1 0,4 - - - 0,1 ERP 2 6,3 4,8 0,4 3,7 3,5 6,1 0,6 14,4 - - - 1,1 ERP 3 5,9 24,0 2,6 2 356,9 12,0 282,6 6,7 159,9 - - - 7,3 ERP 4 74,6 457,9 35,6 - 1 613,2 - 204,6 - - - - 92,0 zoo 1,7 0,8 0,1 0,2 0,4 0,4 0,1 2,5 - - - 0,2 vote 2885,6 1478,0 46,6 - - - 10,2 - - - - 29,2 tic-tac-toe - - 240,4 484,6 1 115,1 5 982,0 10,1 684,9 - - - 5,7 mushroom - - - 1 577,5 - - - -

-instances construites `a partir de notre base de pa-ram´etrages. Cette base comporte 400 param´etrages, chaque param´etrage correspondant `a une installation de l’ERP Copilote chez un client diff´erent. Chacun de

410

ces param´etrages sp´ecifie les valeurs de pr`es de 450 param`etres (chaque param`etre pouvant prendre un nombre fini de valeurs diff´erentes). Nous avons trans-form´e chaque couple param`etre/valeur en un item bool´een et extrait quatre instances de tailles diff´

e-415

rentes pour pouvoir ´evaluer plus finement le passage `

a l’´echelle des diff´erentes approches consid´er´ees. La table3pr´esente les caract´eristiques de chaque instance ainsi que le temps d’extraction des concepts formels avec LCM. Nous pouvons remarquer que ce temps d´

e-420

pend du nombre de concepts formels (la complexit´e de LCM est lin´eaire par rapport `a #F ), et est relative-ment court. Par exemple, les 728 537 concepts formels de l’instance ERP 4 sont extraits en moins de six se-condes.

425

Mod`eles compar´es. Nous avons compar´e les deux mod`eles d´ecrits dans la partie2.2, `a savoir l’approche de Ouali et al. [15] (appel´ee LP) et celle de Dao et al. [4] (appel´ee FullCP), avec nos deux mod`eles introduits dans la partie3: le mod`ele bas´e sur les clusters (appel´e

430

CB) et celui bas´e sur les transactions (appel´e TB). La table 4compare les temps de r´esolution des dif-f´erents mod`eles pour les trois crit`eres d’optimisation consid´er´es. Pour les mod`eles CB, TB et LP, le temps CPU comprend le temps de pr´e-traitement (i.e., le

435

temps mis par LCM pour extraire les concepts for-mels).

Temps de r´esolution pour les crit`eres (1) et (2). Quand le crit`ere consid´er´e est la maximisation du mi-nimum de la taille (1) ou de la fr´equence (2), le mod`ele

440

TB domine tous les autres mod`eles sur l’ensemble des

instances. Il est souvent un ordre de grandeur plus ra-pide que les autres mod`eles. Cependant, il ne trouve pas la solution optimale dans le temps imparti pour l’instance mushroom pour le minimum de la taille (1).

445

Cela s’explique probablement par le nombre de tran-sactions plus important (103) compar´e aux autres ins-tances (de 101 _{`a 10}2_).

La diff´erence de performance du mod`ele TB avec le mod`ele CB est probablement due `a l’efficacit´e de la

450

strat´egie first fail qui permet de choisir la variable Ct

ayant le moins de concepts formels dans son domaine. Dans les deux mod`eles, l’espace des concepts candi-dats (i.e., les concepts dont l’extension n’a aucune transaction appartenant aux extensions des concepts

455

d´ej`a s´electionn´es) est r´eduit de la mˆeme mani`ere par la contrainte de partition. En revanche, le mod`ele TB choisit en priorit´e les concepts contenus dans la tran-saction ayant le moins de candidats (contrairement au mod`ele CB), et r´eduit ainsi efficacement l’espace de

460

recherche pour converger plus rapidement vers la so-lution optimale. De plus, l’heuristique de CB sur le nombre de clusters vides n’est pas toujours efficace, comme par exemple pour tic-tac-toe avec le crit`ere (2). Nous pouvons noter les bonnes performances de

465

FullCP sur les instances ERP : FullCP est capable de r´esoudre toutes ces instances (pour les crit`eres (1) et (2)), et il est souvent plus rapide que CB et LP. En revanche, il n’est capable de r´esoudre que la moiti´e des quatre instances acad´emiques.

470

Enfin, le mod`ele LP est toujours moins efficace que TB et ne parvient pas `a r´esoudre trois instances (ERP 4, vote et mushroom) pour les crit`eres (1) et (2). Le plus grand nombre de concepts formels de ces instances (105 _{contre 10}4 _{et 10}3_{) explique probablement cette}

475

Table 5 – Temps CPU (en secondes) pour trouver la solution optimale avec le mod`ele TB quand le crit`ere est la maximisation de la somme des tailles (3).

Instance Temps ERP 1 0,1 ERP 2 1,1 ERP 3 9,4 ERP 4 815,8 zoo 0,3 vote 831,2 tic-tac-toe 930,4

Temps de r´esolution pour le crit`ere (3). Quand le crit`ere consid´er´e est la maximisation de la somme des tailles, la seule approche capable de r´esoudre des ins-tances est LP. Les approches PPC ne r´esolvent aucune

480

instance en moins de deux heures, alors que certaines instances (ERP 1 et zoo) sont r´esolues en moins d’une seconde par la PLNE.

Cependant, nous avons constat´e que le mod`ele TB trouve tr`es rapidement la solution optimale. De fait,

485

pour les huit instances consid´er´ees, la premi`ere solu-tion trouv´ee par TB est la solution optimale. Les temps mis pour trouver cette solution sont donn´es dans la table5. Ces temps sont inf´erieurs `a 10 secondes pour ERP 1, ERP 2, ERP 3 et zoo, et ils sont inf´erieurs `a

490

1000 secondes pour ERP 4, tic-tac-toe et vote. Ainsi, TB trouve relativement rapidement la solution opti-male mais n’est pas capable de prouver l’optimalit´e dans la limite de deux heures. Cela provient probable-ment des heuristiques de choix consid´er´ees, qui

per-495

mettent de guider la recherche vers les bonnes solu-tions mais ne sont pas efficaces pour prouver l’optima-lit´e.

5

Comparaison de la qualit´

e des solutions

en fonction des crit`

eres

500

Dans cette section, nous comparons les clusterings calcul´es en fonction des crit`eres consid´er´es dans la fonction objectif.

Mesures de performance. Pour ´evaluer la qualit´e des clusterings obtenus, nous avons utilis´e deux me-sures classiques de performance, i.e., la similarit´e intra-cluster (ICS) et la dissimilarit´e inter-cluster (ICD). La similarit´e entre deux transactions est d´ e-finie par la fonction s : T × T → [0, 1] telle que s(t, t0) correspond au ratio entre la taille de l’intersection des items de t et t0 et la taille de leur union :

s(t, t0) = #{i ∈ I : tRi ∧ t

0_Ri}

#{i ∈ I : tRi ∨ t0_Ri}

ICS est la similarit´e moyenne des paires de transac-tions appartenant `a un mˆeme cluster :

ICS(C1, . . . , Ck) = 1 2 k X i=1 ( X t,t0_∈Ci (s(t, t0)))

Plus ICS est proche de 1, et plus les clusters sont homo-g`enes (i.e., deux transactions `a l’int´erieur d’un mˆeme

505

cluster partagent une grande proportion d’items). ´ Evi-demment, cette mesure doit ˆetre mise en perspective avec le nombre de transactions dans chaque cluster : une partition o`u chaque cluster comporte une seule transaction a une valeur ICS ´egale `a 1.

510

ICD est la dissimilarit´e moyenne des paires de tran-saction appartenant `a des clusters diff´erents :

ICD(C1, . . . , Ck) = X 1≤i<j≤k ( X t∈T_Ci,t0_∈T Cj (1 − s(t, t0)))

Plus ICD est proche de 1, et plus les clusters sont bien s´epar´es (i.e., deux transactions appartenant `a des clus-ters diff´erents partagent peu d’items). L`a encore, cette mesure doit ˆetre mise en perspective avec le nombre de clusters : une partition comportant un seul cluster

515

a une valeur ICD ´egale `a 1.

La table6 donne, pour chaque instance, le nombre k de clusters ainsi que les valeurs ICS et ICD des clus-terings optimaux selon chacun des trois crit`eres consi-d´er´es.

520

´

Evaluation pour les crit`eres li´es `a la taille. Consid´ e-rons tout d’abord les r´esultats obtenus lorsque le cri-t`ere `a optimiser est li´e `a la taille des clusters : (1) maxi-miser la taille minimale ou (3) maximaxi-miser la somme des tailles. Dans ce cas, la fusion de deux clusters ne

525

peut que d´egrader la qualit´e de la solution, et donc les solutions optimales ont tendance `a avoir un grand nombre de clusters. En pratique, nous observons que pour toutes les instances consid´er´ees, le nombre k de clusters dans la solution optimale pour les crit`eres (1)

530

et (3) est ´egal `a kM ax = m − 1. Autrement dit, tous les clusters ont une seule transaction sauf un qui en a deux. Cela vient du fait que, pour toutes les ins-tances, chaque transaction est un concept formel (au-trement dit, pour chaque transaction tj, il n’existe pas

535

de transaction tk telle que l’ensemble des items de tj

soit strictement inclus dans l’ensemble des items de tk,

et donc extent(intent({tj})) = {tj}). La cons´equence

imm´ediate du fait que les solutions optimales pour les crit`eres (1) et (3) ont m − 1 clusters est que ICS est

540

tr`es proche de 1. Nous observons que pour toutes les instances sauf deux (ERP 3 et zoo) les solutions cal-cul´ees avec les crit`eres (1) et (3) ont des ICS et ICD identiques. Pour ERP 3 et zoo, ICS et ICD sont tr`es proches.

Table 6 – Comparaison de la qualit´e des clusters : chaque ligne donne successivement le nom de l’instance, et la valeur de k, ICS et ICD de la solution optimale pour chacun des trois crit`eres consid´er´es ((1) - maximiser la taille minimale, (2) - maximiser la fr´equence minimale, et (3) - maximiser la somme des tailles).

Instance (1) - taille min. (2) - fr´eq. min. (3) - somme tailles k ICS ICD k ICS ICD k ICS ICD ERP 1 49 0,9971 0,4956 2 0,5494 0,5409 49 0,9971 0,4956 ERP 2 83 0,9988 0,3769 2 0,6719 0,4220 83 0,9988 0,3769 ERP 3 94 0,9966 0,3429 2 0,7242 0,3876 94 0,9993 0,3311 ERP 4 159 0,9996 0,3424 2 0,7072 0,3945 159 0,9996 0,3424 zoo 58 0.9980 0.5724 2 0,4912 0,5937 58 0,9945 0,5709 tic tac toe 957 0,9996 0,7724 3 0,2919 0,8042 957 0,9996 0,7724 vote 340 0,9997 0,6720 3 0,4279 0,7277 340 0,9997 0,6720 mushroom - - - 2 0,3793 0,7671 - -

-´

Evaluation pour le crit`ere li´e `a la fr´equence. Consi-d´erons maintenant les r´esultats obtenus lorsque le cri-t`ere `a optimiser est (2) maximiser la fr´equence mini-male. Dans ce cas, l’´eclatement d’un cluster en deux clusters ne peut que d´egrader la qualit´e de la solution,

550

et donc les solutions optimales ont tendance `a avoir un petit nombre de clusters. En pratique, toutes les solu-tions optimales ont 2 clusters, sauf tic-tac-toe et vote qui ont 3 clusters. Dans ce cas, ICS est nettement in-f´erieure `a 1 : en moyenne, les transactions d’un mˆeme

555

cluster partagent entre 29% (pour tic-tac-toe) et 72% (pour ERP 3) d’items. En contrepartie, ICD est plus importante que pour les crit`eres (1) et (3) qui privi-l´egient la taille : pour le crit`ere (2), la dissimilarit´e moyenne de transactions de deux clusters diff´erents

560

varie entre 39% (pour ERP 3 et ERP 4) et 80% (pour tic-tac-toe), tandis que pour les crit`eres (1) et (3), elle varie entre 33% ou 34% (pour ERP 3 et ERP 4) et 77% (pour tic-tac-toe).

6

Conclusion

565

Nous avons propos´e une nouvelle approche de clus-tering conceptuel bas´ee sur la programmation par contraintes o`u l’ensemble des concepts formels est ex-trait dans une ´etape de pr´e-traitement. L’´evaluation exp´erimentale montre que notre approche est plus

effi-570

cace en comparaison avec des travaux r´ecents pour des fonctions objectifs maximisant un minimum, obtenant des clusterings de qualit´e similaire `a ceux obtenus en maximisant la somme des tailles des clusters.

Dans cette premi`ere s´erie d’exp´erimentations, nous

575

n’avons pas introduit de contraintes li´ees `a notre appli-cation. En particulier, le nombre k de clusters n’est pas contraint et peut prendre n’importe quelle valeur com-prise entre 2 et m − 1. Les premiers r´esultats montrent que cela ne permet pas d’extraire des clusters `a haute

580

valeur ajout´ee pour les experts : pour les crit`eres (1)

et (3) qui privil´egient la taille des clusters, les clusters sont trop nombreux et sp´ecialis´es, tandis que pour le crit`ere (2) qui privil´egie la fr´equence des clusters, ils sont trop peu nombreux et g´en´eraux.

585

Aussi pr´evoyons-nous dans la suite de nos travaux de rechercher des clusterings plus pertinents en explorant plusieurs pistes. Tout d’abord, nous proposons d’´ eva-luer l’int´erˆet d’ajouter des contraintes sur la fr´equence, la taille et/ou le nombre de clusters, ainsi que d’utiliser

590

de nouveaux crit`eres comme l’aire d’un concept, i.e., le produit de sa taille et de sa fr´equence, permettant de consid´erer en mˆeme temps ces deux crit`eres.

Par ailleurs, nous proposons d’appliquer it´ erative-ment notre proc´edure de clustering afin de calculer

595

une hi´erarchie de clusterings en adoptant soit une d´ e-marche descendante (partitionner progressivement les clusters en partant d’un unique cluster comportant toutes les transactions) ou ascendante (fusionner pro-gressivement les clusters en partant d’une partition

600

comportant un cluster par transaction).

Enfin, nous souhaitons ´egalement adapter notre mo-d`ele pour faire du bi-clustering ´etant donn´e que dans notre cas d’application, un param´etrage peut contenir plusieurs concepts de param´etrage.

605

R´

ef´

erences

[1] Solutions, p.c. : Panorama consulting solutions re-search report - 2016 erp report, 2016.

[2] M. Munir Ahmad and Ruben Pinedo Cuenca. Critical success factors for erp implementation in

610

smes. Robot. Comput.-Integr. Manuf., 29(3) :104– 111, June 2013.

[3] Christian Bessiere, Emmanuel Hebrard, Brahim Hnich, and Toby Walsh. Disjoint, Partition and Intersection Constraints for Set and Multiset

Va-615

[4] Thi-Bich-Hanh Dao, Willy Lesaint, and Christel Vrain. Clustering conceptuel et relationnel en pro-grammation par contraintes. In JFPC 2015,

Bor-620

deaux, France, June 2015.

[5] Douglas H. Fisher. Knowledge acquisition via in-cremental conceptual clustering. Mach. Learn., 2(2) :139–172, September 1987.

[6] Tias Guns. Declarative pattern mining using

625

constraint programming. Constraints, 20(4) :492– 493, 2015.

[7] Stephen Jos´e Hanson and Malcolm Bauer. Conceptual clustering, categorization, and poly-morphy. Machine Learning, 3(4) :343–372, 1989.

630

[8] L. Hossain. Enterprise Resource Planning : Global Opportunities and Challenges : Global Opportuni-ties and Challenges. IRM Press, 2001.

[9] A. Hotho and G. Stumme. Conceptual clustering of text clusters. In G. K´okai and J. Zeidler,

edi-635

tors, Proc. Fachgruppentreffen Maschinelles Ler-nen (FGML 2002), pages 37–45, 2002.

[10] Istvan Jonyer, Lawrence B. Holder, and Diane J. Cook. Graph-based hierarchical conceptual clus-tering in structural databases. In Henry A. Kautz

640

and Bruce W. Porter, editors, AAAI/IAAI, page 1078. AAAI Press / The MIT Press, 2000. [11] Yat Chiu Law and Jimmy H. M. Lee. Global

Constraints for Integer and Set Value Precedence, pages 362–376. Springer Berlin Heidelberg, 2004.

645

[12] R.S. Michalski. Knowledge Acquisition Through Conceptual Clustering : A Theoretical Frame-work and an Algorithm for Partitioning Data Into Conjunctive Concepts. Report (University of Illi-nois at Urbana-Champaign. Dept. of Computer

650

Science). Department of Computer Science, Uni-versity of Illinois at Urbana-Champaign, 1980. [13] Brian Neil Mogensen. Goal-oriented

concep-tual clustering : The classifying attribute ap-proach. Coordinated Science Laboratory Report

655

no. UILU-ENG-87-2257, 1987.

[14] Jaideep Motwani, Ram Subramanian, and Pra-deep Gopalakrishna. Critical factors for successful erp implementation : Exploratory findings from four case studies. Comput. Ind., 56(6) :529–544,

660

August 2005.

[15] Abdelkader Ouali, Samir Loudni, Yahia Lebbah, Patrice Boizumault, Albrecht Zimmermann, and Lakhdar Loukil. Efficiently finding conceptual clustering models with integer linear

program-665

ming. In Proceedings of the Twenty-Fifth In-ternational Joint Conference on Artificial Intel-ligence, IJCAI 2016, New York, NY, USA, 9-15 July 2016, pages 647–654, 2016.

[16] Ruggero G. Pensa, C´eline Robardet, and

Jean-670

Fran¸cois Boulicaut. A Bi-clustering Framework for Categorical Data, pages 643–650. Springer Berlin Heidelberg, Berlin, Heidelberg, 2005. [17] Mike Perkowitz and Oren Etzioni. Towards

adap-tive web sites : Conceptual framework and case

675

study. Artificial Intelligence, 118(1) :245 – 275, 2000.

[18] Lionel Robert, Ashley R. Davis, and Alexander McLeod. Erp configuration : Does situation awa-reness impact team performance ? 2011 44th

Ha-680

waii International Conference on System Sciences (HICSS 2011), 00(undefined) :1–8, 2011.

[19] Takeaki Uno, Tatsuya Asai, Yuzo Uchida, and Hi-roki Arimura. An Efficient Algorithm for Enume-rating Closed Patterns in Transaction Databases,

685

pages 16–31. Springer Berlin Heidelberg, 2004. [20] Kiri Wagstaff, Claire Cardie, Seth Rogers, and

Stefan Schr¨odl. Constrained k-means clustering with background knowledge. In Proceedings of the Eighteenth International Conference on Machine

690