Entropie conditionnelle floue en construction des arbres flous . 86

2.5.3.1 S´election du meilleur attribut

Dans le chapitre pr´ec´edent, un mod`ele hi´erarchique pour les mesures de discrimi-nation floues a ´et´e pr´esent´e. Il permet de caract´eriser les mesures de discrimidiscrimi-nation floues. Plusieurs mesures floues utilis´ees dans un processus de construction d’arbres de d´ecision ont ´et´e valid´ees par ce mod`ele, en particulier l’entropie de Shannon floue ou la mesure d’ambigu¨ıt´e de classe de Yuan et Shaw. Ces derni`eres sont couram-ment utilis´ees dans la construction d’arbres de d´ecision. D’autres mesures d’entropie floue sont ´egalement disponibles et valid´ees dans le cadre du mod`ele : les entropies conditionnelles floues de R´enyi, celles de Dar´oczy, les formules conditionnelles de la R-norme entropie floue. Nous g´en´eralisons l’utilisation de l’entropie de Shannon en introduisant ces mesures d’entropie conditionnelle floues pour construire des arbres de d´ecision.

Nous utilisons ici quelques notations principales que nous avons introduites dans le chapitre pr´ec´edent (cf. page 13).

1. ξ l’ensemble des exemples (l’appartenance d’un exemple `a une classe peut ˆetre partielle).

2. v1, v2, .., vm des valeurs associ´ees `a un attribut. Ce sont des sous-ensembles flous d´efinis sur le domaine de l’attribut A. Ils sont g´en´eralement issus d’un processus de discr´etisation. En g´en´eral, ils constituent une partition normale du domaine. Nous pr´esentons dans la partie suivante de cette section la m´ethode pour les identifier.

3. ξCi le sous-ensemble flou des exemples appartenant `a la classe Ci avec un degr´e strictement positif : ∀e ∈ ξ : n X i=1 µξ_Ci(e) = µξ(e)

2.5 Utilisation des sous-ensembles flous dans la construction des arbres 87 `a vj avec un degr´e strictement positif :

∀e ∈ ξ :

m

X

j=1

µξ_vj(e) = µξ(e)

5. P∗(Ci) la probabilit´e de la classe floue Ci dans ξ : P^∗(Ci) = ^|ξCi|

|ξ|

6. P∗(vj) la probabilit´e qu’un exemple de ξ prenne la valeur vj pour valeur d’un attribut A :

P^∗(vj) = ^|ξvj| |ξ|

7. P∗(Ci|vj) la probabilit´e qu’un exemple ayant vj pour valeur de A appartienne `a Ci :

P^∗(Ci|vj) = ^|ξCi ∩ ξvj| |ξvj|

o`u la t-norme utilis´ee pour d´efinir l’intersection est le produit.

8. I∗(ξ) l’entropie floue de l’ensemble des exemples ξ. Elle est d´efinie par une fonc-tion qui satisfait le niveau G∗ du mod`ele FGH^∗, comme par exemple l’entropie de R´enyi, l’entropie de Dar´oczy et la R-norme entropie.

9. I∗(ξ|A) l’entropie de l’ensemble des exemples conditionn´ee par l’attribut A. Elle est d´efinie par une fonction qui satisfait le niveau H∗ du mod`ele FGH^∗. C’est une somme pond´er´ee des mesures d’entropie floues I∗(ξvj) :

I∗(ξ|A) =

m

X

j=1

w(vj)I∗(ξvj)

o`u wj est le poids de la modalit´e vj. En particulier il est caract´eris´e dans les formules des entropies conditionnelles de Type 1, 2, 3, 4 (formules (1.10)-(1.13) page 21).

10. G ∗ (ξ|A) le gain d’information floue :

G^∗(ξ|A) = I^∗(ξ) − I^∗(ξ|A)

L’attribut choisi est celui qui maximise le gain d’information floue : Ameilleur = arg max

2.5.3.2 Discr´etisation floue

Nous ´evoquons ensuite la discr´etisation de l’attribut num´erique A pour obtenir des sous-ensembles flous v1, v2, ..., vm sur son domaine. En utilisant les mesures de discrimination, deux strat´egies sont possibles :

1. Les points de coupure pr´ecis sont identifi´es `a l’aide d’une mesure d’entropie classique (cf. section 2.4.2). Ces points de coupure sont rendus flous par un ´eta-lement. La largeur de l’´etalement est un param`etre de l’algorithme. Cette stra-t´egie est relativement simple `a mettre en œuvre. La forme des sous-ensembles est g´en´eralement trap´ezo¨ıdale.

2. Le seconde strat´egie est utilis´ee dans le travail de Peng et Flash [117] d´ecrit pr´ec´edemment (page 83). Cependant, au lieu de l’entropie floue de Shannon, plusieurs variantes sont possibles. En particulier, les mesures de discrimination floues abord´ees ci-dessus peuvent ˆetre utilis´ees. D’abord, un ensemble de dis-cr´etisations floues potentielles est identifi´e par une strat´egie limitant le nombre de discr´etisations floues `a ´evaluer. Chaque discr´etisation constitue une parti-tion floue du domaine de l’attribut en quesparti-tion. La forme des sous-ensembles flous est trap´ezo¨ıdale, triangulaire ou gaussienne pour simplifier le calcul. Une mesure de discrimination floue intervient dans l’´evaluation des discr´etisations pour choisir celle qui discrimine le plus possible des exemples de diff´erentes classes. C’est une g´en´eralisation de la m´ethode pr´esent´ee dans la section 2.4.2. Des mesures de discrimination floues sont impl´ement´ees dans la plateforme de construction d’arbres de d´ecision DTGen d´ecrit en annexe.

2.5.4 Exp´erimentations

Dans cette section, des exp´erimentations ont ´et´e men´ees pour mettre en ´evidence la qualit´e des arbres construits `a l’aide de mesures valid´ees par le mod`ele FGH^∗ et ceux construits `a l’aide d’autres mesures. Les exp´erimentations sont men´ees toujours avec les bases de donn´ees r´epertori´ees sur le site de l’UCI (d´ecrites dans le tableau 2.1 - page 61), `a l’exception de la base « Waveform » obtenue par un g´en´erateur automatique [27]. Le protocole d’exp´erimentation choisi est identique `a celui d´ecrit dans la section 2.3.3.

Les exp´erimentations sont men´ees avec l’entropie conditionnelle de Shannon et l’entropie conditionnelle d’´ev´enements flous qui sont valid´ees par le mod`ele hi´erar-chique. On les qualifiera de bonnes mesures. D’autre part, on introduit l’utilisation de la mesure suivante pour illustrer notre comparaison. Cette mesure est consid´er´ee comme mauvaise car elle ne satisfait pas les propri´et´es impos´ees au niveau G∗ du mod`ele FGH^∗ : I_b^∗(ξ) = I_b^∗(P₁^∗, P₂^∗, .., P_n^∗) = − n X i=1 log P_i^∗ (2.2)

2.5 Utilisation des sous-ensembles flous dans la construction des arbres 89 bases. Sur chaque base, le meilleur taux de bonnes classifications est mis en gras et le pire taux est mis en italique.

Il montre que l’utilisation de bonnes mesures de discrimination conduit `a de meilleurs arbres. Les taux de bonnes classifications par l’entropie conditionnelle de Shannon sont toujours meilleurs que ceux produits avec la mesure d´ecrite par l’´equa-tion (2.2). Dans la plupart des cas (7/9), l’entropie condil’´equa-tionnelle floue conduit `a des arbres de d´ecision plus performants que ceux obtenus avec la mesure d´ecrite par l’´equation (2.2) ou avec l’entropie de Shannon.

Les exp´erimentations montrent aussi que la taille des arbres de d´ecision construits par l’entropie conditionnelle de Shannon et par l’entropie conditionnelle floue est plus petite que celle des arbres de d´ecision construits par la mesure d´ecrite par l’´equation (2.2).

Certes, cette exp´erimentation est `a renforcer, sur un plus grand nombre de bases et de mesures. Nous pr´evoyons ´egalement de d´evelopper plus avant notre m´ethode de comparaison des r´esultats.

Base de donn´ees Ent. de Shannon Ent. floue ”Mauvaise” mesure

Iris 96.00 ± 1.63 95.16 ± 3.05 95.50 ± 2.20 Balance scale 76.52 ± 2.02 77.56± 3.09 74.63 ± 1.58 E. coli 78.08 ± 2.13 78.16 ± 2.14 74.39 ± 1.47 Glass identification 65.11 ± 3.62 68.45 ± 6.12 61.54 ± 3.59 Ionosphere 87.21 ± 2.55 87.57± 1.89 79.21 ± 2.66 Liver-disorders 65.18 ± 3.43 66.06± 2.82 60.46 ± 3.51

Pima Indians diabetes 69.37 ± 1.20 69.79 ± 1.25 65.13 ±1.80

Wine recognition 91.47 ± 3.45 90.63 ± 1.95 91.33 ± 1.79

Waveform 66.61 ± 2.76 66.86±4.22 64.32 ±2.98

Tab. 2.3 – Taux de bonnes classifications moyens et ´ecarts types par diff´erentes mesures (%)