Résultats d’évaluation

L’objectif de cette expérimentation est de présenter de façon synthétique les évalua- tions menées de façon parcellaire dans plusieurs articles (cf. table 4.1), se focalisant respec- tivement sur l’aspect groupement de valeurs univarié, sélection de variables et moyennage de modèles, et prétraitements bivariés.

Tab. 4.1 – Evaluation des apports au classifieur Bayesien naïf par des expérimentations sur des bases réelles.

Objet de l’évaluation Méthodes Critères Jeux de données

Groupement de valeurs NB(ref) ACC 12 jeux de données de l’UCI

[Boullé, 2005a] NB(MODL) (uniquement variables

5 méthodes catégorielles)

alternatives

Sélection de variables NB(ref) ACC 30 jeux de données de l’UCI

Moyennage de modèles NB(MODL) AUC 10 jeux de données de challenges

[Boullé, 2006c] SNB(ACC) ILF

SNB(AUC) SNB(MAP) SNB(BMA) SNB(CMA)

Prétraitements bivariés NB(MODL) ACC 30 jeux de données de l’UCI

[Boullé, 2007b] NB2(MODL)

SNB(CMA) SNB2(CMA)

sont significatives. Trois indicateurs de performance synthétiques, valeur moyenne, rang moyen et nombre de différences significatives, produisent un résumé consistant des per- formances et un ordonnancement global quasiment identique des méthodes par critère d’évaluation. On utilise ici la valeur moyenne de chaque critère sur l’ensemble des 30 jeux de données comme indicateur synthétique de performance des méthodes évaluées.

La figure 4.7 présente les résultats d’évaluation synthétiques sur deux plans bicritères AUC*ACC et AUC*ILF. 0.88 0.89 0.9 0.91 0.92 0.93 0.79 0.8 0.81 0.82 0.83 0.84 ACC AUC SNB2(CMA) SNB2(MAP) NB2(MODL) SNB(CMA) SNB(MAP) NB(MODL) NB(ref) 0.88 0.89 0.9 0.91 0.92 0.93 0.1 0.2 0.3 0.4 0.5 0.6 ILF AUC

Fig. 4.7 – Moyenne des critères ACC, AUC et ILF pour l’évaluation de classifieurs Baye- sien naïfs sur 30 jeux de données de l’UCI.

Apport des prétraitements univariés. La méthode NB(MODL) domine la méthode

NB(ref) sur l’ensemble des trois critères d’évaluation, ce qui démontre l’apport des pré- traitements univariés MODL. De plus, la robustesse des méthodes MODL leur permet d’éliminer les variables explicatives inutiles, indépendantes de la variable à expliquer.

Apport de la sélection de variables. La méthode SNB(MAP) obtient des résultats

comparables à ceux de la méthode NB(MODL) sur les deux critères ACC et AUC, et des résultats significativement meilleurs sur le critère ILF.

En recherchant un sous-ensemble de variables explicatives compatible avec l’hypothèse naïve, la méthode SNB(MAP) sélectionne un petit nombre de variables : on passe de 20 variables en moyenne sur les jeux de données à 5.5 variables seulement après sélection. Les variables redondantes sont ainsi éliminées, ce qui améliore fortement la qualité de l’es- timation de densité conditionnelle mesurée par le critère ILF. L’intelligibilité des modèles est également améliorée, puisque le faible nombre de variables sélectionnées s’interprète comme un sous-ensemble de variables conditionnellement indépendantes.

Apport du moyennage de modèles. La méthode SNB(CMA) domine la méthode

En pondérant les modèles par leur taux de compression, la méthode SNB(CMA) ex- ploite l’ensemble de l’espace de représentation en combinant efficacement chaque sélection de variables. L’ensemble des variables ayant un poids non négligeable est d’environ 15 en moyenne, à comparer avec les 20 variables de la représentation initiale et les 6 du modèle SNB(MAP). En inspectant finement les poids des variables, on observe que la somme des poids des variables est approximativement la même pour les modèles SNB(CMA) et SNB(MAP). Tout se passe comme si le poids de chaque variable dans SNB(MAP) était distribué sur les variables redondantes dans SNB(CMA). Cet effet contribue à une amélioration des performances et de la robustesse du classifieur moyenné.

Apport des prétraitements bivariés seuls. L’utilisation naïve des prétraitements bi-

variés dans la méthode NB2(MODL) n’améliore que faiblement le critère ACC et détériore très fortement les critères AUC et ILF par rapport au classifieur univarié NB(MODL).

Quand on passe au bivarié, deux effets entrent en concurrence suite à la construction des nouvelles variables. Les interactions entre variables, capturées dans les grilles MODL bivariées, permettent d’enrichir l’espace de représentation et de détecter de nouvelles informations masquées en univarié. A l’opposé, la construction d’un grand nombre de nouvelles variables augmente fortement les redondances, incompatibles avec l’hypothèse naïve. Une inspection détaillée des résultats en annexe C montre que ces deux effets sont observés, avec de fortes améliorations ou dégradations du taux de bonne prédiction sur une partie importante des jeux de données. L’apport de l’analyse bivariée est alors négligeable en moyenne pour le taux de bonne prédiction, et il entraîne une variance accrue des résultats. Sur les deux autres critères, qui mesurent plus (ILF) ou moins (AUC) finement la qualité des estimations de probabilité conditionnelle, la dégradation des performances est très forte (ILF) à forte (AUC) en raison des très nombreuses redondances de l’espace de représentation. Globalement, l’impact du bivarié dans le prédicteur Bayesien naïf est fortement négatif.

Apport des prétraitements bivariés avec sélection de variables et moyennage de

modèles. L’utilisation des prétraitements bivariés de façon conjuguée avec la sélection

de variables dans SNB2(MAP) et surtout avec le moyennage de modèles dans SNB2(CMA) améliore très fortement et significativement les performances sur les critères ACC et AUC, un peu moins nettement sur le critère ILF. Une inspection détaillée des résultats sur le critère ACC montre que la méthode SNB2(CMA) apporte une amélioration moyenne de 1.5% par rapport à SNB(CMA), significative dans la moitié des cas. Les performances en ACC ne sont jamais dégradées significativement, et sont améliorées de 3% à 15% sur un quart des jeux de données.

En résumé, les prétraitements bivariés sont inutiles voire nuisibles dans le cas du classifieur Bayesien naïf s’ils sont utilisés seuls. Accompagnés d’une méthode de sélection et moyennage de modèle, ils permettent de contourner l’hypothèse naïve de façon effective, ce qui se traduit par une amélioration significative des performances prédictives.