Le groupement de valeurs supervisé est nettement moins étudié dans la bibliographie que la discrétisation supervisée. Cette section dresse un panorama des approches princi- pales, puis présente le positionnement de notre approche.
5.2.1
Panorama des méthodes de groupement de valeurs
Le problème du groupement des valeurs d’une variable catégorielle consiste à parti- tionner l’ensemble des valeurs de la variable en un nombre fini de groupes. La plupart des modèles prédictifs à base d’arbres de décision utilisent une méthode de groupement de valeurs pour traiter les variables catégorielles, de façon à lutter contre la fragmentation des données. Les méthodes à base de réseaux de neurones n’utilisant que des données numériques ont souvent recours à un codage disjonctif complet des variables catégorielles. Dans le cas où les valeurs sont trop nombreuses, il est nécessaire de procéder au préalable à des groupements de valeurs. Ce problème se rencontre également dans le cas des réseaux Bayesiens ou de la régression logistique. De façon générale, le groupement de valeurs est une technique intéressante de préparation des données pour le Data Mining, qui permet d’identifier les groupes de valeurs homogènes vis à vis de la variable à expliquer.
Les méthodes de groupement peuvent se catégoriser en fonction de la stratégie de recherche du meilleur groupement et du type de critère d’évaluation à optimiser. Plusieurs stratégies de groupement de valeurs ont été explorées dans la bibliographie.
5.2.1.1 Les principales approches
L’approche la plus simple est la binarisation où une valeur est isolée contre toutes les autres. Une stratégie plus élaborée consiste à chercher un groupement binaire, en deux groupes de valeurs. L’algorithme Sequential Forward Selection inspiré de [Cestnik et al., 1987] et évalué dans [Berckman, 1995] est un algorithme glouton qui recherche la meilleure bipartition des valeurs en déplaçant les valeurs une à une d’un premier groupe initialement complet vers un second groupe initialement vide. Dans le cas d’une variable booléenne à expliquer, [Breiman et al., 1984] présentent un algorithme optimal de groupement binaire des valeurs en deux parties pour certaines familles de critère. Cet algorithme est basé sur un tri préalable des valeurs par proportion croissante de la première valeur à expliquer, puis sur le choix d’une coupure entre deux valeurs adjacentes dans cette liste triée de valeurs. La complexité de cet algorithme est en O(V log V ) où V est le nombre de valeurs explicatives initiales.
L’approche la plus générale est la recherche d’un groupement n-aire, en un nombre quelconque de groupes. En se basant sur les idées de [Lechevallier, 1990, Fulton et al., 1995], il est possible d’étendre le résultat d’optimalité de [Breiman et al., 1984] du cas
binaire au cas n-aire à I groupes dans le cas d’une variable booléenne à expliquer, en utilisant un algorithme de programmation dynamique de complexité cubique par rapport au nombre V de valeurs explicatives initiales. Dans le cas général, il n’existe pas d’algo- rithme de recherche de groupement optimal autre que la recherche exhaustive, qui n’est pas envisageable. [Chou, 1991] a néanmoins mis en évidence des conditions d’optimalité permettant de réduire l’espace de recherche, et proposé un algorithme de type K-moyennes permettant de trouver une partition des V valeurs en I groupes localement optimale. La complexité algorithmique est en O(I ∗ V ) multiplié par le nombre d’itérations (en gé- néral faible), mais l’optimalité globale n’est pas assurée et le nombre de groupes est un paramètre utilisateur.
En pratique, la stratégie de groupement des valeurs explicatives repose souvent sur l’utilisation d’un algorithme glouton ascendant [Kass, 1980, Quinlan, 1993]. Cet algo- rithme est similaire à une classification hiérarchique ascendante des valeurs et regroupe itérativement les valeurs pour optimiser un critère de qualité du groupement, en s’arrêtant quand le maximum est atteint (ce qui détermine automatiquement le nombre de groupes). Dans [Ritschard et al., 2001], cet algorithme glouton est comparé avec une recherche ex- haustive optimale dans le cas du critère de Tschuprow (cf. figure 5.1), et appliqué à des jeux d’essai artificiels de petite taille, dans le cas des groupements de lignes et de colonnes d’un tableau de contingence. Les résultats montrent que l’algorithme glouton trouve des solutions proches de la solution optimale.
5.2.1.2 Les critères d’évaluation
Les critères utilisés pour évaluer la qualité d’un groupement de valeurs sont très nom- breux : il s’agit en fait des critères utilisés pour évaluer un tableau de contingence, ana- logues à ceux utilisés dans le cas de la discrétisation supervisée.
La méthode ID3 [Quinlan, 1986] utilise le gain informationnel basé sur l’entropie de Shannon pour comparer l’importance prédictive des variables, sans procéder à des groupe- ments de valeurs. Ce critère favorisant les variables ayant de nombreuses valeurs, [Quinlan, 1993] a apporté un correctif heuristique au gain informationnel, le "gain ratio", en divisant le gain informationnel par la quantité d’information contenue dans la variable catégorielle explicative, ce qui s’apparente à une pénalisation par le nombre de valeurs explicatives.
La méthode CART [Breiman et al., 1984] recherche pour chaque variable une bipar- tition des valeurs en utilisant l’indice de Gini. Dans le cas d’une variable à expliquer booléenne, l’algorithme permet de trouver la bipartition optimale. Dans le cas général, l’algorithme utilise une méthode de recherche exhaustive en évaluant toutes les biparti- tions des valeurs explicatives pour l’indice de Gini portant sur les J valeurs à expliquer. Un critère alternatif appelé critère Twoing est également proposé, pour lequel toutes les bipartitions des valeurs à expliquer sont envisagées, et pour chacune d’entre elles, la meilleure bipartition des valeurs explicatives est recherchée en se ramenant à l’indice de Gini portant sur deux valeurs à expliquer. La complexité de cette recherche (optimale) étant exponentielle en fonction du nombre de valeurs, cette méthode n’est envisageable que dans le cas où il y a peu de valeurs explicatives ou à expliquer.
La méthode CHAID [Kass, 1980] utilise une critère de groupement des valeurs appa- rentée à ChiMerge [Kerber, 1991]. Il s’agit de rechercher la meilleure fusion de valeurs
en minimisant le critère du χ2 local aux deux valeurs explicatives à fusionner, de façon à favoriser le groupement de valeurs ayant un comportement statistique similaire.
Le problème du groupement de valeurs est souvent modélisé comme un problème de réduction du tableau de contingence entre les valeurs explicatives et les valeurs à expliquer.
Dans ce contexte, l’utilisation du critère du χ2 est envisagée pour l’évaluation globale du
tableau de contingence et non de façon locale à deux lignes de ce tableau de contingence comme dans CHAID. La figure 5.1, extraite de [Ritschard et al., 2001], présente une série d’indicateurs normalisés usuels d’évaluation d’un tableau de contingence. Par exemple, les coefficients de Cramer ou de Tschuprow permettant une normalisation numérique de
la valeur du χ2 ont été utilisés comme critère de groupement à optimiser.
Dans [Ritschard, 2003], le tableau de contingence est évalué au moyen du rapport de
vraisemblance G2, aussi appelé déviance (cf. figure 5.1). Afin de rechercher un compromis
entre information et robustesse, la méthode proposée utilise le critère BIC [Schwartz, 1978] pour pénaliser les nombres de groupes élevés. Le terme de pénalisation, en relation directe avec la réduction du nombre de cases du tableau de contingence, ne tient pas compte de la nature numérique ou catégorielle de la variable explicative.
La méthode Khiops [Boullé, 2004c] utilise le niveau de confiance associé au test du χ2
pour évaluer les tableaux de contingence et propose un contrôle statistique de l’algorithme de groupement permettant de fiabiliser la qualité prédictive des groupements.
Le tableau 5.2 synthétise les principales approches présentées. Pour une description approfondie des méthodes à base d’arbre ou de graphe d’induction et de la façon dont elles traitent les variables catégorielles, on peut se référer à [Zighed and Rakotomalala, 2000].
5.2.2
Positionnement de notre approche
La méthode de groupement de valeurs MODL utilise exactement la même démarche que dans le cas de la discrétisation, en considérant le problème comme celui de la sélection de modèle dans un espace d’estimateurs non paramétriques de probabilité conditionnelle. La seule différence provient des caractéristiques de la variable explicative, numérique pour la discrétisation et catégorielle pour le groupement de valeurs. Dans les deux cas, on recherche une partition des valeurs explicatives, et on associe à chaque partie une distribution des valeurs à expliquer. Dans le cas d’une variable numérique, on contraint la partition recherchée à respecter la relation d’ordre entre les valeurs à expliquer, ce qui conduit à une partition en intervalles. Dans le cas d’une variable catégorielle, on envisage toutes les partitions de valeurs possibles. Ceci a des conséquences sur l’espace des modèles, le choix de la distribution a priori des modèles et les algorithmes d’optimisation.
La famille de modèles considère toutes les partitions des valeurs explicatives en groupes. Comme dans le cas de la discrétisation, l’a priori sur le choix de la partition est uniforme pour une taille de partition donnée. Les partitions étant plus nombreuses, leur dénom- brement passe d’un terme de type nombre de combinaisons dans le cas des partitions en intervalles de valeurs à un terme de type nombre de Bell dans le cas des partitions en groupes de valeurs. Cela a pour conséquence de davantage pénaliser les partitions de taille importante. L’heuristique gloutonne ascendante d’optimisation nécessite également
Tab. 5.2 – Caractéristiques des méthodes de groupement de valeurs de l’état de l’art comparativement à la méthode MODL.
Critère Algorithme
Arité X Arité Y Pénalisation
Méthode Bin aire N-aire Bin aire N-aire Nom b re de group es Sél ect ion de mo dèl es P aramètres Op ti mal K- Mo y enn es Ec han ges de v al eurs As cendan t CHAID [Kass, 1980] X X X X X X
Gini [Breiman et al., 1984] X X X X
Twoing [Breiman et al., 1984] X X X X
[Chou, 1991] X X X X X
Gain ratio [Quinlan, 1993] X X X X
[Berckman, 1995] X X X X
Tschuprow [Ritschard et al., 2001] X X X
BIC [Ritschard, 2003] X X X X
Khiops [Boullé, 2004c] X X X X X
MODL X X X X X
des optimisations, puisqu’elle recherche une solution dans un espace de plus grande taille. Des méthodes de pré-optimisation et post-optimisation sont proposées afin de rechercher un compromis entre la qualité de la solution et la complexité algorithmique, super-linéaire comme dans le cas de la discrétisation.
L’originalité de la méthode par rapport aux méthodes alternatives les plus proches est l’utilisation d’une régularisation Bayesienne tenant compte explicitement de la nature catégorielle de la variable explicative, et la proposition d’heuristiques d’optimisation de complexité algorithmique super-linéaire.
Ces adaptations procurent à la méthode de groupement de valeurs les mêmes qualités que celles de la méthode de discrétisation MODL, comme l’indique le bilan (en section 4.2.5) de l’évaluation comparative des méthodes de prétraitement MODL.