L’utilisation de l’information mutuelle pour l’évaluation des

ensembles

Dans cette section, nous nous focalisons sur la mesure d’évaluation basée sur l’infor- mation mutuelle qui est utilisée dans le reste de la thèse. Nous présentons des algorithmes de sélection de variables utilisant cette mesure.

L’algorithme de Fleuret (2004)

Les travaux de Fleuret proposent un algorithme de sélection de variables basé sur l’information mutuelle conditionnelle (Algorithme 9). C’est une approche itérative par ajout de variables. La particularité de cet algorithme est la prise en compte des variables déjà sélectionnées. Une variable est considérée comme bonne si elle apporte suffisamment d’information sur la variable à expliquer et si cette information n’est apportée par aucune des variables déjà choisies. Plus formellement, une variable X′ _{est bonne si l’information}

mutuelle entre X′ _{et Y sachant X est suffisamment grande pour chaque variable X déjà}

choisie. La sélection de variables redondantes est ainsi évitée. En revanche, les interac- tions entre plus de deux variables ne sont pas étudiées. L’algorithme a été implémenté pour des variables booléennes.

Algorithme 9 L’algorithme proposé par Fleuret (2004) , .

Entrées:

ℵ = {X1, . . . , Xm} : l’ensemble des m variables booléennes potentiellement discrimi-

nantes

Y : la variable à expliquer Sorties:

T ⊂ ℵ : un sous-ensemble de ℵ de taille K T ← ∅

T ← Xa tel que a = argmaxn( ˆI(Y ; Xn))

pour k = 2, . . . , K faire

T ← T + Xa tel que a = argmaxn(minl<kI(Y ; Xˆ n|Xl))

fin pour Renvoyer T

Le critère ˆI(Y ; Xn|Xl) est faible si Xn n’apporte pas beaucoup d’information sur Y

(variable non pertinente) ou bien si cette information est déjà apporté par Xl (variable

redondante). Prendre le Xn maximisant ce critère minimisé assure que la nouvelle va-

riable sera à la fois informative et non redondante en terme d’information apportée pour expliquer Y . Cet algorithme n’est pas très coûteux puisque le calcul nécessite au plus un tableau de contingence pour trois variables.

L’algorithme de Koller and Sahami (1996)

La méthode de Koller and Sahami (1996) se base sur l’idée qu’une variable, qui apporte peu ou pas du tout d’information en plus de celle apportée par un ensemble d’autres variables déjà sélectionnées, est soit redondante soit non pertinente. Par consé- quent, elle doit être éliminée. Pour cela, les auteurs ont utilisé les chaînes de Markov. Un

1.5. Algorithmes existants sous-ensemble S est une chaîne de Markov pour la variable Xa si, connaissant S, Xa est

conditionnellement indépendante de la variable à expliquer Y et de toutes les variables n’appartenant pas à S.

L’algorithme MIFS (Battiti, 1994)

Battiti (1994) a proposé d’utiliser l’information mutuelle dans son algorithme de sélection ascendante de variables : Mutual Information based Feature Selection. La pro- babilité jointe de X et Y , deux variables aléatoires, est obtenue grâce à l’algorithme de Fraser and Swinney (1986). Cet algorithme ne permet de calculer que l’informa- tion mutuelle entre un couple de variables et la variable à expliquer. L’algorithme étant ascendant, il est nécessaire de calculer l’information mutuelle entre une variable Xa et

l’ensemble des variables déjà sélectionnées, SelectV ara − 1. L’algorithme MIFS simplifie le calcul de l’information mutuelle d’un ensemble en choisissant une variable représenta- tive de l’ensemble. Le nombre de variables est fixé à l’avance et à chaque étape, on choisit la variable qui maximise l’information mutuelle entre elle, l’ensemble des variables déjà sélectionnées et la variable à expliquer.

L’algorithme de Yang and Moody (1999)

Les travaux de Yang and Moody (1999) portent sur un algorithme de sélection de va- riables basé sur l’information mutuelle jointe. Ils utilisent l’information mutuelle condi- tionnelle. Pour chaque variable potentielle, l’algorithme calcule le gain d’information qu’elle apporte, c’est à dire l’information mutuelle de cette variable avec la variable à expliquer conditionnellement aux variables déjà sélectionnées. Une variable Xaest indé-

pendante de la variable à expliquer Y si son information mutuelle conditionnée par les variables déjà choisies est nulle. À chaque étape, l’algorithme classe donc les variables restantes en terme d’information mutuelle conditionnelle et sélectionne la variable ap- portant le plus d’information en plus de celles déjà choisies.

L’algorithme de Hutter and Zaffalon (2005)

Hutter and Zaffalon (2005) utilisent leur approximation de l’information mutuelle dans un cadre bayésien (section 2.3.2)pour une procédure de sélection de variables par filtre. Ils proposent deux approches : le filtre descendant (BF) et le filtre ascendant (FF) dans une méthode pas à pas.

Le filtre descendant supprime une variable Xa si p(I(Xa; Y ) < ǫ|n) > ρ où ǫ est un

seuil arbitraire bas et ρ est une probabilité arbitraire haute. Littéralement, l’algorithme BF rejette la variable Xa si l’hypothèse « I(Xa; Y ) petit » est très probable.

Le filtre ascendant, à l’inverse, ajoute une variable Xa si p(I(Xa; Y ) > ǫ|n) > ρ où ǫ

est un seuil arbitraire bas et ρ est une probabilité arbitraire haute. Une variable Xa est

Conclusion

Dans ce chapitre, après avoir présenté théoriquement ce qu’est un processus de sé- lection de variables, nous avons illustré notre propos avec des algorithmes de sélection de variables proposés dans la littérature.

Nous voyons qu’une multitude de pistes de recherche s’offrent dans les algorithmes de sélection de variable. Ne voulant pas présumer d’un modèle sur nos données, nos travaux portent sur une procédure filtre de sélection de variables. De plus, devant la taille des données dont nous disposons, une méthode exhaustive n’est pas envisageable. Nous proposons donc d’utiliser une heuristique de recherche afin de limiter les coûts en temps de calcul. L’algorithme ClassAdd que nous proposons dans ce document est une procédure filtre de sélection de variables basée sur une heuristique de recherche que nous détaillerons dans la suite.

2

L’information mutuelle en tant que

mesure de dépendance

Résumé

Ce chapitre définit la notion d’information mutuelle dans le cadre de la mesure de liaison entre variables.

Nous définissons, tout d’abord, les notations employées dans la suite du document (section 2.1).

Dans la section 2.2, nous rappelons le fondement de la mesure d’information mutuelle à partir de la notion d’incertitude et de l’entropie de Shannon dans le cadre de la théorie de l’information. En fin de partie, nous présentons la notion de généralisation de l’information mutuelle qui permet de mesurer l’information mutuelle entre plus de deux variables aléatoires. Cette notion est importante pour comprendre l’approximation k-additive de l’information mutuelle que nous faisons par la suite.

Nous abordons dans la section 2.3, les deux estimations de l’information mutuelle que nous comparons dans nos expérimentations. L’estimation classique se calcule à partir du tableau de contingence. L’estimation par une approche bayésienne est plus détaillée car moins utilisée.

Dans la dernière partie (section 2.4), nous rappelons les mesures classiques de liaison entre variables de la littérature : la notion de corrélation, de mesure de divergence et de mesure de dépendance. Cette section se conclut par la présentation d’une normalisation de l’information mutuelle afin qu’elle puisse être utilisée comme mesure de dépendance, ce que nous faisons dans nos travaux.

Sommaire

Introduction . . . 28 2.1 Notations et prérequis . . . 28 2.2 Les bases de la théorie de l’information . . . 29 2.2.1 La notion d’incertitude . . . 29 2.2.2 L’entropie de Shannon . . . 30 2.2.3 L’entropie relative . . . 33 2.2.4 L’information mutuelle . . . 34 2.2.5 Généralisation de l’information mutuelle . . . 36 2.3 Estimation . . . 36 2.3.1 Estimation classique . . . 37 2.3.2 Estimation bayésienne . . . 37 2.4 D’autres mesures de liaison entre variables . . . 38 2.4.1 Généralités sur les corrélations . . . 38 2.4.2 Les mesures de divergence . . . 39 2.4.3 Les mesures de dépendance . . . 40 Conclusion . . . 43

Introduction

L’information mutuelle est une mesure classique de liaison entre variables dans les problèmes de sélection de variables. Son utilisation en tant que mesure de pertinence a déjà été considérée à de nombreuses reprises dans la littérature (e.g. Hutter and Zaf- falon, 2005). Elle est utilisée sous plusieurs formes : information mutuelle classique ou information mutuelle conditionnelle pour la prise en compte des variables préalablement choisies.

Dans la première section, nous définissons les notations utilisées par la suite. En seconde section, nous présentons les bases de la théorie de l’information, de l’entropie de Shannon à la définition de l’information mutuelle. Dans la troisième section, nous étudions les façons d’estimer l’information mutuelle. Enfin, en quatrième section, nous proposons une vue sur les principales autres mesures de liaisons entre variables trouvées dans la littérature.

2.1

Notations et prérequis

Nous introduisons tout d’abord des notations concernant les variables aléatoires qui sont utilisées dans la suite.

– Nous considérons X,Y et Z trois variables aléatoires discrètes prenant un nombre fini de valeurs dans respectivement {1, . . . , t},{1, . . . , l} et {1, . . . , h}. X a donc t modalités, Y a l modalités et Z a h modalités.

2.2. Les bases de la théorie de l’information