Choix des méthodes d’apprentissage

À partir d’une indexation de documents, de nombreux algorithmes peuvent apprendre un modèle. Parmi les plus connus, citons les réseaux de neurones, les classifications de Bayes, les machines à vec- teurs de support, etc. Sebastiani (2002) a mené une étude comparative sur ces systèmes. Il teste dans cette étude différents systèmes de classification automatique se basant sur des corpus composés de dépêches Reuters, en faisant varier la quantité de documents, de documents d’apprentissage et de catégories. Il semble dans cette étude que, pour un nombre de classes limitées, les meilleures techniques soient les machines à vecteur de support ainsi que les arbres de décision (Sebastiani, 2002, p. 38). Nous cherchons ici à produire un classifieur binaire à partir de représentations vectorielles de documents basées sur une quarantaine de critères. Nous présentons dans les sections suivantes les deux algorithmes choisis, les systèmes utilisés et les choix effectués pour l’évaluation de ces classifieurs.

4.3.2.1 Machines à vecteurs de support

Figure 4.3 – Le cas le plus simple : dans un espace bidimensionnel, une droite sépare les deux ensembles d’exemples

Le modèle des machines à vecteurs de support2 a été introduit par Vapnik (1998) et a été appliqué à la classification textuelle par Joachims (2002). Cette méthode se base sur une représentation de chaque élément à classer sous la forme d’un point dans un espace multidimensionnel. Chaque critère correspond à une dimension ; chaque élément est donc représenté par les poids de chacun de ses critères. Le principe général de cette méthode est de chercher, dans un espace multidimensionnel, un hyperplan H, combinai- son des σi ∈ T = {σ1, . . . , σ| T |}, tel que σi sépare les exemples positifs des exemples négatifs. Tous

nos exemples représenteront des cas à deux dimensions, par simplification. La figure 4.3 présente le cas le plus simple, où une droite sépare les exemples positifs (en blanc), des exemples négatifs (en noir).

2

Figure 4.4 – Cette méthode cherche à trouver l’hyperplan séparant l’espace des données en deux en ayant une marge maximale

Cet espace σi doit de plus présenter une marge la plus grande possible, c’est-à-dire permettant les

translations les plus grandes de σi. La figure 4.4 présente un cas simple d’espace bidimensionnel. Les

deux droites tracées séparent l’espace en deux, mais seule celle notée σia des marges maximales.

Les vecteurs les plus proches de l’hyperplan, déterminant ainsi la taille de la marge, sont appelés

vecteurs de support(Joachims, 2002, p. 37). Dans un cas non-linéaire, l’algorithme ajoute une dimension

à l’espace vectoriel, générant ainsi un espace de re-description de plus grande dimension dans lequel il va chercher à retomber sur un cadre linéaire. Cette technique est abordée plus en détail dans Joachims (2002). Nous utilisons le systèmeSVMlight3, développé par Thorsten Joachims en 2002.

4.3.2.2 Arbres de décision

La théorie des arbres de décision est basée sur la théorie de Breiman élaborée en 1984. Cette théorie se démarque des classifieurs probabilistes et fait partie des algorithmes qualifiés de symboliques.

Dans le cadre de la classification textuelle, un arbre de décision est composé de nœuds, représentant des critères de classification, de branches représentant des conditions sur les poids des critères et de feuilles représentant les classes. Le parcours d’une branche correspond ainsi à une combinaison de poids de critères que la représentation vectorielle d’un document doit contenir pour appartenir à la classe correspondant à la feuille. Le tableau 4.9 décrit un exemple présenté par Quinlan (1993), permettant de décider, en fonction des conditions météorologiques si un jeu est possible ou pas. Un arbre correspondant à cet exemple est présenté dans la figure 4.5.

Cette méthode d’apprentissage se base sur une décomposition d’un problème de classification en une suite de tests (imbriqués) portant sur un critère ou une combinaison linéaire de plusieurs critères, afin de créer des règles de classification sous forme d’arbres. L’objectif final étant de créer une séquence hiérar- chique de tests, aussi courte que possible, divisant successivement l’ensemble des données d’apprentis-

3

Numéro Ensoleillement Température (°F) Humidité (%) Vent Jouer

1 soleil 75 70 oui oui

2 soleil 80 90 oui non

3 soleil 85 85 non non

4 soleil 72 95 non non

5 soleil 69 70 non oui

6 couvert 72 90 oui oui

7 couvert 83 78 non oui

8 couvert 64 65 oui oui

9 couvert 81 75 non oui

10 pluie 71 80 oui non

11 pluie 65 70 oui non

12 pluie 75 80 non oui

13 pluie 68 80 non oui

14 pluie 70 96 non oui

Table 4.9 – Exemple de Quinlan (1993)

Figure 4.5 – Exemple d’arbre de décision

sage en sous-ensembles disjoints. Sebastiani (2002) décrit l’une des méthodes permettant de générer un arbre de décision pour une classe ci, basée sur une stratégie divide and conquer :

(i) Si tous les vecteurs d’apprentissage appartiennent à la même classe ci ouc¯i alors l’arbre

ne contient qu’une feuille ;

(ii) Sinon sélectionner un critère ck partitionnant l’espace des vecteurs d’apprentissage en

espaces ayant la même valeur pour ck(segmentation). ckdevient alors un nœud et les deux

espaces correspondent aux sous-arbres.

(iii) Réitérer l’étape (ii) sur les sous-arbres jusqu’à avoir classé tous les exemples du corpus d’apprentissage ;

(iv) Élaguer l’arbre si nécessaire.

Les points clés de cette méthode sont : le choix du critère ck et l’élagage de l’arbre (suppression des

branches qui ne sont pas nécessaires, quitte à ajouter quelques erreurs). Le choix du critère cks’effectue

chaque étape le critère le plus discriminant possible. L’élagage de l’arbre permet de pallier le problème de

sur-apprentissage. En effet, les arbres de décision tendent à être très complexes en collant le plus possible

aux données. La détermination de la taille de l’arbre est alors essentielle pour diminuer la complexité des arbres générés (Breiman et al., 1984). Deux méthodes permettent de réduire la taille des arbres : le pré- et le post-élagage. Le pré-élagage consiste à fixer un critère permettant de stopper la construction de l’arbre. Ce critère d’arrêt peut par exemple évaluer l’apport informationnel de la segmentation initiée. Le post- élagage consiste à réduire la taille de l’arbre une fois celui-ci construit, en estimant par exemple le taux d’erreur introduit par l’élagage d’une branche. L’ensemble de ces techniques est abordé plus en détail dans Breiman et al. (1984); Quinlan (1993). Nous utilisons le systèmeC4.54, développé par Quinlan (1993).