La généralisation comme recherche dans un espace d'hypothèses

Le choix du principe d'induction est lié à la représentation du langage utilisée 2.1. Dans le cas des motifs Prosite [HBB+_{06], le langage généré par ces motifs est une sous} classe des langages réguliers facilement représentable par des expressions régulières. Pour les langages, il existe essentiellement trois types de représentations : les grammaires, les machines et les expressions.

Dans le cadre de l'inférence grammaticale, les hypothèses sont généralement représen- tées par des grammaires (dans le cas des langages réguliers, automates et grammaires sont très proches) que l'on peut ordonner selon un ordre partiel de généralité et se représente sous forme d'un treillis comme sur la gure 2.1.

Dans notre cas, chaque n÷ud représente une hypothèse composé d'un ensemble de grammaires équivalentes, générant le même langage. Une hypothèse H1 est dite plus générale que H2 si le langage généré par H1 est un sous-ensemble du langage généré par H2.

2.1. Apprendre un langage 35 G0 G1 G2 G3 G4 G5 Gn−1 Gn−2 Gn−3 Gn−4 Gn−5 Gn ... ... ... Ordre d'in lusion des langages langagegénéral langagespé ique

Fig. 2.1  Représentation de l'espace d'hypothèses comme ordre partiel basé sur l'inclusion des langages générés par chaque concept

On verra qu'il est plus dicile de naviguer dans cet espace d'hypothèses dans le cas de grammaires algébriques étant donné l'indécidabilité de l'équivalence de deux grammaires. On cherche alors l'ensemble des grammaires consistantes dans cet espace. Dans le cadre d'une inférence avec exemples positifs seulement, une hypothèse consistante est une hypothèse qui contient les données d'apprentissage.

Dans le cas où on ne possède pas d'exemples négatifs, rien n'empêche d'obtenir une grammaire qui reconnaîtrait le langage universel et le problème majeur est d'éviter la surgénéralisation. Pour cela, il existe plusieurs méthodes qui permettent de limiter cet eet : proposer une heuristique permettant de limiter la généralisation, structurer les

données a priori ou encore limiter l'apprentissage à une sous-classe de langages avec de bonnes propriétés.

On peut encore se demander comment choisir une solution optimale qui reconnaît le langage cible, c'est à dire comment choisir entre deux grammaires équivalentes apparte- nant au même concept ?

Pour sélectionner les solutions de manière ecace, il est nécessaire de posséder un ordre sur l'ensemble des hypothèses an de déterminer la meilleure grammaire. Pour cela, on utilise souvent un biais d'induction [Mit80,GD95] qui permet de dénir une fonction permettant de mesurer le caractère optimal d'une solution (au sens du biais introduit) an d'obtenir un ordre total sur l'espace d'hypothèses et d'être capable de sélectionner la meilleure par rapport à ce principe.

Il existe plusieurs biais d'induction, la plupart sont basés sur le principe de simplicité du Rasoir d'Ockham qui pose que les hypothèses les plus simples sont les plus vraisemblables. [CV03] présente un résumé des diérents biais utilisés découlant de ce principe. La simplicité peut alors être vu comme une fonction mathématique qui vise à optimiser un critère donné.

Dans le cadre de l'inférence grammaticale, ce critère peut être basé sur le fait d'obtenir une grammaire de taille minimale ou encore sur un principe de déterminisation des règles évitant la production d'un mot par plusieurs arbres de dérivation.

Un principe fréquemment utilisé est le principe MDL (Minimum Description Length) [Ris78] basé sur le fait que la représentation qui permet la meilleure compression des don- nées sera la solution optimale. Le principe MDL postule qu'il existe souvent une structure sous-jacente pouvant être utilisée pour compresser l'ensemble de données d'apprentissage. Il permet alors de découvrir cette structure [Grü94].

Une autre méthode est de choisir la solution qui minimise l'erreur empirique (ERM) [Vap92]. Pour cela il faut être capable de tester les solutions obtenues sur un autre en- semble appartenant ou non au langage cible, an de déterminer le taux d'erreur de classi- cation sur cet ensemble. L'hypothèse qui minimise l'erreur obtenue est alors considérée comme la solution optimale.

Ces approches se veulent plutôt empiriques.

Nous dénissons ci-après les cadres d'apprentissage plus formels les plus utilisés per- mettant de dénir si une classe de langages est apprenable à partir d'exemples, et s'il existe une grammaire minimale (ou canonique) permettant de représenter les langages de cette classe.

2.1.4 Apprenabilité : le cadre de l'identication à la limite

Il existe plusieurs cadres d'apprentissage qui ont permis de progresser dans la notion de convergence vers une cible d'apprentissage comme le cadre PAC [Val84] ou celui de l'ap- prentissage actif [Ang87]. Nous focaliserons ce travail sur les paradigmes d'identication à la limite. Ce cadre d'apprentissage fut développé en premier lieu dans [Gol67].

Le protocole d'identication à la limite est déni comme suit. Soit α une méthode d'inférence et S = {x1, x2, ...} un ensemble d'exemples d'un langage L. La méthode α

2.1. Apprendre un langage 37

considère les exemples dans l'ordre des indices et on note Si le sous-ensemble ni des i premiers éléments de S. Elle propose à chaque étape une hypothèse L (α(Si)). La méthode α identie à la limite le langage L s'il existe un indice ni j tel que L (α(Si)) =L (α(Sj)) pour tout i ≥ j et que L (α(Sj)) = L.

Ce paradigme, incrémental, est très éloigné de la pratique où on dispose d'un échan- tillon de données, c'est-à-dire un ensemble ni de données d'apprentissage, et non une séquence innie. C'est pourquoi le cadre de l'identication à la limite par données xées a été introduit [Gol78]. Il repose sur la dénition d'un échantillon caractéristique.

Sest un échantillon caractéristique d'un langage L, s'il illustre une méthode d'inférence α telle que, pour tout ensemble de données S0 tel que S ⊆ S0, L (α(S0)) = L.

Autrement dit, un échantillon caractéristique est un échantillon susant pour assurer la convergence de l'apprentissage vers la solution. Il est essentiel d'avoir les bonnes données d'apprentissage pour arriver au modèle espéré.

Cette dénition d'échantillon caractéristique permet alors de dénir l'identication à la limite par données xées. Une classe de langages est identiable à la limite par données xées si pour tous ses langages L, pour une méthode d'inférence α, il existe un échantillon caractéristique S ⊆ L tel que L (α(S)) = L.

Le problème de cette dénition, c'est qu'elle n'exige rien sur la taille des données d'entrée, de la représentation ou sur le temps de convergence de l'algorithme qui mène à la solution. Pour une convergence pratique, il est nécessaire de préciser d'avantage le cadre.

La première dénition d'identication polynomiale à la limite a été donnée dans [Pit89]. La plus récente [dlH97] dit qu'une classe de langages L est identiable en temps et données polynomiaux si pour tout langage L ∈ L et à partir d'une classe de représentation R, à partir d'un ensemble d'apprentissage S0de taille m, il existe un algorithme α et deux polynômes p() et q() tel que α retourne une solution correcte H dans R en un temps O(p(m))et que pour toute représentation R ∈ R de taille k d'un langage L ∈ L , il existe un échantillon caractéristique de taille O(q(k)).