Identi ation à partir de requêtes

Contrairement auxautomates,lesrequêtesd'appartenan e ave lesrequêtes

d'équi-valen e nepermettent pasl'apprentissage desboules 2

:

Théorème 16 Soient

n, m ∈ N

et

B_≤n,m = {B_r(o) | o ∈ Σ∗, |o| ≤ n, r ≤ m}

. N'im-porte quel algorithme qui identieexa tement haque boule hypothèse de

B_≤n,m

en uti-lisantEQ etMQ fait, dans lepire as, au moins

2n− 1

requêtes.

Démonstration :

Commedans[Ang90 ℄etleThéorème7,nousdé rivonsunadversairequifor en'importe

quelleméthode d'identi ationexa te utilisantmq et eqàfaire

Ω(|Σ|n)

requêtes dans lepire des as.

L'adversaire maintient un ensemble

X

de toutes les boules possibles. Au début,

X = B_≤m,n

. Tant que

X

ontient au moins deux boules, l'adversaire pro ède omme suit:à haquerequêted'équivalen e

B_r(o)

,l'adversaireretourne le ontre-exemple

o

.À haque requête d'appartenan e

o

, l'adversaire répond Non. En d'autres termes, après haquerequêtes,

o

nepeutapparteniràlaboule ible.Touteslesboulesde

X

ontenant

o

sont don enlevéesde l'ensemble

X

.Beau oup de boules peuvent ainsidisparaîtrede

X

,mais,à haqueétape,uneseuleboulederayon

0

estenlevée:

B₀(o)

.Commeilexiste

Ω(|Σ|n)

boules derayon

0

dans

B_≤m,n

, n'importequel apprenant sera for éde faireau

minimum

B_≤m,n

requêtes pour identier une telle boule.

✷

Ce résultat peut paraîtresurprenant. En eet,les boules peuvent être représentées

par des automates et nous avons vu au Chapitre 2 que

AF D(Σ)

est apprenable à partir de mq et eq (voir le Théorème 5 de e même hapitre). Soit Alg l'algorithme

qui identie les afd à partir de mq et eq. Ne pourrions-nous pas utiliser Alg pour

identier les boules? En eet, il surait de onstruire un automate hypothèse

A

en donnant les réponses aux requêtes de l'ora le à Alg. Ensuite, pour haque hypothèse

de Alg, nousextrayons le rayon

r

et le entre

o

de

A

et nous ee tuons une nouvelle requêted'équivalen e

Br(o)

. Voir Figure4.2.

Plusieurs problèmes seposent sinousfaisons ela. Tout d'abord,Alg onstruit des

afdnere onnaissant pasfor ément uneboule. Quesigniealorsextrairele entreet le

rayond'un tel automate?Deuxièmement,est-il possibled'extrairelerayon et le entre

d'un automate dont nous savons qu'il re onnaît une boule en un temps polynomial?

Alg Ora le

Extraction

de r et o

`

a partir de A

M Q w

Réponses

EQ A

EQ B_r(o)

Fig.4.2Diagrammemontrant ommentapprendre lesboulesàtraverslesautomates.

Enn, si omme nouslesupposonslataille del'automateminimal re onnaissant

B_r(o)

est exponentiel en

r

, le problème reste in hangé : Alg aura bien appris un automate

A

re onnaissant

B_r(o)

en temps polynomial en

|A|

, mais

|A|

est exponentiel en

r

, et don en lataille de la boule ible (

|o|

pour les bonnes boules, et

|o| + log r

dansle as général).

Finalement, nous pouvons aussi noter que la preuve du Théorème 16 ne tiendrait

plus si nous pouvions faire des requêtes d'équivalen e dites impropres : dans le adre

quenousavonsprésenté,l'apprenant à ledroitde fairedesequniquement de langages

appartenant àla lasse deslangages ibles 3

. Dans le asprésent,il nepeut faire de

re-quêtesuniquementqu'ave desboulesdemots.Siteln'étaitpasle as,alorsl'apprenant

pourraitfairelarequêted'équivalen esurl'ensemblevide.L'ora leseraitalors for éde

donnerun ontre-exemple, 'est-à-direun motde laboule ible.

4.3.2 Apprentissage Pa

Dans ette se tion, nousallons montrer queles bonnes boules ne sont pas

polyno-mialement Pa apprenables, 'est-à-dire qu'il existe au moins une distribution

D

sur 3

Σ∗

tellequen'importequelalgorithmed'apprentissagenepeutretournerunehypothèse

ǫ

-bonneave uneprobabilitéplusgrandeque

1−δ

,enuntempspolynomial.End'autres termes,ilexisteunedistributionpourlaquelleau unalgorithmeneretourneraentemps

polynomialune hypothèse susamment pro he de la ible ave une onan e élevée.

La preuve de ette non-apprenabilité suit les lignes lassiquesde e genre de

résul-tats : nous montrons d'abord que le problème de onsistan e asso ié est

N P

-di ile, par rédu tionà unproblème

N P

- omplet (plus long sous-mot ommun). S'ensuit que s'il existait un algorithme polynomial Pa -apprenant les boules, et algorithme nous

fournirait unepreuve que e problème

N P

- omplet estdans

RP

.

Le problème que nousallonsutiliser pour notre rédu tion estlui-même obtenu par

rédu tionà unproblème

N P

- omplet :

Lemme 6 Lesproblèmesde dé idabilité suivants sont

N P

- omplets :

1. Problème du plus long sous-mot ommun (Pls ) : étant donnés

n

mots

x1. . . xn

et unentier

k

,existe-t-il unmot

w

de longueur

k

et sous-mot de haque

x_i

?

2. Problème du plus long sous-mot ommuns à des mots d'une longueur

donnée (Pls mld) : étant donnés

n

mots

x₁. . . x_n

de longueurs

2k

, existe-t-il un mot

w

de longueur

k

sous-mot de haque

xi

?

Démonstration :

1. Voir[Mai77 ,GJ79 ℄.

2. Voir[dlHC00 ℄, problèmeL s0.

✷

Ande montrerque

BB(Σ)

n'estpasPa -apprenable,nousallonsmontrer qu'ilest di ile de trouver uneboule onsistante ave desdonnéespositiveset négatives :

Lemme 7 Le problème suivant est

N P

- omplet :

Problème de la boule onsistante(B ): étantdonnédeux ensembles

X₊

et

X₋

de motssurunalphabet

Σ

,existe-t-ilune bonne boule ontenant

X₊

etau unmot de

X₋

?

Démonstration :

Nousutilisonsunerédu tionduproblèmePls mld(Lemme6).Dans

X₊

,nousmettons le mot vide

λ

et les mots de

Σ2k

, 'est-à-dire tous les mots de longueurs

2k

. Nous onstruisons

X₋

en prenant haquemot de

Σ^2k+1

Une boule qui ontient

X₊

et au un mot de

X₋

a alors né essairement un entre de longueur

k

etun rayon de

k

(puisque nousnous on entrons surlesbonnesboules). Le entreest alors unsous-mot ommunà tousles mots delongueurs

2k

.

Inversement, si une boule est onstruite ave un sous-mot de longueur

k

omme entre, ette bouleestderayon

k

, ontientaussi

λ

et,à ausedurayon,ne ontient pas d'élémentsde

X₋

.

Finalement, le problèmeest dans

N P

, puisqu'étant donné un entre

u

, il est fa ile devérier si

max_x∈X+d(u, x) < min_x∈X−d(u, x)

, 'est-à-diredevérier silaboule

en-tréesur

u

ontient bientousles mots de

X₊

maisau un de

X₋

.

✷

Nousallons maintenant montrer par l'absurde que

BB(Σ)

ne peut êtrePa -appris par rédu tionau problèmepré édent :

Théorème 17

BB(Σ)

n'est pas polynomialement Pa apprenable. Démonstration :

Supposons que

BB(Σ)

soit polynomialement Pa apprenable ave Alg et prenons

l'instan e

hX+, X₋i

du problème B . Posons

h = |X₊| + |X₋|

et soit la distribution

P r(x) = ¹_h

si

x ∈ X₊∪ X₋

, 0sinon dénit sur

Σ^∗

.

Soient

ǫ = _h+1¹

,

δ < ¹₂

et

m = n = max{|w| : w ∈ X₊}

. Soit maintenant

B_r(o)

la boule retournée par une exé ution de Alg

(ǫ, δ, m, n)

. Testons si

X₊ ⊆ Br(o)

et si

X₋∩ B_r(o) = ∅

. Deux asseprésentent alors.Soit iln'existepasde boule onsistante, alors

B_r(o)

estné essairement in onsistante ave lesdonnées, don letest i-dessusest faux. Soit il existe une boule onsistante, alors

B_r(o)

est une hypothèse

ǫ

-bonne, ave

ǫ < ¹_h

. Don , ave probabilité au moins

1 − δ > ₂¹

, il n'y a pas d'erreur du tout et le test seravrai.

Clairement, ette pro édure s'exé ute en temps polynomial en

1

ǫ

,

1

δ

,

|Σ|

,

m

et

n

. Ainsi, si les bonnes boules étaient Pa apprenables, il existeraitun algorithme

rando-misépourle problèmeB ,qui est

N P

- omplet parle Lemme 7.

✷

Enn, demême que

AF D(Σ)

,

BB(Σ)

ne peut êtrePa -apprisàpartir d'exemples positifs seuls:

Théorème 18

BB(Σ)

n'est pas polynomialement Pa apprenable à partir d'exemples positifs seulement.

Démonstration :

Soient

L₁ = B₁(a)

et

L₂ = B₁(b)

. Posons

w₁ = aa

,

w₂ = bb

et

w₃ = ab

. Le résultat

dé oule alors duLemme 3.

✷

Lesbonnesboules(etdon lesboules)nesontdon pasPa apprenables

polynomia-lement,que e soitàpartir deTexteoud'Informateur. Commepour lesafd,nous

n'étudierons pas la Pa -apprenabilité de

BB(Σ)

dans un ontexte bruité au hapitre suivant.

Dans le document Inférence grammaticale en situations bruitées (Page 77-80)