Apprentissage en temps M polynomial

5.2 Identi ation à la limite des boules

5.2.1 Apprentissage en temps M polynomial

Algorithme 5 : Identi ation desbonnesboules àpartir de texte

Données: Untextef

= {x₁, x₂, . . .}

Résultat : Une séquen ede boules

(o, r)

lire(

x₁

); 1

c ← x1

; 2 renvoyer

(x₁, 0)

; 3

tant quevrai faire 4

lire(

xi

); 5

sif

i

est untémoin deminimalité pour

B_r(o)

alors 6

renvoyer

(o, r)

// boule valide

7 sinon 8 si

c 6∈ X^max

alors 9

c ←

unmot de

Xmax

; 10 nsi 11

renvoyer

(c, |c|)

// boule de sé urité

nsi 13

ntq 14

Théorème 24

BB(Σ)

est identiable à la limite à partir de Texte en temps M

polynomial.

Démonstration :

L'Algorithme 5 estun algorithmeidentiant à la limite

BB(Σ)

à partir de Texte en temps M polynomial.

Eneet, nousavonsdéjà vuquel'Algorithme5identieàlalimite

BB(Σ)

à partir de Texte . Il ne reste don qu'à ompter le nombre de hangements d'hypothèse que

faitl'algorithme.

L'algorithme peut hangerd'avisde plusieurs façons: en faveur d'uneboulevalide,

ouenfaveur d'unebouledesé urité. Le hangement d'hypothèseen faveur d'uneboule

valide ne se fait que vers une boule valide de rayon plus grand que elui de la boule

valide pré édente. Ilen est demême pour lesboules desé urité.

Plus pré isément, soit

T = (x₁, s₁)(x₂, s₂)(x₃, s₃) . . .

la tra e d'une exé ution de l'algorithmesuruneprésentation f.Supposonsdeplusquelaboule iblesoit

Br(o)

. La tra edel'algorithmeestunesu essiondereprésentationsde boule. Chaque

(x_i, s_i)

est don soit la représentation d'une boule

(o, r)

venant d'un témoin de minimalité, soit elled'uneboulede sé urité

(c, |c|)

Intéressons-nous tout d'abord aux boules valides. Soient

(o_i, r_i)

une représentation issued'untémoindeminimalité,et

j

lepluspetitrangtelque

j > i

(o_j, r_j)

provienne aussid'un témoinde minimalité. Deux as sont alorspossibles:

1. f

(i + 1) ∈ B_r_i(o_i)

: le témoin de minimalité

(u_i, v_i, w_i, o_i, r_i)

ayant permis de onstruire

B_r_i(o_i)

esttoujours un témoinde minimalitépour f

i+1

(pardénition du témoin). Don , par la Proposition 4, nous en déduisons que

j = i + 1

et que

2. f

(i + 1) 6∈ B_r_i(o_i)

: par onstru tion f

i

est in lus dans

B_r_j(o_j)

. La Proposition 4 nouspermet dedéduirequesoit

r_i < r_j

,soit

(o_j = o_i

r_j = r_i)

. Lesdeuxboules étantdiérentes(puisquef

(i+1) ∈ (B_r_i(o_i)⊕B_r_j(o_j))

),nousavonsné essairement

r_i < r_j

Par onséquent, haquefoisqueAlg hanged'hypothèseenfaveurd'unenouvelleboule

valide, lerayon est in rémenté d'au moins

1

par rapport à la boulevalide pré édente. Le nombre de représentations de boules validesdiérentes retournées par l'algorithme

seradon au plus

r

, 'est-à-direlerayon delaboule ible.Lenombre deM deAlgen faveur d'uneboulevalide estdon inférieur à

r

Si nous nous intéressons maintenant au nombre de hangements d'avis en faveur

d'une boule de sé urité,l'étude de la tra e de l'exé ution de l'algorithme nouspermet

à nouveau de borner e nombre. Soient deux boules de sé urité

(c_i, |c_i|)

(c_j, |c_j|)

. Supposons que

i < j

. Alors,

|c_i| ≤ |c_j|

puisque

c_i

c_j

sont des mots de longueur maximale dans,respe tivement,f

i

et f

j

. Deplus, si

|ci| = |cj|

alors

c_i = c_j

. Le nombre de boules de sé urité diérentes le long de

T

est alors borné par

2r

(puisque

∀x ∈

Br(o), |o| − r ≤ |x| ≤ |o| + r

). De plus, le nombre de M en faveur d'une boule de sé uritéestinférieurà

3r

, 'est-à-dire,

r

M pourpasserd'uneboulevalideàuneboule desé urité,et

2r

M pour passerd'unebouledesé uritéàuneautrebouledesé urité. Le nombre total de M est don borné par

4r

. Enn, le temps de miseà jour est polynomialpuisquelaseule hosequefaitl'algorithmeestdevériersiouiounonf

i

est untémoindeminimalité.Ornousavonsvuau hapitre pré édent que ettevéri ation

pouvait sefaireen temps polynomial.

✷

La Figure 5.2 montre un exemple de e que vaut le rayon des boules issus d'un

témoin, eluidesboulesdesé urité,et eluidesbouleshypothèses.La ourbedesrayons

desboulesissusd'un témoinsera don bornépar

r

, elledesboules de sé uritépar

2r

, et la ourbe durayon desboules hypothèsessera omprise entre esdeux ourbes.

Lorsquel'algorithmeaura onvergé,la ourbedesrayonsdesbouleshypothèsessera

onfondueave elledesboules témoins.Lenombre deM peutégalementêtre al ulé

en omptantlenombredevariationsdela ourbehypothèse.Parexemple,à haquefois

qu'elledé roît,unnouveautémoinaététrouvé,etl'algorithmeaee tuéun hangement

d'hypothèses.

Il est à noter que l'algorithme n'a en fait pas besoin d'être onsistant et don de

hanger d'avis pour des boules de sé urité. Toutefois, nous allons le réutiliser pour

l'apprentissage en temps Ipepolynomial.

L'apprentissage en temps M polynomial pourrait don très bien se faire

unique-ment ave

r

hangements d'hypothèse au maximum : si la boule hypothèse n'est plus onsistanteave lesnouvellesdonnées,ilsutd'attendred'avoirunnouveau témoinde

minimalitépourunebouleplusgrande.End'autrestermes, ilsutde resterlelongde

la ourbe témoin.

Le fait de n'avoir pas besoin d'être onsistant nous permet également de montrer

rayon

présentation

hypothèse

témoin

poubelle

Fig. 5.2 Rayon desboules hypothèses, desboules de sé urité et desboules issus des

Théorème 25

BB(Σ)

est identiable à la limite à partir de Informateur entemps M polynomial.

Démonstration :

L'Algorithme 5 identie à la limite

BB(Σ)

à partir de Texte en temps M polyno-mial (Théorème 25).Or l'algorithme n'a pas besoin d'être onsistant ave les données

pour pouvoir identier polynomialement. Pour haque exemple négatif qu'il reçoit, il

lui sut don de retourner la dernière hypothèse qu'il vient de faire.Ainsi, il identie

toujours àlalimite, ila untemps de miseajour qui restepolynomial, et lenombre de

hangementsd'hypothèseesttoujoursbornéparquatrefoislerayondelaboule ible.

✷

Lavéri ation del'existen edutémoindeminimalitéd'un ensemblededonnées

po-sitivespour une bouleen tempspolynomialpermet don d'identier àlalimite

BB(Σ)

en temps M polynomial. Il est à noter que et algorithme peut être adapté à

l'iden-ti ation de n'importe quel lasse de langage, si tant est que nous puissions vérier

l'existen ed'un témoin deminimalité 4

Con ernant les mauvaisesboules,nouspouvonsmontrerque

BOU LE(Σ)

n'est pas identiableà partirde Texte .En eet,ilexistedesprésentationstellesquen'importe

quel algorithme doit faire un nombre de hangements d'hypothèse supérieur au rayon

de laboule :

Théorème 26

BOU LE(Σ)

n'est pas identiable à la limite en temps M polynomial à partir deTexte .

Démonstration :

Raisonnons par l'absurde et supposons que nous ayons un apprenant Alg et un

polynme

p()

tels que

∀G ∈ G, ∀

∈

Pres

, #

(

) ≤ p(kGk)

Soit

n

unentier susamment grand, et onsidérons la sous- lasse ible

B_k(λ)

ave

k ≤ n

. Pour haque ible, nous onstruisons une présentation f

k

en utilisant Alg de

façon intera tive.

À haqueétape

i

,Algproduitunehypothèse

H_i

,etnousdevons al ulerunnouveau motf

k(i + 1)

. Pour ela, si

i = 0

nousretournons

λ

. Sinon, ilya deux as:

1. Si

H_i−1= B_k(λ)

, alors nousretournons le pluspetit mot de

B_k(λ)

qui n'est pas apparu dans f

k

i−1

(si au un mot ne vérie ette ontrainte, nous retournons

λ

). End'autres termes, sil'hypothèseest orre te, nousretournonslepluspetit mot

de la boule qui n'a pas été vu (

λ

sinon) an que la présentation soit orre te ( 'est-à-dire qu'elle ontienne tous lesmots de laboule).

2. Si

H_i−16= Bk(λ)

, alors nousretournons

a^j+1

H_i−1= B_j(λ)

ave

j = max{|u| :

u ∈

k

i−1}

, et

λ

sinon.En d'autres termes, sil'hypothèse n'est paslabonne,mais qu'elle ouvre tous les éléments de la présentation, nous présentons un mot plus

longquetous euxqui ont été vusjusqu'àprésent,

λ

sinon. 4

Chaque présentation f

k

est alors une présentation (Texte ) orre te de la ible

B_k(λ)

. En d'autrestermes, nousavonsbienf

k(N) = B_k(λ)

. Posons

m(k) = min{i ∈ N :

k(i) = ak}

. Pour haque

k

, f

k

et f

k+1

oïn ident sur

lesmêmes

m(k)

valeursinitiales.Alorsf

n

peut êtreréé riten:

λ

,...,

λ

a

,...,

aj

,...,

aⁿ

,... ave :

∀0 < j ≤ n, ∀i ∈ {m(j−1), .., m(j)−1},

n(i) =

j(m(j−1)) =

j(i) = a^j−1

, et Alg hange d'avisjusteavant de re evoirle nouvelexemple

ai

et fait don au

mini-mum

n

hangements d'hypothèses. Cela prouve que pour tout polynme

p()

, il existe unentier

n

tel que

#

(

n) > p(log n)

✷

Enrevan he,

BOU LE(Σ)

devient identiablesi laprésentation ontient des exem-plesnégatifs. Eneet, grâ eauxexemplesnégatifs, nouspouvonsvérier qu'iln'existe

pasdeboules possédant un rayon plus grand que elui de laboule hypothèse :

Théorème 27

BOU LE(Σ)

estidentiableàlalimiteentempsM polynomialàpartir d'Informateur.

Démonstration :

Nousmontronsqu'ilexisteunapprenant quivérielesdonnéesjusqu'àêtresûrqu'il

n'existe qu'une boule onsistante ave les données et fait don un unique hangement

d'avis.

Soient

Br(o)

laboule ibleet

hX+, X₋i

desexemplestels qu'ilexisteunmot

u

pour lequel:

a^ku, b^ku ∈ X₊

2. tousles sur-motsde

a^ku

et de

b^ku

delongueur

|u| + 1 + k

sont dans

X₋

et 3. si

u 6= λ

, pour haque sous-mot

v

u

de longueur

|u| − 1

, il existe un sur-mot

v

de longueur

|u| + k

dans

X₋

Il n'existe alors qu'une seule boule vériant es onditions. En eet, étant donnée

uneboule

B_r(o)

, esexemplesexistenttoujours,et vérier siun telmotestdans

X

est en

O(kXk)

Enoutre, toutes lesopérationsd'édition dansun heminminimalpourtransformer

o

aku

bku

sontdesinsertions. Eneet,la ondition

2

nouspermet dedéduireque

a^ku

b^ku

sont desmots de lafrontière supérieure de laboule. Nous endéduisons par laProposition5 que

o a^ku

o b^ku

. Ainsi,

o u

Enn, puisquepour haquesous-mot

w

u

ilexiste unsur-motdelongueur

|u| + k

dans

X₋

, au un sous-mot proprede

u

ne peut être le entre.

Nous en déduisons alors que

u = o

et don que

k = r

. Évidemment, les onditions

requisesseront vraiesà un ertainmoment de laprésentation.

✷

Dans le document Inférence grammaticale en situations bruitées (Page 93-98)

5.2 Identi ation à la limite des boules

5.2.1 Apprentissage en temps M polynomial

= {x1, x2, . . .}

(o, r)

x1

c ← x1

(x1, 0)

xi

i

Br(o)

(o, r)

c 6∈ Xmax

c ←

Xmax

(c, |c|)

BB(Σ)

BB(Σ)

BB(Σ)

T = (x1, s1)(x2, s2)(x3, s3) . . .

Br(o)

(xi, si)

(o, r)

(c, |c|)

(oi, ri)

j

j > i

(oj, rj)

(i + 1) ∈ Bri(oi)

(ui, vi, wi, oi, ri)

Bri(oi)

i+1

j = i + 1

(i + 1) 6∈ Bri(oi)

i

Brj(oj)

ri < rj

(oj = oi

rj = ri)

(i+1) ∈ (Bri(oi)⊕Brj(oj))

ri < rj

1

r

r

(ci, |ci|)

(cj, |cj|)

i < j

|ci| ≤ |cj|

ci

cj

i

j

|ci| = |cj|

ci = cj

T

2r

∀x ∈

Br(o), |o| − r ≤ |x| ≤ |o| + r

3r

r

2r

4r

i

✷

r

2r

r

rayon

présentation

hypothèse

témoin

poubelle

BB(Σ)

BB(Σ)

✷

BB(Σ)

BOU LE(Σ)

BOU LE(Σ)

p()

∀G ∈ G, ∀

5.2 Identi ation à la limite des boules

= {x₁, x₂, . . .}

x₁

(x₁, 0)

B_r(o)

c 6∈ X^max

T = (x₁, s₁)(x₂, s₂)(x₃, s₃) . . .

(x_i, s_i)

(o_i, r_i)

(o_j, r_j)

(i + 1) ∈ B_r_i(o_i)

(u_i, v_i, w_i, o_i, r_i)

B_r_i(o_i)

(i + 1) 6∈ B_r_i(o_i)

B_r_j(o_j)

r_i < r_j

(o_j = o_i

r_j = r_i)

(i+1) ∈ (B_r_i(o_i)⊕B_r_j(o_j))

r_i < r_j

(c_i, |c_i|)

(c_j, |c_j|)

|c_i| ≤ |c_j|

c_i

c_j

c_i = c_j

B_k(λ)

H_i

H_i−1= B_k(λ)

B_k(λ)

H_i−16= Bk(λ)

a^j+1

H_i−1= B_j(λ)

B_k(λ)

k(N) = B_k(λ)

aⁿ

j(i) = a^j−1

hX+, X₋i

a^ku, b^ku ∈ X₊

a^ku

b^ku

X₋