Cas de la reconnaissance des formes - Applications à la reconnaissance de la Parole.



˚˚|˚C( w

^*e m p

)˚-˚inf˚C˚|˚ ≤˚4 τ √  ^h(ln ^2L ^h ^L ^+1)-ln ^η ⁹ ^{˚ = ˚ 2} ^ε ^˚ ^{≥ 1-η}

Avec une confiance

1-η

donnée, l’optimum empirique se rapproche de l’optimum réel lorsque le nombre d’exemples augmente, et ce, d’autant plus vite que la capacité de notre système d’apprentissage est faible.

Cela peut s’exprimer de plusieurs manières, conformes au sens commun.

• Avec une confiance

1-η

et pour un système de capacité

h

donnée, disposer de plus d’exemples garantit une meilleure précision

ε.

• Une précision donnée

ε

sera atteinte plus sûrement par un système de capacité finie

h

si l’on dispose de plus d’exemples.

• Disposer de plus d’exemples permet d’utiliser un système plus fin pour obtenir une précision donnée

ε

avec une confiance donnée

1-η

• Avec une confiance

1-η

et une précision

ε

donnée, le nombre d’exemples suffisant est d’autant plus fort que la capacité

h

de notre système d’apprentissage est forte.

Un système plus fin possède en général un optimum réel

inf C

meilleur. Il permet alors, si l’on dispose de plus d’exemples, d’obtenir un optimum empirique

C(w*

emp

)

meilleur. En revanche, si l’on ne dispose pas d’assez d’exemples, l’optimum empirique peut être moins bon (cf. Fig 4.3).

Il y a donc un compromis à faire entre la capacité du système d’apprentissage utilisé et le nombre d’exemples nécéssaires.

4.5 Cas de la reconnaissance des formes.

Les méthodes de reconnaissance des formes identifiées en 3.4. sont ici passées au crible des théorèmes de convergence uniforme. Le coût réel appartient alors à un intervalle de confiance centré sur le coût empirique.

Ces théorèmes nous permettent de comparer les capacités de généralisation de nos trois méthodes d’apprentissage pour la reconnaissance des formes. Ils permettent par ailleurs [1] d’évaluer de même les principaux algorithmes statistiques de reconnaissance des formes.

4.5.1 Minimisation d’une approximation du risque moyen.

Dans le cas de la reconnaissance des formes, le risque moyen s'écrit, en combinant (3.51) et (3.55)

C

^risk

(w) =˚

On peut alors écrire le coût de la façon suivante

C

^risk

(w) =

qui nous permet d'appliquer le théorème (4.18), en notant

h

la capacité de la classe d’événements

ϑ

(w)

, et

τ = max J(C

,C

) - min J(C

,C

)

Lorsque

L

croit, l’écart avec laquelle le risque empirique approche le risque moyen tend vers

0

. Ce résultat est qualitativement très positif:

• Il prouve qu'il est possible de généraliser si l’on dispose d’un nombre d’exemples grand devant la capacité

h

de notre système.

• Il montre comment le phénomène de généralisation croît avec le nombre d'exemples, et diminue lorsqu'augmente une mesure de la capacité du système de classification.

1 Devroye L.: Automatic Pattern Recognition: A Study of the Probability of Error - IEEE Trans. on Pattern Anal. and Mach. Intell., vol 10, n° 4, pp 530-543, (1988)

Si l’on sait trouver le minimum global du risque empirique, la formule (4.9) nous permettrait alors de comparer, avec une probabilité

1−η ,

le risque final

C

^risk

(w

*

^risk

)

et le risque moyen optimal

inf C

^risk dont notre système est capable.

C

^risk

(w

*

^risk

)

inf C

^risk

+ 4τ √ ^h(ln ^2L ^h ^L ^+1)-ln ^η ⁹ ^(4.21)

En fait, nous avons vu que l’on ne sait minimiser que des approximations du risque empirique. Dans le cas de LVQ2, par exemple, cette approximation est contrôlée par un paramètre

δ

, qu’il est possible de diminuer progressivement. Si la densité

p(x)

est assez régulière, on réduit l’écart entre le l’approximation et le risque moyen au voisinage du minimum.

De plus, comme on ne dispose que d’un temps fini pour effectuer l’optimisation, on n’atteint pas exactement le minimum du risque empirique. La formule (4.21) ne constitue donc qu’une approximation raisonnable de la situation réelle.

4.5.2 Evaluation des probabilités a posteriori.

Cette méthode détermine les paramètres

w

pour lesquels les fonctions

P

( X ,w)

approchent le mieux les probabilités a posteriori

P(C

| X )

au sens des moindres carrés. On peut alors utiliser ces approximations pour classer les entrées

X

Si la classe d’événements

S(w,λ) = { ^˚ ( Φ

•

( C )-P

•

( X ,w) )

˚ > ˚ λ ˚ }

possède une capacité finie

h’

, on peut comparer, avec une probabilité

1−η

, l’erreur quadratique moyenne à l’optimum de l’erreur empirique

C

^mse

(w

*

^mse

)

avec l’erreur quadratique optimale

inf C

^mse dont est capable notre système d’évaluation des probabilités a posteriori.

C

^mse

(w

*

^mse

)

inf C

^mse

+ 8 √ ^h’(ln ^2L ^h’ ^L ^+1)-ln ^η ⁹ ^(4.22)

Mais cela nous renseigne peu sur le risque moyen

C

^risk

(w

*

^mse

)

correspondant, lorsque l’on classifie au moyen de la formule de décision (3.66). En effet,

C

^mse

(w

*

^mse

)

s’écrit à une constante près

C

^mse

(w

*

^mse

) = ∑

˚

˚ ∫ X ˚ (P

( X ,w

*

^mse

)-P(C

|X ))

^2˚˚

p( X )d X (4.23)

Un majorant de cette expression ne permet pas en effet dedéterminer l’écart maximum de son intégrande:

supX ( ^P

( X ,w

*

^mse

)-P(C

| X ) )

Nous sommes ici pénalisés par notre approche indirecte du problème: Passer d’une évaluation des probabilités a posteriori à une minimisation du risque moyen pose à nouveau un problème de grandes déviations. Comme toujours, on peut utiliser des hypothèses fortes sur la régularité de la densité

p( X )

. Il suffit par exemple de supposer

| ^˚ ∇

˚ ( ^(P

( X ,w

*

^mse

)-P(C

|X ))

^2˚

p( X ) ˚ < M ) | (4.24)

Une hypothèse comme (4.24) est assez raisonnable, lorsque l’on considère des entrées

X

soumises à un bruit gaussien. Les probabilités

P(C

| X )

, sont alors convolées avec la densité

n(ξ)

d’une gaussienne, ce qui a un effet régularisant.

Un petit écart

δ

sur

(P

( X ,w

*

^mse

)-P(C

| X ))

² au point

X

0 implique alors que cette valeur reste supérieure à

δ/2

sur une boule centrée sur

X

0, de rayon

δ/2M

. On peut alors écrire

supX ( ^P

( X ,w

*

^mse

)-P(C

| X ) )

˚< ˚ αM

p( X ) √

ⁿ

^˚ ^˚C

^mse

^(w

^*

^mse

⁾ ^(4.25)

où

n

est la dimension du vecteur

X

, et

α

un coefficient de proportionnalité. En combinant (3.66), (4.22) et (4.25), on peut obtenir un majorant complexe de l’écart entre le risque à l’optimum empirique

w

*

^mse et le risque minimal dont est capable le système. Ce majorant diminue avec le coût optimal

inf C

^mse, et avec la probabilité de classification ambiguë, c’est à dire la probabilité que le majorant (4.25) ne soit pas assez fin pour permettre une décision certaine.

Quoi qu’il en soit, la formule (4.20) reste néanmoins valable. On a toujours, avec une probabilité

1−

η

C

^risk

(w

*

^mse

)

C ~

risk

(w

*

^mse

) + 2τ √ ^h(ln ^2L ^h ^L ^+1)-ln ^η ⁹ ^(4.26)

où

h

est maintenant la capacité de la classe d’événements

ϑ

(w)

exprimée par (4.19)

.

La formule (4.20) fournit une majoration du risque moyen pour tout

w

, et en particulier pour

w

*

^mse.

En conclusion, (4.26) nous apprend que les risques moyens

C

^risk

(w

*

^mse

)

et empiriques

C ~

risk

(w

*

^mse

)

sont voisins.

Cependant, on ne peut pas affirmer que ceux ci sont proches de

inf C

^risk. La figure 2.9 montre d’ailleurs qu’une telle affirmation serait fausse dans le cas de l’adaline.

S’écarter de la minimisation du risque moyen présente des inconvénients qui n’apparaissent que lorsque l’on tient compte des limites sur le nombre de nos exemples.

4.5.3 Evaluation des vraisemblances.

Cette méthode détermine les paramètres

w

pour lesquels les fonctions

p

( X ,w)

approchent les vraisemblances conditionnelles

p( X |C

)

au moyen du principe du maximum de vraisemblance.

Si la vraisemblance conditionnelle est exactement de la forme

p

( X **,w*)**

, la théorie du maximum de vraisemblance [1] affirme, pour certaines classes de fonctions

p

k, dont les gaussiennes et les mixtures de gaussiennes, que les fonctions

p

( X ,w

*

^mle

)

maximisant la vraisemblance d’un échantillon indépendant

{x

}

de taille

L

sont des estimateurs

La consistance nous assure que lorsque

L

tend vers l’infini,

w

*

^mletend en probabilité vers

**w*.**

L’efficacité asymptotique mesure la vitesse de cette convergence.

Si on n’admet plus l’hypothèse forte que la vraisemblance conditionnelle appartient exactement à la famille

p

( X ,w)

, on retombe dans les problèmes soulignés dans la section 4.2. Seule alors la formule (4.20) reste valable, avec une probabilité

1−η

1 Wilks S. S.: Mathematical Statistics, New-York: Wiley (1962)

C

^risk

(w

*

^mle

)

C ~

risk

(w

*

^mle

) + 2τ √ ^h(ln ^2L ^h ^L ^+1)-ln ^η ⁹ ^(4.27)

où

h

est toujours la capacité de la classe d’événements

ϑ

(w)

exprimée en (4.19)

.

Cela fournit encore une fois une majoration du risque moyen pour tout

w

, et en particulier pour

w

*

^mle.

4.5.4 Ordres de grandeur

On pourrait s’attendre à ce que les résultats quantitatifs fournis par ces théorèmes de convergence uniforme soient inutilisables. En fait, cela pourrait être bien pire.

Prenons le cas de la classification de formes de dimension

n

en deux classes, à l'aide d'un séparateur linéaire, par exemple un perceptron. On l'a vu, la capacité d'un tel classificateur est

n+1

. On entraîne le perceptron avec

L

exemples, et on constate une proportion

~

e

de mauvaises classifications.

La probabilité de mauvaise classification (taux d’erreur) s'écrit

e = 1 - ∫ ^˚ ¹ ¹

^ϑ¹¹

^(x)U

^ϑ²²

^(x)˚p(x)dx

D'après (4.20), avec une probabilité

1-η

, l’écart entre

e

~

e

est inférieur à

| e - ~

e | < 2 √ ^n(ln ^2L ⁿ ^L ^+1)-ln ^η ⁹

On peut de même déterminer un nombre d'exemples suffisant pour que cet écart soit inférieur à un seuil fixé.

Prenons maintenant des ordres de grandeur concrets:

~

e = 5%, n=9 (h=10), η=0.1.

Le tableau ci après contient les majorants de l’écart et du taux d’erreur pour quelques valeurs de

L

L Majorant de

| ~ e - e |

Majorant de

e

1 000 0,52 0,57

10 000 0,20 0,25

50 000 0,10 ˚ 0,15

100 000 0,07 0,12

500 000 0,03 0,08

Fig 4.2 - Quelques valeurs numériques pour

~

e = 5%, n=10, η=0.1

Or, il est fréquent, pour des problèmes concrets, d’obtenir des écarts inférieurs à 0.1 avec une centaine d'exemples seulement. Notre condition suffisante est en effet indépendante de la distribution

p(x)

. Dans le cas de problèmes concrets, cette distribution est rarement quelconque.

Quoique surévalués, ces ordres de grandeur restent à la portée des calculateurs modernes. Cela représente une considérable avancée quand on les compare aux hypothèses asymptotiques pour lesquelles

L

est arbitrairement grand.

Dans le document Applications à la reconnaissance de la Parole. (Page 100-106)

Cas de la reconnaissance des formes



˚˚|˚C( w

)˚-˚inf˚C˚|˚ ≤˚4 τ √  h(ln 2L h L +1)-ln η 9 ˚ = ˚ 2 ε ˚ ≥ 1-η

1-η

1-η

h

ε.

ε

h

ε

1-η

1-η

ε

h

inf C

C(w*

)

4.5 Cas de la reconnaissance des formes.

4.5.1 Minimisation d’une approximation du risque moyen.

C

(w) =˚

C

(w) =

h

ϑ

(w)

τ = max J(C

,C

) - min J(C

,C

)

L

0

h

1−η ,

C

(w

*

)

inf C

C

(w

*

)

inf C

+ 4τ √ h(ln 2L h L +1)-ln η 9 (4.21)

δ

p(x)

4.5.2 Evaluation des probabilités a posteriori.

w

P

( X ,w)

P(C

| X )

X

S(w,λ) = { ˚ ( Φ

( C )-P

( X ,w) )

˚ > ˚ λ ˚ }

h’

1−η

C

(w

*

)

inf C

C

(w

*

)

inf C

+ 8 √ h’(ln 2L h’ L +1)-ln η 9 (4.22)

C

(w

*

)

C

(w

*

)˚-˚inf˚C˚|˚ ≤˚4 τ √  ^h(ln ^2L ^h ^L ^+1)-ln ^η ⁹ ^{˚ = ˚ 2} ^ε ^˚ ^{≥ 1-η}

+ 4τ √ ^h(ln ^2L ^h ^L ^+1)-ln ^η ⁹ ^(4.21)

S(w,λ) = { ^˚ ( Φ

+ 8 √ ^h’(ln ^2L ^h’ ^L ^+1)-ln ^η ⁹ ^(4.22)

supX ( ^P

| ^˚ ∇

˚ ( ^(P

supX ( ^P

^˚ ^˚C

^(w

^*

⁾ ^(4.25)

) + 2τ √ ^h(ln ^2L ^h ^L ^+1)-ln ^η ⁹ ^(4.26)