Minimisation du risque moyen

3.4.2.1 Le risque moyen ne se prête pas à la minimisation.

L’algorithme stochastique (3.6) appliqué à la minimisation de

C

, s’écrit alors

w

t+1

=˚w

t

+ ε

t

∇J( C , ƒ( X ,w)) (3.54)

Cette expression pose malheureusement des problèmes de régularité. La fonction

J( C ,ƒ( X ,w))

est une fonction de

X

en paliers, c’est à dire constante, sauf sur les frontières de classification établies par

ƒ

où elle est discontinue.

Réciproquement, chaque forme

X

induit une partition

{ ƒ

(X,•)-1

(C

k

) }

de l’espace des

w

en régions

Ω

k

( X )

pour lesquelles

X

est rangé dans la classe

C

k. On peut alors écrire

J( C ,ƒ( X ,w)) = ∑

k

˚J( C ,C

k

)˚ 1 1

_Ωk(

X

)˚

(w )˚ (3.55)

d’où

∇J( C ,ƒ( X ,w)) = ∑

k

˚J( C ,C

k

)˚ ∇ 1 1

_Ωk(

X

)˚

(w )˚ (3.56)

C’est donc une somme de masses de Dirac supportées par les frontières entre les régions

Ω

k

( X )

. On ne peut donc pas appliquer (3.54), car le gradient de

J

est presque partout nul.

Dans le cas de l’algorithme déterministe (3.5), on peut calculer

∇C

^risk:

∇C

^risk

= ∑

i<j

˚ ∫ _Λ

_i,j

^{˚(J( C ,C}

ⁱ

^{)-J( C ,C}

^j

^))˚n

^ij(X)

^{(w)˚p(x| X ∈Λ}

^ik

^{)dx (3.57)}

en notant

Λ

ik les frontières de classification établies par

ƒ

entre les entrées classées

C

i et

C

j, et

n

ij(X)

(w)

le vecteur normal à la frontière dans l’espace des

w

entre

Ω

i

( X )

et

Ω

j

( X ).

Ce gradient n’est plus presque partout nul: L’intégration possède en effet des vertus régularisantes.

Cependant,

p(x| X ∈Λ

ik

)

est tout aussi inconnu que

p(x)

. On pouvait en (3.5’) évaluer

C

^risk en définissant un coût empirique défini sur un échantillon

{x

k

}

. Mais, comme la probabilité de l’événement

{x∈Λ

ik

}

est nulle, aucun élément de notre échantillon ne nous renseigne sur l’intégrale (3.57).

Plus qu’un problème de dérivation, la non continuité de

J( C ,ƒ( X ,w))

nous empêche, en pratique, d’évaluer le gradient du risque moyen. La seule solution consiste donc à ne pas optimiser directement le risque moyen, mais des fonctionnelles ayant soit le même minimum, soit un minimum voisin.

3.4.2.2 Approximations continues du risque moyen: LVQ2.

La solution la plus simple consiste à remplacer l’intégrande (3.55) du risque moyen par une approximation continue.

C’est presque le cas du perceptron: L’intégrande du critère du perceptron (3.14), par exemple, est continu, presque partout dérivable, et identiquement nul lorsqu’il y a bonne classification. Il s’éloigne cependant sensiblement de (3.55) dans le cas d’une mauvaise classification, où il est linéaire en

w

et

X

.

Il est cependant possible d’utiliser explicitement une approximation continue de (3.55), en utilisant un approximation continue des indicatrices des ensembles

Ω

k

( X )

. C’est le cas, par exemple, de l’algorithme LVQ2 (cf. §2.3.5).

Dans cet algorithme, chaque classe est caractérisée par un ensemble fixé de points de référence

w

k. Lorsque l’on désire classer un vecteur

X

, on sélectionne le vecteur de référence le plus proche

w

k*(X), et on regarde la classe

Φ(k*( X ))

qui lui est associée.

On supposera maintenant que la matrice des coûts

J

est entièrement composée de

1

, sauf sa diagonale qui est nulle. Cela revient à considérer toutes les erreurs avec une égale gravité. La formule (3.55) s’écrit donc

J( C ,ƒ( X ,w)) = ∑

C_k≠

C

˚˚ 1 1

_Ωk(

X

)˚

(w ) ˚

On peut alors de l’approcher de la façon suivante, en notant

k**( X )

l’indice du point le plus proche associé à la bonne classe.

J

^lvq

(x,w) = ∑

C_k≠

C

˚ Min   

 

˚ 

1

1

_Ωk(

X

)

(w),˚ ( X _-wk

**(X)

)

²

-( X _-wk

*(X)

)

²

˚

δ˚( X _-wk

_*(X)

)

²

˚ (3.58)

Lorsque une entrée

X

est mal classée, on approche le risque au voisinage de la frontière de classification proportionnellement à l’écart relatif entre les carrés des distances entre

X

et d’une part le vecteur de référence le plus proche associé à la bonne classe, d’autre part le vecteur de référence le plus proche, associé à une mauvaise classe (Fig 3.3).

2

= ( X -w

Fig 3.3 - L’approximation du risque moyen dans LVQ2. En noir, la fonction théorique de risque moyen, au voisinage d’une frontière de classification. En gris, l’approximation (3.58).

Le paramètre positif

δ

contrôle la finesse de l’approximation: plus il est faible, plus

J

^lvq est proche de la valeur exacte (3.55).

Chaque pas de l’algorithme de minimisation stochastique consiste alors à tirer un exemple

x=( X , C )

, et à appliquer

Il est intéressant de comparer cette formule à l’algorithme LVQ2 donné par l’équation (2.35). Il y a deux différences mineures:

• La présence des scalaires

K

1 et

K

2. Leur l’écart relatif est au plus

δ

, à cause des conditions d’applications de la formule (3.59).

• La définition de

k**( X )

est légèrement différente: Il s’agit ici de l’indice du point le plus proche associé à la bonne classe, et non de l’indice du second point le plus proche, si il est associé à la bonne classe.

En pratique, la condition

( X -w

_k^**₍

X

)

)

²

<(1+δ)( X -w

_k^*₍

X

)

)

² est rarement vérifiée lorsque ces deux points sont différents. Si

δ

est assez faible, cette différence ne modifie le fonctionnement de l’algorithme que dans quelques cas extrêmes.

Enfin, on remarque que plus

δ

est faible, plus la proportion d’itérations de l’algorithme (3.59) qui modifient effectivement les

w

est faible. En pratique, on peut commencer avec un

δ

élevé, et le réduire progressivement. Le remède le plus fréquent consiste à initialiser l’algorithme avec une solution acceptable, et le laisser l’améliorer.

3.4.2.3 Approximations probabilistes.

Une seconde solution consiste à minimiser un critère voisin, qui, sous certaines conditions possède le même minimum. En effet, ayant une forme

X

, il suffit de choisir comme valeur de

ƒ(X,w)

la classe qui minimise le terme

∑

C

˚J( C ,˚ƒ( X ,w))

^˚

p(x) (3.60)

qui représente le terme à intégrer sur

X

dans le risque moyen (3.51). Il est aisé de voir que cette stratégie conduit au risque moyen minimum.

Dans l’équation (3.58), la densité

p(x)

est inconnue. On peut la décomposer de deux façons, comme en (3.52)

p(x) = p( X,C ) = P( C ).p( X | C ) = p( X ) P( C | X )

Cela suggère deux méthodes:

• Estimer les vraisemblances

p( X|C )

. Il est en effet assez facile d’évaluer les probabilités

P( C )

par comptage.

• Estimer les probabilités a posteriori

P( C|X )

. En effet, la densité

p( X )

peut être mise en facteur dans la formule (3.60). On n’a pas besoin de la connaître pour déterminer la meilleure classe.

Ces deux méthodes partagent un même défaut: On optimise en fait un critère de qualité sur l’approximation de ces probabilités, et non le risque moyen. Si on n’utilise pas un système assez fin pour évaluer ces probabilités avec une précision suffisante, les optima de ces deux critères peuvent être différents.

Elle possèdent également un avantage commun: Elles fournissent des informations plus riches que l’appartenance à une classe. Ces informations statistiques peuvent être utilement mises à profit en aval du système de reconnaissance.

Les deux sous sections suivantes sont consacrées à l’étude de ces deux méthodes.

Dans le document Applications à la reconnaissance de la Parole. (Page 76-80)