Perceptron Multi-couches Fonctionnel bas´e sur une ´etape

6.2 Approche par projection

6.2.1 Etape de projection

Le but de l’´etape de projection est d’obtenir une repr´esentation r´egularis´ee des fonctions d’entr´ee en projetant chacune d’elles sur l’espace vectoriel engendr´e par un ensemble de fonctions choisi au pr´ealable.

On introduit la d´efinition suivante :

D´efinition 10. Soit X un espace Hilbertien s´eparable, une base topologique de X est une famille d´enombrable totale et libre d’´el´ements de X.

On suppose que les fonctions d’entr´ee appartiennent `a l’espace fonctionnel3

L2(µ), o`u µ est une mesure σ-finie d´efinie sur Rn, et on munit cet espace d’une base topologique Φ = (φp)p∈N∗.

On consid`ere alors ΠP l’op´erateur de projection sur l’espace vectoriel engen-dr´e par les P premiers ´el´ements de la base topologique (vect(φ1, . . . , φP)). Pour toute fonction g ∈ L²(µ), la projection de g sur vect(φ1, . . . , φP) est donn´ee par la relation suivante : ΠP(g) = P X p=1 Z gφpdµ  φp

On rappelle que l’op´erateur de projection ΠP est Lipschitzien de rapport 1, et donc continu de L2(µ) dans L2(µ) (voir [68]).

6.2.2 Perceptron Multi-couches Fonctionnel bas´e sur une

´

etape de projection

Comme expliqu´e dans la section pr´ec´edente, dans l’approche par projection, chaque fonction d’entr´ee est tout d’abord projet´ee sur un espace de dimension finie, afin d’en obtenir une repr´esentation r´egularis´ee. Cette repr´esentation est alors soumise au perceptron multi-couches fonctionnel, afin qu’il calcule la sor-tie correspondante. Plus pr´ecis´ement, si l’on consid`ere H un perceptron multi-couches fonctionnel d´efini sur L2(µ), on ´evalue H(ΠP(g)), au lieu de H(g).

Dans le cas d’un perceptron fonctionnel `a une couche cach´ee et `a valeurs r´eelles, la sortie du mod`ele fonctionnel est calcul´ee de la mani`ere suivante :

HoΠP(g) = K X k=1 akT  bk+ Z fkΠP(g)dµ  3 L2

o`u fk ∈ L2(µ), et o`u ak et bk sont des nombres r´eels.

On voit donc que contrairement `a l’approche directe (voir chapitre 5), l’ap-proche par projection est compos´ee de deux ´etapes distinctes : premi`erement, l’´etape de projection des fonctions d’entr´ee, qui est effectu´ee pr´ealablement et de mani`ere ind´ependante de l’´evaluation du mod`ele fonctionnel, puis le calcul de la sortie du r´eseau, qui ne d´epend plus des fonctions d’entr´ee initiales.

6.2.3 Approche param´etrique

L’utilisation de r´egresseurs param´etriques pour repr´esenter les fonctions de poids permet d’obtenir un perceptron multi-couches fonctionnel param´etr´e par un nombre fini de param`etres num´eriques. Dans cette section, on va voir que de mani`ere identique `a l’approche directe (voir chapitre pr´ec´edent), une distinc-tion importante doit ˆetre faite selon la nature de ces r´egresseurs param´etriques (mod`eles pseudo-lin´eaires/mod`eles non-lin´eaires).

Cas g´en´eral

Dans le cas o`u l’on ne fait pas d’hypoth`eses particuli`eres sur la nature des r´egresseurs param´etriques, le neurone fonctionnel calcule la fonction suivante :

N(g) = T  b + Z F (w, .)ΠP(g)dµ  o`u F est un r´egresseur param´etrique de vecteur poids w.

Grˆace `a l’´etape pr´ealable de projection, la fonction ΠP(g) est connue sous une forme analytique : cette fonction est donc ´evaluable en tout point. On voit donc que contrairement `a l’approche directe, il n’est plus n´ecessaire d’approcher l’int´egrale interne au neurone par une moyenne empirique (la pr´ecision de cette approximation d´ependait du nombre de points d’´evaluation de la fonction g, et n’´etait donc pas sous le contrˆole de l’utilisateur). Dans l’approche par projec-tion, l’int´egrale R

F (w, .)ΠP(g)dµ peut ˆetre calcul´ee de mani`ere approch´ee4 `a une pr´ecision fix´ee pr´ealablement. Ce calcul peut ˆetre r´ealis´e par les techniques classiques de quadrature, ou par une approche de type Monte-Carlo. Dans le cas d’une m´ethode par quadrature, on r´ealise le calcul suivant :

Z F (w, .)ΠP(g)dµ ≃ M X j=1 γjF (w, xj)ΠP(g)(xj) 4

6.2. APPROCHE PAR PROJECTION o`u M est le nombre de points de discr´etisation (not´es xj) n´ecessaire au calcul de l’int´egrale (γj sont des coefficients qui d´ependent du mode de quadrature).

Il est important de noter que le nombre M peut ˆetre choisi ind´ependamment du nombre, m, de points d’´evaluation de la fonction g : la pr´ecision d’´evaluation de l’int´egrale est `a pr´esent un param`etre ajustable du mod`ele5.

R´egresseurs param´etriques pseudo-lin´eaires

Comme dans l’approche directe (voir chapitre pr´ec´edent), la repr´esentation des fonctions de poids par des mod`eles pseudo-lin´eaires permet une simplifica-tion du calcul r´ealis´e par le perceptron multi-couches foncsimplifica-tionnel.

On consid`ere une seconde base topologique Ψ = (ψq)q∈N∗ de L2(µ), et on impose aux fonctions de poids d’appartenir `a l’espace vectoriel engendr´e par les Q premiers ´el´ements de cette base (vect(ψ1, . . . , ψQ)). Si l’on consid`ere une fonction de poids de la forme F (w, .) =PQ

q=1wqψq, chaque int´egrale s’exprime alors de la mani`ere suivante :

Z F (w, .)ΠP(g)dµ = Q X q=1 P X p=1 wq Z φpψqdµ Z gφpdµ = wTΛβ = wT_βe o`u Λ = (R φpψqdµ)q,p, β = (R gφpdµ)p et eβ = Λβ. Dans cette expression, chaque int´egraleR

gφpdµ est calcul´ee pendant l’´etape de projection (plus pr´ecis´ement, on calcule une valeur approch´ee de R

gφpdµ comme expliqu´e dans la section 6.4.2). Les int´egrales R

φpψqdµ sont ind´epen-dantes du vecteur de poids w, ainsi que des fonctions d’entr´ee, on peut donc les calculer pr´ealablement `a toute ´evaluation du perceptron multi-couches fonction-nel. Selon les bases utilis´ees pour repr´esenter les fonctions de poids et les fonc-tions d’entr´ee, le calcul de R

φpψqdµ peut ˆetre effectu´e soit de mani`ere exacte, soit de mani`ere approch´ee6 en utilisant une m´ethode de quadrature ou une m´e-thode de type Monte Carlo.

Finalement, comme Λ et β sont des constantes, le r´esultat du produit matri-ciel eβ = Λβ est lui aussi une constante, et peut donc ˆetre ´evalu´e pr´ealablement `a toute ´evaluation du perceptron multi-couches fonctionnel. Grˆace aux pr´e-calcul de eβ, l’´evaluation de chaque int´egrale est donc r´eduite `a l’´evaluation d’un simple produit scalaire dans RQ : wT_β.e

5

M peut ˆetre choisi petit afin de r´eduire le coˆut d’´evaluation du mod`ele. Ceci s’effectue bien sˆur au d´etriment de la pr´ecision.

6