L’algorithme du gradient stochastique

La structure g´en´erale de ces syst`emes est donn´ee sur la figure (3.3). Le si- gnal observ´e o(n) est issu du filtrage d’un bruit blanc parfait (suite de variables al´eatoires ind´ependantes) e(n) par le filtre direct de r´eponse impulsionnelle d(k).

o(n) =)

IDENTIFICATION AVEUGLE Non param´etrique

boucl´e, §3.4 Crit`eres non quadratiques, p. 112 kurtosis p. 114

Godard p. 116 Sato p. 116

en fr´equence, §3.5 M´ethode r´ecursive lin´eaire p. 120 Moindres carr´es, p. 121

M´ethode de projection, p. 122 Retard de groupe, p. 122 Param´etrique

filtre MA, §3.6.2 Formule C(q, k), p. 128 M´ethodes alg´ebriques, p. 129 Optimisation, p. 132

Multicepstre, p. 133

filtre AR, §3.6.3 Yule-Walker ordre sup´erieur, p. 134 filtre ARMA, §3.6.4 p. 135

Tab. _{3.1 – Synth`ese des m´ethodes d’identification aveugles pr´esent´ees dans ce} chapitre

On cherche un filtre inverse transversal d´ecrit par sa r´eponse impulsionnelle de longueur finie i(k) pour −p1 ≤ k ≤ p2, donnant en sortie s(n) via

s(n) =)

p i(k)o(n − k)) = i T_o(n),

avec iT _{= (i(−p}

1) . . . i(p2)) et oT(n) = (o(n + p1) . . . o(n − p2)). Dans le cas

g´en´eral, le filtre cherch´e peut contenir une partie causale 0 ≤ k ≤ p2 et une

partie non-causale −p1 ≤ k < 0.

Le bruit blanc d’entr´ee e(n) et la sortie s(n) sont reli´es par le filtre global (figure (3.3)) de r´eponse impulsionnelle t(k) par

s(n) = )

p t(p)e(n − p).

(3.5) Pour obtenir le filtre inverse on minimise un crit`ere V (s) d´ependant de la sor- tie3<sub>. Les signaux trait´es ´etant al´eatoires, le crit`ere est g´en´eralement un moment</sub> 3_{En physique on rencontre le mˆeme probl`eme de minimisation de l’´energie des syst`emes}

Système total o(n) s(n) d(k) SLS FI i(k) e(n) i.i.d

Fig. _{3.3 – Le filtre inverse} du type

V (s) = E[v(s)].

La convergence vers le filtre inverse est obtenue par une m´ethode du gradient [101, 132, 135, 198]. En pratique on ne peut pas calculer l’esp´erance math´ematique donnant V (s). On la remplace par sa valeur instantan´ee v(s). On obtient alors une m´ethode d’adaptation dite du gradient stochastique [132, 172].

Pendant la p´eriode d’adaptation du filtre sa r´eponse impulsionnelle est variable, nous la noterons i(n). En th´eorie, i(n) doit tendre vers une limite. A la convergence le filtre devient donc stationnaire en moyenne. En r´ealit´e, par suite des erreurs d’estimation, le filtre ne se stabilise jamais compl`etement. . .

L’adaptation du filtre est obtenue par

i(n + 1) = i(n) − µ∇v [s(n)] ,

o`_{u ∇V (s) est le gradient de V par rapport aux coefficients du filtre, et µ est} une constante dont la valeur fixe la vitesse de convergence et l’amplitude des fluctuations r´esiduelles de la r´eponse impulsionnelle estim´ee.

Quand on utilise un crit`ere quadratique (ordre 2) µ doit ˆetre inf´erieur `a une valeur d´etermin´ee pour assurer la convergence [198]. On peut faire diminuer la valeur de µ lorsque l’on approche de la convergence [135].

Cette technique est tr`es ´etudi´ee dans les m´ethodes utilisant des crit`eres quadratiques. Elle s’appelle alors la m´ethode des moindres carr´es moyens et une tr`es vaste litt´erature a ´et´e consacr´ee `a ce sujet [101]. Les principales variantes portent sur la structure du filtre estim´e : transversal comme ici, en treillis [97, 137]. . .On peut ´egalement d´efinir le filtre en temps, en fr´equence [163], on peut optimiser la vitesse de convergence : moindres carr´es. . .

En r´esum´e l’algorithme du gradient stochastique s’´ecrit

D

s(n) = iT_(n)o(n),

i(n + 1) = i(n) − µ∇v[s(n)].

Parfois i(n) = 0 est une solution des algorithmes de minimisation. Pour ´eviter de converger vers cette solution triviale on impose des contraintes `a la r´eponse impulsionnelle. Les contraintes impos´ees sont g´en´eralement soit4

i0 = 1 soit ||i||2 = iTi = 1. On obtient alors un algorithme de minimisation

sous contrainte.

On peut voir l’algorithme du gradient stochastique de la fa¸con imag´ee suivante. Le filtre est un randonneur qui se d´eplace dans un terrain bois´e (ce qui ne lui permet pas de voir `a distance) dont la topographie est fix´ee par le crit`ere. Le randonneur ne poss`ede pas de carte mais dispose d’un niveau `a bulles lui permettant de mesurer la pente du sol exactement sous ses pieds. Le randonneur veut atteindre le point le plus haut (ou le plus bas mais, pour les randonneurs nous opterions plutˆot pour le point le plus haut. . .) du territoire. Il va donc chercher `a monter constamment en mesurant, grˆace `a son niveau `a bulles, la d´eclivit´e du sol. Le sol, comme les signaux, est al´eatoire (mottes de terre, touffes d’herbe, fourmili`eres. . .) la d´eclivit´e locale mesur´ee est donc le gradient stochastique :

∇v[s(n)].

Le randonneur peut “optimiser” sa route : moindres carr´es. Le randonneur doit ´egalement adapter l’amplitude de ses pas par µ. Lorsque le randonneur est pr`es du but on imagine que si ses pas sont d’amplitude constante il va osciller autour du sommet, voire redescendre. Pour se rapprocher du sommet il doit donc faire des pas de plus en plus petits (diminution de µ). Le cas des algorithmes sous contraintes est ici celui du randonneur qui veut atteindre le sommet en suivant un chemin. On lui sugg`ere alors deux solutions. Soit se contenter de mesurer la pente le long du chemin : c’est le plus simple pour un randonneur. Soit mesurer la pente sans tenir compte du chemin, faire un pas dans la direction trouv´ee et regagner le point du chemin le plus proche de sa nouvelle position : c’est le plus simple pour les syst`emes adaptatifs. Quand le randonneur peut enfin se reposer sur le sommet tant d´esir´e il a le temps de se poser la grave question suivante : ai-je atteint le v´eritable sommet ? Seule la m´etaphysique du crit`ere, c’est-`a-dire les propri´et´es g´en´erales du crit`ere (concavit´e par exemple), lui permettra de s’assurer de ce r´esultat. Si il dispose d’un altim`etre, on lui sugg`ere une solution (fatigante) qui consiste `a repartir d’un autre point et `a recommencer de multiples fois son ascension. Il verra bien `a la fin si il rencontre, ou non, un sommet plus ´elev´e : c’est la m´ethode du recuit simul´e dont le nom semble bien adapt´e `a cette histoire de randonneur. . . Les m´ethodes du gradient stochastique ont ´et´e d´evelopp´ees avec des crit`eres quadratiques qui ont l’avantage d’ˆetre concaves. Dans le contexte consid´er´e ici (identification aveugle) ces m´ethodes permettent de trouver un filtre blanchisseur mais elles ne donnent pas forc´ement le filtre inverse. Pour

4_i

0 est la r´eponse impulsionelle au temps 0, et donc la premi`ere composante du vecteur filtre dans le cas causal.

obtenir le filtre inverse il faut utiliser un crit`ere plus complexe ce qui fait ap- paraˆıtre dans le traitement des moments ou des cumulants d’ordre sup´erieur `a 2. Apr`es avoir pr´esent´e une vue d’ensemble, nous donnerons une solution simple et ´el´egante de ce probl`eme due `a [185], nous discuterons les propri´et´es des algorithmes que l’on appelle les algorithmes de Bussgang [39] et nous les illustrerons sur des exemples.