Pr´ ediction lin´ eaire

Introduction

Filtrage

Exemple d’un filtre R.I.F :

x(n)

y(n) a_N−1

a₁

+ +

Z⁻¹ Z⁻¹ Z⁻¹

a₀

y(n) =

NX−1

i=0

aix(n−i)

Les coefficients h_i du filtre sont calcul´es une fois pour toute de fa¸con `a respecter des sp´ecifications exprim´ees g´en´eralement dans le domaine fr´equentiel (filtre passe-bas, passe-haut, passe-bande, rejecteur, ...).

Adaptatif

Les coefficients du filtre sont modifi´es au cours du temps de fa¸con `a rester adapt´es au sens d’un crit`ere :

Exemple :

e(n)

y(n) + d_esire(n)

Exemples de filtre adaptatif

Pr´ediction lin´eaire

h(n) +

x(n) x(n)ˆ e(n)

? codage

? analyse spectrale Mod´elisation

h(n) +

x(n) y(n)

ˆ

y(n) e(n)

Syst`eme `a mod´eliser (boˆıte noire)

Correction, calibration

h(n) y(n)ˆ + e(n)

˜ y(n)

y(n) Syst`eme imparfait

Mod`ele x(n)

Excitation

Filtrage multidimensionnel

Pr´ ediction lin´ eaire

h(n) +

x(n) x(n)ˆ e(n)

ˆ

x(n) : pr´ediction (ou pr´evision) de x(n) `a partir de son pass´e.

e(n) : diff´erence entre la pr´ediction et la r´ealit´e → innovation.

Applications :

– Codage : e(n) repr´esente l’innovation de x(n) par rapport `a son pass´e. La quantit´e d’information redondante contenue dans le signal a ´et´e supprim´ee. e(n) est la quantit´e n´ecessaire et suffisante qu’il faut transmettre pour reconstruire x(n).

Ce type de codage est utilis´e pour coder la parole en t´el´ephonie num´erique.

LPC : Linear Prediction Coding

– Analyse spectrale : e(n) est une erreur qui tend `a ˆetre blanche :

X(f).(H(f)−1)' Cte

Et donc (H(f)−1)⁻¹ constitue une estimation du spectre de x(n) Analyse spectrale param´etrique

Mod´ elisation

h(n) +

x(n) y(n)

ˆ

y(n) e(n)

Syst`eme `a mod´eliser (boˆıte noire)

Apr`es convergence, le filtre h(n) repr´esente un mod`ele du syst`eme → identif ication.

Exemples :

– Synth´etiseur de parole

– Synth´etiseur de musique

– Pistage (filtre de Kalman)

Correction et calibration

h(n) y(n)ˆ + e(n)

˜ y(n)

y(n) Syst`eme imparfait

Mod`ele x(n)

Excitation

L’exitation x(n) est un signal particulier de calibration.

Apr`es convergence, le filtre h(n) corrige l’imperfection du syst`eme.

Exemples :

– Les “´egaliseurs” dans les Modems qui corrigent les distortions subies par le signal dans le canal de transmision.

– Les filtres “am´eliorateurs d’images” dans certaines cam´eras qui corrigent les d´egradations engendr´ees par le syst`eme de prise de vue : optique et d´etecteurs (Hubble, le t´elescope spatial).

– Les r´ecepteurs dans les syst`emes de radiocommunications.

– Les sondes m´edicales.

D´ eveloppement du cas general

x1(n)

d(n)

e(n) x₂(n)

x₃(n)

x_N(n)

a1

a₂ a₃

a_N

d(n)ˆ + +

d(n)ˆ : signal proche de d(n) → pr´ediction

d(n) =ˆ XN

i=1

a^∗_ix_i(n)

e(n) : erreur de pr´ediction

e(n) = ˆd(n)−d(n)

Crit`ere d’adaptation : Erreur Quadratique Moyenne (E.Q.M) (puissance) :

EQM(a) = E£

|e(n)|²¤

EQM(a) =E





¯¯

¯¯

¯ XN

i=1

a^∗_ix_i(n)−d(n)

¯¯

¯¯

¯

2



EQM(a) est une fonction quadratique de la variable multidimensionnelle a. Sa minimi- sation peut ˆetre obtenue en cherchant `a annuler le gradient :

dEQM(a) da = 0

Fonction quadratique Cas bidimensionnel

-5 -4 -3 -2 -1 0 1 2

3 4 5 -5 -4 -3 -2 -1 0 1 2 3 4 5 15

20 25 30

a2

a1

EQM(a)

-3 -2 -1 0 1 2 3 -3

-2 -1 0 1 2 3

a₁

a₂

d EQM(a) d a = 0

Ecriture vectorielle ´

Vecteur signal :

x(n) = [x1(n) x2(n) x3(n) . . . xN(n)]^T Vecteur de param`etres :

a = [a₁ a₂ a₃ . . . a_N]^T Signal de sortie :

d(n) =ˆ a^Hx(n) Erreur quadratique moyenne :

EQM(a) = E



¡

a^Hx(n)−d(n)¢

| {z }

e(n)

¡x(n)^Ha−d(n)^∗¢

| {z }

e(n)^∗





Soit :

EQM(a) = a^H E£

x(n)x(n)^H¤

| {z }

R

a−a^H E[x(n)d(n)^∗]

| {z }

rxd

− E£

d(n)^∗x^H(n)¤

| {z }

rxdH

a+E£

|d(n)|²¤

| {z }

r0

Soit encore :

EQM(a) = a^HRa − 2<(a^Hr_xd) + r₀ avec R, la matrice de corr´elation du vecteur signal :

R = E£

x(n)x(n)^H¤

et r_xd, le vecteur d’intercorr´elation entre le vecteur signal et le signal d´esir´e :

r_xd = E[x(n)d(n)^∗]

Solution optimale

EQM(a) =a^H R a − 2 <(a^H r_xd) + r₀

EQM(a) est une fonction quadratique de la variable multidimensionnelle a. Sa minimi- sation peut ˆetre obtenue en cherchant `a annuler le gradient :

dEQM(a) da = 0 soit

2Ra − 2r_xd = 0

La solution optimale est donc telle que :

R a

= r

ou encore lorsque R est inversible :

a

= R

r

D´ erivation (cas r´ eel)

da= [∂a₁ ∂a₂ ∂a₃ . . . ∂a_N]^T

d EQM(a)

da =

·∂EQM(a)

∂a₁

∂EQM(a)

∂a₂

∂EQM(a)

∂a₃ . . . ∂EQM(a)

∂a_N

¸_T

∂EQM(a)

∂a_i = lim

∂ai→0

EQM(a+∂a_iδ_i)−EQM(a)

∂a_i

avec δ_i = [0 . . . |{z}1

pos i

. . . 0]^T

∂EQM(a)

∂a_i = lim

∂ai→0

(a+∂a_iδ_i)^TR(a+∂a_iδ_i)−2(a+ ∂a_iδ_i)^Tr_xd+r₀

∂a_i −. . .

a^TRa−2a^Tr_xd+ r₀

∂a_i

∂EQM(a)

∂a_i = lim

∂ai→0

a^TR∂a_iδ_i +∂a_iδ_i^TRa+|∂a_i|²δ_i^TRδ_i −2∂a_iδ_i^Tr_xd

∂a_i

∂EQM(a)

∂a_i

= a

Rδ

+ δ

Ra − 2δ

r

R est sym´etrique ⇒ a^TRδi = δ_i^TRa et donc

∂EQM(a)

∂a_i = 2δ_i^TRa−2δ_i^Tr_xd

∂EQM(a)

∂a_i = ´el´ement i de 2Ra−2rxd

Le r´esultat final est donc simplement :

dEQM(a)

da

= 2(Ra − r

)

[Inter]Corr´ elations

R = E£

x(n)x(n)^H¤

r_xd = E[x(n)d(n)^∗]

R = E





















x₁(n) x₂(n)

. . . x_N(n)











•

[x₁(n)^∗ x₂(n)^∗ . . . x_N(n)^∗] 









R =







E[|x1(n)|²] E[x1(n)x2(n)^∗] . . . E[x1(n)xN(n)^∗] E[x₂(n)x₁(n)^∗] E[|x₂(n)|²] . . . E[x₂(n)x_N(n)^∗]

... . .. ...

E[x_N(n)x₁(n)^∗] E[x_N(n)x₂(n)^∗] . . . E[|x_N(n)|²]







Matrice hermitienne d´efinie positive.

r_xd = E





















x₁(n) x₂(n)

. . .











•d(n)^∗











=











E[x₁(n)d(n)^∗] E[x₂(n)d(n)^∗]

. . .











Les moindres carr´ es

E[ . ] −→ X

n

.

EQM −→ J(n) = Xn

i=0

|e(i)|²

R −→ R(n) = Xn

i=0

x(i)x(i)^H

r_xd −→ r_xd(n) = Xn

i=0

x(i)d(i)^∗

a −→ a(n) =R(n)⁻¹r_xd(n)

p_e(t) 1

n fenˆetre d’adaptation

t

1 p_e(t)

n t

n−L

fenˆetre glissante

J(n) = Xn

i=n−L

|e(i)|²

R(n) = Xn

i=n−L

x(i)x(i)^H

r_xd(n) = Xn

x(i)d(i)^∗

L’oubli exponentiel ou Moindres Carr´ es pond´ er´ es

J(n) = Xn

i=0

λⁿ⁻ⁱ |e(i)|² avec λ ≤ 1

1 p_e(t)

n t

L

n−1 λⁱ

Xn

i=0

λⁿ⁻ⁱ → 1 1−λ 1

1−λ ⇔L et λ ⇔ L −1 L

Expression r´ecursive du crit`ere :

J(n) =λJ(n−1) +|e(n)|²

et donc

R(n) = λR(n−1) +x(n)x(n)^H

r_xd(n) = λr_xd(n−1) +x(n)d(n)^∗

Solution r´ ecursive

Proposition :

a(n) =a(n−1) + ∆a a(n) doit ˆetre tel que

R(n)a(n) =rxd(n)

Soit

¡λR(n−1) +x(n)x(n)^H¢

| {z }

R(n)

(a(n−1) + ∆a)

| {z }

a(n)

= λr_xd(n−1) +x(n)d(n)^∗

| {z }

rxd(n)

En exploitant l’optimalit´e `a l’instant n−1 :

R(n−1)a(n−1) = rxd(n−1)

il vient

¡λR(n−1) +x(n)x(n)^H¢

∆a+ x(n)x(n)^Ha(n−1) = x(n)d(n)^∗

ou encore

R(n).∆a= x(n) µ

d(n)^∗ −x(n)^Ha(n−1)

| {z }

−e(n)^∗

¶

=⇒∆a = −R(n)⁻¹x(n)e(n)^∗

et en d´efinitive :

a(n) = a(n − 1) − R(n)

x(n)e(n)

Moindres Carr´ es R´ ecursif

Le lemme d’inversion matriciel :

£A+BCB^H¤₋₁

= A⁻¹ − A⁻¹B£

C +B^HA⁻¹B¤₋₁

B^HA⁻¹

appliqu´e `a l’expression r´ecursive de la matrice de corr´elation :

R(n) = λR(n−1) +x(n)x(n)^H

permet d’obtenir une formule de mise `a jour de l’inverse de la matrice de corr´elation :

P(n) = 1 λ

·

P(n−1)− P(n−1)x(n)x(n)^HP(n−1) λ+x(n)^HP(n−1)x(n)

¸

o`u P(n) , R(n)⁻¹

Et finalement, l’algorithme r´esultant est celui des Moindres Carr´es R´ecursif (M.C.R.

ou R.L.S.) :

e(n) = a(n−1)^Hx(n)−d(n)

P(n) = _λ¹

·

P(n−1)− P(n−1)x(n)x(n)^HP(n−1) λ+x(n)^HP(n−1)x(n)

¸

a(n) = a(n−1)−P(n)x(n)e(n)^∗

Coˆut de calcul : O(N²)

Gradient stochastique

Pour diminuer le coˆut de calcul, la formule d’adaptation du filtre :

a(n) = a(n−1)−R(n)⁻¹x(n)e(n)^∗ peut ˆetre simplifi´ee :

a(n) = a(n−1)−µ(n)x(n)e(n)^∗

µ(n)est un pas d’adaptationscalaire. On monte que la condition n´ecessaire et suffisante pour qu’il y ait convergence est la suivante :

X∞

n=1

µ(n)² < ∞

La suite µ(n) = _n¹ est satisfaisante. Le crit`ere optimis´e n’est plus celui des moindres carr´es mais celui de l’Erreur Quadratique Moyenne (E.Q.M.).

En pratique, pour faire face aux situations non-stationnaires, on choisit g´en´eralement un pas d’adaptation µ constant. Il doit ˆetre r´egl´e de fa¸con qu’en moyenne, l’erreur a posteriori soit inf´erieure `a l’erreur a priori :

E[|a(n)| ^Hx(n){z −d(n)} ε(n)

|] < E[|a(n| −1)^H{zx(n)−d(n)} e(n)

|]

or :

a(n)^Hx(n)−d(n) = [a(n−1)−µ(n)x(n)e(n)^∗]^H x(n)−d(n)

⇒ a(n)^Hx(n)−d(n)

| {z }

ε(n)

= ¡

a(n−1)^Hx(n)−d(n)¢

| {z }

e(n)

¡1−µx(n)^Hx(n)¢

On peut admettre que la condition est remplie si :

E£¯¯1−µx(n)^Hx(n)¯

¯¤

< 1

0 < µ <

x

Convergence

En moyenne :

a(n) = a(n−1)−µE[x(n)e(n)^∗]

a(n) = a(n−1)−µE[x(n)¡

x(n)^Ha(n−1)−d(n)^∗¢

| {z }

e(n)^∗

]

a(n) = a(n−1)−µ(Ra(n−1)−r_xd)

-3 -2 -1 0 1 2 3

0 3 24 68 1012 1416

a

EQM (a)

a

0 -3

2 3

a₂ µ grand

µ petit

Treillis spatial

ou multidimensionnel

N−1 3,1

2,1

3,2

N−1,1 N−1,2

N,2 N,N−2 N,N−1

N−1, N−2

1 2 N−2 N

N,1

e^1→j−1_j (t)

e^1→j_i (t) k_i,j

g_i,j

−

+ +

e^1→j−1_i (t)

L

e₁(t)

e₂(t)

e₃(t)

e_N−1(t)

e_N(t)

d(t) e(t)

F iltrage

x₁(t)

x₂(t)

x₃(t)

x_N−1(t)

x_N(t)

Treillis spatial

ou multidimensionnel

– Initialisation `a l’instant t = 0

n : 1 → N α_n(0) = 0

n : 1 → N i : n →N k_nⁱ(0) = 0

– Puis, `a chaque instant t

Initialisation

γ₀(t) = 1

n : 1 →N e^1→0_n (t) = x_n(t)

n : 1 →N

α_n(t) = λα_n(t−1) + γ_n−1(t)e^1→n−1_n e^1→n−1_n γn−1(t)

γ_n(t) = γ_n−1(t)− γ_n−1² (t)e^1→n−1_n e^1→n−1_n α_n(t)

i : n→ N

e^1→n_i (t) =e^1→n−1_i (t)−k_nⁱ(t−1)e^1→p−1_n (t)

kⁱ_n(t) = k_nⁱ(t−1) + γ_n−1(t)e^1→n−1_n (t)e^1→n_i (t) α (t)