Matching Pursuit à Séquence de Sous-dictionnaires (SSMP)

4.2.1 Principe

Nous proposons une modication de MP qui consiste à changer, à chaque itération, de dictionnaire. Plus précisément, on envisage de décomposer un signal x ∈ RN _{dans un dictionnaire Φ ∈ R}N ×M _très

redondant (M N), en limitant la sélection à l'itération n à un sous-dictionnaire ΦIn de taille

|In

| = Kn _{< M}_{, où I}n

4.2. Matching Pursuit à Séquence de Sous-dictionnaires (SSMP) 59 construit une séquence de sous-ensembles d'indices I = {In

}n=1..m où m est le nombre d'itérations

envisagées. Alternativement, on peut aussi considérer la séquence de sous-dictionnaire {ΦIn}_n=1..m.

On appelle cet algorithme : Matching Pursuit à Séquence de Sous-dictionnaires (SSMP). En première approximation, chaque itération voit ainsi sa complexité de l'étape de sélection limitée par la taille Kn _{du sous-dictionnaire.}

Il est aisé de voir que cette modication de MP ne touche que l'étape de sélection, et pas celle de mise à jour du résidu. Cette modication peut donc s'appliquer à toutes les variantes sur la mise à jour de MP (OMP, GP, CMP,..). De même, on peut parfaitement envisager certaines variantes du critère de sélection, notamment le Matching Pursuit Moléculaire, à condition que les sous-dictionnaires gardent une structure adéquate.

Nous nous limitons pour l'instant à l'étude de la mise à jour du résidu standard. SSMP construit à partir d'un dictionnaire Φ et d'une séquence de sous-ensemble d'indices I, une approximation d'un signal x en m itérations de la forme :

˜ xm= m X n=1 αnφI n γn (4.2.1) où φIγnn = C(ΦIn, Rnx) (4.2.2)

L'approximation ˜xm vit dans le sous-espace engendré par l'union des m sous-dictionnaires utilisés :

˜ xm∈ span m [ n=1 ΦIn ! (4.2.3) Dès lors, une stratégie naturelle va consister à choisir des sous-dictionnaires les plus diérents deux à deux possible, de manière à maximiser la dimension de ce sous-espace. Même dans le cas de sous- dictionnaires complets (∀n, span(ΦIn) =H), nous verrons que cette stratégie est pertinente.

4.2.2 MP à Séquence Aléatoire de Sous-dictionnaires (SASMP)

A première vue, (4.2.2) se rapproche d'un MP Faible, le maximum n'étant cherché que dans un sous-ensemble d'éléments du dictionnaire. La particularité de notre approche est que ce sous-ensemble change durant toute la décomposition au lieu d'être xé. En particulier nous proposons d'utiliser une séquence pseudo-aléatoire, prédéterminée et donc indépendante du signal x. Cette variante de SSMP est appelée Matching Pursuit à Séquence Aléatoire de Sous-dictionnaires (SASMP) par la suite.

Dans la suite et sauf mention contraire, on étudiera explicitement SASMP avec le formalisme suivant. On pose Φ le dictionnaire complet, la séquence de sous-dictionnaires {ΦIn}_n=1..m est construite

en tirant à chaque itération un ensemble de Kn _{indices parmi les M possibles.}

Algorithme Nous l'avons vu, seule l'étape de sélection est modiée, ce qui permet d'envisager toutes sortes de variantes de MP avec des séquences de sous-dictionnaires (le cas des poursuites à sélection de sous-espace est néanmoins un peu diérent). Le pseudo-code générique est donné ci dessous et illustré Figure 4.2.1.

Algorithm 3 Poursuite à Séquence de Sous-dictionnaires (SSMP) Entrées: x , D , I

1: R0_{x := x}_{, ˜x}

0:= 0, Γ0=∅ , n = 1 2: Répéter

3: Etape 1 : Selection atome dans sous-dictionnaire γn∈ ΦIn :

φIn γn ← C(ΦIn, R n−1_x) Γn ← Γn−1 ∪ γn

4: Etape 2 : Mise à jour de l'approximation et du résiduel : ˜

xn← A(x, DΓn)

Rn_x

← x − ˜xn

5: Jusqu'à ce qu'une condition d'arrêt soit remplie Sorties: ˜xn , Rnx

Figure 4.2.1: Diagramme de l'algorithme MP à séquence de sous-dictionnaires.

4.2.3 Simulations

Il est aisé de montrer l'intérêt que présente le fait de changer de sous-dictionnaire à chaque itération sur des exemples synthétiques en réalisant des expériences simples. Le code Matlab® permettant de reproduire ces expériences est disponible en ligne sur la page de l'article Signal Processing2_.

Les paramètres de cette simulation sont les suivants :

( Signal : x∈ RN _{est une réalisation d'un bruit blanc gaussien centré (∀i ≤ N, x}

i∼ N (0, σ2))

( Dictionnaire : Φ∈ RN ×M _{avec M > N, une matrice à entrées gaussiennes, dont les colonnes}

sont normalisées

On cherche alors à comparer trois stratégies :

MP-Φ : une poursuite utilisant le dictionnaire complet

MP-ΦI0 : une poursuite utilisant un sous-dictionnaire Φ_I0 xe de taille K0

MP-{ΦIn} : une poursuite utilisant à chaque itération un sous-dictionnaire aléatoire de taille Kn

Pour simplier les notations, on considère des sous-dictionnaires de taille xe (∀n, Kn _{= K}_{). Les}

performances de ces approches sont mesurées en terme d'erreur de reconstruction normalisées : (n) = 10 log10

k˜xn− xk22

kxk2 2

(4.2.4) la Figure 4.2.2 montre le type de résultats obtenus (en moyenne sur 1000 simulations) avec N = 64, M = 256 et K = 64 pour deux règles de mises à jours (MP simple ou Orthogonal). Les poursuites les plus ecaces (en termes de rapidité de décroissance de l'erreur de reconstruction) sont celles utilisant le dictionnaire Φ complet. Les poursuites sur un sous-dictionnaire xe ΦI0 convergent le plus

4.2. Matching Pursuit à Séquence de Sous-dictionnaires (SSMP) 61 0 10 20 30 40 50 60 70 −25 −20 −15 −10 −5 0 Iterations Erreur de reconstruction ε (dB) MP − Φ I0 OMP − Φ I0 MP − {Φ In}n=1..m OMP − {Φ In}n=1..m MP − Φ OMP − Φ

Figure 4.2.2: Courbe de décroissance de l'erreur d'approximation pour un cas synthétique avec trois stratégies de sélection et deux règles de mises à jour (MP, OMP).

lentement. Les poursuites utilisant une séquence de sous-dictionnaires {ΦIn} ont un prol de conver-

gence intermédiaire. A nombre d'itération équivalent, ces poursuites permettent une décroissance plus importante qu'avec un sous-dictionnaire xe et légèrement plus faible qu'en utilisant le dictionnaire complet. En revanche, en termes de rapidité d'éxecution, la poursuite utilisant le dictionnaire complet est beaucoup plus lente que les deux autres. Nous verrons en section 4.4.3 une évaluation plus précise de cet état de fait.

4.2.4 Convergence et stabilité

SSMP est une instance de Matching Pursuit Faible. A chaque itération n, un atome sous-optimal φγn est sélectionné : |hRn_{x, φ} γni| ≥ t_nmax φ∈Φ|hR n_{x, φ} i| (4.2.5)

et le facteur de sous-optimalité tn dépend du sous-dictionnaire choisi :

tn=

maxφ∈ΦIn|hR

n_{x, φ}

maxφ∈Φ|hRnx, φi| ≤ 1 (4.2.6)

Temlyakov [Tem02] a montré qu'une condition susante de convergence dans ce cas de gure est :

∞

n=1

n =∞

Gribonval et Nielsen [GN01] étendent ce résultat au cas de calculs approchés et montrent que cette condition est nécessaire. Nous voyons qu'il est possible de contrôler le paramètre tn en choisissant

judicieusement la taille et/ou la structure des sous-dictionnaires de façon à maintenir :

∞ X n=1 1 n maxφ∈ΦIn|hR n_{x, φ} i| maxφ∈Φ|hRnx, φi| =∞ (4.2.7) On peut récrire : tn = maxφ∈ΦIn|hR n_{x, φ} i| maxφ∈Φ|hRnx, φi| = µ(R n_{x, Φ} In) µ(Rn_{x, Φ)}

où µ(x, Φ) est dénit comme en Section 3.1.2 page 42 par (3.1.6). Le pire des cas de gure serait que le résiduel soit parfaitement cohérent dans Φ (c-à-d. µ(Rn_{x, Φ) = 1) et le plus incohérent possible}

dans ΦIn (c-à-d. µ(Rnx, Φ_In) = µ_inf(Φ_In)). Dès lors on peut borner t_n :

tn≥ µinf(ΦIn) (4.2.8)

Une condition susante évidente de convergence du SSMP est donc, en dimension N nie, de ne pren- dre que des sous-dictionnaires contenant une base orthonormale de H, ce qui garantirait µinf(ΦIn)≥

1 √

N. En revanche, sans plus d'hypothèses sur la séquence de sous-dictionnaires envisagée, il est malaisé

de chercher à dénir une condition nécessaire.

Proposition. Soit {ΦIn}_n=1..+∞une séquence de dictionnaires. SSMP converge si :

∞

n=1

µinf(ΦIn)

n =∞

Dans le cas du SASMP, le cadre privilégié d'étude de la convergence est probabiliste. Nous proposons une modélisation originale utilisant les statistiques d'ordre en annexe A de ce travail.

Stabilité La stabilité de SSMP est dicile à étudier. A première vue, SSMP (et plus encore SASMP) ne semble pas être un algorithme pertinent pour des problèmes de recouvrement parcimonieux. En eet une condition nécessaire pour garantir que SSMP choisisse à chaque itération un atome appartenant eectivement au support idéal est que le sous-dictionnaire contienne au moins l'un de ces atomes.

Le sous-échantillonnage aléatoire du dictionnaire signie qu'à chaque itération la probabilité que le sous-dictionnaire choisi ne contienne aucun des atomes appartenant au support (ou à la meilleure approximation possible) n'est pas nulle. En particulier, trouver un équivalent de la condition de recouvrement exact proposée par Tropp [Tro04] s'avère problématique dans le cas général.

Pour s'en convaincre, on peut tracer les diagrammes de transition de phase pour le cas suivant (Figure 4.2.3). On opère comme en [DT10] une recherche de solution parcimonieuse au problème y = Ax, y ∈ RN_{, x ∈ R}M _{et A ∈ R}N ×M_{, pour lequel on sait qu'il existe une solution x}

0 avec

kx0k0= k≤ M. A est appelée matrice de mesure, elle est construite en tirant aléatoirement N lignes

dans une matrice de Fourier de taille M × M. Pour diérents ratio de sous-échantillonnage δ = N/M et de parcimonie ρ = k/M on mesure la proportion de succès le recouvrement du support exact en k itérations sur 100 tirages.

Dans le document Représentations redondantes et hiérarchiques pour l'archivage et la compression de scènes sonores (Page 66-70)