Parcimonie et contrainte de positivité

Ces dernières années, la communauté du traitement du signal et de l’image a connu un engouement significatif pour les problèmes de restauration, reconstruction et séparation de si-gnaux sous contrainte de positivité. A titre d’exemple, la communauté française a organisé une journée intitulée « Contraintes de non-négativité en traitement du signal et des images » en janvier 2011 dans le cadre du GDR ISIS. Imposer une contrainte de positivité est tout à fait naturel dans un grand nombre de problèmes (restauration d’images en microscopie optique et en astronomie [BER 09], reconstruction tomographique [KAK 87], séparation de sources pour l’imagerie hyperspectrale [MOU 08], identification de systèmes [CHE 11]) où l’on sait que le signal où l’image à reconstruire est nécessairement à valeurs positives. Intégrer une contrainte de positivité est aussi un moyen de régulariser des problèmes inverses mal posés en restreignant leurs solutions admissibles, et en rendant leurs solutions plus stables [BAR 08].

Dans le cadre du projet PEPS SpectroDec, nous avons identifié le besoin de méthodes de décomposition parcimonieuse positive de signaux pour différentes applications en spectroscopie moléculaire ou en radio-astronomie [MAZ 13] (voir également la thèse [GUO 11] pour le spec-troscopie de résonance magnétique). De façon générale, un signal spectroscopique représente la distribution de particules physiques ou d’ondes électromagnétiques en fonction de leur énergie, de leur longueur d’onde, etc. C’est un signal à valeurs positives, constitué d’un ensemble de composantes spectrales, appelées raies, dont les caractéristiques (e.g., la position, l’amplitude et la largeur de motifs gaussiens) informent sur l’objet analysé. La décomposition parcimonieuse ressemble au problème de la déconvolution impulsionnelle abordée au chapitre 1 de ce manuscrit (§ 1.6.4) à la différence que la largeur des raies est variable. Dans ces deux problèmes, il n’est pas trivial de séparer des raies proches car les signaux qui en résultent s’entremêlent24. Nous avons constaté que l’introduction de la contrainte de positivité permet d’améliorer la séparation des motifs.

Le projet est de concevoir des algorithmes parcimonieux gloutons permettant de contraindre les amplitudes des atomes sélectionnés à être positives. Formellement, cela conduit à résoudre un problème d’optimisation ℓ2-ℓ0 sous contrainte de positivité :

min x ky − Axk²₂ s.c. ( kxk06 k x >0 (4.1) ou min x>0{J (x; λ) = ky − Axk²₂+ λkxk0}. (4.2)

24. Par exemple, la somme de deux gaussiennes à des positions proches produit un signal qui peut ressembler à une gaussienne plus large ; en déconvolution impulsionnelle, les algorithmes d’approximation ont toutes les chances de trouver une gaussienne à un mauvais emplacement, entre les deux vraies gaussiennes.

4.1. Développement d’algorithmes d’approximation parcimonieuse

Ces problèmes me semblent loin d’être triviaux.

A ce stade, il me semble important de préciser que certaines approches pour résoudre des pro-blèmes inverses sous contrainte de positivité sont inadaptées à la décomposition parcimonieuse positive. Les problèmes de la séparation de sources ou de la restauration d’images peuvent être classiquement formulés comme la minimisation sous contrainte de positivité d’un critère des moindres carrés régularisé, convexe ou non [BIO 12]. La contrainte de positivité est souvent gérée en choisissant un algorithme de type point intérieur [CHO 10] qui impose la positivité au sens strict [NOC 06] : aucun des pixels de l’image restaurée ne vaut exactement 0. Inversement, les méthodes de type lagrangien augmenté n’imposent la contrainte de positivité qu’asymptoti-quement [GIO 05, AFO 11, HEN 13]. Dans ce cas, les pixels de l’image restaurée pour lesquels la contrainte est active sont non nuls et peuvent prendre des valeurs négatives. La différence fondamentale avec l’approximation parcimonieuse est que dans ce domaine, on souhaite qu’un grand nombre de coefficients x_i soient exactement nuls.

Dans la littérature, il est classique de remplacer le problème d’optimisation (4.1) ou (4.2) par le problème relaxé :

min

x>0{ky − Axk²₂+ λkxk₁} (4.3) en utilisant la régularisation ℓ1 [ZIB 10]. La contrainte de positivité peut alors être gérée naturellement par différents algorithmes classiques comme les algorithmes de seuillage itéra-tif [DAU 04, COM 07, FIG 07, BEC 09, DUP 10, PUS 10] ou l’algorithme Alternating Direction

Method of Multipliers (ADMM) [AFO 10, BOY 11]. Le problème est en effet un problème de

programmation quadratique exprimé sous forme standard : min x>0  ky − Axk²₂+ λ^X i x_i  (4.4)

pour lequel des algorithmes efficaces existent.

Comme nous l’avons vu au chapitre 1, utiliser des pénalisations non convexes (relaxation non convexe de la pseudo-norme ℓ0) peut permettre une amélioration substantielle des résultats de l’approximation parcimonieuse par rapport à la relaxation ℓ1 à la fois en termes d’erreur d’approximation et de sélection d’atomes. Dans [MAZ 13], nous avons appliqué l’algorithme

Iterative Reweighted ℓ₁ (IRℓ1) pour minimiser le critère : ky − Axk²₂+ λ^X

i

ϕ(x_i), où ϕ(t) = log(|t| + η) (4.5)

avec η > 0 et faible (ϕ est une fonction paire, concave sur R

+ et non différentiable en 0). IRℓ₁ est un algorithme sous-optimal efficace dédié à la minimisation ce type de critère [ZOU 06, CAN 08a, WIP 10]. Comme nous l’avons vu au chapitre 1, IRℓ1 conduit à des solutions de très bonne qualité même lorsque les atomes du dictionnaire sont corrélés les uns aux autres [SOU 11]. De plus, la structure de l’algorithme IRℓ₁ permet tout naturellement de gérer la contrainte de positivité [WIP 10] car son principe est de résoudre une suite de problèmes d’optimisation ℓ₂-ℓ₁ du type (4.3) pour lesquels des algorithmes standard sont applicables.

J’aimerais ces prochaines années proposer de nouvelles solutions basées sur

l’adapta-tion d’algorithmes gloutons (notamment d’OLS) pour traiter le problème (4.2). Les

algorithmes gloutons présentent en effet une structure beaucoup plus simple et directe que celle d’IRℓ₁. IRℓ₁ est davantage une stratégie (de type majorisation-minimisation) pour optimiser un critère non convexe qu’un algorithme précis. Cette stratégie repose sur la majoration de la

fonction ϕ par sa tangente autour du point courant, menant à l’optimisation de critères mixtes

ℓ₂-ℓ1. Notons que ces problèmes ℓ2-ℓ1 auxiliaires peuvent être traitées par divers algorithmes au choix de l’utilisateur. La structure emboîtée de IRℓ₁ peut potentiellement poser des problèmes de propagation d’erreur : une erreur numérique dans la résolution du problème ℓ₂-ℓ₁ se réper-cute sur le support estimé par IRℓ1 à l’itération courante, et donc sur le comportement futur de l’algorithme25. Ce problème motive une réflexion autour de la conception d’algorithmes non emboîtés potentiellement plus simples.

Parmi les algorithmes gloutons monodirectionnels, seul le plus simple d’entre eux, Matching

Pursuit (MP), se prête sans aucune difficulté à une extension positive car aucune projection

orthogonale n’est effectuée pour le calcul des amplitudes. A chaque itération, toutes les am-plitudes gardent les mêmes valeurs qu’à l’itération précédente à l’exception de celle du nouvel atome x_ℓ. x_ℓ est calculé en minimisant un critère 1D correspondant à la norme quadratique du résidu r_Q∪{ℓ} = r_Q− aℓx_ℓ (cf. tableau 1.1 page 41). Pour obtenir une version positive de MP, il suffit d’intégrer la contrainte de positivité lors de la phase de sélection du nouvel atome :

ℓ ∈ arg min

i

n

min

xi>0krQ− aix_ik²₂^o. (4.6) On peut facilement vérifier que seuls les ajouts d’indices Q ∪ {i} pour lesquels hr_Q, a_ii > 0 permettent de faire décroître la norme du résidu (en supposant les atomes normalisés). Dans ce cas, la décroissance maximale est obtenue pour xi = hrQ, aii, et kr_Q∪{i}k2

2 = krQk2

2− hrQ, aii2. La règle de sélection d’atome (4.6) se récrit :

ℓ ∈ arg max

{i:hrQ,aii>0}

hrQ, a_ii. (4.7)

La version positive de Matching Pursuit est aussi connue sous le nom de CLEAN en restauration d’images astronomiques [THI 10].

Contrairement à MP, les algorithmes de poursuite orthogonaux procèdent à des projections orthogonales, et les amplitudes des atomes A†

Q∪{ℓ}ysont toutes mises à jour. Ces algorithmes ne se prêtent pas aussi facilement à une extension positive. Pour OMP, adopter la règle de sélection de MP (4.7) ne garantit pas que A†

Q∪{ℓ}yest un vecteur positif. Bruckstein et al. [BRU 08] ont proposé une version positive d’OMP avec (4.7) comme règle de sélection, où la mise à jour des amplitudes est formulée comme un problème de moindres carrés contraints :

x_Q∪{ℓ}= {ˆt, 0}, où ˆt = arg min

t>0 ky − A_Q∪{ℓ}tk²₂. (4.8) Notons qu’en adoptant cette règle, il est fort possible que certains atomes de Q ∪ {ℓ} soient pondérés par ti = 0. Cette règle ouvre des perspectives de rapprochement avec des versions bidirectionnelles d’OMP qui effectuent également des retraits d’atomes [HER 10, ZHA 11a].

Pour OLS, la règle de sélection à la q-ème itération conduit à résoudre n − q problèmes des moindres carrés. Un tel algorithme peut facilement s’écrire sur le papier avec des contraintes de positivité : les n − q problèmes prennent la forme (4.8) où Q ∪ {ℓ} est remplacé par les supports Q ∪ {i} testés pour tout i /∈ Q. Cependant, concevoir une implémentation compétitive en temps de calcul n’est pas une tâche triviale. Les implémentations typiques de la version non contrainte (standard) d’OLS résolvent les problèmes des moindres carrés mintky − A_Qtk2

2 de

25. J’ai effectivement rencontré ce problème en pratique en utilisant l’implémentation SolveLasso de la biblio-thèque SparseLab [DON 07] pour résoudre les problèmes de minimisation ℓ2-ℓ1. SolveLasso met en jeu différents paramètres de réglage pour éviter les erreurs numériques, et une variation infime de ces paramètres engendre parfois une modification très importante des itérés d’IRℓ1.

4.1. Développement d’algorithmes d’approximation parcimonieuse

façon récursive lorsque la taille de Q est incrémentée d’un élément [CHE 89]. Elles exploitent que certaines quantités peuvent être mises en mémoire une seule fois pour tester les n − q supports candidats Q ∪ {i}, i /∈ Q [SOU 11]. Concevoir des implémentations récursives efficaces dans le cas contraint est un problème ouvert à ma connaissance, et loin d’être trivial. En résumé, il y a une réflexion à mener pour développer des variantes positives des algorithmes gloutons orthogonaux, et en particulier d’OLS.