Robustesse au bruit des régularisations polyhédrales

HAL Id: hal-00927075

https://hal.archives-ouvertes.fr/hal-00927075

Submitted on 13 Jan 2014

HAL is a multi-disciplinary open access archive for the deposit and dissemination of sci- entific research documents, whether they are pub- lished or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers.

L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.

Robustesse au bruit des régularisations polyhédrales

Samuel Vaiter, Gabriel Peyré, Jalal M. Fadili

To cite this version:

Samuel Vaiter, Gabriel Peyré, Jalal M. Fadili. Robustesse au bruit des régularisations polyhédrales.

24th GRETSI Symposium on Signal and Image Processing, Sep 2013, Brest, France. pp.ID130. �hal-

00927075�

Robustesse au bruit des régularisations polyhédrales

Samuel VAITER1, Gabriel PEYRÉ1, Jalal FADILI2

1CNRS, CEREMADE, Université Paris-Dauphine,

Place du Maréchal De Lattre De Tassigny, 75775 Paris Cedex 16, France

2GREYC, CNRS-ENSICAEN-Université de Caen, 6, Bd du Maréchal Juin, 14050 Caen Cedex, France

[email protected], [email protected], [email protected].

Résumé –Cet article traite de la robustesse au bruit d’une régularisation polyhédrale pour la résolution de problèmes inverses linéaires.

Ce travail démontre le premier résultat de stabilité des régularisations de type polyhédrale permettant, entre autre, une analyse unifiée des régularisations parcimonieuses, parcimonieuses de type analyse et anti-parcimonieuses. Nous explicitons une condition qui assure que la face polyhédrale supportée par le vecteur d’entrée est égale à celle du vecteur retrouvé par régularisation polyhédrale dans le cadre d’une observation bruitée. Cette condition implique également que l’erreurℓ²est proportionelle au niveau du bruit.

Abstract –In this paper, we establish robustness to noise perturbations of polyhedral regularization of linear inverse problems. We provide a sufficient condition that ensures that the polyhedral face associated to the true vector is equal to that of the recovered one. This criterion also implies that theℓ²recovery error is proportional to the noise level for a range of parameter. Our criterion is expressed in terms of the hyperplanes supporting the faces of the unit polyhedral ball of the regularization. This generalizes to an arbitrary polyhedral regularization results that are known to hold for sparse synthesis and analysisℓ¹regularization which are encompassed in this framework. As a byproduct, we obtain recovery guarantees forℓ^∞andℓ¹−ℓ^∞regularization.

1 Introduction

1.1 Régularisation polyèdrale

Dans cet article, nous considérons le cadre des problèmes inverses linéaires prenant la forme suivantey = Φx0+woù y ∈ R^Q est le vecteur d’observations,x0 ∈ R^N le vecteur inconnu que l’on cherche à retrouver,wle bruit etΦun opé- rateur linéaire du domaine signalR^N dans le domaine des ob- servationsR^Q. Ce modèle permet de représenter par exemple des problèmes de convolution, tomographie et d’échantillon- nage compressé.

Un polyhèdreP est un sous-ensemble deR^N tel queP = x∈R^N \Ax6b pour une certaine matriceA ∈R^N×NH etb ∈ R^NH. L’inégalitéAx 6 bdoit se lire composante par composante. Nous considérons à partir de maintenant une fonc- tionnelle polyhédrale de la forme

JH(x) = max

16i6NH

hx, hii,

oùH = (hi)^N_i=1^H est une matrice deR^N×NH. Ainsi,JH est la jauge de l’ensemble convexe polyhédral étoilé compactPH = x∈R^N \JH(x)61 . Elle est ainsi continue, positive, bor- née, et sous-linéaire [8]. Notons que en général, il ne s’agit pas d’une norme dans le cas oùJHn’est pas symétrique.

Afin de résoudre le problème inverse, nous introduisons la

régularisation variationnelle suivante x^⋆∈argmin

x∈R^N

1

2||y−Φx||²+λJH(x), (Pλ(y)) avecλ >0le paramètre de régularisation. L’ensemble des mi- nimiseurs est alors un ensemble compact convexe et non-vide par coercivité de la fonctionelleJH.

Si le bruit est nul,w= 0, nous utiliserons plutôt la version contrainte du problème

x^⋆∈argmin

Φx=y

JH(x). (P0(y))

1.2 Lien avec la parcimonie et l’antiparcimonie

Nous donnons ici quelques exemples de régularisations connues qui se trouvent être polyhédrales. La normeℓ¹est définie comme

JH₁(x) =||x||1=

N

X

i=1

|xi|.

En terme de régularisation polyhédrale, il s’agit de choisirH1∈ R^N×2N tel que les colonnes deH1 enumèrent tous les signes possibles de longueurN, i.e{−1,1}^N. Le problème (Pλ(y)) devient alors leLasso, introduit dans [9], ouBasis Pursuit De- noising[3], utilisé pour les modèles de données parcimonieux.

Plus généralement, nous considérons les régularisation de type ℓ¹analyse de la forme

JH(x) =||Lx||1,

oùL ∈ R^P×N est un dictionnaire d’analyse, éventuellement redondant. Cela correspond à prendreH =L^∗H1où^∗corres- pond à la matrice adjointe. L’exemple le plus typique d’apriori analyse est la variation totale anisotrope.

La normeℓ^∞s’exprime comme JH_∞(x) =||x||∞= max

16i6N|xi|.

En terme de régularisation polyhédrale, le choix de la matrice H estH∞ = [IdN,−IdN] ∈ R^N×2N. On parle de régula- risation anti-parcimonieuse, utilisé par exemple pour le calcul approché de plus proches voisins [6].

Il est possible [1] d’imposer une structure par blocs aux en- trées non nulles induite par la parcimonie en définissant une normeℓ¹−ℓ^∞. SoitBune partition de{1, . . . , N}. La norme associée à cette structure de blocs est

JH_B^∞(x) =X

b∈B

||xb||∞,

correspondant à la matrice H_B^∞ ∈ R^{N×Qb∈B2|b|} enumérant les signes possibles de chaque blocs. Si pour tout tous les blocs sont de taille 1, on retrouve la normeℓ¹tandis que si la structure de blocs est composée par un seul élément, on obtient la norme ℓ^∞.

2 Contributions

Définition 1. On définit leH-supportsupp_H(x)d’un vecteur x∈R^N comme l’ensemble

supp_H(x) ={i∈ {1, . . . , N} \ hxi, hii=JH(x)}. Dans cet article, nous donnons une condition suffisante, de- pendant duH-support dex0, sous laquelle le problème (Pλ(y)) admet une solution unique, et que si le rapport signal sur bruit est suffisamment grand, leH-support de cette solution coin- cide avec celui dex0. De plus, siλest choisi en proportion du bruit, l’écartℓ²entre cette unique solution etx0est de l’ordre du niveau du bruit.

Définition 2. UnH-supportIsatisfait lacondition d’injecti- vité restreintesi

Ker Φ∩KerH_I^∗={0}, (CI) oùHI désigne la matrice dont les colonnes sont celles deH indexées parI.

Lorsque celle-ci est satisfaite, on définit la projection ortho- gonaleΓ^⊥_I surΦ(KerH_I^∗)^⊥par les opérateurs suivants :

MI = (U^∗Φ^∗ΦU)⁻¹ , ΓI = ΦU MIU^∗Φ^∗ et Γ^⊥I = Id−ΓI.

oùUest une base quelconque deKerH_I^∗. La forme bilinéaire symétrique induite parΓ^⊥_I surR^Nsera notéh·,·i_Γ^⊥_I et sa forme quadratique|| · ||²_Γ⊥

I

.

Définition 3. SoitIunH-support satisfaisant(CI). Lecritère d’identifiabilitédeIest

IC_H(I) = max

zI∈KerHI

mini∈I( ˜Φ^∗IΓ^⊥IΦ˜III +zI)i

oùII ∈R^|I|est composé uniquement de 1 etΦ˜I = ΦH_I^+,∗∈ R^Q×|I|avec⁺dénotant la pseudo-inverse de Moore–Penrose . Le calcul deIC_H(I)nécessite la résolution d’un problème d’optimisation convexe, et peut se ramener à une programma- tion linéaire :

IC_H(I) = max

(r,zI)∈R×R^|I|

r sous la contrainte linéaire

(∀i∈I, r6( ˜Φ^∗_IΓ^⊥_IΦ˜III+zI)i

HIzI = 0.

2.1 Robustesse au bruit

Notre contribution principale est la suivante.

Théorème 1. Soientx0∈R^N\ {0}etIsonH-support satis- faisant(CI). Soity = Φx0+w. Supposons queΦ˜III 6= 0et IC_H(I)>0. Alors ils existent deux constantescI,˜cI satisfai- sant

||w||2

T < ˜cI

cI

où T = min

j∈I^cJH(x0)− hx0, hji>0, tel que siλvérifie la conditioncI||w||2< λ < Tc˜I, le vecteur x^⋆∈R^N définit par

x^⋆=µH_I^+,∗II+U MIU^∗Φ^∗(y−µΦ˜III)

et 0< µ=JH(x0) +hΦ˜III, wi_Γ^⊥_I −λ

||Φ˜III||²_Γ⊥ I

est l’unique solution de(Pλ(y)). De plus, il y a robustesse du support :supp_H(x^⋆) = supp_H(x0). Siλest choisi proportion- nellement au niveau du bruit, alors||x^⋆−x0||2=O(||w||2).

Ce théorème exprime que pour une certaine classe de si- gnaux, ceux qui vérifie la condition IC_H(I) > 0 jointe sur les vecteurs actifs deH et les colonnes deΦ, la solution du problème (Pλ(y)) est unique lorsque le niveau du bruit||w||2

n’est pas trop grand devant le niveau du signal T. Pour que cette analyse soit valide, il faut que le débruitage soit suffisant (cI||w||2 < λ) mais conserve leH-support (λ <˜cIT). En pra- tiquex0n’est pas connu, ainsi la formule dex^⋆est principale- ment d’un intérêt théorique afin de mesure l’erreurℓ²entrex0

et le vecteur retrouvéx^⋆.

2.2 Identifiabilité

En l’absence de bruitw= 0, le résultat suivant montre que la conditionIC_H(I)> 0implique également l’identifiabilité du signal.

Théorème 2. Soientx0∈R^N\ {0}etIsonH-support satis- faisant(CI). SiIC_H(I) >0, alors le vecteurx0est l’unique solution de(P0(y)).

3 Relations à des travaux antérieurs

Dans le cas des normesℓ¹etℓ¹analyse, notre condition est équivalente à celles définies dans [5] et [10]. À notre connais- sance, il n’existe pas de résultat de robustesse sur un bruit géné- rique dans le cas de la normeℓ^∞, mais [1] étudie la robustesse d’une sous-classe de norme polyhédrale obtenue par relaxation convexe de fonction de perte combinatoire. Une étude numé- rique de quelques régularisations polyhédrales peut se trou- ver dans [7]. Dans [4] une étude est faite de (P0(y)) dans le cas d’une matrice aléatoire (échantillonage compressé). Dans ce même contexte, [2] étudie les épaisseurs gaussiennes d’une certaine sous-classe de norme polyhédrales dans le cas d’une régularisation sous contrainte.

4 Esquisse de preuve

Dans cette section, nous proposons une idée de la preuve du théorème 1.

Les conditions du premier ordre de minimalité du problème de minimisation (Pλ(y)) sont résumés dans le lemme suivant, conséquence de la forme de la sous-différentielle deJH(x^⋆).

Lemme 1. Un vecteurx^⋆est solution de(Pλ(y))si, et seule- ment si, il existevI ∈ΣI tel que

Φ^∗(Φx−y) +λHIvI = 0, avecI= suppH(x).

Ces conditions peuvent être raffinés par la connaissance du support dex^⋆, permettant ainsi d’obtenir une condition suffi- sante d’unicité. Nous omettons ici la démonstration de ce lemme par manque de place.

Lemme 2. Soitx^⋆ ∈ R^N,I = suppH(x^⋆)etµ = JH(x^⋆).

Supposons que(CI)soit satisfait. SoitU une base deKerH_I^∗. Il existez∈KerHItel que

vI =zI+ 1

λΦ˜^∗_IΓ^⊥_I(y−µΦ˜III)∈ΣI,

si, et seulement si,x^⋆est une solution de(Pλ(y)). De plus, si vI ∈ri ΣI, alorsx^⋆est l’unique solution de(Pλ(y)).

Rappelons que ri ΣI représente l’intérieur relatif deΣI, i.e l’intérieur deΣI par rapport à la topologie de son enveloppe affine.

Nous pouvons dès lors démontrer le théorème 1. Soit I le H-support dex0. Considérons la restriction de (Pλ(y)) auH- supportI.

x^⋆= argmax

x∈R^N suppH(x)⊆I

1

2||y−Φx||²₂+JH(x). (Pλ(y)I)

Du fait de (CI), la fonction objectif est fortement convexe sur l’ensemble des signaux deH-supportI. Ainsi,x^⋆est défini de façon unique.

La preuve est divisée en quatre parties. Nous explicitions (1.) une forme implicite dex^⋆. Puis (2.), nous vérifions que leH- support dex^⋆est le même que celui dex0ainsi que la compa- tibilité (3.) deJH(x^⋆). En utilisant le lemme 2, nous prouvons (4.) quex^⋆est l’unique minimiseur de (Pλ(y)).

1. Expression dex^⋆.Du fait quex^⋆=µH_I^+,∗II+U αavec µ=JH(x^⋆), nous avons

U^∗Φ^∗(Φx−y) =µU^∗Φ^∗ΦH_I^+,∗II+(U^∗Φ^∗ΦU)α−U^∗Φ^∗y= 0.

Ainsi,

U α=U MIU^∗Φ^∗(y−µΦH_I^+,∗II).

Dès lors, comme y = Φx0+w avec supp_H(x0) = I, x^⋆ s’exprime comme

x^⋆=µH_I^+,∗II+U MIU^∗Φ^∗(y−µΦH_I^+,∗II)

=µH_I^+,∗II+U MIU^∗Φ^∗((µ0−µ)ΦH_I^+,∗II+w) +U α0

=x0−(µ0−µ)H_I^+,∗II

+U MIU^∗Φ^∗((µ0−µ)ΦH_I^+,∗II+w),

avecµ0=JH(x0). Ainsi,x^⋆satisfait l’équation implicite sui- vante.

x^⋆=x0+(µ0−µ)[U MIU^∗Φ^∗Φ−Id]H_I^+,∗II+U MIU^∗Φ^∗w.

(1) 2. Vérification que leH-support dex^⋆estI.Pour certifier que leH-support dex^⋆estI, il faut imposer que

∀i∈I, hhi, x^⋆i=JH(x^⋆) =µ

∀j∈I^c, hhj, x^⋆i< JH(x^⋆) =µ.

Les composantes de x^⋆ sur I sont telles queH_I^∗x^⋆ = µII. Comme JH est une fonctionelle sous-additive, nous bornons les composantes surI^c par une inégalité triangulaire sur (1) pour obtenir

maxj∈I^chhj, x^⋆i6max

j∈I^chhj, x0i

+ (µ0−µ)||H_I^∗c[U MIU^∗Φ^∗Φ−Id]H_I^+,∗II||∞

+||HI^∗cU MIU^∗Φ^∗w||∞. En notant

C1=||H_I^∗c[U MIU^∗Φ^∗Φ−Id]H_I^+,∗II||∞, C2=||HI^∗cU MIU^∗Φ^∗||2,∞,

T =µ0−max

j∈I^chhj, x0i,

nous bornons les corrélations en dehors duH-support par maxj∈I^chhj, x^⋆i6µ0−T+ (µ0−µ)C1+C2||w||.

Il existe des constantesc₁, c₂satisfaisantc₁||w||< c₂T+λtel que 06µ0−T+ (µ0−µ)C1+C2||w||< µ (2)

Sous cette condition de faisabilité, nous obtenons que maxj∈I^chhj, x^⋆i< µ,

ce qui prouve que leH-support dex^⋆est égal àI.

3. Valeur de µ = JH(x^⋆). En utilisant le lemme 2 avec H=U^∗H, alorsx^⋆est solution de (Pλ(y)I). De plus, il existe zI ∈KerHItel que

vI =zI+ 1

λΦ˜^∗_IΓ^⊥_I(y−µΦ˜III)∈ΣI. (3) On décomposex0comme

x0=µ0H_I^+,∗II+U α0. Du fait quey= Φx0+w, nous avons

Γ^⊥_I y= Γ^⊥_I(µ0Φ˜III+ ΦU α0+w).

De plus, comme

ΓIΦU α0= ΦU(U^∗Φ^∗ΦU)⁻¹U^∗Φ^∗ΦU α0= ΦU α0, nous obtenons que

Γ^⊥_Iy=µ0Γ^⊥_IΦ˜III+ Γ^⊥_Iw.

Dès lors, l’équation (3) peut se réécrire de façon équivalente comme

vI =zI+ 1

λΦ˜^∗_IΓ^⊥_I

(µ0−µ) ˜ΦIII+w .

En particulier,hvI,IIi=λ. Ainsi,

λ=hλvI,IIi=hλ˜zI,IIi+hΦ˜^∗IΓ^⊥I((µ0−µ) ˜ΦIII+w,IIi.

Du fait quez˜I ∈ KerHI, nous avons hzI, IIi = 0. Ainsi µ satisfait l’équation suivante :

λ=hΦ˜^∗_IΓ^⊥_I((µ0−µ) ˜ΦIII+w, IIi

= (µ0−µ)||Φ˜III||²_Γ⊥

I +hΦ˜III, wi_Γ^⊥_I. Ainsi la valeur deµest donnée par

µ=µ0+hΦ˜III, wi_Γ^⊥

I −λ

||Φ˜III||²_Γ⊥ I

>0. (4)

4. Conditions du lemme 2.Nous allons construire un certifi- cat˜vIgrâce au contrôle imposé parIC_H(I)<1. Considérons maintenant le vecteur˜vI défini par

˜

vI = ˜zI+ 1 λΦ˜^∗IΓ^⊥I

(µ0−µ) ˜ΦIII+w , avec

˜

zI = 1 µ−µ0

argmax

zI∈KerHI

mini∈I( ˜Φ^∗IΓ^⊥IΦ˜III +zI)i

Quand la condition (2) est vérifiée, leH-support dex^⋆ estI, donc nous avons simplement à vérifier quev˜I est un élément deri ΣI. Commeh˜zI,IIi= 0, nous calculons

h˜vI,IIi

=hzI +1 λΦ˜^∗IΓ^⊥I

(µ0−µ) ˜ΦIII +w

,IIi+h˜zI−zI,IIi

=hvI,IIi+ 0

=λ.

En reportant l’expression (4) de(µ0−µ)dans la définition de

˜

vI, nous obtenons l’expression

˜

vI = ˜zI+1 λ



Φ˜^∗_IΓ^⊥_Iw+hΦ˜III, wi_Γ^⊥_I −λ

||Φ˜III||²_Γ⊥ I

Φ˜^∗_IΓ^⊥_IΦ˜III



.

Pour une certaine constantec3tel quec3||w|| −IC_H(I)·λ >0, nous avons

∀i∈I, vi>0.

En combinant cette remarque avec le fait que h˜vI,IIi = λ, ceci prouve que˜vI est un élément de l’intérieur relatif deΣI. D’après le lemme 2,x^⋆est ainsi l’unique minimiseur de (Pλ(y)), ce qui conclut la preuve du théorème.

Références

[1] F. Bach. Structured sparsity-inducing norms through sub- modular functions.Advances in Neural Information Pro- cessing Systems, 2010.

[2] V. Chandrasekaran, B. Recht, P.A. Parrilo, and A.S.

Willsky. The Convex Geometry of Linear Inverse Pro- blems. Foundations of Computational Mathematics, 12(6) :805–849, 2012.

[3] S.S. Chen, D.L. Donoho, and M.A. Saunders. Atomic de- composition by basis pursuit. SIAM journal on scientific computing, 20(1) :33–61, 1998.

[4] D.L. Donoho and J. Tanner. Counting the faces of randomly-projected hypercubes and orthants, with appli- cations.Discrete & computational geometry, 43(3) :522–

541, 2010.

[5] J.J. Fuchs. On sparse representations in arbitrary redun- dant bases. Information Theory, IEEE Transactions on, 50(6) :1341–1344, 2004.

[6] H. Jégou, T. Furon, and J.J. Fuchs. Anti-sparse co- ding for approximate nearest neighbor search. InAcous- tics, Speech and Signal Processing (ICASSP), 2012 IEEE International Conference on, pages 2029–2032. IEEE, 2012.

[7] S. Petry and G. Tutz. Shrinkage and variable selection by polytopes.Journal of Statistical Planning and Inference, 142(1) :48–64, 2012.

[8] R.T. Rockafellar.Convex analysis, volume 28. Princeton University Press, 1996.

[9] R. Tibshirani. Regression shrinkage and selection via the lasso. Journal of the Royal Statistical Society. Series B (Methodological), pages 267–288, 1996.

[10] S. Vaiter, G. Peyré, C. Dossal, and J. Fadili. Robust sparse analysis regularization. to appear in IEEE Transactions on Information Theory, 2012.