Relaxation convexe

Ces premiers résultats (th. 1 et 2) sont intéressants, mais il y a un obstacle conséquent :

résoudre le problème(P

0

) n’est pas réalisable en temps polynomial car c’est un problème

NP-difficile [Nat95]. Il faudrait énumérer toutes les solutions possibles de parcimoniek: il

y en a

^N_k

. Il a donc été proposé [CDS01, CRT06a] de remplacer (P

₀

) (éq. 3.1) parBasis

Pursuit, comme il a été mentionné au chapitre précédent :

(P

₁

) : xˆ= arg min

x

kxk

₁

tel que y= Φx, (3.3)

Cette relaxation conduit à un problème convexe, que l’on sait résoudre. Les résultats

ex-périmentaux [CDS01] illustrent la possibilité de reconstruire un signal parcimonieux par

la résolution deBasis Pursuit ((P

₁

)). Le cas de la relaxation`

₁

, appliquée à l’exemple de

la figure 2.3 où l’on projette un signal constitué de quelques pics temporels sur m lignes

de la matrice de Fourier discrète choisies au hasard, est justifié par le théorème suivant :

Théorème 3 [CRT06a] Si on connaitm coefficients de Fourier d’un signal x∈C

^N

com-posé de k pics temporels (i.e. on connaity=F

_m

x où F

_m

est une matrice m×N issue de

la matrice de FourierN ×N,) et que

k≤C

_m

^m

logN^,

alors avec une probabilité1−O(N

^−m

), la solution de (P

₁

) est exactement x.

Les résultats théoriques de [DH02, Don06] montrent que ceci est vrai aussi pour d’autres

types de matrices et que la minimisation`

1

retrouve les solutions parcimonieuses.

3.1.1.1 Constante d’isométrie restreinte et relaxation convexe

Dans la section précédente, nous avons introduit la constante d’isométrie restreinte (éq.

3.2). Celle-ci est reprise dans les théorèmes justifiant l’exactitude de la relaxation convexe.

Un premier théorème démontre que la relaxation convexe peut être exacte :

Théorème 4 [CRT06b] Si kxk

₀

≤k et si la matrice Φ est telle que

δ

3k

+ 3δ

4k

<2,

alors x est la solution unique de (P

₁

).

Un second théorème ultérieur affine ce résultat :

Théorème 5 [Can08] Si δ

2k

< ^√2−1, alors la solution xˆ au problème (P

1

) vérifie les

résultats suivants :

3.1. Problème de reconstruction 37

et

kxˆ−xk

₂

≤C

₀

√¹

k^kx−x

^k

^k

¹

^,

où

C

0

= 2¹⁻⁽¹⁻

√

2)δ

_2k

1−(1 +^√2)δ

_2k

^,

etx

k

est la restriction dex aux k composantes les plus importantes.

La conséquence intéressante de ce théorème est que si le vecteur est k-parcimonieux, au

sens oùkx−x

_k

k

₂

= 0, alors la reconstruction est exacte ; mais s’il ne l’est pas, l’erreur est

bornée.

Le problème du bruit n’est pas évoqué dans ces résultats, mais une variante de Basis

Pursuit appeléeBasis Pursuit DeNoising (BPDN)traite le problème de la mesure bruitée,

c’est à dire

y= Φx+w,

oùw∈R

^m

est un terme de bruit inconnu tel quekwk

₂

≤ε. Le problème devient alors

(BP DN) : xˆ= arg min

x

kxk

₁

tel que ky−Φxk

₂

≤ε. (3.4)

On a alors le résultat suivant :

Théorème 6 [Can08] Siδ

_2k

<^√2−1 et kwk

₂

≤ε, alors la solutionxˆ de (3.4) vérifie :

kxˆ−xk

₂

≤C

₀

√¹

k^kx−x

^k

^k

¹

^+C

¹

^ε,

oùx

_k

est la restriction dex aux kcomposantes les plus importantes, C

₀

définie comme au

théorème 5 et

C

₁

= 2 ⁴

√

1 +δ

_2k

1−(1 +^√2)δ

_2k

^.

On retrouve donc un résultat similaire à celui du théorème 5, tout en bornant l’influence

du bruit sur le résultat.

Cependant, il faut remarquer que les constantesC

0

etC

1

divergent :

lim

δ2k→^√2−1 δ2k<^√2−1

C

₀

= +∞;

lim

δ2k→^√2−1 δ2k<^√2−1

C

₁

= +∞.

Le critère δ

2k

< ^√2− 1 permet donc d’obtenir des bornes sur l’erreur, mais dans la

pratique, ces bornes sont très élevées. La figure 3.1 illustre les valeurs prises par les deux

constantes, et on remarque que pour δ

_2k

> 0.3, les valeurs de ces constantes deviennent

Figure 3.1 – Évolution des constantesC

0

etC

1

des théorèmes 5 et 6 en fonction de la valeur de

δ

_2k

.

très importantes. Dans la pratique où les signaux ne sont généralement pas strictement

parcimonieux au sens de la norme `

₀

(ne serait-ce qu’à cause du bruit), il ne faut donc

utiliser que des matrices dont la constante d’isométrie est faible si l’on veut être assuré

d’une bonne reconstruction. Si on est trop proche de la limite √

2−1, l’erreur possible,

conditionnée par les constantesC

₀

etC

₁

, devient trop importante.

3.1.1.2 Cohérence de la matrice d’observation

Un autre critère souvent présenté dans la littérature pour qualifier (au sens du

co-dage parcimonieux) une bonne matrice d’observationΦest sa cohérence, définie p. 39, qui

correspond au maximum de corrélation entre ses colonnes. En effet, si les colonnes de la

matrice sont faiblement corrélées, il est intuitivement plus facile de déterminer la

combi-naison linéaire de colonnes composant l’observation, et donc de retrouver le signal original.

Cette intuition vient facilement si l’on pense aux algorithmes gloutons, qui recherchent les

colonnes de la matrice les plus corrélées avec le signal : si deux colonnes sont trop proches

(donc fortement corrélées) il est difficile de déterminer exactement laquelle contribue au

3.1. Problème de reconstruction 39

signal compressé.

Définition 11 (Cohérence) Soit une matrice Φ∈R

^m×N

, la cohérence M de cette

ma-trice est définie comme le maximum de corrélation entre ses colonnes.

M = max

1≤i,j≤N i6=j

<|Φ

i

,Φ

j

|>

kΦ

_i

k

₂

kΦ

_j

k

₂

Cette mesure M permet de définir une propriété d’équivalence entre les solutions des

problèmes(P

₁

) (éq. 2.3) et (P

₀

) (éq. 2.3) :

Théorème 7 [EB02] Si Φ est la concaténation de deux base orthonormées, et si kxˆk

₀

≤

1/M alors c’est l’unique solution de (P

₀

). Si en plus, kxˆk

₀

≤

1+M⁻1

2

alors c’est aussi

l’unique solution de(P

1

).

[EB02] ont ensuite amélioré ce résultat en ramenant la valeur limite dekxˆk

₀

à

√

2−0,5

M

pour

l’équivalence entre(P

1

)et(P

0

).

Cependant, ces propriétés manquent de généralité, puisque l’on traite uniquement des

dictionnaires constitués d’une paire de base orthonormées.

3.1.2 Conclusions

La relaxation en norme `

1

permet de donner un sens au codage parcimonieux. Des

garanties sur l’exactitude de cette relaxation sont données en s’appuyant sur les

caractéris-tiques de la matrice. La plus célèbre est la propriété d’isométrie restreinte. Cette dernière

indique qu’une matrice a tendance à préserver les vecteurs parcimonieux. Pour que la

ma-trice soit efficace, il ne faut pas que de petits ensembles de colonnes soient liés (c’est l’idée

du spark), la constante d’isométrie restreinte ajoute une finesse supplémentaire. Cependant,

le calcul de ces constantes (pour différentes valeurs dek) est fastidieux (il faut considérer

les

^N_k

sous-ensembles possibles d’un nombre donnékde colonnes). Heureusement, les

ma-trices aléatoires vérifient cette propriété avec une très forte probabilité [BDDW08]. Donc

les matrices aléatoires, en plus d’être un codeur “universel” (cf. section 2.2.1), vérifient les

propriétés justifiant la relaxation en norme`

₁

.

Toutefois, on a vu que la résolution de(P

1

)n’était pas la seule méthode de

reconstruc-tion possible. Nous revenons maintenant sur les autres méthodes menreconstruc-tionnées au chapitre

précédent.

Dans le document Sur quelques applications du codage parcimonieux et sa mise en oeuvre (Page 37-40)