3` eme ann´ee MIC

INSA TOULOUSE Ann´ ee 2013-2014 D´ epartement STPI

3` eme ann´ee MIC

Correction Examen (14/03/2014) UV Mod´ elisation

Partie - Probl` emes inverses

Documents autoris´ es, bar` eme indicatif.

Exercice 1 - Quelques propri´ et´ es ´ el´ ementaires de la SVD

Dans cet exercice, on consid` ere une matrice A ∈ R ^m×n . On note sa SVD A = U ΣV ^T avec U = [u ₁ , · · · , u _m ] et V = [v ₁ , · · · , v _n ].

1. Montrer que le nombre de valeurs singuli` eres de A est inf´ erieur ou ´ egal ` a min(m, n).

Correction :

C’est une question triviale et plein de r´ eponses sont acceptables. Par exemple, le rang de A est n´ ecessairement inf´ erieur ` a min(m, n).

2. Dans cette question, on pose

A = 3 1

1 3

.

On rappelle que la SVD de A est donn´ ee par

A = U ΣV ^T =

√ 1 2 − ^{√ 1}

1 2

√ 2

√ 1 2

! 4 0 0 2

√ 1 2 − ^{√ 1}

1 2

√ 2

√ 1 2

! ^T . On consid` ere la fonction

J : R ² → R

x 7→ ¹ ₄ hAx, Axi

o` u h·, ·i est le produit scalaire usuel. Sur un mˆ eme sch´ ema, dessiner, les lignes de niveau 1 et 4 de J ainsi que les vecteurs singuliers v 1 et v 2 . Pour une matrice A quelconque, comment pouvez retrouver les valeurs singuli` eres en tra¸ cant les lignes de niveau de J (x) ?

Correction :

On ´ ecrit x dans la base V : x = α 1 v 1 + α 2 v 2 . Ainsi J(x) = 1

4 hU ΣV ^T x, U ΣV ^T xi

= 1

4 hΣV ^T x, ΣV ^T xi

= 1 4

4α ₁ 2α ₂

2

2

= 4α ₁ ² + α ² ₂ .

Ainsi J (x) = 1 ⇔ 4α ² ₁ + α ² ₂ = 1. C’est l’´ equation d’une ellipse (voir figure 1). De fa¸ con g´ en´ erale, on peut retrouver les valeurs singuli` eres σ i et les vecteur singuliers ` a droite v i , en tracant un ensemble de niveau 1 de la fonction J. Ca donne une ellipsoide dont les axes principaux sont les vecteurs v _i et dont la racine de la longueur des demi axes correspond aux valeurs singuli` eres. La figure 1 obtenue avec le code joint permettent d’afficher ce r´ esultat.

[X,Y]=meshgrid(linspace(-2,2,100),linspace(-2,2,100));

J=1/4*((3*X+Y).^2+(X+3*Y).^2);

contour(X,Y,J,[1 4]) hold on

a=1/sqrt(2);plot([0 a],[0 -a]);

a=1/sqrt(2);plot([0 a],[0 a]);

1

−2 −1.5 −1 −0.5 0 0.5 1 1.5 2

−2

−1.5

−1

−0.5 0 0.5 1 1.5 2

v2

v1

Figure 1 – Lignes de niveau et axes principaux. Notes : les axes n’ont pas l’air orthogonaux, mais ils le sont (les axes n’ont pas la mˆ eme ´ echelle.

2

3. Montrer que si σ est une valeur singuli` ere de A alors il existe deux vecteurs v ∈ R ⁿ et u ∈ R ^m tels que Av = σu, A ^∗ u = σv et kuk 2 = kvk 2 = 1.

Correction :

On suppose que σ correspond ` a la i-` eme valeur singuli` ere de A, i.e. σ = σ i . Ainsi on a Av i = σ i u i et A <sup>∗</sup> u i = σ i v i . En fait on peut montrer que c’est une condition n´ ecessaire et suffisante pour que σ soit valeur singuli` ere.

Exercice 2 - Moindres carr´ es r´ egularis´ es et norme de la solution

Soit A ∈ R ^m×n . On pose

J (x) = 1

2 kAx − zk ² ₂ + α

2 kxk ² ₂ . (1)

o` u α ≥ 0 et z ∈ R <sup>m</sup> est une donn´ ee. On consid` ere le probl` eme suivant : Trouver x(α) ∈ arg min

x∈ R

J (x). (2)

1. Calculer ∇J(x).

Correction :

On a ∇J (x) = A ^T (Ax − z) + αx.

2. On pose α > 0. A quelle(s) condition(s) existe-t-il une solution ? Une solution unique ? Correction :

Il existe toujours une solution unique (fonction coercive, strictement convexe).

3. On pose α = 0. A quelle(s) condition(s) existe-t-il une solution ? Une solution unique ? Correction :

Il faut que ker(A ^T A) = {0}.

4. On d´ efinit le projecteur sur l’image de A par :

P Im(A) (z 0 ) = arg min

z∈Im(A)

kz − z 0 k 2 .

On suppose que A est une matrice de rang r dont la SVD s’´ ecrit A = U ΣV ^T o` u U = [u 1 , . . . , u m ] ∈ R ^m×m et V = [v 1 , . . . , v n ] ∈ R ^n×n sont orthogonales. Donner l’expression de P _Im(A) (z) et de P _Im(A)

(z) en fonction de (u i ) i∈{1,...,m} et (v i ) i∈{1,...,n} .

Correction :

On note γ = U z. Dans ce cas, z = U ^T γ puisque U est orthogonale. On a Im(A) = vect(u 1 , . . . , u r ). Donc P _Im(A) (z) =

r

X

i=1

γ i u i . De mˆ eme P _Im(A)

(z) =

m

X

i=r+1

γ i u i . 5. Montrer que le probl` eme 2 est ´ equivalent ` a :

arg min

x∈ R

1

2 kAx − P _Im(A) (z)k ² ₂ + α 2 kxk ² ₂ . Correction :

On a z = P _Im(A) (z) + P _Im(A)

(z). Donc 1

2 kAx − (P Im(A) (z) + P _Im(A)

(z))k ² ₂

= 1

2 kAx − P Im(A) (z)k ² ₂ + kP _Im(A)

(z)k ² ₂ + 2hAx − P Im(A) (z), P _Im(A)

(z)i

= 1

2 kAx − P Im(A) (z)k ² ₂ + kP _Im(A)

(z)k ² ₂ .

3

De plus kP _Im(A)

(z)k ² ₂ ne d´ epend pas de x donc : arg min

x∈R

1

2 kAx − zk ² ₂ + α 2 kxk ² ₂

= arg min

x∈ R

1

2 kAx − P _Im(A) (z)k ² ₂ + kP _Im(A)

(z)k ² ₂ + α 2 kxk ² ₂

= arg min

x∈ R

1

2 kAx − P _Im(A) (z)k ² ₂ + α 2 kxk ² ₂ . 6. On suppose α > 0. Montrer que

x(α) = V (Σ ^T Σ + αI) ⁻¹ Σ ^T U ^T z.

Correction :

La solution x(α) satisfait ∇J (x(α)) = 0. Donc :

x(α) = (A ^T A + αI) ⁻¹ A ^T z.

Il reste juste ` a r´ e´ ecrire A avec sa SVD pour conclure.

7. On pose x(α) = P n

i=1 λ i (α)v i et z = P m

i=1 γ i u i . D´ eterminer les valeurs λ i (α) en fonction de σ i et γ i . Correction :

On a

λ i (α) = σ _i γ _i σ ² _i + α . 8. Montrer que kλ(α)k 2 ≤ |||A|||·kzk

α .

Correction : On a

|λ _i (α)| ≤

σ i

σ _i ² + α

|γ _i |

≤

σ ₁ σ _i ² + α

|γ _i |

≤

σ 1

α |γ i |.

Pour conclure, il suffit de remarquer que |||A||| = σ ₁ et d’´ ecrire : kλ(α)k ² ₂ =

m

X

i=1

(λ _i (α)) ²

≤

σ ₁ α

2

|γ i | ²

≤

σ 1

α

2

kγk ² ₂

≤

|||A|||

α

2

kzk ² ₂ .

4