3 : moindres carr´ es

MAM4-SI4 - Optimisation 2010-2011

TD n

3 : moindres carr´ es

Soit A une matricem×n. On cherche `a r´esoudre “au mieux” le syst`eme lin´eaire

Ax=b, x∈Rⁿ, b∈R^m, (1)

o`u n6=mou quand n=m, mais avecA non inversible.

On note

||y||=

n

X

i=1

y²_i

!1/2

la norme euclidienne de y surRⁿ.

Partie 1 : SoitJ(x) =||Ax−b||² pour toutx∈Rⁿ. 1.1. Montrer que le probl`eme d’optimisation

Trouver x∈Rⁿ tel queJ(x) = min

y∈Rⁿ

J(y) (2)

a au moins une solution. On note X_b l’ensemble des solutions de (2).

1.2. Montrer que (2) est ´equivalent `a :

Trouver x∈Rⁿ tel que^tAAx=^tAb. (3) 1.3. Discuter de l’existence et unicit´e de la solution de (3) en fonction du rang de A.

1.4. Montrer que le probl`eme de minimisation :

Trouverx∈X_b tel que||x||² = min

y∈X_b||y||² (4)

a une unique solution x qu’on appelle pseudo-solution de (1).

1.5. Montrer quex est caract´eris´e par x∈X_b∩(Ker^tAA)^⊥.

Partie 2 : Soitε >0, on noteJ_ε(x) =||Ax−b||²+ε||x||² pour toutx∈Rⁿ. On consid`ere le probl`eme :

Trouverx∈Rⁿ tel queJε(x) = min

y∈Rⁿ

Jε(y). (5)

2.1. Montrer que (5) a une unique solutionx_ε. 2.2. Montrer que pour touty ∈X_b,||x_ε|| ≤ ||y||.

2.3. Exprimer xε en fonction de A,b etε.

2.4. En d´eduire que x_ε converge vers xsolution de (4) quand ε→0.

1

Partie 3 : Soitε >0, on noteJε(x) = 1

ε||^tAAx−^tAb||²+||x||² pour tout x∈Rⁿ. On consid`ere le probl`eme :

Trouverx∈Rⁿ tel queJ_ε(x) = min

y∈Rⁿ

J_ε(y). (6)

3.1. Montrer que (6) a une unique solutionxε. 3.2. Exprimer x_ε en fonction de A,b etε.

3.3. En d´eduire que x_ε converge vers xsolution de (4) quand ε→0.

2