3` eme ann´ee MIC

INSA TOULOUSE Ann´ ee 2011-2012 D´ epartement STPI

3` eme ann´ee MIC

CORRECTION

UV Des donn´ ees aux mod` eles Partie - Probl` emes inverses

Mercredi 6 juin 2012 - 14 :00 ` a 15 :30

Le cours, les TD et les calculatrices sont autoris´ es. Le reste est interdit.

Le barˆ eme entre crochets est donn´ e ` a titre indicatif.

Dans tout l’examen, le produit scalaire canonique sur R

est not´ e h·, ·i et la norme associ´ ee est not´ ee k · k. Les questions pr´ ec´ ed´ ees de *) sont plus compliqu´ ees et ne devraient ˆ etre r´ esolues que si vous avez une intuition de la marche ` a suivre. Le barˆ eme est donn´ e ` a titre indicatif et sera probablement relev´ e...

Exercice 1 - Probl` eme inverse bien et mal pos´ e (6,5 pts)

Soit A la matrice suivante :

A =



 1 0 0 1 1 0



 .

1. On consid` ere le probl` eme suivant :

Trouver x ∈ R

tel que Ax = b avec b ∈ R

. Est-ce que ce probl` eme est bien pos´ e ? D´ etaillez votre r´ eponse.

Ce probl` eme n’est pas bien pos´ e, car il peut ne pas exister de solution. Par exemple le vecteur [1, 1, 2]

n’appartient pas ` a l’image de A.

2. On consid` ere maintenant le probl` eme :

Trouver x ∈ R

tel que Ax = b avec b ∈ E = vect









 1 0 1



 ,



 0 1 0









 .

Est-ce que la solution de ce probl` eme existe ? Est unique ? Est stable pour des perturbations dans E de b ? Le fait de restreindre b ` a E (l’image de A) rend le probl` eme bien pos´ e. En effet pour tout b de la forme b = α[1, 0, 1]

+ β[0, 1, 0]

, la seule solution ` a ce probl` eme est x = [α, β]

. Elle est stable. En effet, si on perturbe b en ˜ b = (α + δα)[1, 0, 1]

+ (β + δβ)[0, 1, 0]

, la solution perturb´ ee est ˜ x = [α + δα, β + δβ]

. On peut donc ´ ecrire que :

k ˜ b − bk

= k[δα, δβ, δα]k

= 2(δα)

+ (δβ)

≥ (δα)

+ (δβ)

= k x ˜ − xk

Donc k˜ x − xk ≤ k ˜ b − bk et on a bien k x ˜ − xk → 0 si k ˜ b − bk → 0.

3. De fa¸ con g´ en´ erale, consid´ erons un probl` eme du type :

Trouver x ∈ R

tel que Ax = b avec b ∈ E

o` u A ∈ M

( R ) et E est un sous-espace vectoriel de R

. A quelle condition sur E et sur A ce probl` eme admet-il une solution ?

Il suffit que E ⊆ Im(A).

1

4. Proposez une d´ ecomposition en valeurs singuli` eres de A.

Une d´ ecomposition possible est :

A =





√1

2

0

2

0 1 0

√1

2

0 −

2









√ 2 0

0 1

0 0



 1 0

0 1

(Utiliser le fait que Im(A) = vect(u

, u

) pour trouver U , compl´ eter la base avec un vecteur orthogonal aux deux autres, normaliser les colonnes, le reste suit).

Exercice 2 - Conditionnement et moindres carr´ es (10,5 pts)

Soit A ∈ R

une matrice de rang n dont une SVD s’´ ecrit A = U ΣV

avec Σ = diag(σ

, · · · , σ

). Supposons que x minimise kAx − bk

sur R

et soit r = Ax − b le r´ esidu correspondant. On perturbe la matrice A en A + δA et on note x + δx la nouvelle solution.

1. D´ eterminez les ´ equations satisfaites par x et par x + δx.

x satisfait

A

(Ax − b) = 0.

(x + δx) satisfait

(A + δA

)((A + δA)(x + δx) − b) = 0.

2. En utilisant la SVD de A, montrer que :

k(A

A)

A

k = 1 σ

et que :

k(A

A)

k = 1 σ

. On a

k(A

A)

xk = kV (Σ

Σ)

V

xk

= k(Σ

Σ)

V

xk

y=V^Tx

= k(Σ

Σ)

yk

Donc

k(A

A)

k = sup

kxk=1

k(A

A)

xk

= sup

kyk=1

k(Σ

Σ)

yk

= 1 σ

. On proc` ede de mˆ eme pour k(A

A)

A

k.

3. Montrez que kA

Aδxk ≥ σ

kδxk.

On proc` ede de la mˆ eme fa¸ con que la question pr´ ec´ edente :

kA

Aδxk = k(Σ

Σ)V

δxk ≥ σ

kV

δxk = σ

kδxk.

2

4. *) On pose κ(A) =

n

(le conditionnement de A). D´ eduire des questions pr´ ec´ edentes la majoration : kδxk

kxk ≤

κ(A) + κ(A)

krk kAkkxk

kδAk

kAk + O(kδAk

) On a :

0 = (A + δA

)((A + δA)(x + δx) − b)

= (A + δA)

(A + δA)δx + (A + δA)

δAx + (δA)

r.

Donc

k(A + δA)

(A + δA)δxk = k(A + δA)

δAx + (δA)

rk.

Or k(A + δA)

(A + δA)δxk = kA

Aδxk + O kδAk

≥ σ

kδxk + O kδAk

. De plus

k(A + δA)

δAx + (δA)

rk ≤ k(A + δA)

δAxk + k(δA)

rk

≤ kAkkδAkkxk + kδAkkrk + O(kδAk

).

En regroupant ces deux in´ egalit´ es, on obtient : σ

kδxk + O kδAk

≤ kAkkδAkkxk + kδAkkrk + O(kδAk

)

= σ

kδAkkxk + kδAkkrk + O(kδAk

) Il suffit de diviser chaque cot´ e de l’in{egalit´ e par σ

kxk pour obtenir le r´ esultat attendu.

Il est clair qu’on n’attendait pas une r´ eponse compl` ete mais plutˆ ot une d´ emarche g´ en´ erale pour arriver ` a la solution.

5. Que se passe-t-il si A est carr´ ee et inversible ? On a r = 0. L’in´ egalit´ e se simplifie donc en :

kδxk

kxk ≤ κ(A) kδAk

kAk + O(kδAk

).

Cette in´ egalit´ e justifie l’int´ erˆ et du conditionnement puisqu’elle donne l’erreur relative sur la solution pour une erreur relative donn´ ee sur la matrice.

Exercice 3 - Maximum A Posteriori (5,5 pts)

On consid` ere le probl` eme unidimensionnel suivant :

y = x + b.

Dans cette ´ equation x ∈ R est une quantit´ e qu’on souhaite connaˆıtre, y ∈ R est une quantit´ e mesur´ ee, et b ∈ R est un bruit de mesure. On suppose que x et b sont ind´ ependants. Le but de cet exercice est de retrouver x ` a partir de y par une technique de maximum a posteriori.

1. Si on n’a aucune connaissance a priori de la donn´ ee x et que b ∼ N (0, σ

), quelle est la solution la plus vraisemblable ?

La solution la plus vraisemblable est ˆ x = y.

2. On suppose que les densit´ es de probabilit´ e de b et x sont des gaussiennes de densit´ e respectives : p(b) ∝ exp

− b

2σ

et p(x) ∝ exp

− (x − a)

2σ

.

D´ eterminez l’estimation x ˆ au sens du maximum a posteriori de x, c’est-` a-dire : ˆ

x = arg max

x∈R

p(x|y).

3

En reprenant le d´ eveloppement propos´ e en cours, on a : ˆ

x = arg max

x∈R

p(x|y)

= arg min

x∈R

− log p(y|x) − log p(x).

On a p(y|x) = p(x + b|x) ∝ exp

−

. Donc ˆ x est ˆ x = arg min

+

x

. Soit encore apr` es annulation de la d´ eriv´ ee ` a :

ˆ

x = 1

1 σ²_x

+

b

y σ

+ a

σ

.

3. Que se passe-t-il si σ

→ +∞ ? Si σ

→ 0 ?

Si σ

→ +∞, on retrouve ˆ x = y. C’est normal, car dans ce cas l’a priori sur la donn´ ee est tr` es faible, et on pr´ ef` ere croire la mesure. Si σ

→ 0, on trouve ˆ x = a. Dans ce cas, l’a priori qu’on met sur la donn´ ee est tr` es fort, et on pr´ ef` ere poser ˆ x = a, mˆ eme si la mesure semble dire que x = y.

4. On suppose maintenant que b est une loi uniforme sur [0, 1]. D´ eterminez l’estimation x ˆ au sens du maxi- mum a posteriori de x.

Dans ce cas, le probl` eme ` a r´ esoudre devient : arg min

0≤y−x≤1

1

2σ

kx − ak

. La solution est donn´ ee par :

ˆ x =







a si a ∈ [y − 1, y]

y − 1 si a < y − 1 y si a > y

On voit que cette solution ne d´ epend pas de la variance σ

contrairement ` a un bruit gaussien.

4