Correction de l’examen 2018-2019

Correction de l’examen 2018-2019

20/05/2018 D. Gontier, gontier@ceremade.dauphine.fr

Exercice 1 : Minimisation aux moindres carrés, cas général.

a/ Soit a

1

, a

2

, . . . , a

n

∈ R

^m

les colonnes de A. On raisonne par contradiction. Si A n’est pas injective, alors il existe u 6= 0 tel que Au = 0. Alors

0 = Au = u

1

a

1

+ u

2

a

2

+ · · · + u

n

a

n

, (1) et la famille (a

k

) n’est pas libre. Réciproquement, si la famille n’est pas libre, il existe une combinaison linéaire u

1

a

1

+ u

2

a

2

+ · · · + u

n

a

n

= 0, avec u := (u

1

, · · · u

n

)

^T

6= 0. Alors Au = 0, et A n’est pas injective.

b/ La famille (a

₁

, . . . , a

_n

) est une famille de n vecteurs dans R

^m

. Si m < n, cette famille est forcément liée. Si A est injective, la famille est libre, et m ≥ n. Dans ce cas, par définition du rang (dimension de l’espace d’arrivée

= dimension de l’espace engendrée par les colonnes), rgA = n.

c/ Pour toute matrice A ∈ M

_m,n

( R ) (pas forcément injective), la matrice A

^T

A est symétrique, car (A

^T

A)

^T

= A

^T

A, et

∀u ∈ R

ⁿ

, hu, A

^T

Aui = hAu, Aui = kAuk

²

≥ 0,

donc A

^T

A ∈ S

_n⁺

. Montrons que cette matrice est inversible ssi A est injective. Si A est injective, on a, d’après la ligne précédente,

∀u ∈ R

ⁿ

, hu, A

^T

Aui = 0 = ⇒ kAuk

²

= 0 = ⇒ Au = 0 = ⇒ u = 0,

donc A

^T

A ∈ S

_n⁺⁺

( R ). Réciproquement, si A

^T

A ∈ S

_n⁺⁺

( R ), alors

Au = 0 = ⇒ kAuk

²

= 0 = ⇒ hu, A

^T

Aui = 0 = ⇒ u = 0, et A est injective. On a bien montré que A est injective ssi A

^T

A ∈ S

_n⁺⁺

.

d/ On trouve

B

^†

=





0 0 1 0 1 1



 0 0 0 1 1 1









−1

0 0 1 0 1 1

= 1 1

1 2

−1

0 0 1 0 1 1

=

2 −1

−1 1

0 0 1 0 1 1

=

0 −1 1 0 1 0

.

e/ On a A

^†

A = (A

^T

A)

⁻¹

A

^T

A = I

n

. Par ailleurs, si m > n, alors A est de rang au plus n, et donc AA

^†

est une matrice de taille m × m, qui est aussi de rang au plus n. En particulier, elle ne peut pas être inversible.

f/ Le minimiseur de kAx − bk est aussi le minimiseur de 1

2 kAx − bk

²

= 1

2 x

^T

A

^T

Ax − b

^T

Ax + 1 2 b

^T

b.

En posant S = A

^T

A et c = A

^T

b, et en remarquant que le terme

¹₂

b

^T

b ne dépend pas de x, c’est aussi le minimiseur de

1

2 x

^T

Sx − c

^T

x.

f/ Comme A est injective, S = A

^T

A est dans S

_n⁺⁺

. On cherche à optimiser une fonctionnelle quadratique strictement coercive sur tout l’espace. D’après le cours, le minimum est

x

^∗

= S

⁻¹

c ou encore x

^∗

= (A

^T

A)

⁻¹

A

^T

b = A

^†

b.

g/ Si A n’est pas injective, alors KerA 6= 0. Si x

^∗

est un minimiseur de (P), alors tous les éléments de x

^∗

+ KerA

sont des minimiseurs : il y a une infinité de minimiseurs.

Exercice 2 : Méthode des projections alternées.

a/ On utilise le fait que q ∈ K et P

K

(x) ∈ K. Donc

hx − P

K

(x), q − P

K

(x)i ≤ 0 d’après (*)

hx − q, P

K

(x) − qi ≤ 0 d’après l’hypothèse de la question.

En additionnant les deux inégalités, on trouve kq − P

K

(x)k

²

≤ 0, et donc q = P

K

(x).

b/ Dessin !

c/ On sait que K := A ∩ B est non vide d’après l’énoncé. K est l’intersection de 2 fermés, donc est fermé. De plus, si k

1

, k

2

∈ K, alors le segment [k

1

, k

2

] est inclus dans A car A est convexe, et est inclus dans B car B est convexe, donc est inclus dans A ∩ B. Ceci étant vrai pour tout k

1

, k

2

∈ K, K est un convexe fermé non vide.

d/ On a pour (d1),

ka

n

− kk

²

= ka

n

− b

_n

+ b

_n

− kk

²

= ka

n

− b

_n

k

²

+ kb

n

− kk

²

+ 2ha

n

− b

_n

, b

_n

− ki.

Par ailleurs, on sait que b

_n

= P

_B

(a

_n

) et k ∈ A. Donc d’après (*), on a ha

_n

− b

_n

, k − b

_n

i ≤ 0.

Ainsi, ka

n

−kk

²

≥ ka

n

−b

n

k

²

+kb

n

−kk

²

. La démonstration est similaire pour (d2) (on utilise que a

n+1

= P

A

(b

n

) et que k ∈ B).

e1/ En combinant (d1) et (d2), on a

ka

n

− kk ≥ ka

n+1

− kk.

La suite ka

n

− kk est donc décroissante, minorée par 0, donc elle converge.

e2/ En particulier, on a a

n

∈ B(k, ka

0

− kk) donc la suite (a

n

) est bornée.

e3/ Soit L la limite de ka

n

− kk. En passant à la limite dans (e1), on obtient L ≥ lim

n→∞

ka

n

− b

n

k + L, et donc lim

n→∞

ka

n

− b

n

k = 0.

f/ La suite a

n

est bornée en dimension finie. Il existe donc une sous-suite a

n⁰

qui converge vers un certain x

∞

. D’après e3/, on a aussi que b

_n0

converge vers x

_∞

, donc x

_∞

est une valeur d’adhérence pour (b

_n

).

On a a

_n⁰

∈ A, qui est fermée, donc la limite x

_∞

∈ A aussi. De même, x

_∞

∈ B, et au final, x

_∞

∈ K.

g/ On sait déjà que les sous-suites (a

_n⁰

) et (b

_n⁰

) convergent vers x

_∞

. On veut maintenant montrer que toute la suite converge. En reprenant la question d/e/ avec k = x

_∞

, on a que ka

_n

−x

_∞

k converge vers L. En particulier, le long de la suite n

⁰

, on a L = 0, et on conclut que tout la suite (a

_n

) converge vers x

_∞

.

De même, toute la suite (b

_n

) converge vers x

_∞

. Question Bonus. Non en général.

Exercice 3 : Une méthode conjuguée.

a/ Par récurrence, on a p

1

= b ∈ K

1

, puis, comme Ap

n

∈ AK

n

⊂ K

n+1

, puis p

n

∈ K

n

⊂ K

n+1

et p

n−1

∈ K

n−1

⊂ K

n+1

, on en déduit que p

n+1

∈ K

n+1

.

b/ Par récurrence, on a pour l’initialisation,

p

^T₁

Ap

₂

= b

^T

A

²

b + α

₁

b

^T

Ab = 0 car α

₁

b

^T

Ab = −b

^T

A

²

b.

On suppose maintenant que pour tout 1 ≤ k ≤ n − 1, on a p

^T_k

Ap

_k+1

= 0. On a

p

_n

Ap

_n+1

= p

^T_n

A

²

p

_n

+ α

_n

p

^T_n

Ap

_n

+ β

_n

p

^T_n

Ap

_n−1

= p

^T_n

A

²

p

_n

+ α

_n

p

^T_n

Ap

_n

= 0 car, de nouveau, on a α

n

p

^T_n

Ap

n

= −p

^T_n

A

²

p

n

par définition de α

n

.

c/ On écrit x

^∗

dans la base conjuguée (p

n

) (formule de Parseval), et on a

x

^∗

=

d

X

n=1

hx

^∗

, p

n

i

A

hp

n

, p

_n

i

A

p

n

=

d

X

n=1

(x

^∗

)

^T

Ap

n

p

^T_n

Ap

_n

p

n

=

d

X

n=1

b

^T

p

n

p

^T_n

Ap

_n

p

n

.

2

d/ Par récurrence, on a x

0

= 0 ∈ K

0

, puis x

n

∈ K

n

⊂ K

n+1

et p

n+1

∈ K

n+1

, et donc x

n+1

∈ K

n+1

.

e/ D’après le cours, la suite générée par le gradient conjugué donne la projection (conjuguée) de x

^∗

sur K

n

. Donc, par propriété de la projection,

kx

^GC_n

− x

^∗

k

A

= min{kk − x

^∗

k

A

, k ∈ K

n

} ≤ kx

n

− x

^∗

k

A

.

e1/ d − 1 multiplications au total (attention, il ne faut pas compter les multiplication vecteurs/vecteurs).

e2/ Lorsqu’on rentre dans la boucle, on a n = 2, et on sort lorsqu’on a calculé p

_n+1

avec n + 1 = d.

3