a/ (2 pt). L’ensemble K est un sous-espace vectoriel de R

Correction de l’examen

25/05/2018 D. Gontier, gontier@ceremade.dauphine.fr

La barème suivant est sur 40 points.

Exercice 1 : Le gradient conjugué réduit. (16 pt)

a/ (2 pt). L’ensemble K est un sous-espace vectoriel de R

, donc est un fermé convexe, et Q est une fonction coercive strictement convexe sur K, donc admet un unique minimum.

b/ (1 pt). Par définition comme K := Im U , tout élément x ∈ K est de la forme x = U y avec y ∈ R

. c/ (2 pt). En paramétrisation x ∈ K par x = U y avec y ∈ R

, on a

Q(U y) = 1

2 (U y)

A(U y) − b

(U y).

De plus, on a (U y)

= y

U

et b

U = (U

b)

. Donc Q(Uy) = 1

2 y

(U

AU )y − (U

b)

y.

En minimisant sur y ∈ R

, on obtient (∗∗).

d/ (3 pt). La matrice M = U

U est de taille m ×m, et vérifie M

= u

u

= hu

, u

i = δ

car les vecteurs (u

) sont orthonormés. Donc M = I

.

On a (U

AU )

= U

A

U = U

AU car A est symétrique, donc la matrice U

AU est symétrique.

La matrice U

AU est de taille m × m, donc U

AU ∈ S

( R ).

Pour tout y ∈ R

, on a

hy, U

AU yi

= hU y, A(Uy)i

≥ λ

(A)kUyk

≥ 0,

donc A

∈ S

. De plus, si hy, U

AU yi = 0, cela implique que Uy = 0. En multipliant par U

à gauche, on obtient y = 0, et donc A

est injective. Au final, A

∈ S

.

e/ (3 pt). Notons A

= U

AT et b

= U

b. Le problème (∗∗) est la minimisation de la forme quadratique Q

(y) :=

y

A

y − b

y sur R

. La matrice A

est définie positive d’après la question précédente, donc Q

est coercive strictement convexe, et admet un unique minimum y

. En écrivant que ∇Q

(y

) = 0, on obtient A

y

= b

, puis y

= (A

)

b

. Enfin, comme x

= Uy

d’après la question c/, on a x

= U (U

AU )

U

b, comme souhaité.

f/ (2 pt). On peut utiliser le GC pour résoudre le problème (∗∗). Cela donne la solution y

en au plus m itérations (c’est donc très intéressant si m d). Cela donne les itérations suivantes.

On pose y

= 0

, p

= r

= b

, puis α

= r

A

r

p

A

p

, y

= y

+ α

p

, r

= r

− α

A

p

, β

= − r

r

r

r

, p

= r

+ β

p

. On pose à la fin des itérations x

= U y

.

g/ (2 pt). La projection sur K est définie par

∀b ∈ R

, P

(b) := argmin 1

2 kx − bk

, x ∈ K

.

On a

kx − bk

=

x

x − b

x +

b

b. Le terme

b

b est une constante de x, et ne joue pas de rôle dans la minimisation. On a donc aussi

∀b ∈ R

, P

(b) := argmin 1

2 x

x − b

x, x ∈ K

.

C’est un problème de type (∗) avec A = I

.

h/ (1 pt). D’après la question e/, la solution avec A = I

est P

(b) = U (U

U )

U

b. Or U

U = I

,

donc P

(b) = U U

b. Ceci étant vrai pour tout b ∈ R

, on a P

= U U

.

Exercice 2 : Initialisation pour le critère de Wolfe. (11 pt)

a/ (3 pt). On a g(0) := lim

g(t) = h∇F (x), hi par définition de la dérivée directionnelle. De plus, comme h est une direction de descente en x, on a g(0) < 0. En particulier, g(0) < c

g(0), et par continuité de g, il existe ε > 0 tel que, pour tout t ∈ [0, ε], on a toujours g(t) < c

g(0).

b/

(i) (2 pt). L’algo1 construit une suite de type τ

= τ

/2 et s’arrête lorsque τ

vérifie le critère d’Armijo.

En particulier, il s’arrête dès que τ

< ε, ce qui généralement arrive (cela peut ne pas arriver si ε est plus petit que la précision machine...).

(ii) (1 pt). A la ligne 4, la fonction F est évaluée deux fois, et la fonction ∇F est évaluée une fois.

(iii) (1 pt). On remarque que les nombres F (x) et h∇F(x), hi sont évalués à chaque itération. On peut précalculer une fois pour toute ces nombres afin de diminuer le nombre d’appels à ces fonctions. Cela donne le code suivant :

1 d e f a l g o 1 m o d i f i e( F , nablaF , x , h , c1 , N i t e r = 1 0 0 ) : 2 tau = n o r m ( x ) / n o r m ( h )

3 Fx , g0 = F ( x ) , dot ( n a b l a F ( x ) , h ) 4 f o r n in r a n g e( N i t e r ) :

5 if F ( x + tau * h ) <= Fx + c1 * tau * g0 :

6 r e t u r n tau

7 tau = tau /2

c/ (3 pt). Comme F est bornée inférieurement, par un certain m ∈ R , on a g(t) ≥

→ 0 lorsque t → ∞. Ainsi, on a g(∞) ≥ 0, et en particulier, g(∞) > c

g(0). Par continuité, il existe A > 0 tel que pour tout t > A, on a encore g(t) > c

g(0).

d/ (1 pt). On peut construire modifier algo1 pour construire la suite T

= 2T

. A partir d’un certain rang, on doit avoir T

> A, et T := T

ne vérifie pas le critère d’Armijo. Cel donne l’algorithme suivant :

1 d e f a l g o 2( F , nablaF , x , h , c1 , N i t e r = 1 0 0 ) : 2 T = n o r m ( x ) / n o r m ( h )

3 Fx , g0 = F ( x ) , dot ( n a b l a F ( x ) , h ) 4 f o r n in r a n g e( N i t e r ) :

5 if F ( x + tau * h ) > Fx + c1 * tau * g0 :

6 r e t u r n T

7 T =2* T

Exercice 3 : Quasi-Newton pour matrices à diagonale dominante. (13 pt) a/ (1 pt). On trouve que les valeurs propres de A sont 2 et 7.

b/ (2 pt). La fonction Q est une forme quadratique. Elle est strictement convexe et coercive, donc admet un unique minimum x

∈ R

. On a ∇Q(x) = Ax, qui ne s’annule que pour x = (0, 0)

(car A est inversible).

De plus, on a H

(x) = A (indépendant de x). On en déduit que x

= (0, 0)

. c/

(i) (1 pt). La suite (x

) est le gradient à pas constant τ > 0 pour la fonction quadratique Q(x) =

x

Ax.

D’après le cours, la méthode converge vers x

si et seulement si 0 < τ < 2/λ

(A), ce qui dans notre cas donne 0 < τ < 2/7.

(ii) (1 pt). Toujours d’après le cours, le pas optimal est τ

= 2/ [λ

(A) + λ

(A)], qui, dans notre cas, donne τ

= 2/(2 + 7) = 2/9. On a dans ce cas une convergence linéaire à taux |1 − τ

λ

(A)| = |1 − τ

λ

(A)| =

|1 − 4/9| = 5/9.

d/

(i) (1 pt). On a

x

= I

−

√1

6

0

0

3

! A

√1

6

0

0

3

!!

x

, donc B = I

−

√1

6

0

0

3

! A

√1

6

0

0

3

!

= − 0

2 18

√18

0

!

On remarquera que

18

=

√2 3

. (ii) (1 pt). On a

kx

k

= hBx

, Bx

i = hx

, B

x

i, avec B

=

9

0 0

. Ainsi, on a kx

k

=

kx

k

, et en prenant la racine, kx

k =

√2 3

kx

k.

(iii) (1 pt). La méthode du gradient à pas constant donne une vitesse de convergence linéaire, à taux 5/9 > 0.5.

2

Avec la méthode (QN 1) on a une vitesse de convergence linéaire à taux

√2

3

≈ 0.47 < 0.5. Cette méthode est donc plus rapide que (GP C) (même avec le pas optimal).

e/ (2 pt). A la ligne 3, d est un vecteur de taille 2 : d = (1/ √ 6, 1/ √

3)

. Ce n’est pas une matrice ! La multiplication d ∗ x est une multiplication élément par élément. On a bien

(d ∗ x) =

√1 6

x

√1 3

x

!

=

√1

6

0

0

3

! x

x

.

La multiplication dot est la multiplication usuelle de matrices.

f/

(i) (1 pt). Cette fois, on a

x ]

= C x f

avec C =

I

−

6

0 0

=

0 −

−

0

.

(ii) (1 pt). On trouve

x ]

= C

x f

avec C

=

9

0 0

. (iii) (1 pt). Par une récurrence immédiate, on trouve que k x f

k ≤ C(

√2

3

)

avec C = max{kx

k, kx

k} par exemple. La suite x f

converge donc vers x

linéairement à taux

√2

3

. C’est la même vitesse que (QN1), donc ces méthodes sont semblables, et les deux sont mieux que (QN2).

Dernières remarques importantes

1. L’équation U

U = I

n’implique pas que U est inversible. C’est le cas si seulement si U est une matrice carrée. (Si U est carré, on peut dire en effet dire que det(U

U) = det(U

) det(U ) = det(U )

6= 0.

Dans le cas général, on peut juste dire que P = U U

est une matrice de projection, car on a P

= (U

U )(U

U ) = U

(U

U )U = U

U = P.

2. Si l’énoncé commence par Le but de cet exercice est de montrer (*), on ne peut pas commencer la réponse par D’après (*),....

3