Examen Méthodes Numériques : Optimisation (L3)

Examen Méthodes Numériques : Optimisation (L3)

25/05/2018 D. Gontier,[email protected]

Deux heures. Les documents et calculatrices ne sont pas autorisés.

Il y a 3 exercices. Les exercices sont indépendants.

Rappels

On note Sd l’ensemble des matrices symétriques réelles de Md(R), et S_d⁺ (resp. S_d⁺⁺) le sous-ensemble des matrices symétriques positives (resp. définies positives).

Les itérations du gradient conjugué sont définies parx0=0,p0=r0=b, puis

(GC) αn= r^T_nArn

p^T_nAp_n, xn+1=xn+αnpn, rn+1=rn−αnApn, βn=−r^T_n+1r_n+1

r^T_nr_n , pn+1=rn+1+βnpn. Exercice 1 : Le gradient conjugué réduit.

SoitA∈ S_d⁺⁺,b∈R^d, et soitQ(x) := ¹₂x^TAx−b^Tx.

SoitU := (u1, . . . ,um)∈ M_d×m(R)une famille demvecteurs orthonormés, avecm≤d, et soitK:= Im (U).

On veut résoudre le problème d’optimisation sous contraintes

(∗) argmin{Q(x), x∈ K}. a/ Montrer que(∗)admet une unique solution, qu’on noterax^∗∈ K.

b/ Montrer quex∈ K si et seulement si il existey∈R^mtel que x=Uy.

c/ Montrer quex^∗=Uy^∗, oùy^∗∈R^mest solution du problème (∗∗) argmin

1

2y^T(U^TAU)y−(U^Tb)^Ty, y∈R^m

. d/ Montrer queU^TU =Im, puis queU^TAU ∈ S_m⁺⁺.

e/ En déduire quex^∗=U(U^TAU)⁻¹U^Tb.

f/ Proposer des itérations de type (GC) pour résoudre (*). Combien d’itérations faut-il pour trouverx^∗? g/ Montrer que la projectionP_K surKpeut-être définie à partir d’un problème de type(∗).

h/ Montrer queP_K=U U^T.

Exercice 2 : Initialisation pour le critère de Wolfe

Soit F : R^d →R une fonction de classeC¹ bornée inférieurement, soit x∈R^d tel que ∇F(x)6=0, et soit h∈R^d une direction de descente deF enx.

Dans cet exercice, on cherche deux nombres 0 < τ < T tel que τ vérifie le critère d’Armijo de paramètre 0< c1<1, et tel queT ne le vérifie pas,i.e.

(F(x+τh) ≤F(x) +c1τh∇F(x),hi, F(x+Th) > F(x) +c₁Th∇F(x),hi.

Dans la suite, on noteg(t) := F(x+th)−F(x)

t .

a/ Montrer qu’il existeε >0 tel que pour toutt∈[0, ε), on ag(t)≤c1h∇F(x),hi.

b/ Soit l’algorithmealgo1suivant :

1 d e f a l g o 1( F , nablaF , x , h , c1 , N i t e r = 1 0 0 ) : 2 tau = n o r m ( x ) / n o r m ( h )

3 f o r n in r a n g e( N i t e r ) :

4 if F ( x + tau * h ) <= F ( x ) + c1 * tau * dot ( n a b l a F ( x ) , h ) :

5 r e t u r n tau

6 tau = tau /2

(i) Expliquez brièvement ce que fait cet algorithme, et pourquoi il devrait s’arrêter.

(ii) Combien de fois les fonctionsF et ∇F sont-elles évaluées par itération ? (iii) Comment amélioreralgo1pour qu’il exécute moins d’évaluations de fonctions ? c/ Montrer qu’il existeA >0tel que pour toutt > A, on a g(t)> c₁h∇F(x),hi.

d/ Comment modifieralgo1pour qu’il renvoie un nombreT >0ne vérifiant pas le critère d’Armijo ?

Exercice 3 : Quasi-Newton pour matrices à diagonale dominante SoitA:=

6 2 2 3

et soitQ(x) := ¹₂x^TAx.

a/ Calculer les valeurs propres deA.

b/ Calculer la Hessienne deQ, et montrer quex^∗:= (0,0)^T est le minimum strict de Q.

c/ Soitτ >0, et soit(x_n)la suite définie parx₀∈R² et

xn+1=xn−τ Axn (GP C).

(i) Montrer que si0< τ < ²₇, alors la suite(xn)converge versx^∗.

(ii) Montrer que le pas optimal estτ^∗=²₉. Quelle est la vitesse de convergence dans ce cas ? d/ On considère maintenant la suite(x⁰_n)définie parx⁰₀∈R² et

x⁰_n+1 =x⁰_n−

√1

6 0

0 ^√1

3

! A

√1

6 0

0 ^√1

3

!

x⁰_n (QN1).

(i) Montrer quex⁰_n+1=Bx⁰_n, oùB est une matrice qu’on calculera explicitement.

(ii) Montrer quekx⁰_nk= √ 2/3ⁿ

kx⁰₀k.

(iii) Sachant que√

2/3≈0.47, que pensez-vous de la méthode(QN1)par rapport à(GP C)? e/ On veut implémenter la méthode(QN1)avec le code suivant :

1 d e f a l g o E x o 3( x0 , tol =1 e -6 , N i t e r = 1 0 0 0 ) : 2 A = a r r a y ([[6 ,2] , [ 2 ,3 ] ])

3 d = a r r a y ( [ 1 / s q r t (6) , 1/ s q r t (3) ])

4 xn , L = x0 , []

5 f o r n in r a n g e( N i t e r ) : 6 if n o r m ( xn ) < tol :

7 r e t u r n xn , L

8 L . a p p e n d ( xn )

9 xn = xn - d * dot ( A , d * xn )

Qui estddéfini à la ligne 3, et quelles sont les différentes multiplications qu’on a utilisées à la ligne 9? f/ On regarde maintenant la suite(xf_n)définie parfx₀∈R² et

x]_n+1=xf_n− 1

6 0 0 ¹₃

Axf_n (QN2).

(i) Montrer quex]_n+1=Cxf_n, oùC est une matrice qu’on calculera explicitement.

(ii) Montrer quex]_n+2= ²₉xf_n.

(iii) La méthode(QN2)est-elle meilleure que(QN1)et/ou(GP C)?

2