On note S d + ( R ) et S d ++ ( R ) l’ensemble des matrices symétriques positives et définies positive respectivement.

Examen (L3) Méthodes Numériques : Optimisation.

11 mai 2021 D. Gontier, [email protected]

Deux heures. Les documents et calculatrices ne sont pas autorisés.

Le sujet fait 1 page recto-verso.

On note S _d ⁺ ( R ) et S _d ⁺⁺ ( R ) l’ensemble des matrices symétriques positives et définies positive respectivement.

On note h·, ·i le produit scalaire canonique de R ^d , et S ^d−1 = {u ∈ R ^d , kuk = 1}.

On rappelle le théorème de Cesàro, qui dit que si (u _n ) converge vers `, alors v _n := _n ¹ P n−1

k=0 u _k converge aussi vers `.

Exercice 1. Une fonction qui s’annule fortement...

Soit p un entier pair plus grand que 4. On pose F(x) = x ^p . Soit 0 < α < _p ² , on étudie la suite x ₀ = 1, x _n+1 = x _n − αF ⁰ (x _n ).

a/ Quel est le minimum de F ? Est-ce que F a un unique minimiseur ?

b/ Montrer que la suite (|x _n |) _n est strictement décroissante. Quelle est la limite de la suite x _n ? c/ On pose y _n = x ^p−2 _n . Montrer que y _n+1 = y _n (1 − αpy _n ) ^p−2 , puis que

1 y _n+1 − 1

y _n converge vers αp(p − 2).

d/ Montrer que ¹ _{n y} ¹

n

converge vers αp(p − 2), puis que x n ∼ Cn

, avec une constante C à expliciter.

e/ Quelle est la vitesse de convergence de la suite (x _n ) ?

On regarde maintenant la suite de Newton pour minimiser F , appelée (z _n ) qui commence à z ₀ = 1.

f/ Montrer que

z n = p − 2

p − 1 ⁿ

. g/ Que se passe-t-il pour p = 2 ? Pouvait-on prédire le résultat ? h/ Quelle est la limite de (z n ) ? Quelle est la vitesse de convergence ?

Exercice 2. Minimisation non linéaire

Soit g : R → R une fonction C ^∞ ( R , R ) convexe, telle que g ⁰ (0) ≥ 0, et telle que lim t→∞ g(t)/t = ∞.

Soit A ∈ S _d ⁺⁺ ( R ) une matrice définie positive, et b ∈ R ^d . On considère la fonction F : R ^d → R définie par F (x) := g (hx, Axi) − hb, xi.

a/ Montrer que F est continue, et coercive.

b/ On rappelle que x 7→ hx, Axi est strictement convexe. Montrer que g est croissante sur R ⁺ . En déduire que F a un unique minimiseur x _∗ ∈ R ^d .

c/ Montrer que

2g ⁰ (hx _∗ , Ax _∗ i) Ax _∗ = b.

d/ Montrer qu’il existe λ ∈ R tel que x _∗ = λA ⁻¹ b. De quel problème le nombre λ est-il le minimiseur ? e/ Application : Soit p ≥ 1. Calculer le minimiseur x _∗ de

F 1 (x) := hx, Axi ^p − hb, xi.

f/ Dans le cas général, quel(s) algorithme(s) proposeriez-vous pour calculer x ∗ numériquement ?

Suite au verso.

Exercice 3. Approximation de matrices

Soit A ∈ S _d ⁺⁺ ( R ). Dans cet exercice, on cherche à résoudre argmin

kA − Bk op , B ∈ S _d ⁺ ( R ) de rang 1 .

On note A =

d

X

i=1

λ i |u i ihu i | la décomposition spectrale de A, avec (u 1 , · · · , u d ) une base orthonormale de R ^d , et λ 1 ≥ λ 2 ≥ · · · ≥ λ d > 0 les valeurs propres de A dans l’ordre décroissant.

a/ On rappelle qu’une matrice B est de rang 1 ssi elle est de la forme B = |aihb| avec a, b ∈ R ^d . a1/ Montrer que si B = |aihb|, alors B ^T = |biha|.

a2/ Montrer que Im(B) ⊂ Vect(a). En déduire que B est symétrique ssi a et b sont colinéaires.

a3/ Montrer que B ∈ S _d ⁺ ( R ) est de rang 1 ssi B est de la forme B = λ|uihu| avec λ > 0 et u ∈ S ^d−1 . b/ Soit B 1 := λ 1 |u 1 ihu 1 |.

b1/ Montrer que B 1 ∈ S _d ⁺ ( R ), et est de rang 1.

b2/ Montrer que kA − B 1 k op = λ 2 .

c/ Soit B de rang 1 de la forme B = λ|uihu| avec λ > 0 et u ∈ S ^d−1 .

c1/ Pour θ ∈ R , on pose v θ = cos(θ)u 1 + sin(θ)u 2 . Montrer que v θ ∈ S ^d−1 .

c2/ Montrer qu’il existe θ ∈ R tel que hv θ , ui = 0. Indice : on pourra calculer hv θ , uihv θ+π , ui...) c3/ Montrer que, pour cette valeur de θ, on a hv θ , (A − B)v θ i ≥ λ 2 .

d/ Montrer que B 1 est un minimiseur du problème.

Exercice 4. Mon code a des bugs

On rappelle que les itérations du gradient conjugué, pour résoudre Ax = b, sont de la forme x 1 = 0, r 1 = p, p 1 = b

α n = kr n k ²

kp n k ² _A , x n+1 = x n + α n p n , r n+1 = r n − α n Ap n , β n = kr n+1 k ²

kr n k ² , p n+1 = r n+1 + β n p n .

Voici un code qui implémente la méthode.

Code 1 – Algorithme du gradient conjugué.

1 d e f g r a d i e n t C o n j u g u e( A , b , tol =1 e -6) : 2 x0 , p0 , r0 = 0 , b , b # I n i t i a l i s a t i o n 3

4 f o r n in r a n g e ( d ) :

5 if dot ( A , xn ) - b < tol :

6 r e t u r n xn

7 Apn = dot ( A , pn )

8 a l p h a n = dot ( rn , rn ) / dot ( pn , Apn ) 9 xn = xn + a l p h a n * pn

10 r n p 1 = rn - a l p h a n * Apn

11 b e t a n = dot ( rnp1 , r n p 1 ) / dot ( rn , rn ) 12 pn = r n p 1 + b e t a n * pn

a/ Ce code comporte-il des erreurs ? Si oui, lesquelles trouvez-vous ? b/ Quel est le rôle de la ligne 7 ?

c/ Quel est le rôle de la ligne 4 ?