On note S

Examen (L3) Méthodes Numériques : Optimisation.

11 mai 2021 D. Gontier, [email protected]

Deux heures. Les documents et calculatrices ne sont pas autorisés.

1 page recto-verso.

On note S

( R ) et S

( R ) l’ensemble des matrices symétriques positives et définies positive respectivement.

On note aussi h·, ·i le produit scalaire canonique de R

, et S

= {u ∈ R

, kuk = 1}.

Enfin, on rappelle le théorème de Cesàro, qui dit que si (u

) converge vers `, alors v

:=

P

k=0

u

converge aussi vers `.

Exercice 1. Une fonction qui s’annule fortement...

Soit p un entier pair plus grand que 4. On pose F(x) = x

. Soit 0 < α <

, on étudie la suite x

= 1, x

= x

− αF

(x

).

a/ Quel est le minimum de F ? Est-ce que F a un unique minimiseur ?

b/ Montrer que la suite (|x

|)

est strictement décroissante. Quelle est la limite de la suite x

? c/ On pose y

= x

. Montrer que y

= y

(1 − αpy

)

, puis que

1 y

− 1 y

converge vers αp(p − 2).

d/ Montrer que

n

converge vers αp(p − 2), puis que x

∼ Cn

, avec une constante C à expliciter.

e/ Quelle est la vitesse de convergence de la suite (x

) ?

On regarde maintenant la suite de Newton , appelée (z

) qui commence à z

= 1.

f/ Montrer que

z

= p − 2

p − 1

. g/ Que se passe-t-il pour p = 2 ? Pouvait-on prédire le résultat ? h/ Quelle est la limite de (z

) ? Quelle est la vitesse de convergence ?

a/ On a F (x) ≥ 0 = F(0), avec égalité ssi x = 0. Donc x = 0 est l’unique minimiseur de F sur R . Le minimum de F est 0.

b/ On a

x

= x

− αpx

= x

1 − αpx

, et donc |x

| = |x

| · |1 − αpx

|.

On a |x

| = |1 − αp| < 1 car 0 < α < 2/p. Par récurrence, on obtient |1 − αpx

| ≤ |1 − αp| < 1, et donc |x

| < |x

|. La suite |x

| est décroissante, bornée inférieurement par 0, donc converge vers une limite 0 ≤ ` ≤ x

< 1. On doit avoir

` = `(1 − αp`

).

La seule solution de cette équation est ` = 0, donc x

converge vers 0.

c/ On a

x

= x

(1 − αpx

)

, donc y

= y

(1 − αpy

)

, et 1 y

= 1 y

1 (1 − αpy

)

Comme y

tend vers 0, on a aussi

(1 − αpy

)

= 1 + (p − 2)αpy

+ o(y

), et donc

1 y

= 1

y

(1 + (p − 2)αpy

+ o(y

)) = 1

y

+ αp(p − 2) + o(1).

ce qu’il fallait démontrer.

d/ On utilise le théorème de Cesaro pour la suite u

:= (

n+1

−

n

). On a

1 n

n−1

X

k=0

u

= αp(p − 2), avec

1 n

n−1

X

k=0

u

= 1 n

n−1

X

k=0

1 y

− 1

y

= 1 n

1 y

− 1

= 1

ny

+ o(1).

On en déduit que

n

= αp(p − 2). Ainsi,

1 nx

→ αp(p − 2), et enfin x

∼ 1

np(p − 2)

.

e/ C’est une convergence sous-linéaire : n

converge vers 0 plus lentement que α

. f/ Avec Newton, on a

z

= z

− f

(z

)

f

(z

) = z

− pz

p(p − 1)z

= z

− 1

p − 1 z

= z

1 − 1

p − 1

= z

p − 2 p − 1

.

g/ On reconnaît une suite géométrique avec z

= 1. On a directement z

=

p − 2 p − 1

.

h/ Comme 0 < p − 2 < p

, le terme entre parenthèse est plus petit que 1. Donc z

→ 0. C’est une vitesse linéaire à taux α =

.

Remarque : plus p est grand, plus α est proche de 1. Plus le minimum est dégénéré, plus la convergence est lente ! On est loin de la convergence quadratique de Newton en général.

Exercice 2. Minimisation non linéaire

Soit g : R → R une fonction C

( R , R ) convexe, telle que g

(0) ≥ 0, et telle que lim

g(t) ≥ t.

Soit A ∈ S

( R ) une matrice définie positive, et b ∈ R

. On considère la fonction F : R

→ R définie par F (x) := g (hx, Axi) − hb, xi.

a/ Montrer que F est continue, et coercive.

b/ On rappelle que x 7→ hx, Axi est strictement convexe. Montrer que g est croissante sur R

. En déduire que F a un unique minimiseur x

∈ R

.

c/ Montrer que

2g

(hx

, Ax

i) Ax

= b.

d/ Montrer qu’il existe λ ∈ R tel que x

= λA

b. Le nombre λ est le minimiseur de quelle problème ? e/ Application : Soit p ≥ 1. Calculer le minimiseur x

de

F

(x) := hx, Axi

− hb, xi.

f/ Dans le cas général, quel(s) algorithme(s) proposeriez-vous pour calculer x

numériquement ?

a/ F est continue comme composée de fonctions continues. Comme g(t) ≥ |t|, on a F (x) ≥ hx, Axi − hb, xi.

D’après le cours, le terme de droite est coercive, donc F aussi. En fait, on a, hx, Axi − hb, xi ≥ λ

(A)kxk

− kbk · kxk − −−− →

x→∞

+∞.

b/ Le fait que N (x) := hx, Axi est strictement convexe a été démontré en TD. On a donc 0 ≤ N (tx + (1 − t)y) ≤ tN (x) + (1 − t)N (y).

On a g

≥ 0 car g est convexe. Donc g

est croissante, et comme g

(0) > 0, on a g

(x) > 0 sur R

, donc g est strictement croissante sur R

. On peut alors composer l’inégalité précédente par g, et on a

g (N (tx + (1 − t)y)) ≤ g (tN (x) + (1 − t)N(y)) ≤ tg(N(x)) + (1 − t)g(N (y)),

2

où on a utilisé la convexité de g dans la dernière inégalité. On en déduit que F est convexe.

F est une fonction strictement convexe, continue et coercive, donc F admet un unique minimum d’après le cours.

c/ Soit x

le point critique de F . Comme x

est un point critique, il annule le gradient. On a (par exemple avec la règle de la chaîne) que

∇F (x) = g

(hx, Axi)2Ax − b.

d/ Si g

(hx

, Ax

i) = 0, alors b = 0, et x

= 0 est le minimum. Il suffit de prendre λ = 0 par exemple.

Sinon, g

(hx

, Ax

i) 6= 0. En notant λ :=

, on a

Ax

= λb, et comme A est inversible, x

= λA

b.

Il ne reste plus qu’à trouver λ. Comme x

est le minimum de F sur tout R

, λ est le minimum de G(λ) :=

F (λA

b), donc λ minimise

G(t) := g t

hb, A

bi

− thb, A

bi.

e/ Si F

(x) = hx, Axi

− hp, xi, alors λ minimise G(t) = t

hb, A

bi

− thb, A

bi = t

Θ

− tΘ, où on a noté Θ := hb, A

bi ∈ R . En dérivant, on obtient

G

(λ) = 0 ssi (2p)λ

Θ

− Θ ssi λ = 1

(2p)Θ

.

Le minimiseur est donc

x

=

1 (2p)hb, A

bi

A

b.

f/ Il faut calculer A

b. Pour cela, on peut utiliser le gradient conjugué. Ensuite, il faut trouver λ comme minimum d’un problème unidimensionnel. On peut utiliser la méthode de la section dorée, ou la méthode de la sécante.

Exercice 3. Approximation de matrices

Soit A ∈ S

( R ). Dans cet exercice, on cherche à résoudre argmin

kA − Bk

, B ∈ S

( R ) de rang 1 .

On note A =

d

X

i=1

λ

|u

ihu

| la décomposition spectrale de A, avec (u

, · · · , u

) une base orthonormale de R

, et λ

≥ λ

≥ · · · ≥ λ

> 0 les valeurs propres de A dans l’ordre décroissant.

a/ On rappelle qu’une matrice B est de rang 1 ssi elle est de la forme B = |aihb| avec a, b ∈ R

. a1/ Montrer que si B = |aihb|, alors B

= |biha|.

a2/ Montrer que Im(B) ⊂ Vect(a). En déduire que B est symétrique ssi a et b sont colinéaires.

a3/ Montrer que B ∈ S

( R ) est de rang 1 ssi B est de la forme B = λ|uihu| avec λ > 0 et u ∈ S

. b/ Soit B

:= λ

|u

ihu

|.

b1/ Montrer que B

∈ S

( R ), et est de rang 1.

b2/ Montrer que kA − B

k

= λ

.

c/ Soit B de rang 1 de la forme B = λ|uihu| avec λ > 0 et u ∈ S

.

c1/ Pour θ ∈ R , on pose v

= cos(θ)u

+ sin(θ)u

. Montrer que v

∈ S

.

c2/ Montrer qu’il existe θ ∈ R tel que hv

, ui = 0. Indice : on pourra calculer hv

, uihv

, ui...) c3/ Montrer que, pour cette valeur de θ, on a hv

, (A − B)v

i ≥ λ

.

d/ Montrer que B

est un minimiseur du problème.

a1/ On a B = |aihb| = ab

, et donc B

= ba

= |biha|.

a2/ Pour x ∈ R

, on a Bx = a(hb, xi) ∈ Vect(a). Ceci étant vrai pour tout x, on a Im(B) ⊂ Vect(a). Si B = B

, on a Im(B) = Im(B

), et donc Vect(a) = Vect(b), et donc a et b sont colinéaires.

a3/ Soit u un vecteur normalisé tel que Vect(a) = Vect(b) = Vect(u). On a donc a = αu et b = β u pour un certain α, β ∈ R . En notant λ = αβ, on a

B = |aihb| = |αuihβu| = αβ|uihu| = λ|uihu|.

De plus, comme B ≥ 0, on a 0 ≤ hu, Bui = λkuk

= λ, donc λ ≥ 0, et comme B n’est pas null, λ > 0.

3

b1/ C’est la question précédente.

b2/ On a

A − B

=

d

X

i=2

λ

|u

ihu

| + 0|u

ihu

|.

C’est la décomposition spectrale de A − B

. Les valeurs propres de A −B

sont donc {λ

≥ λ

≥ · · · ≥ λ

≥ 0}.

La plus grande valeur propre est λ

, donc kA − B

k

= λ

. c1/ On a, en développant

kv

k

= hcos(θ)u

+ sin(θ)u

, cos(θ)u

+ sin(θ)u

, i = cos(θ)

ku

k

+ sin(θ)

ku

k + 2 cos(θ) sin(θ)hu

, u

i.

Comme (u

, u

) est orthonormale, on a ku

k = ku

k = 1 et hu

, u

i = 0. Donc kv

k = cos

(θ) + sin

(θ) = 1, et v

∈ S

.

c2/ Considérons la fonction g(θ) := hv

, ui. On a g(θ + π) = −g(θ). D’après le théorème des valeurs intermé- diaires, il existe θ tel que g(θ) = 0.

c3/ Comme hv

, ui = 0, on a hv

, Bv

i = 0, puis

hv

, (A − B)vθi = hv

, Av

= cos

(θ)λ

+ sin

(θ)λ

≥ λ

. d/ Ainsi, pour tout B, de rang 1, on a

kA − Bk

= max{hv, (A − b)vi, v ∈ S

} ≥ hv

, (A − B)v

i ≥ λ

, et l’égalité est atteinte pour B = B

. Donc B

est un minimiseur.

Exercice 4. Mon code a des bugs

On rappelle que les itérations du gradient conjugué, pour résoudre Ax = b, sont de la forme x

= 0, r

= p, p

= b

α

= kr

k

kp

k

, x

= x

+ α

p

, r

= r

− α

Ap

, β

= kr

k

kr

k

, p

= r

+ β

p

. Voici un code qui implémente la méthode.

Code 1 – Algorithme du gradient conjugué.

1 d e f g r a d i e n t C o n j u g u e( A , b , tol =1 e -6) : 2 x0 , p0 , r0 = 0 , b , b # I n i t i a l i s a t i o n 3

4 f o r n in r a n g e( d ) :

5 if dot ( A , xn ) - b < tol :

6 r e t u r n xn

7 Apn = dot ( A , pn )

8 a l p h a n = dot ( rn , rn ) / dot ( pn , Apn ) 9 xn = xn + a l p h a n * pn

10 r n p 1 = rn - a l p h a n * Apn

11 b e t a n = dot ( rnp1 , r n p 1 ) / dot ( rn , rn ) 12 pn = r n p 1 + b e t a n * pn

a/ Ce code comporte plusieurs erreurs, lesquelles trouvez-vous ? b/ Quel est le rôle de la ligne 7 ?

c/ Quel est le rôle de la ligne 4 ?

a/ l.2, x0 doit être un vecteur. Il faut écrire zeros(len(b)) au lieu de 0.

l.4, d n’est pas défini, il faut soit mettre d = len(b), soit écrire for n in range(len(b)).

l.5, il manque une norme : norm ( dot(A, xn) - b) < tol.

l.6, il y a un problème d’indentation.

Il y a aussi des erreurs de mise à jour de variables. Par exemple, l.2, on introduit x

, ..., mais on utilise x

ensuite.

Il faut écrire l.2 : xn, pn, rn = zeros(len(b)), 0, 0.

Enfin, il faut écrire rn = rnp1 à la fin pour mettre à jour la variable rn.

b/ Le rôle de la ligne 7 est de calculer la multiplication Ap

une seule fois. On stocke le résultat, et on utilise ce résultat plusieurs fois.

c/ La ligne 4 est là pour borner le nombre maximal d’itérations. On sait que le GC converge en au plus d

itérations.