On rappelle que S

(1)

Partiel (L3) Méthodes Numériques : Optimisation.

9 mars 2021 D. Gontier, gontier@ceremade.dauphine.fr

Deux heures. Les documents et calculatrices ne sont pas autorisés.

1 page recto-verso.

On rappelle que S

d

( R ) est l’ensemble des matrices symétriques. On rappelle aussi la formule de Taylor-Young à l’ordre 2 :

f (x + h) = f (x) + f

⁰

(x)h + 1

2 f

⁰⁰

(x + c)h

²

, pour un c ∈ (0, h).

Exercice 1. (Méthode de Steffensen)

Soit f : R → R une fonction de classe C

^∞

, et soit x

_∗

∈ R tel que f (x

_∗

) = 0 et f

⁰

(x

_∗

) 6= 0.

On considère la suite

x

n+1

= Φ(x

n

), avec Φ(x) := x − f (x)

²

f (x + f(x)) − f (x) . a/ On rappelle le développement limité à l’ordre 1 de f , de la forme

f (x

_∗

+ h) = f

⁰

(x

_∗

)h + O(h

²

).

Calculer le développement limité (prendre son temps...) : a1/ à l’ordre 1 de f (x

_∗

+ h + f (x

_∗

+ h)).

a2/ à l’ordre 2 de f (x

_∗

+ h)

²

. b/ En déduire que

Φ(x

_∗

+ h) = x

_∗

+ O(h

²

).

c/ Montrer que Φ(x

_∗

) = x

_∗

et que Φ

⁰

(x

_∗

) = 0.

d/ On suppose qu’il existe 0 < ε < 1 tel que max

x∈B(x∗,ε)

|Φ

⁰⁰

(x)| ≤ 2.

On suppose aussi que x

0

∈ B(x

_∗

, ε). Montrer que toute la suite (x

n

) est dans B(x

_∗

, ε), et que

|x

n+1

− x

_∗

| ≤ |x

n

− x

_∗

|

²

. e/ Quelle est la vitesse de convergence de (x

_n

) vers x

_∗

?

f/ Quel est le lien entre la méthode de Newton, la méthode de Steffensen, et les différences finies ? a/ Pour a1, on a

f (x

_∗

+ h + f (x

_∗

+ h)) = f x

_∗

+ h + f

⁰

(x

_∗

)h + O(h

²

)

= f

⁰

(x

_∗

) [h + f

⁰

(x

_∗

)h] + O(h

²

)

= f

⁰

(x

_∗

)h + f

⁰

(x

_∗

)

²

h + O(h

²

).

Pour a2, on a

f

²

(x

_∗

+ h) = f

⁰

(x

_∗

)h + O(h

²

)

²

= f

⁰

(x

_∗

)

²

h

²

+ O(h

³

).

b/ Pour commencer, on remarque que

f (x

∗

+ h + f (x

∗

+ h)) − f (x

∗

+ h) = f

⁰

(x

∗

)

²

h + O(h

²

).

donc

f

²

(x

_∗

+ h)

f (x

∗

+ h + f (x

∗

+ h)) − f (x

∗

+ h) = f

⁰

(x

_∗

)

²

h

²

+ O(h

³

) f

⁰

(x

∗

)

²

h + O(h

²

) =

h + O(h

²

) 1 + O(h)

= h + O(h

²

).

Enfin, on trouve

Φ(x

_∗

+ h) = x

_∗

+ h − h + O(h

²

) = x

_∗

+ O(h

²

).

c/ Le développement limité de Φ peut aussi s’écrire Φ(x

_∗

+ h) = Φ(x

_∗

) + Φ

⁰

(x

_∗

)h + O(h

²

). Par identification, on a Φ(x

_∗

) = x

_∗

et Φ

⁰

(x

_∗

) = 0.

d/ D’après Taylor-Young, pour tout x ∈ R , il existe c ∈ (x

_∗

, x) tel que Φ(x) − Φ(x

_∗

) − Φ

⁰

(x

_∗

)

| {z }

=0

(x − x

_∗

) = 1

2 Φ

⁰⁰

(c)(x − x

_∗

)

²

.

(2)

Supposons x

n

∈ B(x

_∗

, ε). On a

|x

n+1

− x

_∗

| = |Φ(x

n

) − Φ(x

_∗

)| = 1

2 |Φ

⁰⁰

(c)| · |x

n

− x

_∗

|

²

≤ 1 2 max

c∈B(x∗,ε)

|Φ

⁰⁰

(c)| · |x

n

− x

_∗

|

²

≤ |x

n

− x

_∗

|

²

.

En particulier, on a |x

n+1

− x

_∗

| ≤ ε

²

≤ ε (car 0 < ε < 1), donc x

n+1

∈ B(x

_∗

, ε). Par récurrence, toute la suite (x

n

) est dans B(x

_∗

, ε).

e/ On obtient alors

|x

n

− x

_∗

| ≤ |x

n−1

− x

_∗

|

²

≤ |x

n−2

− x

_∗

|

²²

≤ · · · ≤ |x

0

− x

_∗

|

²ⁿ

, et on reconnaît une vitesse quadratique.

f/ On remarque que la méthode de Steffensen est une méthode de Newton, où on a fait l’approximation f

⁰

(x) ≈ f (x + h) − f(x)

h , avec h = f (x).

Si x

n

converge vers x

∗

, on a f (x

n

) → 0, et le pas de la différence finie converge vers 0 : l’approximation est de plus en plus précise.

On remarquera que, comparé à la méthode de Newton, la méthode de Steffensen ne nécessite pas d’évaluer f

⁰

.

Exercice 2. (Perturbation de matrices diagonales)

Soit A ∈ S

d

( R ). On suppose que A est de la forme A = D + E, où D est une matrice diagonale diag(λ

1

, · · · , λ

d

) avec 0 < λ

1

≤ · · · ≤ λ

d

, et E ∈ S

d

( R ) vérifie kEk

op

< λ

1

. On pose √

D := diag( √

λ

1

, · · · , √ λ

d

).

a/ Montrer que √

D est inversible, et que √ D √

D = D. Que vaut k √

D

⁻¹

k

_op

? b/ Montrer que A = √

D I

d

+ √

D

⁻¹

E √

D

⁻¹

√ D.

c/ Montrer que, pour tout x ∈ R

^d

, on a

−kEk

op

kxk

²

≤ hx, Exi ≤ kEk

op

kxk

²

, et que k √

D

⁻¹

xk

²

≤ 1 λ

1

kxk

²

.

d/ Montrer que pour tout x ∈ R

^d

avec kxk = 1, on a

1 − kEk

op

λ

1

≤ hx, I

d

+ √

D

⁻¹

E √ D

⁻¹

xi ≤

1 + kEk

op

λ

1

. En déduire que A est inversible.

e/ Montrer que pour résoudre l’équation Ax = b, il suffit de résoudre : (A) √

D b e = b, (B) I

d

+ √

D

⁻¹

E √ D

⁻¹

e x = e b, (C) √

Dx = x. e

f/ Pourquoi les problèmes (A) et (C) sont "faciles" à résoudre ?

g/ On veut résoudre (B) avec une méthode de gradient à pas constant. On prend le pas égale à τ = 1. Quelle est la vitesse de convergence ?

h/ Que se passe-t-il si kEk

op

λ

1

? a/ √

D est une matrice diagonale, où tous les termes diagonaux sont non-nuls, donc √

D est diagonal. On a

√ D

√

D = diag( p

λ

1

, · · · , p

λ

d

) × diag( p

λ

1

, · · · , p

λ

d

) = diag(λ

1

, · · · , λ

d

) = D.

Les valeurs propres de √

D

⁻¹

sont 0 ≤

_λ¹

d

≤ · · · ≤

_λ¹

1

. On en déduit que k √

D

⁻¹

k

op

= 1 λ

₁

. b/ Il suffit de développer le terme de droite. On a

√ D

I

^d

+ √

D

⁻¹

E √

D

⁻¹

√ D = √

D √

D + E = D + E = A.

c/ Pour la première inégalité, on a

λ

₁

(E)kxk

²

≤ hx, Exi ≤ λ

_d

(E)kxk

²

.

Or |λ

1

| ≤ kEk

op

et |λ

d

| ≤ kEk

op

, ce qui donne le résultat. Pour la deuxième égalité, on remarque que √ D est symétrique, donc

k √

Dxk

²

= h √ Dx, √

Dxi = √

Dx

T

√

Dx = x

^T

√ D

^T

√

Dx = x

^T

Dx = hx, Dxi.

2

(3)

d/ Pour tout x ∈ R

^d

avec kxk = 1, on a, car √

D est symétrique, hx, √

D

⁻¹

E √

D

⁻¹

xi = hy, Eyi, avec y = √ D

⁻¹

x.

Avec les inégalités précédentes, on obtient

|hy, Eyi| ≤ kEk

op

kyk

²

, et kyk

²

≤ 1 λ

1

.

Donc

− kEk

op

λ

1

≤ hx, √

D

⁻¹

E √

D

⁻¹

xi ≤ kEk

op

λ

1

.

et le résultat suit.

En particulier, comme kEk

op

< λ

1

, on a 1 −

^kEk_λ^op

1

> 0. On en déduit que (1 − √

D

⁻¹

E √

D

¹

) est définie positive, donc inversible. A est le produit de trois matrices inversibles, donc A est inversible.

e/ On vérifie que

√ D

I

d

− √ D

⁻¹

E

√ D

¹

√

Dx

| {z }

ex

=

√ D

I

d

− √ D

⁻¹

E

√ D

¹

e x

| {z }

eb

=

√

De b = b.

f/ Pour résoudre (A) et (C), il suffit d’inverser une matrice diagonale, ce qui est triviale (l’inverse est diag( √

λ

1

−1

, · · · , √ λ

d

−1

).

g/ On veut résoudre Ax e = b avec A e = I

d

− √

D

⁻¹

E √ D

¹

. Avec le gradient à pas constant, d’après le cours, on a une convergence linéaire à taux α = max{|1 − τ λ

1

( A)|, e |1 − τ λ

d

( A)|}. D’après la question d/, on a e

1 − kEk

op

λ

₁

≤ λ

₁

( A) e ≤ · · · ≤ λ

_d

A e

≤ 1 + kEk

op

λ

₁

. Avec τ = 1, on obtient α ≤ kEk

op

λ

1

, qui est bien plus petit que 1.

h/ Si kEk

op

λ

1

1, on a α 1, et la convergence est très rapide.

Exercice 3. (Exponentielle) Soit λ ∈ R

+

. On pose

x

_n

:=

n−1

X

k=0

λ

^k

k! (somme partielle), et x

_∗

= exp(λ).

a/ Montrer que, pour n ≥ λ, on a λ

ⁿ

n! ≤ |x

_∗

− x

n

| ≤ λ

ⁿ

n!

1 + λ

n + λ

²

n

²

+ λ

³

n

³

+ · · ·

= λ

ⁿ

n!

n n − λ

.

En déduire qu’on a l’équivalence |x

_∗

− x

_n

| ∼

^λ_n!ⁿ

pour n grand.

b/ On rappelle la formule de Stirling, qui dit que n! ∼ √

2πn

ⁿ_e

n

. Montrer que la suite (x

_n

) converge vers x

_∗

super-linéairement.

c/ On suppose qu’on a codé la fonction exponentielle. On veut maintenant calculer log(a) pour a > 0. Pour cela, on cherche à résoudre exp(x) = a avec la méthode de Newton. Quelle est la formule d’itération dans ce cas ?

a/ On a

x

_∗

− x

n

=

∞

X

k=n

λ

^k

k! . C’est une somme de termes positifs. On a donc |x

∗

− x

_n

| ≤ λ

ⁿ

n! (le premier terme). Pour l’autre inégalité, on écrit que

|x

_∗

− x

n

| = λ

ⁿ

n!

1 + λ

(n + 1) + λ

²

(n + 1)(n + 2) + · · ·

≤ λ

ⁿ

n!

1 + λ

n + λ

²

n

²

+ · · ·

.

(4)

On reconnait la série géométrique de raison

^λ_n

. Comme on a supposé n ≥ λ, la raison est plus petite que 1, et la série converge. On a

1 + λ

n + λ

²

n

²

+ · · ·

= 1

1 −

^λ_n

= n n − λ . On a donc

λ

ⁿ

n! ≤ |x

n

− x

∗

| ≤ λ

ⁿ

n!

n n − λ

, avec

n n − λ

−−−−→

n→∞

1, et on en déduit que |x

_n

− x

_∗

| ∼

^λ_n!ⁿ

.

b/ Avec la formule de Stirling, on obtient

|x

n

− x

∗

| ∼ 1

√ 2πn

eλ n

n

≤ eλ

n

.

Pour tout α > 0, il existe n

₀

tel que eλ/n

₀

< α. Pour n > n

₀

, on a donc

|x

n

− x

_∗

| ≤ eλ

n

ⁿ

≤ α

ⁿ

.

Donc x

n

converge vers x

_∗

à taux au plus α. Ceci étant vrai pour tout α > 0, on a bien que (x

n

) converge vers x

_∗

super-linéairement.

c/ On pose f (x) = e

^x

− a. La formule de Newton s’écrit x

n+1

= x

n

− f (x

n

)

f

⁰

(x

_n

) = x

n

− e

^xⁿ

− a

e

^xⁿ

= x

n

− 1 + ae

^−xⁿ

.

Exercice 4. (Un peu de code)

Voici un algorithme pour la méthode de Steffensen (cf Exercice 1)

1 d e f s t e f f e n s e n( f , x0 ) :

2 xn , L = x0 , []

3 f o r n in r a n g e( 1 0 0 0 ) :

4 fxn = f ( xn )

5 if a b s( fxn ) < 1 e - 1 0 :

6 r e t u r n xn , L

7 L . a p p e n d ( xn )

8 xn = xn - fxn * * 2 / ( f ( xn + fxn ) - fxn )

a/ Combien d’appels à la fonction f fait-on par itérations ? b/ Quel est le rôle de la ligne 5 ?

On veut calculer √

5. On utilise le code suivant :

1 d e f f( x ) : r e t u r n x **2 - 5 2 xstar , L = s t e f f e n s e n ( f , 1 0 0 )

3 p l o t ([a b s( xn - s q r t (5) ) f o r xn in L ]) # On a f f i c h e les e r r e u r s

Voici ce qu’on obtient

c/ Qu’observe-t-on ?

d/ En faisant l’approximation f (x) ≈ x

²

pour x grand, montrer que x

_n+1

≈ x

_n

− 1 si x

_n

est grand. Cela est-il en accord avec le graphe ?

4

(5)

a/ Il y a deux évaluation de f par itérations : une ligne 4, et une ligne 8.

b/ La méthode Steffensen veut résoudre f (x) = 0. A la ligne 5, on s’arrête si f(x) < 10