On rappelle que S d ( R ) est l’ensemble des matrices symétriques. On rappelle aussi la formule de Taylor-Young à l’ordre 2 :

Partiel (L3) Méthodes Numériques : Optimisation.

9 mars 2021 D. Gontier, gontier@ceremade.dauphine.fr

Deux heures. Les documents et calculatrices ne sont pas autorisés.

1 page recto-verso.

On rappelle que S d ( R ) est l’ensemble des matrices symétriques. On rappelle aussi la formule de Taylor-Young à l’ordre 2 :

f (x + h) = f (x) + f ⁰ (x)h + 1

2 f ⁰⁰ (x + c)h ² , pour un c ∈ (0, h).

Exercice 1. (Méthode de Steffensen)

Soit f : R → R une fonction de classe C ^∞ , et soit x ∗ ∈ R tel que f (x ∗ ) = 0 et f ⁰ (x ∗ ) 6= 0.

On considère la suite

x _n+1 = Φ(x _n ), avec Φ(x) := x − f (x) ²

f (x + f(x)) − f (x) . a/ On rappelle le développement limité à l’ordre 1 de f , de la forme

f (x _∗ + h) = f ⁰ (x _∗ )h + O(h ² ).

Calculer le développement limité (prendre son temps...) : a1/ à l’ordre 1 de f (x ∗ + h + f (x ∗ + h)).

a2/ à l’ordre 2 de f (x _∗ + h) ² . b/ En déduire que

Φ(x _∗ + h) = x _∗ + O(h ² ).

c/ Montrer que Φ(x _∗ ) = x _∗ et que Φ ⁰ (x _∗ ) = 0.

d/ On suppose qu’il existe 0 < ε < 1 tel que max

x∈B(x

,ε)

|Φ ⁰⁰ (x)| ≤ 2.

On suppose aussi que x 0 ∈ B(x _∗ , ε). Montrer que toute la suite (x n ) est dans B(x _∗ , ε), et que

|x n+1 − x ∗ | ≤ |x n − x ∗ | ² . e/ Quelle est la vitesse de convergence de (x _n ) vers x _∗ ?

f/ Quel est le lien entre la méthode de Newton, la méthode de Steffensen, et les différences finies ? Exercice 2. (Perturbation de matrices diagonales)

Soit A ∈ S d ( R ). On suppose que A est de la forme A = D + E, où D est une matrice diagonale diag(λ 1 , · · · , λ d ) avec 0 < λ 1 ≤ · · · ≤ λ d , et E ∈ S d ( R ) vérifie kEk op < λ 1 . On pose √

D := diag( √

λ 1 , · · · , √ λ d ).

a/ Montrer que √

D est inversible, et que √ D √

D = D. Que vaut k √

D ⁻¹ k _op ? b/ Montrer que A = √

D I d + √

D ⁻¹ E √

D ⁻¹ √ D.

c/ Montrer que, pour tout x ∈ R ^d , on a

−kEk op kxk ² ≤ hx, Exi ≤ kEk op kxk ² , et que k √

D ⁻¹ xk ² ≤ 1 λ 1

kxk ² .

d/ Montrer que pour tout x ∈ R ^d avec kxk = 1, on a

1 − kEk op

λ ₁

≤ hx, I d + √

D ⁻¹ E √ D ⁻¹

xi ≤

1 + kEk op

λ ₁

. En déduire que A est inversible.

e/ Montrer que pour résoudre l’équation Ax = b, il suffit de résoudre : (A) √

D b e = b, (B) I d + √

D ⁻¹ E √ D ⁻¹

e x = e b, (C) √

Dx = x. e f/ Pourquoi les problèmes (A) et (C) sont "faciles" à résoudre ?

g/ On veut résoudre (B) avec une méthode de gradient à pas constant. On prend le pas égale à τ = 1. Quelle est la vitesse de convergence ?

h/ Que se passe-t-il si kEk _op λ ₁ ?

Exercice 3. (Exponentielle) Soit λ ∈ R . On pose

x _n :=

n−1

X

k=0

λ ^k

k! (somme partielle), et x _∗ = exp(λ).

a/ Montrer que, pour n ≥ λ, on a λ ⁿ

n! ≤ |x _∗ − x n | ≤ λ ⁿ n!

1 + λ

n + λ ² n ² + λ ³

n ³ + · · ·

= λ ⁿ n!

n n − λ

.

En déduire qu’on a l’équivalence |x _∗ − x _n | ∼ ^λ _n!

pour n grand.

b/ On rappelle la formule de Stirling, qui dit que n! ∼ √

2πn ⁿ _e ⁿ

. Montrer que la suite (x _n ) converge vers x _∗ super-linéairement.

c/ On suppose qu’on a codé la fonction exponentielle. On veut maintenant calculer log(a) pour a > 0. Pour cela, on cherche à résoudre exp(x) = a avec la méthode de Newton. Quelle est la formule d’itération dans ce cas ?

Exercice 4. (Un peu de code)

Voici un algorithme pour la méthode de Steffensen (cf Exercice 1)

1 d e f s t e f f e n s e n( f , x0 ) :

2 xn , L = x0 , []

3 f o r n in r a n g e ( 1 0 0 0 ) :

4 fxn = f ( xn )

5 if a b s( fxn ) < 1 e - 1 0 :

6 r e t u r n xn , L

7 L . a p p e n d ( xn )

8 xn = xn - fxn * * 2 / ( f ( xn + fxn ) - fxn )

a/ Combien d’appels à la fonction f fait-on par itérations ? b/ Quel est le rôle de la ligne 5 ?

On veut calculer √

5. On utilise le code suivant :

1 d e f f ( x ) : r e t u r n x **2 - 5 2 xstar , L = s t e f f e n s e n ( f , 1 0 0 )

3 p l o t ([ a b s( xn - s q r t (5) ) f o r xn in L ]) # On a f f i c h e les e r r e u r s

Voici ce qu’on obtient

c/ Qu’observe-t-on ?

d/ En faisant l’approximation f (x) ≈ x ² pour x grand, montrer que x _n+1 ≈ x _n − 1 si x _n est grand. Cela est-il

en accord avec le graphe ?