9 mars 2020 D. Gontier, [email protected]

Partiel (L3) Méthodes Numériques : Optimisation.

9 mars 2020 D. Gontier, [email protected]

Deux heures. Les documents et calculatrices ne sont pas autorisés.

1 page recto-verso.

Exercice 1. (Newton-Schultz pour des nombres)

Soit a > 0. On veut calculer 1/a sans effectuer de division. On pose f (x) := ¹ _x − a, et on définit la suite

x 0 = 1, x n+1 = x n − f (x n ) f ⁰ (x n ) .

a/ Montrer que x _n+1 = x _n (2 − ax _n ).

b/ On pose ε _n := ax _n − 1. Montrer que ε _n+1 = −ε ² _n . c/ En déduire que pour tout n ≥ 1, ε n = −ε ² ₀

, puis que

∀n ≥ 1, x _n = 1

a − (1 − a) ²

a .

d/ Montrer que si 0 < a < 2, alors (x n ) converge vers ¹ _a . Quelle est la vitesse de convergence dans ce cas ? Pouvait-on s’attendre à une telle vitesse de convergence ?

e/ Que se passe-t-il si a = 2 ? Que se passe-t-il si a > 2 ?

Exercice 2. (Newton-Schultz pour des matrices)

Soit A ∈ M d ( R ) une matrice inversible (pas forcément symétrique). On veut calculer A ⁻¹ sans faire d’inversion.

On pose

M ₀ = I d , M _n+1 = M _n (2 I d − AM _n ) . a/ Montrer que pour tout n ≥ 0, M n commute avec A.

b/ Montrer par récurrence que

∀n ≥ 1, M n = A ⁻¹ − A ⁻¹ ( I d − A) ²

.

c/ Montrer que si k I d − Ak op < 1, alors (M n ) convergence vers A ⁻¹ . Quelle est la vitesse de convergence ? d/ Que se passe-t-il si

A =





3 0 0 0 2 0 0 0 1



 ?

Exercice 3. Vitesse de convergence du gradient à pas optimal Dans la suite, h·, i est le produit scalaire usuel de R ^d , de norme associée k · k.

Soit A ∈ S _d ⁺⁺ ( R ) une matrice symétrique réelle définie positive, soit b ∈ R ^d , et soit Q(x) := ¹ ₂ x ^T Ax − b ^T x.

On cherche à résoudre le problème d’optimisation x ^∗ := argmin

Q(x), x ∈ R ^d . On pose x 0 = 0, puis, pour n ∈ N ,

r n := b − Ax n , t n := argmin {Q(x n + tr n ), t ∈ R } et x n+1 = x n + t n r n .

a/ (Vrai ou Faux, justifications non nécessaires).

a1/ Q admet un unique point critique.

a2/ x ^∗ := A ⁻¹ b est un minimum local de Q.

a3/ On a r _n = ∇Q(x _n ).

a4/ r n est une direction de descente de Q en x n .

b/ On s’intéresse au problème définissant t n . Montrer que (on suppose r n 6= 0)

Q(x _n + tr _n ) = t ²

2 hr n , Ar _n i − tkr n k ² + Q(x _n ), puis que t _n = kr _n k ² hr n , Ar n i . c/ Montrer que

r _n+1 = r _n −

kr _n k ² hr n , Ar n i

Ar _n .

d/ Montrer que hr n , r n+1 i = 0. Pouvait-on prévoir le résultat ?

On suppose maintenant d = 2 et que A est diagonale. On note A =

λ 1 0 0 λ 2

avec 0 < λ 1 ≤ λ 2 , b = b 1

b 2

et on pose b ^⊥ :=

b 2

−b 1

, avec kbk 6= 0.

e/ Montrer que hb ^⊥ , bi = 0. En déduire que r 2n est colinéaire à b, et que r 2n+1 est colinéaire à b ^⊥ . On note dans la suite r 2n = α n b et r 2n+1 = β n b ^⊥ .

f/ Montrer la première égalité (on admettra l’autre) :

t 2n = kbk ²

hb, Abi et t 2n+1 = kb ^⊥ k ² hb ^⊥ , Ab ^⊥ i g/ Montrer la première égalité (on admettra l’autre) :

β n = −α n

hb ^⊥ , Abi

hb, Abi et α n+1 = −β n

hb ^⊥ , Abi hb ^⊥ , Ab ^⊥ i . Indice : On pourra utiliser la question c/ et prendre le produit scalaire avec b ou b ^⊥ .

h/ En déduire que

α n = ρ ⁿ α 0 et β n = ρ ⁿ β 0 avec ρ := |hb ^⊥ , Abi| ² hb, Abihb ^⊥ , Ab ^⊥ i . i/ Montrer que 0 < ρ < 1. Indice : On pourra écrire que A = √

A √

A et utiliser l’inégalité de Cauchy-Schwarz.

j/ En déduire que la suite (Ax _n ) converge vers b linéairement à taux √ ρ.

Exercice 4. Un peu de code

Le code suivant de dichotomie comporte des erreurs. Lesquelles ?

1 f u n c t i o n d i c h o t o m i e ( f , a , b , tol =1 e -6 , N i t e r = 1 0 0 0 ) :

2 # On s u p p o s e f ( a ) < 0 et f ( b ) > 0 et on c h e r c h e une s o l u t i o n de f ( x ) = 0

3 xm , xp = a , b

4 f o r n in r a n g e ( N i t e r ) :

5 x = ( a + b ) /2

6 if f ( x ) = 0 :

7 r e t u r n x

8 if f ( x ) < 0 :

9 xp = x

10 e l s e :

11 xm = x