TD8 : Newton et BFGS.

TD8 : Newton et BFGS.

MNO, L3, Dauphine, 2020-2021 D. Gontier, gontier@ceremade.dauphine.fr

On rappelle que pour x∈R^d, note|xi:=xethx|:=x^T. Exercice 1.

a/ SoitA∈ Md(R). Montrer que Aest de rang au plus1ssi il existeu,v∈R^d tel queA=|uihv|.

b/ Soit A∈ Sd(R)(symétrique). Montrer que Aest de rang1 ssi il existeu∈R^d\ {0}tel queA=±|uihu|.

c/ En déduire que latable de multiplication est une matrice de rang1. Qui estudans ce cas ? d/ Montrer que pour tout u∈R^d\ {0},

Au:=

u kuk

u kuk

est la projection orthogonale surVect{u} (c’est à direAu∈ Sn(R)et A²_u=Au).

e/ Montrer que siA=|uihu|, alorsTr (A) =kuk².

Exercice 2. (Formule de Sherman–Morrison) SoitA∈ Sd(R),u∈R^d et B:=A+|uihu|.

a/ Montrer que siB est inversible, alors son inverse est

B⁻¹=A⁻¹−|A⁻¹uihA⁻¹u|

1 +hu, A⁻¹ui.

b/ Montrer queA+|uihu|est inversible si et seulement si hu, A⁻¹ui 6=−1(on pourra considérerv=A⁻¹u).

Exercice 3. (Formule Symmetric rank 1 : SR1)

SoitA∈S_d⁺⁺(R),s∈R^d ety∈R^d. On cherche B∈ S_d(R)tel que

Bs=y et B−Asoit de rang1.

a/ Montrer qu’on chercheu∈R^d tel que(A± |uihu|)s=y.

b/ Montrer queuest colinéaire à y−As, puis que

B=A+|y−Asihy−As|

hy−As,si (formule SR1).

c/ Dans le casA=I2,s= (1,0)^T ety= (−1,0)^T, montrer queB /∈ S_d⁺⁺(R).

Exercice 4. (Méthodes itératives et EDO)

SoitF :R^d→Rune fonction de classeC², et soitx₀∈R^d. a/ On considère l’équation de Cauchy

(x⁰(t) =−∇F(x(t)) x(t= 0) =x0. Montrer que la fonctiont7→F(x(t))est décroissante.

b/ On considère maintenant l’équation de Cauchy

(x⁰(t) =−[HF(x(t))]⁻¹∇F(x(t)) x(t= 0) =x₀.

On suppose queHF est définie positive surS:=

x∈R^d, F(x)≤F(x0) , et queS est un compact convexe.

1. Montrer que∇F(x(t)) = e^−t∇F(x₀).

2. Montrer queF(x(t))est décroissante.

3. Montrer quex7→ ∇F(x)est injective surS.

4. Montrer que six^∗∈Sest un point critique deF dansS, alors c’est un minimum, etx(t)converge versx^∗. 5. SoitK :=

x∈R^d, |x| ∈(1,2) . On suppose de plus queF(x) =kxk² pour toutx∈/ K et quex0 ∈/ K.

Montrer qu’il existeT >0tel que, pour toutt > T,x(t) = e^−tx₀. (Autrement dit, peu importe les valeurs de F surK, on connaît le comportement dex(t)en sortant de cette région.)

c/ Comment s’écrivent la discrétisation (explicite) en temps des équations ci-dessus ?