Soit F : R d → R une fonction de classe C 2 . a/ Montrer que

TD5 : Quelques problèmes d’optimisation classiques.

MNO, L3, Dauphine, 2020-2021 D. Gontier, gontier@ceremade.dauphine.fr

Échauffement

Exercice 1.

Soit F : R ^d → R une fonction de classe C ² . a/ Montrer que

F (x + h) = F(x) + h∇F (x), hi + hh, Z 1

0

(1 − t)H F (x + th)dt

hi.

b/ Montrer que

∇F (x + h) = ∇F(x) + Z 1

0

H F (x + th)dt

h.

Exercice 2.

Soit F : R ^d → R une fonction de classe C ¹ .

a/ (Cours) Montrer que h est une direction de descente en x si et seulement si h∇F(x), hi < 0.

b/ Montrer que pour tout A ∈ S _d ⁺⁺ ( R ), le vecteur h A := −A(∇F (x)) est une direction de descente en x.

Problèmes d’optimisation

Exercice 3. Pseudo-inverse, Examen 2019

Soit m, n ∈ N , et soit A ∈ M m,n ( R ). On dit que A est injective si Ker A = {0}.

a/ Montrer que A est injective si et seulement si les colonnes de A sont indépendantes.

b/ Montrer que si A est injective, alors rg A = n, et m ≥ n.

c/ Montrer que A est injective si et seulement si A ^T A ∈ S _n ⁺⁺ .

On suppose dans la suite que A est injective, et on note A ^† := (A ^T A) ⁻¹ A ^T (pseudo inverse).

d/ Exemple : Calculer B ^† , où

B :=



 0 0 0 1 1 1



 .

e/ Montrer que A ^† A = I ⁿ . Montrer que AA ^† = I ^m si et seulement si m = n.

Soit b ∈ R ^m . On s’intéresse au problème de minimisation suivant

x ^∗ = argmin {kAx − bk _R

, x ∈ R ⁿ } (P).

f/ Montrer qu’il existe S ∈ S _n ⁺⁺ et c ∈ R ⁿ qu’on explicitera tel que x ^∗ = argmin

1

2 x ^T Sx − c ^T x, x ∈ R ⁿ

. g/ En déduire que x ^∗ = A ^† b.

h/ Montrer que si A n’est pas injective, alors le problème (P ) admet plusieurs minimiseurs.

Exercice 4. Régularisation de Tichonov

Soit A ∈ S _d ⁺⁺ ( R ) et b ∈ R ^d . Pour α ≥ 0, on s’intéresse au problème de minimisation de Q α sur R ^d , où Q _α (x) := kAx − bk ² + αkxk ² .

a/ Dans le cas α = 0, quel est le minimiseur de Q _α=0 ?

b/ Dans ce cas, que se passe-t-il si b est bruité (b = b ₀ + w avec w ∈ R ^d un bruit aléatoire), et si A a des petites valeurs propres ?

c/ On suppose maintenant α > 0. Montrer que, pour tout x, y ∈ R ^d avec x 6= y,

∀0 < t < 1, Q _α (tx + (1 − t)y) < tQ _α (x) + (1 − t)Q _α (y) (Q _α est strictement convexe).

d/ Montrer que Q _α est coercive (Q _α (x) → ∞ si kxk → ∞). En déduire que Q _α a un unique minimiseur x ^∗ ∈ R ^d . e/ Montrer que x ^∗ vérifie (A ² + α)x ^∗ = Ab.

f/ Reprendre la question b/ (on pourra regarder ce qui se passe dans une base de diagonalisation de A).

Exercice 5. Régression polynômiale

Soit g : [0, 1] → R . On cherche le meilleur polynôme P ∈ R n [X ] qui approxime g au sens L ² , c’est à dire qu’on veut résoudre

argmin Z 1

0

|g(x) − P(x)| ² dx, P ∈ R n [X ]

. (∗)

Pour a := (a 0 , a 1 , · · · , a n ) ^T ∈ R ⁿ⁺¹ , on note P a (X) := a 0 + a 1 X + · · · + a n X ⁿ ∈ R n [X ].

a/ Soit M ∈ S n+1 ( R ) la matrice définie par M ij := _i+j−1 ¹ pour tout 1 ≤ i, j ≤ (n + 1). Montrer que

∀a ∈ R ⁿ⁺¹ , Z 1

0

|P a (x)| ² dx = ha, Mai _R

. b/ En déduire que M est une matrice définie positive (donc inversible).

c/ Soit b = (b 0 , b 1 , · · · , b n ) ^T ∈ R ⁿ⁺¹ le vecteur définie par b i := R 1

0 g(x)x ⁱ dx pour 0 ≤ i ≤ n. Montrer que

∀a ∈ R ⁿ⁺¹ , Z 1

0

g(x)P a (x) = hb, ai _R

.

Le vecteur b s’appelle parfois le vecteur des moments de g.

d/ Montrer que pour résoudre (*), il suffit de résoudre un problème de type argmin{ ¹ ₂ a ^T M a −b ^T a, a ∈ R ⁿ⁺¹ }.

e/ En déduire que le polynôme optimal est P a

avec a ^∗ := M ⁻¹ b.

Un peu de code

Exercice 6. Multiplication matrice/vecteur, Partiel 2019

a/ Chacun des codes suivants correspond à une multiplication matrice/vecteur, où x ∈ R ^d est le vecteur.

Indiquer dans chaque cas de quelle matrice il s’agit.

1 d e f m u l t A 0( x ) : r e t u r n x

1 d e f m u l t A 1( x ) : r e t u r n b * x # Ici , b = a r r a y ( [ b_1 , b_2 , ... b_d ] )

1 d e f m u l t A 2( x ) :

2 y = z e r o s ( l e n( x ) ) # len ( x ) r e n v o i e la t a i l l e du v e c t e u r x , d o n c ici l ’ e n t i e r d . 3 y [0] = s u m( x )

4 r e t u r n y

1 d e f m u l t A 3( x ) : r e t u r n x [ 0 ] * o n e s ( l e n( x ) )

1 d e f m u l t A 4( x ) : r e t u r n r o l l ( x , 1) # r o l l ( x ,1) r e n v o i e le v e c t e u r [ x_d , x_1 , x_2 , ... , x_ { d - 1 } ]

1 d e f m u l t A 5( x ) :

2 y = z e r o s ( l e n( x ) )

3 f o r i in r a n g e ( l e n( x ) ) : 4 y [ i ] = s u m ( x [ i :])

5 r e t u r n y

Exercice 7. Correction de code, Partiel 2019

Le code suivant comprend plusieurs erreurs. Écrivez un code corrigé.

1 d e f G r a d i e n t P a s C o n s t a n t ( df , x0 , tau , tol =1 e -6 , N i t e r = 1 0 0 0 )

2 xn = x0

3 f o r n in l i n s p a c e ( N i t e r ) :

4 if df ( xn ) < tol :

5 r e t u r n xn

6 xn = xn + tau * df ( xn )

7 r e t u r n xn

Exercice 8. Que se passe-t-il dans un ordinateur ?

On a posé xx = linspace(0, 1, int(1e8)). Voici le temps mis pour faire les opérations suivantes :

1 A = [ x **2 f o r x in xx ] # e n v i r o n 35 s . 2 B = [ x * x f o r x in xx ] # e n v i r o n 17 s . 3 C = xx **2 # e n v i r o n 1 . 2 3 s .

4 D = xx * xx # e n v i r o n 1 . 2 4 s .

Comment expliquer ces résultats à votre avis ?