Examen du cours d’optimisation différentiable

Examen du cours d’optimisation différentiable

Durée : 2 heures

Les documents ainsi que les calculatrices ne sont pas autorisés.

**********************

Exercice 0.1 (transformée de Fenchel)

Soit φ:R^d→R. La transformée de Fenchel de φ est définie pour tout u∈R^d par φ^∗(u) = sup

v∈R^d

u, v

−φ(v) .

1. Calculer la transformée de Fenchel de φ(v) = (1/2)kvk²₂ où kvk₂ est la norme `^d₂ de v∈R^d. 2. On considère la fonction suivante : pour tout v= (vj)^d_j=1 ∈R^d,

φ(v) =

d

X

j=1

exp(vj).

2.1 Calculer la transformée φ^∗ de φ en tout point u = (u_j)^d_j=1 ∈ R^d où u_j > 0 pour j= 1, . . . , d.

2.2 Calculer ∇φ^∗(u) en tout point u= (uj)^d_j=1 ∈R^d oùuj >0 pour j= 1, . . . , d.

2.3 Soit u= (uj)^d_j=1 ∈R^d oùuj >0 pour j= 1, . . . , d. Calculer ∇φ^∗(∇φ(u)).

**********************

Correction de l’exercice 0.1 1.Soit u∈R^d. On posef(v) = u, v

−φ(v) = u, v

−(1/2)kvk²₂. On a

∇f(v) =u−v et∇²f(v) =−I_d≺0. Donc f est strictement concave. On a donc v^∗ ∈argmax_v∈f(v) si et seulement si∇(v^∗) = 0 càdv^∗ =u. On obtient alors

φ^∗(u) = u, v^∗

−φ(v^∗) = u, u

−kuk²₂

2 = kuk²₂

2 =φ(u).

2.1Soitu∈R^dun vecteur à coordonnées strictement positives. On a φ^∗(u) = sup

v∈R^d



 u, v

−

d

X

j=1

exp(v_j)



= sup

v∈R^d





d

X

j=1

u_jv_j−exp(v_j)



=

d

X

j=1

sup

vj∈R

(u_jv_j−exp(v_j)).

Par ailleurs, comme g:x∈R→ tx−exp(x) atteint son maximum enx= log(t) dès que t >0 et vaut en ce point t(log(t)−1), on a

φ^∗(u) =

d

X

j=1

uj(log(uj)−1).

2.2On a pour toutu∈R^d à coordonnées strictement positives,

∇φ^∗(u) = (log(u_j))^d_j=1.

2.3On a alors pour toutu∈R^d à coordonnées strictement positives,

∇φ^∗(∇φ(u)) =∇φ^∗

(exp(uj))^d_j=1

= (uj)^d_j=1 =u.

**********************

Exercice 0.2

Soit le problème d’optimisation suivant

min

yz+y²+z² :z≤ −1

. (1)

1. Réduire le problème de minimisation (1) à un problème de la forme mint∈Kf(t)

où f est une fonction à valeurs réelles et

K={t:g(t)≤0}

avec g:R² →R convexe de classe C¹. 2. Montrer que f est convexe.

3. Montrer que la contrainte K est qualifiée.

4. Écrire le lagrangien de (P).

5. Écrire le problème dual de (P) et le résoudre.

6. Écrire les conditions KKT de (P) et résoudre (P) à partir de ces équations.

**********************

Correction de l’exercice 0.2

1. On considère le problème suivant :

mint∈Kf(t)

où f est une fonction de R² dansRdonnée parf(y, z) =yz+y²+z² et K ={(y, z)^>∈R²:g(y, z)≤0}

avec g(y, z) =z+ 1convexe de classe C¹

2. On a f(y, z) = (y+z/2)² + 3z²/4. C’est une somme de carré de formes linéaires donc c’est une fonction convexe.

3. Il n’a y qu’une contrainte d’inégalité affine et la contrainte K est non vide donc la contrainte est qualifiée.

4. Le Lagrangien de (P) est donné pour tout(y, z)^>∈R² etλ≥0 par

L((y, z), λ) =f(y, z) +λg(y, z) =yz+y²+z²+λ(z+ 1).

5. Le problème dual est

sup

λ≥0

d(λ) où d(λ) = min

t∈R²

L(t, λ) = −λ² 3 +λ qui a pour solutionλ^∗= 3/2.

6. On rappelle que(y^∗, z^∗, λ^∗)^> ∈R³ vérifient les conditions KKT du problème (2) quand (a) (y^∗, z^∗)^>∈K,λ^∗ ≥0,

(b) ∇_(y,z)L((y^∗, z^∗), λ^∗) = 0, (c) λ^∗g(y^∗, z^∗) = 0.

Le problème (2) est un problème d’OCD donc(y^∗, z^∗)est solution du problème (2) si et seulement si il existeλ^∗ une solution du problème dual tel que(y^∗, z^∗, λ^∗)^> ∈R³vérifient les conditions KKT. En résolvant les conditions KKT, on obtient que y^∗ = 1/2 et z^∗ =−1. Donc la valeur du problème d’optimisation est 1.75 atteint en(y^∗, z^∗) = (1/2,−1)^>.

**********************

Exercice 0.3 Résoudre

min x²₁+x²₂+x²₃+x²₄:x₁+x₂+x₃+x₄ = 1

(2)

**********************

Correction de l’exercice 0.3 La fonction de Lagrange associée à (2) est définie en tout point x = (x_j)⁴_j=1∈R⁴ etλ∈Rpar

L(x, λ) =x²₁+x²₂+x²₃+x²₄+λ(x₁+x₂+x₃+x₄−1).

Le problème dual associé est

maxλ∈R

Ψ(λ)où Ψ(λ) = inf

x∈R⁴

L(x, λ).

Commex∈R⁴→L(x, λ)est convexe et deux fois différentiable,L(·, λ)atteint son minimum sur R⁴ en un point x^∗ si et seulement si∇L(x^∗, λ) = 0 càd pour2x^∗_i +λ= 0 pouri= 1,2,3,4. On a alors

Ψ(λ) =L((−λ/2)⁴_i=1, λ) =−λ²−λ.

AinsiΨest maximale en λ=−1/2.

Le problème (2) est un problème d’OCD dont la contrainte est qualifiée vue que toutes les contraintes sont affines et la contrainte est non vide. On a donc, d’après KKT, l’équivalence entre les deux points suivant :

1. x^∗ est solution de (2)

2. il existeλ^∗ solution du problème dual tel que

i) x^∗ ∈K

ii) ∇_xL(x^∗, λ^∗) = 0

(Il n’y a pas de “complementary slackness condition” pour ce problème vu qu’il n’y a pas de contraintes d’inégalité).

On en déduit donc quex^∗ est solution de (2) si et seulement si 1. x₁+x₂+x₃+x₄= 1

2. 2x^∗_i +λ^∗ = 0 pouri= 1,2,3,4 etλ^∗ =−1/2.

Ainsi l’unique solution de (2) est(1/4)⁴_i=1.

Rem. : On aurait pu ne pas utiliser le fait queλ^∗ est solution du problème dual ici car la valeur de λ^∗ aurait pu être déduite de l’équation “x1+x2+x3+x4= 1”.

**********************

Exercice 0.4 (Descente de gradient et régularisation)

Soit T fonctions linéaires f1, . . . , f_T :R^d → R et η >0. On considère l’algorithme de descente de gradient suivant :

at+1=at−η∇f_t(at), ∀t= 0, . . . , T, a0 = 0.

Montrer que

a_T+1 ∈argmin

a∈R^d T

X

t=1

f_t(a) + 1 2ηkak²₂

!

où on rappelle que kak₂ est la norme `^d₂ de a∈R^d définie par

kak₂ =





d

X

j=1

a²_j





1/2

et pour toute fonctions f :R^d→R, argmin_a∈Rdf(a) ={a∈R^d:f(a)≤f(b),∀b∈R^d}.

**********************

Correction de l’exercice 0.4 On note f(a) =

T

X

t=1

f_t(a) + 1 2ηkak²₂.

f est une fonction convexe de classe C^∞sur R^d. Les minima def sont les points critiques def, càd argmin

a∈R^d

f(a) =n

a∈R^d:∇f(a) = 0o .

Par ailleurs, on a

∇f(a) =

T

X

t=1

∇f_t(a) +a η.

On a donc a∈argmin_a∈Rdf(a) si et seulement si a=−η

T

X

t=1

∇f_t(a).

De plus, les fonctionsf_t, t= 1, . . . , T sont linéaires, on af_t(a) = g_t, a

pour un certaing_t, on obtient que a∈argmin_a∈R^df(a)si et seulement si

a=−η

T

X

t=1

∇f_t(a) =−η

T

X

t=1

gt.

Par ailleurs, l’algorithme de descente de gradient pour des fonctions linéaires est tel que a_T+1=a_T −η∇f_T(a_T) =a_T −ηg_T =−η

T

X

t=1

g_t

cara0 = 0.