Soit A une matrice inversible de M N ( R ), et b ∈ R N . On cherche x ∈ R N minimisant :

Optimisation sous contraintes

1 Gradient projet´ e

Soit A une matrice inversible de M N ( R ), et b ∈ R ^N . On cherche x ∈ R ^N minimisant :

J (x) = kAx − bk ² sous les contraintes x i ≥ 0 (1 ≤ i ≤ N).

On note 0 < λ 1 ≤ · · · ≤ λ n les valeurs propres de A ^∗ A.

1. Cacluler ∇J et ∇ ² J .

2. Montrer que J est elliptique, et que ∇J est lipshitzienne (pr´ eciser les constantes associ´ ees, α = 2λ 1 et L = 2λ N ).

3. Expliciter l’algorithme du gradient projet´ e associ´ e au probl` eme de mini- misation consid´ er´ e ici. En d´ eduire que si τ < _2λ ^λ

N

, l’algorithme conver- gence.

4. Ecrire une fonction x=minimise(A,b,τ,r) qui retourne le r´ esultat x de l’algorithme ` a l’it´ eration r.

5. Utiliser la fonction pr´ ec´ edente pour trouver la solution du probl` eme quand :

A =

1 2

−1 3

et b = −3

4

6. V´ erifier ` a la main la solution obtenue ` a la question pr´ ec´ edente en appli- quant les relations de Kuhn et Tucker.

2 Gradient projet´ e (bis)

On consid` ere dans R ³ l’ensemble : C =

(x 1 , x 2 , x 3 ) ∈ R ³ , x ² ₁ + x ² ₂ ≤ 1

1. (a) Quelle est la forme g´ eom´ etrique de C ? Montrer que C est convexe.

(b) Expliciter la projection orthogonale P C sur C.

(c) Ecrire une fonction z=projection(x) qui en entr´ ee prend un vecteur x de R ³ et en sortie renvoie le vecteur z (de mˆ eme taille que que x) projection de x sur C.

2. Soit A une matrice r´ eelle 3 × 3 inversible, et b ∈ R ³ . On consid` ere la fonction J : R <sup>3</sup> → R d´ efinie par J (x) = kAx − bk <sup>2</sup> , et le probl` eme (P) : minimiser J(x) sous la contrainte x ∈ C

(a) Montrer que (P) admet une unique solution.

1

(b) Expliciter l’algorithme du gradient projet´ e associ´ e ` a (P). Pour quelles valeurs du pas est-on assur´ e de la convergence ?

(c) Ecrire une fonction x=minimise(A,b,τ,r), faisant appel ` a la fonction projection.

(d) Calculer alors num´ eriquement le minimum de J sur C quand :

A =





2 1 0 1 3 1 1 0 2



 et b =



 3 1 3





(e) Trouver, dans ce cas particulier, la valeur empirique ` a 10 <sup>−4</sup> pr` es du pas critique τ _c au-del` a duquel la convergence ne se produit plus.

3 Plus petite valeur propre

Soit A une matrice symm´ etrique positive d’ordre N , et J (x) = hAx, xi. On note 0 ≤ λ 1 ≤ · · · ≤ λ N les valeurs propres de A.

On cherche les points de minimum de J sur la sph` ere unit´ e.

1. Justifier pourquoi les λ i sont dans R ⁺ . 2. Ecrire le probl` eme d’optimisation consid´ er´ e.

3. En utlisant le th´ eor` eme des extrema li´ es, montrer ques l’ensemble des solutions du probl` eme est constitu´ e des vecteurs propres de A de norme 1 associ´ es ` a la plus petite valeur propre.

4. R´ esoudre le probl` eme max _kxk=1 kAxk (on pourra le r´ e´ ecrire sous la forme max _kxk

=1 kAxk ² ) avec A matrice inversible. En d´ eduire le lien entre les valeurs propores de A ^∗ A et la norme de A.

4 Fonction de p´ enalisation

Dans la m´ ethode de p´ enalisation, la fonction de p´ enalisation doit ˆ etre C ¹ , ce qui impose des resctrictions quand ` a son choix.

Soit g une fonction convexe de R dans R . Soit g ⁺ la fonction d´ efinie par : g ⁺ (x) = max(g(x), 0)

1. Montrer que g ⁺ est convexe, puis que (g ⁺ ) ² est convexe (on pourra sup- poser g deux fois d´ erivable).

2. Montrer que la fonction s 7→ (s ⁺ ) ² de R dans R est d´ erivable.

3. En d´ eduire que si g est d´ erivable, alors (g ⁺ ) ² est aussi d´ erivable. Calculer sa diff´ erentielle en fonction de celle de g.

4. Proposer des fonctions de p´ enalisation pour les contraintes suivantes : x ≤ 0, g(x) = 0, g(x) ≤ 0.

5. La compos´ ee de 2 fonctions convexe est-elle convexe ?

2

5 Contrainte active

On veut r´ esoudre num´ eriquement le probl` eme de minimiser la fonction : f (x ₁ , x ₂ ) = x ² ₁ + x ² ₂ − 14x ₁ − 6x ₂ − 7

sous les contraintes :

x 1 + x 2 ≤ 2 et x 1 + 2x 2 ≤ 3

1. Calculer la diff´ erentielle et la Hessienne de f et des contraintes. La fonc- tion f est elle convexe ? elliptique ? ` a gradient Lipshitz ?

2. R´ esoudre d’abord num´ eriquement le probl` eme d’optimisation sans contrainte, par une m´ ethode de votre choix.

3. Impl´ ementer une m´ ethode de p´ enalisation afin d’obtenir une indication du minimum et des contraintes actives. Quelle est la contrainte qui semble active ?

4. Impl´ ementer la m´ ethode de Newton-Lagrange, qui consiste ` a faire une m´ ethode de Newton sur le syst` eme d’optimalit´ e (extrema li´ es) (on sup- pose la contrainte active partout). Voir le poly de cours page 28.

5. V´ erifier le r´ esultat pr´ ec´ edent en utilisant la m´ ethode d’Uzawa (voir le polycopi´ e de cours page 40)

6 Plus grande valeur propre

Soit A une matrice symm´ etrique positive d’ordre N , et J (x) = −hAx, xi.

On note 0 ≤ λ 1 ≤ · · · ≤ λ N les valeurs propres de A.

On cherche les points de minimum de J dans la boule unit´ e.

1. Justifier pourquoi les λ i sont dans R ⁺ . 2. Ecrire le probl` eme d’optimisation consid´ er´ e.

3. En utlisant les relations de Kuhn et Tucker, montrer ques l’ensemble des solutions du probl` eme est constitu´ e des vecteurs propres de A de norme 1 associ´ es ` a la plus grande valeur propre.

7 Calcul d’op´ erateurs proximaux

On rappelle que :

y = (I + h∂F ) ⁻¹ (x) = prox ^F _h (x) = argmin

u

ku − xk ²

2h + F (u)

Calculer les op´ erateurs proximaux suivants :

3

1.

F (u) = 1 2 kuk ² ₂ Alors

prox ^F _h (x) = x 1 + h 2.

F(u) = 1

2 ku − f k ² ₂ Alors

prox ^F _h (x) = x + hf 1 + h 3.

F (u) = 1

2 kKu − f k ² ₂ Alors

prox ^F _h (x) = (Id + hK ^∗ K) ⁻¹ (x + hK ^∗ f ) 4.

F (u) = kuk ₁ Alors

prox ^F _h (u) = ST (u, h)

avec ST (u, h) le seuillage doux de u de param` etre h, i.e. ST (u, h) = u−h si u > h, ST (u, h) = u + h si u < −h, et ST(u, h) = 0 si |u| ≤ h.

5.

F(u) = k∇uk 1

On a y = prox ^F _h (x) si et seulement si y = x − h div(z) avec z solution de min

kzk

≤1 kdiv(z) + x/hk ² ₂

On peut facilement r´ esoudre ce probl` eme avec un algo de gradient projet´ e.

Indication : H(z) = kdiv(z) + x/hk ² ₂ . Alors ∇H(z) = −2∇(div(z) + x/h).

Et si C = {z , kzk _∞ ≤ 1}, alors l’op´ erateur proximal def χ C est la projection orthogonale sur C.

4