solution

CORRECTION DU TD 3 : ANALYSE CONVEXE

COURS D’APPRENTISSAGE, ECOLE NORMALE SUP ´ERIEURE, OCTOBRE 2017

Aude Genevay aude.genevay@ens.fr

1. Exercice 1 : S´eparation des convexes compacts

Par compacit´e du produit C×D, il existe deux pointsx ∈C et y∈ D tels quekx−yk₂ soit minimale. CommeC∩D=∅, on a A= ^y+x₂ qui est un point n’appartenant ni `a C ni `a D. Un dessin convainc assez rapidement que l’hyperplan orthogonal `a la direction vectorielle (y−x) et passant par Aest un hyperplan s´eparateur. Montrons le.

On consid`ere l’hyperplan affine H_A = A+H. Cet hyperplan v´erifie l’´equation u ∈ H_A ⇔ (y−x)^T(u− ^y+x₂ ) = 0.

On doit ensuite v´erifier que,∀u∈C,(y−x)^T(u−^y+x₂ )<0 et∀u∈D,(y−x)^T(u−^y+x₂ )>0.

Faisons le pourD, sur C le raisonnement sera analogue.

Il suffit juste de v´erifier une propri´et´e du minimiseur y de la distance avec C qui est que tout autre point de l’ensembleDfera un angle obtu avec x−y.

Consid´erons l’ensembleDet montrons que pour tout pointu∈D, on a (u−^x+y₂ )^T(y−x)>

0. Supposons, par l’absurde qu’il y ait un pointu^∗tel que (u^∗−^x+y₂ )^T(y−x)≤0. Consid´erons la fonction univari´ee f(t) = kx −y−t(u−y)k²₂. On a f⁰(0) = −2(x −y)^T(u^∗ −y). Or (x−y)^T(u^∗−y) = (x−y)^T(u^∗−^x+y₂ ) + (x−y)^T(^x+y₂ −y). On a donc que (x−y)^T(u^∗−y)>0, et par suitef⁰(0) <−2. La fonction est localement d´ecroissante donc il existe un 1≥t > 0 tel que kx−y−t(u−y)k soit plus petit que f(0) = kx−yk²₂. Mais y+t(u−y) ∈ C par convexit´e ce qui est contradictoire avec la d´efinition de xety comme minimisant la distance de C `aD. Donc ∀u∈D,(u−^x+y₂ )^T(y−x)>0.

Ainsi l’hyperplan s´epare bien les deux ensembles convexes. La s´eparation est de plus stricte car, par un raisonnement analogue au pr´ec´edent, on trouve queyetxminimisent les distances respectives `a DetC respectivement.

Il existe une vaste litt´erature concernant la s´eparation des ensembles convexes, cf chapitre 11 de[?]. Au del`a des espaces de dimensions finis, la notion de s´eparation des convexes est une notion tr`es importante qui, permet de fonder correctement l’analyse fonctionnelle (th´eor`emes de Hahn Banach).

2. Exercice 2 : Convexit´e des fonctions usuelles

1) On consid`ere cette fonction sur deux ensembles convexes distincts, les ensembles A⁺ = {(x, y)∈R², y >0} etA⁻ ={(x, y)∈R², y <0}.

La convexit´e se v´erifie en calculant la matrice Hessienne de cette fonction.

H= 2 y³

y² −xy

−xy x²

.

2 COURS D’APPRENTISSAGE, ECOLE NORMALE SUP ´ERIEURE, OCTOBRE 2017

On remarque ainsi que cette Hessienne est d´efinie positive poury >0 et n´egative sinon.

2) Il suffit de remarquer que l’indicatrice v´erifie la d´efinition d’une fonction convexe, `a savoir que∀x, y∈Rⁿ, λ∈[0,1], IC(λx+ (1−λ)y).

3) SoitQ∈Rⁿ. La forme quadratiquef peut s’´ecrire ¹₂x^T(Q+Q^T)x. La fonctionf est donc convexe si et seulement si sa partie sym´etrique ^Q+Q₂ ^T est semi d´efinie positive.

4) SoitI une famille de fonctions convexes. Elle v´erifie :

∀i∈I,∀λ∈[0,1],∀x, y∈Rⁿ, f_i(λx+ (1−λ)y)≤λf_i(x) + (1−λ)f_i(y) donc sup

i∈I

fi(λx+ (1−λ)y)≤sup

i∈I

λfi(x) + (1−λ)fi(y) d’o`u, sup

i∈I

f_i(λx+ (1−λ)y)

≤λsup

i∈I

f_i(x) + (1−λ) sup

j∈I

f_i(y)

L’infimum de deux fonctions convexes n’est clairement pas convexe. Prenons par exemple le sup des fonctions d´efinies pour tout x dans R par f₁(x) =x et f₂(x) = −x. L’inf de ces deux fonctions lin´eaires estf(x) =−|x|qui n’est pas convexe.

5) On remarque que, ∀S ∈ Sⁿ, λmax(S) = maxu∈Rⁿ u^TSu

u^Tu . Par la question pr´ec´edente cette fonction est donc bien convexe car la fonctiong(x, S) = ^u_u^TT^Suu est lin´eaire enS. On peut aussi d´eduire de cela que la valeur propre minimale est une fonction concave.

3. Exercice 3 : Dualit´e Lagrangienne

6) On commence par introduire les variables de Lagrangeλ∈Rⁿ+etν∈R^m. On ´ecrit ensuite la fonction associ´ee :

L(x, λ, ν) =c^Tx−λ^Tx+ν^T(Ax−b).

(1)

La minimisation en la variable primale x conduit `a la fonction duale suivante :

g(λ, ν) =

(−b^Tν si −A^Tν+λ−c= 0

−∞ sinon .

Le probl`eme dual avec contraintes explicites devient donc :

ν∈maxRⁿ

−b^Tν tel queA^Tν+c≥0

7)Comme sugg´er´e dans l’´enonc´e introduisons une variables auxiliaire (souvent appel´ees dans la litt´erature anglophone des “slack variables”)t= max_ia^T_i x+b_i. On obtient alors le probl`eme

CORRECTION DU TD 3 : ANALYSE CONVEXE 3

primal suivant :

x∈minRⁿ,t∈R

t tel quet= max

i a^T_i x+b_i.

Ce probl`eme est ´egalement ´equivalent au probl`eme suivant (on peut s’en convaincre par un dessin) :

x∈minRⁿ,t∈R

t

tel que∀i, t≥a^T_i x+bi. C’est un programme lin´eaire sous forme canonique.

8) En passant `a la variabley, le probl`eme devient ´equivalent `a min<sub>y∈{−1,1}</sub><sup>n</sup>y<sup>T</sup>W y. Ou encore de mani`ere ´equivalente :

y∈minRⁿ

y^TW y t.q, ∀i,y_i² = 1.

Si diag() repr´esente l’op´erateur cr´eant une matrice diagonale `a partir d’un vecteur, on ´ecrit mˆeme :

y∈minRⁿ

y^TW y t.q, ∀i,diag(y)y=1.

Le Lagrangien est ainsi : L(y, λ) =y^TW y+λ^T(diag(y)y−1).Le dual devient donc : g(λ) =

(−1^Tλ, siW + diag(λ)0

−∞, sinon. .

On alors le probl`eme dual suivant (avec contraintes explicites) :

λ∈maxRⁿ

−1^Tλ

tel queW + diag(λ)0.

Remarque: on peut poserλ=−λ_min(W)1. Ce point est faisable (carW−diag(λ_min(W)1) 0) et il nous permet d’obtenir une borne inf´erieure `a la valeur optimale du probl`eme primal :

p^?≥nλ_min(W).

9) Notons tout d’abord que nous avons :x^TAx= ¹₂(A+A^T). De ce fait nous supposons dans la suite que A est sym´etrique. Notons aussi que ce probl`eme n’est pas convexe (contrainte d’´egalit´es non affines). Cependant la solution de ce probl`eme est connue, la valeur optimale est la valeur propre minimale de A, atteinte pour x ´etant le vecteur propre de norme 1 cor- respondant. Regardons maintenant si nous avons dualit´e forte au sens de Lagrange. Ecrivons maintenant le lagrangien du probl`eme :

4 COURS D’APPRENTISSAGE, ECOLE NORMALE SUP ´ERIEURE, OCTOBRE 2017

L(x, λ) =x^TAx+λ(x^Tx1) =x^T(A+λIn)x−λ,

o`uInest la matrice identit´e de taillen. En minimisant par rapport `a la variablexon obtient :

g(λ) =

(λ_min siA+λI_n0

−∞ sinon ,

o`uλ<sub>min</sub> est la valeur propre minimale de A. On en d´eduit que le probl`eme dual a pour valeur optimale λmin. Nous avons donc bien dualit´e forte.