CONVEXE ET OPTIMISATION D’EXERCICES D’ANALYSE

CONVEXE ET OPTIMISATION D’EXERCICES D’ANALYSE

RECUEIL 2

LICENCE MATHEMATIQUES ET APPLICATIONS Pour les étudiants du semestre S6

Université Cadi Ayyad Faculté Polydisciplinare de Safi

SAFI 2020

c Aboussoror Abdelmalek

Avant-propos

Ce recueil est un complément du recueil 1 d’exercices d’analyse convexe et optimisation destinés aux étudiants de la filière Sciences Mathématiques et Applications, semestre 6 de la Faculté Polydisciplinaire de Safi. Afin de tirer profit de ce recueil, il est recommandé d’essayer d’abord de résoudre l’exercice avant de regarder la solution. Certains exercices sont proposés avec indications et d’autres sont laissés sans solution. Nous introduisons aussi dans ce recueil de nouvelles notions complétant ainsi le cours, à savoir la sous-différentiabilité et la conjugaison en analyse convexe. Un résumé de quelques résultats importants d’analyse convexe est donné.

c Aboussoror Abdelmalek 2020

EXERCICES

Exercice 1 Soit f :Rⁿ → R une fonction. On appelle fonction conjuguée ou transformée de Legendre-Fenchel de f, la fonction notée f^∗ définie sur Rⁿ par

f^∗(x^∗) = sup

x∈Rⁿ

{hx^∗, xi −f(x)}.

1) Dire pourquoi on a i)f^∗(x^∗) = sup

x∈domf

{hx^∗, xi −f(x)},

ii)f^∗(x^∗) +f(x)≥ hx^∗, xi,∀x, x^∗∈Rⁿ, appelée inégalité de Fenchel.

2) Soient a ∈ Rⁿ et f₁(x) = f(x+a). Montrer que pour tout x^∗ ∈ Rⁿ, f₁^∗(x^∗) =f^∗(x^∗)− hx^∗, ai.

3) Soient b ∈ R et f₂(x) = f(x) +b. Montrer que pour tout x^∗ ∈ Rⁿ, f₂^∗(x^∗) =f^∗(x^∗)−b.

4) Soientc∈R^∗ etf3(x) =f(cx). Montrer que pour tout x^∗ ∈Rⁿ,f₃^∗(x^∗) = f^∗(^x_c^∗).

5) Soientd∈R^∗+ etf4(x) =df(x). Montrer que pour toutx^∗ ∈Rⁿ,f₄^∗(x^∗) = df^∗(^x_d^∗).

6)f^∗(0) =− inf

x∈Rⁿ

f(x).

Exercice 2 Soient I un ensemble d’indices et f_i : Rⁿ → R, i ∈ I, des fonctions. Montrer que

infi∈If_i

∗

= sup

i∈I

f_i^∗.

Exercice 3 Soit f : Rⁿ → R une fonction. Montrer que la fonction con- juguée f^∗ de f est convexe semicontinue inférieurement.

Exercice 4 Soit f :R→R une fonction convexe.

1) Montrer que tout minimum local de f sur Rⁿ est un minimum global de f sur Rⁿ.

Le but de l’exercice suivant est d’exprimer le cône asymptotique (cône de récession) de l’épigraphe d’une fonction convexe en fonction de l’épigraphe d’une fonction définie à partir de la fonctionf, appelée fonction de récession def.

Exercice 5 Soitf :Rⁿ→R∪ {+∞}une fonction convexe, propre et semi- continue inférieurement. On appelle fonction de récession de f notée f_∞⁰ la fonction définie sur Rⁿ par

f_∞⁰ (d) = lim

t→+∞

f(x+td)−f(x) t

= sup

t>0

f(x+td)−f(x) t

où x∈domf, quelconque.

1) Montrer que(epif)∞=epif_∞⁰ . 2) Pourr ∈R, soit L_r(f) =

x ∈Rⁿ :f(x) ≤r . Montrer que pour tout r tel que Lr(f) est non vide, on a

(Lr(f))∞={x^∗∈Rⁿ:f_∞⁰ (x^∗)≤0}.

Exercice 6 On considère la fonction quadratique f définie sur Rⁿ par f(x) = 1

2hQx, xi+hb, xi+c

où Q∈ M_n(R) symétrique définie positive, b∈Rⁿ, etc∈R. 1) Montrer quef est strictement convexe.

2) Montrer que

f_∞⁰ (x^∗) =







hx^∗, bi si x^∗ ∈KerQ, +∞, sinon.

Exercice 7 Soient f :Rⁿ→R∪ {+∞} une fonction convexe etx∈domf. On appelle sous-différentiel de f en x l’ensemble noté ∂f(x) défini par

∂f(x) =

x^∗ ∈Rⁿ:f(y)≥f(x) +hx^∗, y−xi,∀y∈Rⁿ .

Lorsque∂f(x) est non vide, on dit quef est sous-différentiable en x. Dans ce cas, tout élément de∂f(x) est appelé un sous gradient def enx.

1) Soitx∈domf. Montrer que ∂f(x) est un convexe fermé.

2) Montrer quex¯ minimisef sur Rⁿ si et seulement si 0∈∂f(¯x).

Exemple. Soit f la fonction définie sur Rⁿ par f(x) = kxk₂ (la norme euclidienne). Alors, pour tout x ∈ Rⁿ\ {0}, f est différentiable en x, et

∇f(x) = x

kxk₂. Par contref est non différentiable en x= 0. Cependant, f est sous-différentiable en ce point. En effet, on ax^∗∈∂f(0)si et seulement si

f(y)≥f(0) +hx^∗, y−0i, ∀y∈Rⁿ.

On obtient

hx^∗, yi ≤ kyk₂, ∀y∈Rⁿ,

i.e.,x^∗∈B(0,¯ 1), la boule unité fermée. Par conséquent∂f(0) = ¯B(0,1).

Exercice 8 Soient f, g :Rⁿ → R∪ {+∞} deux fonctions convexes et pro- pres. Montrer que si f et g sont sous-différentiables en x ∈ Rⁿ, alors la fonctionf +g l’est aussi, et

∂f(x) +∂g(x)⊂∂(f+g)(x).

Nous donnons ce résumé de résultats importants d’analyse convexe qui seront utilisés ultérieurement.

Théorème 1 Soit f : Rⁿ → R∪ {+∞} une fonction convexe et propre.

Alors, pour tout x∈ri(domf),∂f(x) est non vide.

Pour la démonstration du théorème suivant, voir l’annexe en fin de ce recueil.

Théorème 2 Soitf :Rⁿ→R∪ {+∞}une fonction convexe et propre. On suppose que int(domf) est non vide. Alors pour tout x ∈int(domf), ∂f(x) est un convexe compact non vide deRⁿ.

Concernant le sous-différentiel de la somme de deux fonctions convexes, on a le résultat suivant.

Théorème 3 Soient f, g:Rⁿ →R∪ {+∞}des fonctions convexes et pro- pres. Si int(domf)∩domg6=∅, alors pour tout x∈Rⁿ, on a

∂(f +g)(x) =∂f(x) +∂g(x).

Exercice 9 Soitf :Rⁿ→R∪{+∞}une fonction convexe et propre. Soient x, x^∗∈Rⁿ. Montrer que

x^∗∈∂f(x)⇐⇒f(x) +f^∗(x^∗) =hx^∗, xi.

Exercice 10 Soient f :Rⁿ →R une fonction convexe différentiable et x ∈ Rⁿ. Montrer que∂f(x) ={∇f(x)}.

Exercice 11 Soient C un sous ensemble non vide de Rⁿ et I_C sa fonction indicatrice, i.e., la fonction définie surRⁿ par

IC(x) =







0, six∈C, +∞, six6∈C.

Montrer queCest un convexe deRⁿsi et seulement siI_C est convexe surRⁿ. Exercice 12 Soient C un sous ensemble convexe non vide de Rⁿ et x¯∈C.

Montrer que

∂I_C(¯x) =N_C(¯x).

Exercice 13 On considère le problème de minimisation suivant (P) min

x∈Cf(x)

où la fonction-objectif f :Rⁿ→ Rest convexe et l’ensemble des contraintes C est un convexe non vide de Rⁿ. Soit x¯∈C.

1) Montrer quex¯ est solution de (P) si et seulement si

0∈∂f(¯x) +N_C(¯x). (1)

2) Que devient la propriété (1) si x¯∈intC.

3) Que devient la propriété (1) si en plus f est différentiable en x?¯

Exercice 14 Soit f : Rⁿ → R∪ {+∞} une fonction convexe et propre.

Soient x¯ ∈ domf où f est sous-différentiable et f⁰(¯x;.) la fonction dérivée directionnelle de f en x.¯

Le but est de calculer la fonction conjuguée de la fonction f⁰(¯x;.). Pour t >0, on considère la fonctionψ_t définie sur Rⁿ par

ψt(d) = f(¯x+td)−f(¯x)

t .

1) Montrer que

(f⁰(¯x;.))^∗= sup

t>0

ψ^∗_t. 2) Montrer que

ψ_t^∗(x^∗) = 1

t(f^∗(x^∗) +f(¯x)− hx^∗,xi).¯

3) On désigne par I_∂f(¯x) la fonction indicatrice de ∂f(¯x). Montrer que (f⁰(¯x;.))^∗=I_∂f(¯x).

Solutions et indications

Exercice1. A titre d’exemple de calcul nous donnons la solution de la ques- tion 2).

2) On a

f₁^∗(x^∗) = sup

x∈Rⁿ

{hx^∗, xi −f1(x)}

= sup

x∈Rⁿ

{hx^∗, xi −f(x+a)}.

Faisons le changement de variableu=x+a. On obtient alors f₁^∗(x^∗) = sup

u∈Rⁿ

{hx^∗, u−ai −f(u)}

= sup

u∈Rⁿ

{hx^∗, ui −f(u)} − hx^∗, ai

= f^∗(x^∗)− hx^∗, ai,

où la deuxième égalité résulte du fait que hx^∗, ai est une constante.

Exercice 2. On a

infi∈Ifi

∗

(x^∗) = sup

x∈Rⁿ

{hx^∗, xi −inf

i∈Ifi(x)}

= sup

x∈Rⁿ

{hx^∗, xi+ sup

i∈I

(−f_i(x))}

= sup

x∈Rⁿ

sup

i∈I

{hx^∗, xi −f_i(x)}

= sup

i∈I

sup

x∈Rⁿ

{hx^∗, xi −f_i(x)}

= sup

i∈I

f_i^∗(x^∗).

Exercice 3. Indications :

i) Pour x∈Rⁿ, considérer la fonction affineϕ_x(.) définie surRⁿ par ϕx(x^∗) =hx^∗, xi −f(x),

ii) utiliser le fait que epif^∗ = \

x∈domf

epiϕx(.) [voir1)−i) de l’Exercice1], iii) utiliser la caractérisation de la semicontinuité inférieure et de la convexité d’une fonction à partir de son épigraphe.

Exercice 4. Nous donnons la solution de la question 1).

Soit x¯ un minimum local de f sur Rⁿ, i.e., solution locale du problème de minimisation suivant

(P) min

x∈Rⁿ

f(x).

Il existe alors un ouvertU deRⁿ voisinage de x¯tel que f(¯x)≤f(x), ∀x∈U.

Supposons que x¯ n’est pas un minimum global def surRⁿ. Donc, il existe ˆ

x∈Rⁿ tel que

f(ˆx)< f(¯x).

Pourα∈]0,1[, posons

x_α = αˆx+ (1−α)¯x

= x¯+α(ˆx−x).¯

On a xα → x, quand¯ α → 0⁺. Comme U est un voisinage de x, il existe¯ alorsα¯ ∈]0,1[, tel que

xα ∈U, ∀α∈]0,α[.¯ Par convexité def, pour α∈]0,α[, on obtient¯

f(x_α) ≤ αf(ˆx) + (1−α)f(¯x)

< αf(¯x) + (1−α)f(¯x)

= f(¯x).

ce qui contredit l’optimalité locale de x¯pour le problème(P).

2) Indications :

i) Six¯ est un minimum local du problème ( ˆP) min

x∈Cf(x)

il existe alors un ouvertUˆ de Rⁿ voisinage dex¯ tel que f(¯x)≤f(x), ∀x∈Uˆ∩C.

ii) Pour la suite, on peut raisonner de la même façon que dans la question

Exercice 5.

1) Remarquons d’abord que(x, f(x))∈epif. Par suite

(x^∗, r^∗)∈(epif)∞ ⇐⇒ (x, f(x)) +t(x^∗, r^∗)∈epif, ∀t >0

⇐⇒ (x+tx^∗, f(x) +tr^∗)∈epif, ∀t >0

⇐⇒ f(x+tx^∗)≤f(x) +tr^∗, ∀t >0

⇐⇒ f(x+tx^∗)−f(x)

t ≤r^∗ ∀t >0

⇐⇒ sup

t>0

f(x+tx^∗)−f(x)

t ≤r^∗

⇐⇒ f_∞⁰ (x^∗)≤r^∗

⇐⇒ (x^∗, r^∗)∈epif_∞⁰ . D’où(epif)∞=epif_∞⁰ .

2) Soitx¯∈L_r(f), quelconque. On a

x^∗∈(L_r(f))∞ ⇐⇒ x¯+tx^∗ ∈L_r(f), ∀t >0

⇐⇒ f(¯x+tx^∗)≤r, ∀t >0

⇐⇒ (¯x+tx^∗, r)∈epif, ∀t >0

⇐⇒ (¯x, r) +t(x^∗,0)∈epif, ∀t >0

⇐⇒ (x^∗,0)∈(epif)∞=epif_∞⁰

⇐⇒ f_∞⁰ (x^∗)≤0.

C’est à dire

(L_r(f))∞=

x^∗∈Rⁿ:f_∞⁰ (x^∗)≤0 . Exercice 9.

(=⇒) Puisque x^∗ ∈∂f(x), on a alors

f(y)≥f(x) +hx^∗, y−xi, ∀y∈Rⁿ.

Donc

hx^∗, xi −f(x)≥ hx^∗, yi −f(y), ∀y∈Rⁿ.

On déduit alors que

hx^∗, xi −f(x) ≥ sup

y∈Rⁿ

{hx^∗, yi −f(y)}

= f^∗(x^∗).

D’après1)−ii) de l’Exercice1, on a

f^∗(x^∗) +f(x)≥ hx^∗, xi.

D’où le résultat.

(⇐=) On a

f^∗(x^∗) = sup

y∈Rⁿ

{hx^∗, yi −f(y)}

= hx^∗, xi −f(x).

Donc

hx^∗, xi −f(x)≥ hx^∗, yi −f(y), ∀y∈Rⁿ. Par suite

f(y)≥f(x) +hx^∗, y−xi, ∀y∈Rⁿ, i.e.,x^∗∈∂f(x).

Exercice 10. Commençons par montrer que ∇f(x) ∈∂f(x), pour tout x ∈ Rⁿ. D’après la convexité et la différentiabilité de f, on a

f(y)≥f(x) +h∇f(x), y−xi, ∀y ∈Rⁿ.

Donc∇f(x)∈∂f(x).

Soit maintenantx^∗ ∈∂f(x). On a alors

f(y)−f(x)≥ hx^∗, y−xi, ∀y∈Rⁿ.

Donc

f(x+th)−f(x)≥thx^∗, hi, ∀t >0,∀h∈Rⁿ,

et par suite

f(x+th)−f(x)

t ≥ hx^∗, hi, ∀t >0,∀h∈Rⁿ. En passant à la limite quandt→0⁺, on obtient

h∇f(x), hi ≥ hx^∗, hi, ∀h∈Rⁿ. En substituanth par−h, on obtient

h∇f(x), hi ≤ hx^∗, hi, ∀h∈Rⁿ. D’où

h∇f(x)−x^∗, hi= 0, ∀h∈Rⁿ. On déduit alors que∇f(x)−x^∗= 0. D’où le résultat.

Exercice 12. Remarquons d’abord que la fonction I_C est convexe d’après l’Exercice 11.

1) ∂I_C(¯x)⊂ N_C(¯x) : Soitx^∗∈∂I_C(x). Donc

IC(y) ≥ IC(¯x) +hx^∗, y−xi,¯

= hx^∗, y−xi,¯ ∀y ∈Rⁿ, où l’égalité résulte du fait que x¯∈C. On obtient alors

hx^∗, y−xi ≤¯ 0, ∀y∈C.

C’est à dire x^∗ ∈ N_C(¯x).

2) N_C(¯x)⊂∂IC(¯x) : Soitx^∗∈ N_C(¯x). Donc

hx^∗, y−xi ≤¯ 0, ∀y∈C. (2) En utilisant le fait que

I_C(y) =







0, siy∈C, +∞, siy6∈C,

et queI_C(¯x) = 0, de la propriété (2) on déduit que I_C(y)≥I_C(¯x) +hx^∗, y−xi,¯ ∀y∈Rⁿ,

i.e.,x^∗∈∂I_C(¯x).

Exercice 13.

1) Remarquons en utilisant la fonction indicatrice de C que x¯ est solution du problème(P) si et seulement six¯ est solution du problème

x∈minRⁿ

(f+I_C)(x).

Il s’en suit d’après 2) de l’Exercice 7 quex¯ est solution du problème (P) si et seulement si

0∈∂(f+I_C)(¯x).

Or

domIC =

x∈Rⁿ:IC(x)<+∞ =C, et commef est à valeurs finies, alors domf =Rⁿ. Donc

int(domf)∩domIC =Rⁿ∩C=C.

D’après le Théorème3, on a donc

∂(f +I_C)(¯x) = ∂f(¯x) +∂I_C(¯x)

= ∂f(¯x) +N_C(¯x).

D’où le résultat.

2) Six¯ ∈intC, on a N_C(¯x) ={0}. Dans ce cas la propriété (1) est équiva- lente à

0∈∂f(¯x).

3) Si de plusf est différentiable en x, alors (1) se réduit ௠∇f(¯x) = 0.

Remarque. A noter que la condition nécessaire et suffisante d’optimalité 0 ∈ ∂f(¯x) dans 2) ci-dessus, reste vraie si on remplace C par un ouvert

convexe U, car dans ce cas on a U = intU. En effet, x¯ est solution du problème

minx∈Uf(x) si et seulement si

0∈∂f(¯x) +N_U(¯x) =∂f(¯x).

Exercice 14.

1) Par définition de la dérivée directionnelle, on a f⁰(¯x;d) = inf

t>0

f(¯x+td)−f(¯x) t

= inf

t>0ψt(d).

C’est à dire

f⁰(¯x;.) = inf

t>0ψt

Alors, d’après l’Exercice2, on a

(f⁰(¯x;.))^∗= sup

t>0

ψ^∗_t. 2) Pourt >0, on a

ψ^∗_t(x^∗) = sup

d∈Rⁿ

{hx^∗, di −ψ_t(d)}

= sup

d∈Rⁿ

nhx^∗, di −f(¯x+td)−f(¯x) t

o . Faisons le changement de variableu= ¯x+td. On obtient

ψ_t^∗(x^∗) = sup

u∈Rⁿ

n

hx^∗,u−x¯

t i −f(u)−f(¯x) t

o

= 1 t sup

u∈Rⁿ

{hx^∗, ui − hx^∗,xi −¯ f(u) +f(¯x)}

= 1 t

n sup

u∈Rⁿ

(hx^∗, ui −f(u))− hx^∗,xi¯ +f(¯x) o

= 1 t

n

f^∗(x^∗)− hx^∗,xi¯ +f(¯x)o . 3) D’après l’Exercice9 et l’inégalité de Fenchel, on a







f^∗(x^∗) +f(¯x)− hx^∗,xi¯ = 0, six^∗∈∂f(¯x), f^∗(x^∗) +f(¯x)− hx^∗,xi¯ >0, six^∗6∈∂f(¯x).

D’où

sup

t>0

ψ_t^∗(x^∗) =







0, six^∗∈∂f(¯x), +∞, six^∗6∈∂f(¯x).

C’est à dire

sup

t>0

ψ^∗_t(x^∗) =I_∂f(¯x)(x^∗).

Le résultat s’obtient alors en utilisant la première question.

Annexe

Démonstration du Théorème 2 : Puisque int(domf) est non vide, alors int(domf) = ri(domf) (on a dim(aff(domf)) = n). Par suite d’après le Théorème 1 on a ∂f(x) est non vide. De plus d’après l’Exercice 7, on a

∂f(x) est un convexe fermé. Il reste donc à montrer qu’il est borné (vu qu’on travaille en dimension finie). On distingue alors les cas suivants : i) Si∂f(x) ={0}, alors rien à montrer.

ii) Si∂f(x)6={0}, soit alorsx^∗∈∂f(x),x^∗6= 0. Donc f(y)≥f(x) +hx^∗, y−xi, ∀y∈Rⁿ.

Puisque f est continue sur Rⁿ comme fonction convexe à valeurs finies, donc elle est continue enx qui est dans domf. D’après la Proposition 2.2.1 (Chapitre 2), il existe une boule ferméeB(r, x)¯ où f est lipschitzienne. Soit

y=x+r x^∗ kx^∗k₂, qui est un élément deB(r, x). Donc¯

f(y)−f(x)≤Lky−xk₂, (3) oùL est la constante de Lipschitz. En exprimant le fait que x^∗ ∈∂f(x), on obtient

f(y)−f(x) ≥ hx^∗, y−xi

= hx^∗, r x^∗ kx^∗k₂i

Sachant queky−xk₂=r, et en utilisant (3), on déduit que rkx^∗k₂ ≤f(y)−f(x)≤Lky−xk₂ =rL.

Par suitekx^∗k₂ ≤L. On conclut alors que∂f(x) est borné.