Cours d’Analyse Convexe et Optimisation

Cours d’Analyse Convexe et Optimisation

LICENCE MATHEMATIQUES ET APPLICATIONS

Pour les étudiants du semestre S6

Université Cadi Ayyad Faculté Polydisciplinaire de Safi

SAFI 2020

c ABOUSSOROR ABDELMALEK

Avant Propos

Ce cours est une continuité du cours fait en semestre S5 de la filière Sci- ences Mathématiques et Applications. L’assimilation du cours du semestre S5 concernant les espaces affines et les ensembles convexes est nécessaire pour la bonne comphérension des chapitres qui suivent. Le présent cours porte sur les fonctions convexes. Il traite des propriétés topologiques et d’autres liées à la différentiabilité de ces fonctions. Une partie de ce cours est déjà faite en classe. Pour la commodité du lecteur nous rappelons les résultats de cette partie. Les nouveaux résultats sont donnés avec leurs démonstrations.

Les chapitres qui restent seront donnés ultérieurement.

Ensembles Convexes

Le cours de ce chapitre fait partie du cours fait en semestre S5 de la filière Sciences Mathématiques et Applications. En cas de besoin d’un résultat de ce chapitre, les étudiants sont invités à revoir le cours du semestre S5.

3

Fonctions Convexes

2.1 Préliminaires et définitions

SoientX un sous ensemble non vide deRⁿ, et f :X →Rune fonction.

On considère les ensembles suivants 1. domf =

x∈X/ f(x)<+∞ , 2. epif =

(x, t)∈X×R/ f(x)≤t , 3. epi_sf =

(x, t)∈X×R/ f(x)< t ,

appelés respectivement, le domaine effectif, l’épigraphe, et l’épigraphe strict def,

4. Considérons le problème de minimisation suivant (P) Min

x∈Xf(x).

L’ensembleX est appelé l’ensemble des contraintes, et toutx∈X est appelé un point réalisable de(P). Un point réalisablex¯ vérifiant

f(¯x) = inf

x∈Xf(x) = min

x∈Xf(x)

est appelé solution ou solution globale de(P). On note par Argmin_Xf ={y∈X/ f(y) = inf

x∈Xf(x)

l’ensemble des solutions du problème(P). Un point réalisable x¯∈X, est dit solution locale de(P), s’il existe un voisinageV dex¯tel que

f(¯x)≤f(x) ∀x∈V ∩X.

Pour >0, l’ensemble des-solutions approchées du problème(P), est noté par−Argmin_X, et défini par

5

i) si inf

x∈Xf(x)∈R,

-Argmin_Xf =

y ∈X/ f(y)≤ inf

x∈Xf(x) + , ii) si inf

x∈Xf(x) =−∞

-Argmin_Xf =

y ∈X/ f(y)≤ −1

.

Définition 2.1.1 SoientX un sous ensemble non vide deRⁿ, etf :X →R, une fonction. La fonction f est dite propre si

f(x)>−∞,∀x∈X et ∃x¯∈ X tel que f(¯x)<+∞.

Remarque 2.1.1 1. Si domf 6=∅, alorsinfx∈Xf(x)∈R∪ {−∞}.

2. Soit > 0. D’après la caractérisation de la borne inférieure, on a toujours-Argmin_Xf 6=∅. En effet, si

i) inf

x∈Xf(x)∈R, pour tout >0, il existe x ∈X, tel que f(x)< inf

x∈Xf(x) + i.e., x∈-Argmin_Xf,

ii) inf

x∈Xf(x) = −∞. Supposons que -Argmin_Xf = ∅. Alors, pour touty∈X, on a f(y)>−1

. Par suite,

−∞= inf

y∈Xf(y)≥ −1 ce qui donne une contradiction.

Cependant, Argmin_Xf peut être vide comme on le voit dans l’exemple suivant

Exemple 2.1.1 Soitf la fonction définie sur R, par f(x) =exp(x). Alors

x∈infR

f(x) = 0

mais il n’existe pas dex∈R, tel que f(x) = 0, i.e., Argmin_Rf =∅.

Exercice 2.1.1 Soient X un sous ensemble non vide deRⁿ, etf :X −→R une fonction avec domf 6=∅. Montrer que

1. Argmin_Xf ⊂-Argmin_Xf,∀ >0.

2. Argmin_Xf = \

>0

-Argmin_Xf.

Définition 2.1.2 Soit f : Rⁿ −→ R une fonction. La fonction f est dite convexe si pour tout x, y∈domf, et tout α∈[0,1], on a

f(αx+ (1−α)y)≤αf(x) + (1−α)f(y).

Elle est dite strictement convexe si l’inégalité ci-dessus est stricte et vérifiée pour tout x, y∈domf, x6=y, et tout α ∈]0,1[. La fonction f est dite con- cave (respectivement strictement concave), si−f est convexe (respectivement strictement convexe).

Proposition 2.1.1 Soitf :Rⁿ−→Rune fonction. Alors, f est convexe si et seulement si epif est convexe dans Rⁿ⁺¹.

Preuve. (=⇒) Supposons que f est convexe sur Rⁿ. Soient (x, t),(y, s) ∈ epif, etα∈ [0,1]. On a

f(αx+ (1−α)y)≤αf(x) + (1−α)f(y)≤αt+ (1−α)s.

Alors,

(αx+ (1−α)y, αt+ (1−α)) =α(x, t) + (1−α)(y, s)∈epif.

D’où le résultats.

(⇐=) Supposons que epif est un convexe de Rⁿ⁺¹. Soient x, y ∈domf, et α∈ [0,1]. On a,(x, f(x))∈epif, et(y, f(y))∈epif, et donc

α(x, f(x)) + (1−α)(y, f(y)) = (αx+ (1−α)y, αf(x) + (1−α)f(y))∈epif.

Par suite

f(αx+ (1−α)y)≤αf(x) + (1−α)f(y),

i.e., f est convexe. 2

Exercice 2.1.2 1. Montrer que domf = p

Rⁿ(epif), où p_Rn désigne la projection surRⁿ.

2. Montrer que si f est convexe sur Rⁿ, alors, domf est un convexe de Rⁿ.

3. Etablir : f est convexe sur Rⁿ ⇐⇒ epi_sf est un convexe de Rⁿ⁺¹.

Proposition 2.1.2 (L’inégalité de Jensen) Soit f :Rⁿ → R une fonction.

Alors,f est convexe, si et seulement si, pour tout p ∈N^∗, tout xi ∈ domf, et tout αi ∈ [0,1], i= 1, ..., p, avec

p

X

i=1

αi = 1, on a

f

p

X

i=1

αixi

!

≤

p

X

i=1

αif(xi).

Preuve. (⇐=) Obtenue pourp= 2.

(=⇒) Pour toutx_i ∈ domf, i∈ {1, ..., p}, on a(x_i, f(x_i))∈epif. Puisque epif est convexe (Proposition2.1.1), alors,

p

X

i=1

α_i(x_i, f(x_i)) =

p

X

i=1

α_ix_i,

p

X

i=1

α_if(x_i)

!

∈epif i.e.,

f

p

X

i=1

αixi

!

≤

p

X

i=1

αif(xi). 2

Proposition 2.1.3 Soient f :Rⁿ×R^m→Rune fonction convexe, et C un sous ensemble convexe deR^m. Alors, la fonction marginale définie sur Rⁿ, par

v(x) = Inf

y∈Cf(x, y) est convexe sur Rⁿ.

Preuve. Soitx, x⁰ ∈domv, i.e., v(x)<+∞, etv(x⁰)<+∞. Soitt∈[0,1].

Soit(α, β)∈R², tel que

v(x)< α et v(x⁰)< β.

Il existey ety⁰ ∈C, tels que

f(x, y)< α et f(x⁰, y⁰)< β.

on aty+ (1−t)y⁰ ∈C. Alors,

v(tx+ (1−t)x⁰) ≤ f(tx+ (1−t)x⁰, ty+ (1−t)y⁰)

≤ tf(x, y) + (1−t)f(x⁰, y⁰)

< tα+ (1−t)β.

En faisant tendreα→v(x), etβ→v(x⁰), on obtient

v(tx+ (1−t)x⁰)≤tv(x) + (1−t)v(x⁰). 2 Considérons maintenant le cas où l’ensemble des contraintesX est explicite, qui est représenté par un nombre fini d’inégalités.

Proposition 2.1.4 Soient f : Rⁿ×R^m → R, une fonction convexe, et gi : Rⁿ×R^m → R, i = 1, ..., p des fonctions convexes. Alors, la fonction marginale définie sur Rⁿ par

v(x) = Inf

y∈Rm gi(x,y)≤0

i=1,...,p

f(x, y)

est convexe sur Rⁿ.

Preuve. Soientx, x⁰ ∈domv, ett∈[0,1]. Soit(α, β)∈R², tel que v(x)< α and v(x⁰)< β.

Alors, il existe y ety⁰ ∈R^m, tels que

g_i(x, y)≤0, i= 1, ..., p f(x, y)< α et

g_i(x⁰, y⁰)≤0, i= 1, ..., p, f(x⁰, y⁰)< β.

La convexité de g_i implique que

g_i(tx+ (1−t)x⁰, ty+ (1−t)y⁰)≤tg_i(x, y) + (1−t)g_i(x⁰, y⁰)≤0, i= 1, ..., p. Il s’en suit que

v(tx+ (1−t)x⁰) ≤ f(tx+ (1−t)x⁰, ty+ (1−t)y⁰)

≤ tf(x, y) + (1−t)f(x⁰, y⁰)

< tα+ (1−t)β.

Faisant tendreα→v(x), etβ→v(x⁰), on obtient

v(tx+ (1−t)x⁰)≤tv(x) + (1−t)v(x⁰). 2 Proposition 2.1.5 Soientf :Rⁿ→R, une fonction convexe, et C un sous ensemble non vide de Rⁿ. Alors

sup

x∈C

f(x) = sup

x∈coC

f(x).

Preuve. On a

sup

x∈C

f(x)≤ sup

x∈coC

f(x).

Soit x ∈ coC. Il existe alors x_i ∈ C, α_i ∈ [0,1], i = 1, ..., k, k ∈ N^∗, avec

k

X

i=1

α_i= 1, tel que

x=

k

X

i=1

α_ix_i.

En utilisant la convexité def, on obtient f(x)≤

k

X

i=1

αif(xi)≤

k

X

i=1

αisup

y∈C

f(y) = sup

y∈C

f(y).

Puisquex est arbitraire dans coC, il s’en suit que sup

x∈coC

f(x)≤sup

x∈C

f(x). 2

Corollaire 2.1.1 Soient A un sous ensemble non vide de Rⁿ et σA(.) sa fonction support, i.e., la fonction définie sur Rⁿ par

σ_A(x) = sup

a∈A

hx, ai.

Alors,σ_A=σcoA.

Preuve. Soient y∈Rⁿ, etf_y la fonction définie sur Rⁿ, par f_y(x) =hy, xi

qui est convexe. Donc sup

x∈A

f_y(x) = sup

x∈coA

f_y(x) ⇐⇒ sup

x∈A

hy, xi= sup

x∈coA

hy, xi

⇐⇒ σ_A(y) =σcoA(y).

Puisquey est arbitraire dans Rⁿ, on obtientσA=σcoA. 2 Théorème 2.1.1 Soient C un sous ensemble compact et convexe de Rⁿ et f :Rⁿ→R, une fonction convexe. Alors,

sup

x∈C

f(x) = sup

x∈extC

f(x).

Preuve. PuisqueCest un convexe compact, on a extC6=∅, etC=co(extC).

Alors,

sup

x∈C

f(x) = sup

x∈co(extC)

f(x) = sup

x∈extC

f(x). 2

Exercice 2.1.3 Soit(fi)i∈I une famille de fonctions concaves. Montrer que la fonctioninfi∈If_i est concave.

Définition 2.1.3 Soient f1, ..., fm :Rⁿ → R des fonctions. L’inf convolu- tion de f₁, ..., f_m est la fonction notée f₁2...2f_m définie sur Rⁿ par

f₁2...2f_m(x) = inf

x1,...,xm∈Rn x=x1+...+xm

f₁(x₁) +...+f_m(x_m) .

On dit que l’inf convolution est exacte enx, si l’infimum est atteint, i.e., f₁2...2f_m(x) = min

x1,...,xm∈Rn x=x1+...+xm

f₁(x₁) +...+f_m(x_m) . Elle est dite exacte sur Rⁿ, si elle est exacte en tout point deRⁿ.

Remarque 2.1.2 Si m= 2, l’inf convolution peut être écrite sous la forme f₁2f₂(x) = inf

y∈Rⁿ

f₁(y) +f₂(x−y) .

Exemple 2.1.2 Soient x ∈ Rⁿ, et X un sous ensemble non vide de Rⁿ. Alors,

d(x, X) = inf

y∈Xkx−yk= inf

y∈Rⁿ

{i_X(y) +kx−yk}= (iX2k.k)(x) où i_X désigne la fonction indicatrice de X, i.e.,

iX(y) =

0 si y∈X, +∞ si y6∈X.

Proposition 2.1.6 Soient f₁, f₂ : Rⁿ → R∪ {+∞}, des fonctions propres et convexes. Alors, leur inf-convolution f12f2 est convexe sur Rⁿ.

Preuve. Soitf :Rⁿ×Rⁿ→R∪ {+∞}la fonction définie par f(x, y) =f1(y) +f2(x−y).

Alors,

f₁2f₂(x) = inf

y∈Rⁿ

f(x, y).

Montrons que f est convexe. Soient (x, y), (x⁰, y⁰) ∈ domf, et α ∈ [0,1].

On a

f(α(x, y) + (1−α)(x⁰, y⁰))

= f(αx+ (1−α)x⁰, αy+ (1−α)y⁰)

= f₁(αy+ (1−α)y⁰) +f₂(αx+ (1−α)x⁰−αy−(1−α)y⁰)

≤ αf1(y) + (1−α)f1(y⁰) +αf2(x−y) + (1−α)f2(x⁰−y⁰)

= αf(x, y) + (1−α)f(x⁰, y⁰).

Alors, le résultat se déduit de la Proposition2.1.3. 2 Remarque 2.1.3 Il est facile de voir

i) L’opération 2 est commutative et associative, ii) L’opération 2 préserve la convexité.

2.2 Propriétés topologiques des fonctions convexes

Dans cette section, nous donnons quelques propriétés topologiques fonda- mentales de functions convexes.

Théorème 2.2.1 Soit f : Rⁿ → R∪ {+∞} une fonction convexe. On suppose qu’il existe un voisinage de x¯ ∈ domf, dans lequel f est bornée supérieurement. Alors, la fonctionf est continue en x.¯

Preuve. Soit g la fonction définie par g(x) = f(x + ¯x)−f(¯x). Alors, g(0) = 0. De plus,gest convexe (déjà vue) et bornée supérieurement sur un voisinage de0. En effet, il existe m >0, et une boule B(¯x, r) telle que

f(x)≤m ∀x∈B(¯x, r).

Donc

f(x+ ¯x) +f(¯x)≤m+f(¯x), ∀x∈B(0, r).

SoitM >0tel que m+f(¯x)< M. Alors,

g(x)≤M ∀x∈B(0, r).

Montrons queg est continue en0 et le résultat s’en suit. Soient∈]0,1[, et y∈B(0, r). On a

y= (1−)0 +y

. Alors, d’après la convexité deg, et puisque y

∈B(0, r), on obtient g(y)≤(1−)g(0) +gy

≤M.

De même, on a

0 = y

1 ++ 1 +

−y

et

g(0)≤ 1

1 +g(y) + 1 +g

−y

≤ 1

1 +

g(y) + 1 +M.

Alors,

g(y)≥(1 +)g(0)−M =−M.

Par suite

|g(y)| ≤M ∀y∈B(0, r) i.e., on a

∀∈]0,1[, ∃B(0, r) telle que ∀y∈B(0, r), |g(y)−g(0)| ≤M ce qui signifie queg est continue en0. Donc,

x→0limg(x) =g(0) = 0

et

x→0limf(x+ ¯x) =f(¯x).

D’où la continuité def en x.¯ 2

Théorème 2.2.2 Soit f : Rⁿ → R∪ {+∞} une fonction convexe, avec int(domf)6=∅. Soit x¯∈int(domf). Alors,f est continue en x.¯

Preuve. Voir cours fait en classe, semestre S6.

Théorème 2.2.3 Soitf :Rⁿ→R∪ {+∞}, une fonction convexe et propre.

Alors, la fonction f est continue sur ri(domf).

Preuve. La preuve est similaire à celle du Théorème 2.2.2, en travaillant avec la topologie induite sur affC, avecC =domf.

Corollaire 2.2.1 Soit f :Rⁿ →R∪ {+∞} une fonction convexe et propre et C un sous ensemble convexe et compact deRⁿ, avec C ⊂ri(domf). Soit Ml’ensemble des solutions du problème

Maxx∈C f(x).

Alors,

M ∩co(extC)6=∅

i.e., le supremum def sur C est atteint en un point extrémal de C.

Preuve. Puisque C est un convexe compact, on a extC 6= ∅, et C = co(extC). De plus, la fonctionf est continue surC(Théorème2.2.3). Alors,

sup

x∈C

f(x) = sup

x∈co(extC)

f(x) = sup

x∈extC

f(x).

D’après le théorème de Weierstrass, il existe x¯∈C, tel que f(¯x) = sup

x∈C

f(x)

= max

x∈C f(x).

Supposons queM ∩co(extC) =∅. Alors, pour toute∈extC, on a f(e)<sup

x∈C

f(x) =f(¯x).

D’autre part, puisque x¯ ∈ C = co(extC), il existe αi ∈ [0,1], ei ∈ extC, i∈ {1, ..., p},

p

X

i=1

αi = 1,p∈N^∗, tels que

¯ x=

p

X

k=1

α_ie_i.

D’après la convexité def, on obtient f(¯x)≤

p

X

i=1

α_if(e_i)<

p

X

i=1

α_i

sup

x∈C

f(x)

=f(¯x) ce qui donne une contradiction. Donc, il existee¯∈extC, tel que

f(¯e)≥ sup

x∈extC

f(x) et par suite

f(¯e) = max

x∈extC

f(x) = max

x∈C f(x). 2

Exercice 2.2.1 Soit X un sous ensemble fermé de Rⁿ. Montrer que X= \

α>0

X+ ¯B(0, α)

oùB¯(0, α) est la boule fermée de centre 0 et de rayonα.

Théorème 2.2.4 Soient f : Rⁿ → R∪ {+∞}, une fonction convexe et propre, etX⊂Rⁿ. Supposons que X est compact etX⊂int(domf). Alors, f est lipschitzienne sur X.

Preuve. On a X⊂int(domf), ce qui implique que X∩

int(domf)c

=∅.

Puisque

X= \

α>0

X+ ¯B(0, α) alors, il existeα >0, tel que

X+ ¯B(0, α)

∩

int(domf)c

=∅.

Sinon, pour toutα >0, on a X+ ¯B(0, α)

∩

int(domf)c

6=∅.

Pour 1

k, k ∈ N^∗, il existe x_k ∈X+ ¯B(0,¹_k), et x_k ∈

int(domf)c

. Posons xk = ak+ek, où ak ∈ X, et ek ∈ B¯(0,¹_k). Puisque ek → 0, quand k → +∞, alors, x_k−a_k → 0. Mais a_k ∈ X, qui est compact. Donc, il existe a_kj → ¯a ∈ X, quand j → +∞. Par suite, x_kj → ¯a, quand j → +∞.

De plus, on a x_kj ∈

int(domf)c

, qui est un ensemble fermé. Donc, ¯a ∈ int(domf)c

, ce qui donne une contradiction. Par suite, il existe α >0, tel

queX+ ¯B(0, α)⊂int(domf). Puisquef est continue sur int(domf), il s’en suit qu’elle est continue surX+ ¯B(0, α). D’après la compacité deX+ ¯B(0, α), et la continuité de f, on déduit que f est bornée surX+ ¯B(0, α). Donc, il existe a, b∈R, tel que

a≤f(x)≤b ∀x∈X+αB(0,¯ 1).

Soitx, y∈X, avec x6=y. Posons

z=y+α y−x ky−xk

qui appartient àX+αB¯(0,1). De plus, x, y∈X ⊂X+αB(0,¯ 1). On a z=

ky−xk+α ky−xk

y−α x ky−xk. Alors,

y = ky−xk

α+ky−xkz+ α α+ky−xkx et par la convexité def, on obtient

f(y)≤ ky−xk

α+ky−xkf(z) + α

α+ky−xkf(x).

Il s’en suit que

f(y)−f(x) ≤ ky−xk

α+ky−xkf(z)− ky−xk α+ky−xkf(x)

= ky−xk

α+ky−xk(f(z)−f(x))

≤ b−a

α ky−xk.

De même, en substituant ci-dessusz part=x+α x−y

ky−xk, on obtient f(x)−f(y)≤ b−a

α ky−xk.

On déduit que

|f(x)−f(y)| ≤ b−a

α ky−xk

ce qui signifie quef est lipschitzienne. 2

Corollaire 2.2.2 Soit f :Rⁿ→R∪ {+∞}une fonction convexe et propre.

Supposons qu’il existe un ouvertU deRⁿ, oùf est bornée. Alors, la fonction f est localement lipschitzienne sur U.

Preuve. Soit m, M ∈R, tels que

m≤f(x)≤M ∀x∈U.

Donc U ⊂ domf et par suite U ⊂ int(domf). Soit x¯ ∈ U. Il existe une boule B(¯¯ x, r), telle que B(¯¯ x, r)⊂U. Montrons quef est lipschitzienne sur B(¯¯ x, r). On a

B(¯¯ x, r)⊂U ⊂int(domf).

Puisque B(¯¯ x, r) est compact, alors d’après le Théorème 2.2.4 on a f est lipschitzienne surB(¯¯ x, r). Donc, f est localement lipschitzienne sur U. 2 Proposition 2.2.1 Soit f : Rⁿ → R∪ {+∞} une fonction convexe pro- pre et continue en a ∈ domf. Alors, il existe une boule B(a, r), où f est lipschitzienne.

Preuve. D’après la continuité de f en a, on a

∀⁰ >0, ∃η >0, tel que ∀x∈B(a, η), |f(x)−f(a)|< ⁰. Pour⁰ = 1, il existeη₁ >0, tel que

∀x∈B(a, η1) |f(x)−f(a)|<1.

Alors,

−1 +f(a)

| {z }

m

< f(x)<1 +f(a)

| {z }

M

.

Posons η₁ = +r, avec > 0, et r > 0. Alors, pour tout x ∈ B(a, +r), on a

m < f(x)< M

i.e., f est bornée sur la boule B(a, +r). Soit x, y ∈ B(a, r), avec x 6=y.

Soit

z=y+ y−x ky−xk

qui appartient à la boule B(a, +r). De même, on a x, y ∈ B(a, +r).

Alors,

y = ky−xk +ky−xk

z+ x ky−xk

= ky−xk

+ky−xkz+

+ky−xkx.

Donc,

f(y) ≤ ky−xk

+ky−xkf(z) +

+ky−xkf(x)

et

f(y)−f(x) ≤ ky−xk

+ky−xk(f(z)−f(x))

≤ ky−xk

M−m

. De même, en substituant ci-dessusz part=x+ x−y

ky−xk, on obtient f(x)−f(y)≤ ky−xk

M−m

. On déduit que

|f(x)−f(y)| ≤

M−m

ky−xk.

Doncf est lipschitzienne sur la boule B(a, r). 2

2.3 Fonctions convexes et différentiabilité

2.3.1 Propriétés des fonctions convexes liées à la différentia- bilité

Nous rappelons d’abord les résultats suivants de calcul différentiel.

Théorème 2.3.1 Soient U un ouvert convexe de Rⁿ, et f :U −→R fonc- tion différentiable sur U. Alors, pour tout x, y ∈ U, il existe α ∈]0,1[, tel que

f(x)−f(y) =h∇f(αx+ (1−α)y), x−yi.

Théorème 2.3.2 Soient U un ouvert convexe de Rⁿ, et f :U −→ R une fonction deux fois différentiable sur U. Alors, pour tout x, y ∈ U, il existe α∈]0,1[, tel que

f(y)−f(x) =h∇f(x), y−xi+1

2h∇²f(αy+ (1−α)x)(y−x), y−xi.

Proposition 2.3.1 Soient f : Rⁿ → R une fonction, et C un ouvert con- vexe de Rⁿ. Supposons que f est différentiable sur C. Alors, les propriétés suivantes sont équivalentes

1) f est convexe sur C,

2) f(x)≥f(y) +h∇f(y), x−yi, ∀x, y∈C, 3) h∇f(x)− ∇f(y), x−yi ≥0, ∀x, y∈C.

Preuve. On montrera 1)⇐⇒2), et2)⇐⇒3).

1) =⇒ 2)Supposons que la fonction f est convexe sur C. Soient x, y ∈C, ett∈]0,1[. Alors,

f(ty+ (1−t)x)≤tf(y) + (1−t)f(x) et

f(x+t(y−x))−f(x)

t ≤f(y)−f(x).

En faisant tendret→0⁺, on obtient

h∇f(x), y−xi ≤f(y)−f(x).

2) =⇒1)Soientx, y∈C, ett∈ [0,1]. Posonsz=tx+ (1−t)y. On a f(y)≥f(z) +h∇f(z), y−zi

et

f(x)≥f(z) +h∇f(z), x−zi.

Alors,

(1−t)f(y) +tf(x)≥f(z) + (1−t)h∇f(z), y−zi+th∇f(z), x−zi et

(1−t)f(y) +tf(x)≥f(z) +h∇f(z),(1−t)(y−z) +t(x−z)

| {z }

=0

i.

Donc,

f(z)≤tf(x) + (1−t)f(y).

Par suite,f est convexe surC.

2) =⇒3)Soitx, y∈C. On a

f(x)≥f(y) +h∇f(y), x−yi et

f(y)≥f(x) +h∇f(x), y−xi.

Alors,

h∇f(y), x−yi+h∇f(x), y−xi ≤0.

Par suite

h∇f(x)− ∇f(y), x−yi ≥0.

3) =⇒2)Soient x, y∈C. D’après le Théorème 2.3.1, il existe α∈]0,1[, tel que

f(x)−f(y) =h∇f(αx+ (1−α)y), x−yi.

En utilisant 3) on obtient

h∇f(αx+ (1−α)y)− ∇f(y), α(x−y)i ≥0.

Donc

h∇f(αx+ (1−α)y)− ∇f(y), x−yi ≥0 ce qui donne

h∇f(αx+ (1−α)y), x−yi ≥ h∇f(y), x−yi.

Par suite,

f(x)−f(y)≥ h∇f(y), x−yi. 2 Proposition 2.3.2 Soientf :Rⁿ→R, une fonction etCun ouvert convexe de Rⁿ. Supposons que f est différentiable sur C. Alors, la fonction f est strictement convexe sur C si et seulement si

f(y)> f(x) +h∇f(x), y−xi ∀x, y∈C, x6=y.

Preuve. (=⇒) Supposons que f est strictement convexe surC. Soit x, y∈ C,x6=y. Posonsz= ¹₂(y−x). Selon la Proposition 2.3.1, on a

f

x+y 2

=f(x+z)≥f(x) +h∇f(x), zi.

Donc

f(x) +h∇f(x),y−x 2 i ≤f

x+y 2

< 1

2(f(x) +f(y))

où la stricte inégalité résulte de la stricte convexité def. Alors, après sim- plification, on obtient

f(y)> f(x) +h∇f(x), y−xi.

(⇐=) La preuve est identique à celle de⁰⁰2) =⇒1)⁰⁰ de la Proposition2.3.1, en remplaçant l’inégalité≥par la stricte inégalité>. 2 Exercice 2.3.1 Soient f :Rⁿ→ R, une fonction convexe différentiable, et C un ouvert convexe deRⁿ, tel que riC=C, i.e.,C est relativement ouvert.

Soit V le sous espace vectoriel associé à affC. Considérons le problème de minimisation suivant

(P) Min

x∈Cf(x)

Soit x¯∈C. Montrer que, x¯ est solution du problème(P) si et seulement si

∇f(¯x)∈V^⊥, où V^⊥ est l’orthogonal de V.

Proposition 2.3.3 Soit f : Rⁿ → R, une fonction deux fois différentiable sur un ouvert convexeC deRⁿ. Alors, les assertions suivantes sont équiva- lentes

1) la fonction f est convexe sur C,

2) pour toutx∈C, la matrice hessienne∇²f(x) est semi-définie positive sur Rⁿ, i.e.,

h∇²f(x)y, yi ≥0, ∀y ∈Rⁿ.

Preuve. 1) =⇒2)Soit x∈C. Remarquons que si y = 0, alors la propriété est vraie. Soit alors y ∈Rⁿ\ {0}, et α ∈R^∗+. Puisque x+αy→ x, quand α→ 0⁺, etC ouvert, il existe alors α >¯ 0, tel que x+αy∈C, ∀α∈]0,α[.¯ D’autre part, on a

f(x+αy) =f(x) +αh∇f(x), yi+α²

2 h∇²f(x)y, yi+kαyk²βx(αy) oùβx(αy)→0, quandα→0⁺. Alors,

f(x+αy)−f(x)−αh∇f(x), yi= α²

2 h∇²f(x)y, yi+kαyk²βx(αy) où le terme de gauche est positive puisque f est convexe (voir Proposition 2.3.1). Donc

α²

2 h∇²f(x)y, yi+kαyk²β_x(αy)≥0.

Après simplification parα², et en faisant tendre α→0⁺, on obtient h∇²f(x)y, yi ≥0.

2) =⇒ 1) Soit x, y ∈ C. D’après le Théorème 2.3.2, il existe α ∈]0,1[, tel que

f(y) =f(x) +h∇f(x), y−xi+1

2hy−x,∇²f(x+α(y−x))(y−x)i.

Donc

f(y)−f(x)− h∇f(x), y−xi= 1

2hy−x,∇²f(x+α(y−x))(y−x)i.

Puisque x+α(y−x) ∈ C, alors d’après 2), on a ∇²f(x+α(y−x)) est semi-définie positive. D’où le terme de droite est positive. Il en résulte que

f(y)≥f(x) +h∇f(x), y−xi. 2

Remarque 2.3.1 Pour le cas concave, on obtient le résultat suivant, ana- logue à celui de la Proposition 2.3.3 :

• la fonction f est concave sur C, si et seulement si pour tout x ∈ C, la matrice hessienne ∇²f(x) semi-définie négative sur Rⁿ, i.e.,

h∇²f(x)y, yi ≤0, ∀y∈Rⁿ.

Proposition 2.3.4 Soit f : Rⁿ → R une fonction deux fois différentiable sur un ouvert convexeC de Rⁿ. Supposons que pour toutx∈C, la matrice hessienne ∇²f(x) définie positive sur Rⁿ, i.e.,

h∇²f(x)y, yi>0 ∀y∈Rⁿ\ {0}.

Alors,f est strictement convexe surC.

Preuve. Soientx, y∈C,x6=y, ett∈]0,1[. Il existeα∈]0,1[, tel que f(y)−f(x)− h∇f(x), y−xi= 1

2h∇²f(αy+ (1−α)x)(y−x), y−xi où le terme de droite est strictement positif. Donc

f(y)> f(x)− h∇f(x), y−xi.

D’après la Proposition2.3.2 la fonction f est strictement convexe sur C. 2 Dans la Proposition 2.3.4 la réciproque est en général fausse. Cependant, pour le cas quadratique, on a le résultat suivant.

Proposition 2.3.5 Considérons la fonction quadratique suivante définie sur Rⁿ par

f(x) = 1

2hQx, xi+hb, xi

où Q ∈ R^n×n, est symétrique et b∈ Rⁿ. Alors, on a les équivalences suiv- antes

1) f est convexe ⇐⇒ Qest semi-définie positive, 2) f est strictement convexe ⇐⇒ Q est définie positive.

Preuve. A faire comme exercice.

Exercice 2.3.2 Soit f : Rⁿ → R une fonction convexe et différentiable.

Montrer que pour tout x∈Rⁿ, on a ∇f(x)

−1

∈ Nepif(x, f(x)).

2.3.2 Dérivée directionnelle

Définition 2.3.1 Soit f : Rⁿ → R∪ {+∞} une fonction convexe. Soit a∈Rⁿ avec f(a) ∈R, et d∈Rⁿ\ {0}. La dérivée directionnelle def en a dans la directiond, notéef⁰(a;d) est donnée par la limite

f⁰(a, d) = lim

t&0⁺

f(a+td)−f(a)

t .

La fonction f⁰(a;.) est appelée la dérivée directionnelle de f en a. Quand la fonctionf⁰(a;.) est linéaire, on dit que f est Gâteaux différentiable en a.

Dans ce cas, il existe x^∗ ∈Rⁿ, tel quef⁰(a;.) =hx^∗, .i. Si pour tout d∈Rⁿ, f⁰(a;d) est un nombre réel fini, on dit quef est directionnellement dérivable ena.

Remarque 2.3.2 1. On af⁰(a;d)∈ [−∞,+∞].

2. La fonction f⁰(a;.) est positivement homogène (simple à vérifier), i.e., f⁰(a;td) =tf⁰(a;d), ∀t >0.

3. Si f est différentiable en a, alors, pour tout d∈ Rⁿ\ {0}, f⁰(a;d) = h∇f(a), di.

Proposition 2.3.6 Soitf :Rⁿ→R∪{+∞}une fonction convexe et propre.

Soit x ∈ Rⁿ où f est finie, et d ∈ Rⁿ\ {0}. Alors, la fonction ϕ : R^∗+ → R∪ {+∞}définie par

ϕ(t) = f(x+td)−f(x) t

est croissante surR^∗+.

Preuve. Soit r, s∈R^∗+. Supposons ques≥r. Alors, r

s ∈ [0,1], et x+rd= r

s(x+sd) +

1−r s

x.

D’après la convexité def, on a f(x+rd)≤ r

sf(x+sd) +

1−r s

f(x).

Donc

f(x+rd)−f(x)

r ≤ f(x+sd)−f(x) s

i.e.,

ϕ(r)≤ϕ(s). 2

Proposition 2.3.7 Soit f :Rⁿ → R∪ {+∞}une fonction propre convexe et semi-continue inférieurement. Soient a ∈ domf, et t ∈]0,1[. Alors, la fonctionϕ_t(.) :Rⁿ→R∪ {+∞}, définie par

ϕ_t(x) = f(a+tx)−f(a) t

est convexe propre et semi-continue inférieurement.

Preuve. On a ϕ_t(0) = ^f(a)−f_t ^(a) = 0 < +∞, et ϕ_t(x) > −∞, ∀x ∈ Rⁿ. Donc, la fonction ϕ_t(.)est propre.

Montrons queϕt(.)est convexe surRⁿ. Soientx, y∈domϕt(.), etα∈]0,1[.

On a

ϕt(αx+ (1−α)y) = f(a+t(αx+ (1−α)y)−f(a) t

= f(α(a+tx) + (1−α)(a+ty))−f(a) t

≤ αf(a+tx) + (1−α)f(a+ty)−f(a) t

= α(f(a+tx)−f(a)) + (1−α)(f(a+ty)−f(a))

= αϕt(x) + (1−α)ϕt(y). t

Pour montrer que ϕ_t(.) est semi-continue inférieurement sur Rⁿ, soit (x_k) une suite qui converge versx dansRⁿ. On a

lim inf

k→+∞ϕt(xk) = 1 tlim inf

k→+∞

f(a+txk)−f(a) t

≥ 1

tf(a+tx)−f(a)

t =ϕ_t(x)

i.e., ϕ_t(.)est semi-continue inférieurement sur Rⁿ. 2 Proposition 2.3.8 Soitf :Rⁿ→R∪{+∞}une fonction convexe et propre.

Soient x∈domf, et d∈Rⁿ\ {0}. Alors

i) si pour tout t>0, x+td6∈domf, alors f⁰(x, d) = +∞.

ii) on a

f⁰(x;d) = inf

t>0

f(x+td)−f(x) t

Preuve. Pourt∈

0,+∞

, posons

h(t) = f(x+td)−f(x)

t .

i) Supposons que pour tout t>0, x+td 6∈domf. Alors, h ≡+∞, et donc f⁰(x, d) = +∞.

ii) Résulte de la croissance de la fonction h. 2

Proposition 2.3.9 Soitf :Rⁿ→R∪{+∞}une fonction convexe et propre.

Soitx∈domf. Alors,

f(y)≥f(x) +f⁰(x;y−x), ∀y ∈Rⁿ. Preuve. Soient y∈Rⁿ, ett∈

0,1

. Alors, f(x+ 1(y−x))−f(x)

1 ≥ f(x+t(y−x))−f(x) t

En passant à la limite, on obtient

f(y)≥f(x) +f⁰(x;y−x), ∀y∈Rⁿ 2 Proposition 2.3.10 Soit f : Rⁿ → R∪ {+∞}, une fonction convexe et propre. Alors

−f⁰(x;−d)≤f⁰(x;d) ∀x∈domf, ∀d∈Rⁿ\ {0}.

Preuve. Soient x∈domf etd∈Rⁿ. On a x= 1

2(x−td) +1

2(x+td) ∀t >0.

Par convexité def, on a f(x)≤ 1

2f(x+t(−d)) + 1

2f(x+td).

Donc

0≤ f(x+t(−d))−f(x)

t +f(x+td)−f(x) t

En faisant tendret→0⁺, on obtient

0≤f⁰(x;−d) +f⁰(x;d).

D’où le résultat 2

Proposition 2.3.11 Soit f : Rⁿ → R∪ {+∞} une fonction convexe et propre. Soitx, y∈domf. Alors,

f⁰(x;x−y)−f⁰(y;x−y)≥0.

Preuve. D’après la Proposition 2.3.9, on a

f(x)≥f(y) +f⁰(y;x−y) et

f(y)≥f(x) +f⁰(x;y−x).

Donc,

f⁰(y;x−y) +f⁰(x;y−x)≤0.

d’où

f⁰(y;x−y)≤ −f⁰(x;y−x)≤f⁰(x;x−y) où la dernière inégalité résulte de la Proposition2.3.10. Par suite,

f⁰(x;x−y)−f⁰(y;x−y)≥0. 2 Proposition 2.3.12 Soit f : Rⁿ → R∪ {+∞}, une fonction convexe et propre. Alors, pour tout x∈domf, la fonctionf⁰(x;.) est convexe sur Rⁿ. Proof. Soient d₁, d₂ ∈ Rⁿ, etα∈ [0,1]. Alors,

f⁰(x;αd1+ (1−α)d2)

= lim

t&0⁺

f(x+t(αd₁+ (1−α)d₂))−f(x) t

= lim

t&0⁺

f(α(x+td₁) + (1−α)(x+td₂))−f(x) t

≤ lim

t&0⁺

αf(x+td₁)−f(x)

t + (1−α)f(x+td₂)−f(x) t

= αf⁰(x;d₁) + (1−α)f⁰(x;d₂).

Proposition 2.3.13 Soit f : Rⁿ → R∪ {+∞} une fonction convexe et propre. Soitx∈domf. Supposons qu’il existe un ouvertU deRⁿ contenant x oùf est bornée. Alors, f⁰(x;.) est une fonction continue sur Rⁿà valeurs finies.

Preuve. Soitd∈Rⁿ\ {0}. On aU ⊂domf. D’après le Corollaire2.2.2, il existe une B(x, r)¯ ⊂U, où f est lipschitzienne. Puisque x+td→ x, quand t& 0⁺, il existe ¯t > 0, tel que pour tout t∈

0,¯t

, on a x+td ∈ B(x, r).¯ Par suite

|f(x+td)−f(x)| ≤Ltkdk

oùL est la constante de Lipschitz. En faisant tendre t&0⁺, on obtient

|f⁰(x;d)| ≤Lkdk.

On déduit que la fonction f⁰(x;.) est à valeurs finies sur Rⁿ. De plus, en utilisant le fait que f⁰(x;.) est convexe sur Rⁿ, on déduit que f⁰(x;.) est

continue surRⁿ. 2

Corollaire 2.3.1 Soit f :Rⁿ→R∪ {+∞}une fonction convexe et propre.

Soitx∈int(domf). Alors, domf⁰(x;.) =Rⁿ.

Preuve. Puisque x ∈int(dom)f, alors, f est continue en x. Donc, d’après la continuité def, pour= 1, il exister >0, tel que

|f(y)−f(x)|<1 ∀y∈B(x, r).

Donc

f(x)−1< f(y)< f(x) + 1 ∀y ∈B(x, r).

D’où,f est bornée sur la boule ouverte B(x, r). Le résultat se déduit de la

Proposition2.3.13. 2

2.3.3 Quasi-convexité

Définition 2.3.2 Soient f :C →R une fonction, et C un convexe de Rⁿ. 1. On dit que la fonctionf est quasi-convexe surC, si pour toutx, y∈C,

et tout α∈ 0,1

, on a

f(αx+ (1−α)y)≤max{f(x), f(y)}.

La fonctionf est dite quasi-concave si−f est quasi-convexe.

2. On dit que la fonction f est strictement quasi-convexe sur C, si pour toutx, y∈C, avec f(x)6=f(y), et tout α∈

0,1 , on a f(αx+ (1−α)y)<max{f(x), f(y)}.

La fonction f est dite strictement quasi-concave si −f strictement quasi-convexe.

Proposition 2.3.14 SoientCun convexe deRⁿetf :C →Rune fonction.

Alors, la fonction f est quasi-convexe sur C si et seulement si pour tout r∈R, l’ensemble

x∈C/ f(x)≤r est convexe.

Preuve. (=⇒) Supposons que f est quasi-convexe. Soient x, y ∈ z ∈ C/ f(z)≤r , etα∈ [0,1]. Alors, on a

f(αx+ (1−α)y)≤max{f(x), f(y)} ≤r.

C’est à direαx+ (1−α)y∈

z∈C/ f(z)≤r .

(⇐=) Soient x, y ∈ C, et α ∈ [0,1]. Posons r = max{f(x), f(y)}. Alors, f(x)≤r etf(y)≤r. C’est à dire x, y∈

z∈C/ f(z)≤r . Donc f(αx+ (1−α)y)≤r= max

f(x), f(y) où l’inégalité résulte de la convexité de l’ensemble

z∈C/ f(z)≤r . 2

Remarque 2.3.3 Si f est convexe, alors f est quasi-convexe.

Proposition 2.3.15 Soient C un convexe de Rⁿ, et f :C → R, une fonc- tion quasi-convexe sur C. Considérons le problème de minimisation suivant

(P) Min

x∈Cf(x).

Si x¯ ∈C est un minimum local strict de f sur C, alors x¯ est un minimum global def sur C.

Preuve. Supposons quex¯est un minimum local strict def surC. Il existe une boule ferméeB¯(¯x, r), tel que

f(¯x)< f(x), ∀x∈B(¯¯ x, r)∩C.

Supposons qu’il existe y¯ ∈ C\B(¯¯ x, r), tel que f(¯y) < f(¯x). Posons t = r

k¯y−xk¯ . Alors

kt¯y+ (1−t)¯x−xk¯ =tk¯y−xk¯ =r.

C’est à dire t¯y+ (1−t)¯x∈B(¯¯ x, r), et donct¯y+ (1−t)¯x∈B(¯¯ x, r)∩C. Il s’en suit que

f(¯x) < f(t¯y+ (1−t)¯x)

≤ max

f(¯x), f(¯y)

= f(¯x)

ce qui donne une contradiction. 2