Analyse Convexe et Optimisation
Cours pour étudiants de la Filière Sciences Mathématiques et Applications
Chapitres 2 &3 Semestre S6
Université Cadi Ayyad Faculté Polydisciplinaire de Safi
c Abdelmalek ABOUSSOROR SAFI 2020
Avant Propos
Ce cours est une continuité du cours fait en semestre S5 de la fil- ière Sciences Mathématiques et Applications. L’assimilation du cours du semestre S5 concernant les espaces affines et les ensembles convexes est néces- saire pour la bonne comphérension des chapitres qui suivent. Le présent cours est composé de deux chapitres : chapitres 2 et 3. Le chapitre 1 et une partie du chapitre 2, sont déjà faits en classe. Le chapitre 2 con- cerne les fonctions convexes. Il traite des propriétés topologiques et d’autres liées à la différentiabilité de ces fonctions. Pour la commodité du lecteur, nous rappelons quelques résultats concernant la partie faite en classe du chapitre 2. Le chapitre 3, traite les conditions d’optimalité pour les prob- lèmes d’optimisation. Plusieurs types de contraintes sont considérées et des exemples illustratifs sont donnés.
Contents
1 Ensembles Convexes 5
2 Fonctions Convexes 7
2.1 Préliminaires et définitions. . . 7
2.2 Propriétés topologiques des fonctions convexes. . . 14
2.3 Fonctions convexes et différentiabilité. . . 19
2.3.1 Propriétés des fonctions convexes liées à la différentia- bilité . . . 19
2.3.2 Dérivée directionnelle . . . 24
2.3.3 Quasi-convexité . . . 28
3 Conditions d’optimalité 31 3.1 Préliminaires et définitions. . . 31
3.2 Conditions d’optimalité . . . 33
3.2.1 L’ensemble des contraintes est un ouvert . . . 33
3.2.2 Contraintes d’égalités linéaires . . . 38
3.2.3 Contraintes d’égalités non linéaires . . . 40
3.2.4 Contraintes d’inégalités . . . 43
3.2.5 Contraintes d’égalités et d’inégalités . . . 49
3.2.6 Conditions d’optimalité utilisant le cône normal, le cône tangent et le sous-différentiel . . . 59
3
Chapter 1
Ensembles Convexes
Chapitre fait en classe.
5
Chapter 2
Fonctions Convexes
2.1 Préliminaires et définitions
SoientX un sous ensemble non vide deRn, et f :X →Rune fonction.
On considère les ensembles suivants 1. domf =
x∈X/ f(x)<+∞ , 2. epif =
(x, t)∈X×R/ f(x)≤t , 3. episf =
(x, t)∈X×R/ f(x)< t ,
appelés respectivement, le domaine effectif, l’épigraphe, et l’épigraphe strict def,
4. Considérons le problème de minimisation suivant (P) Min
x∈Xf(x).
L’ensembleX est appelé l’ensemble des contraintes, et toutx∈X est appelé un point réalisable de(P). Un point réalisablex¯ vérifiant
f(¯x) = inf
x∈Xf(x) = min
x∈Xf(x)
est appelé solution ou solution globale de(P). On note par ArgminXf ={y∈X/ f(y) = inf
x∈Xf(x)
l’ensemble des solutions du problème(P). Un point réalisable x¯∈X, est dit solution locale de(P), s’il existe un voisinageV dex¯tel que
f(¯x)≤f(x) ∀x∈V ∩X.
Pour >0, l’ensemble des-solutions approchées du problème(P), est noté par−ArgminX, et défini par
7
i) si inf
x∈Xf(x)∈R,
-ArgminXf =
y ∈X/ f(y)≤ inf
x∈Xf(x) + , ii) si inf
x∈Xf(x) =−∞
-ArgminXf =
y ∈X/ f(y)≤ −1
.
Définition 2.1.1 SoientX un sous ensemble non vide deRn, etf :X →R, une fonction. La fonction f est dite propre si
f(x)>−∞,∀x∈X et ∃x¯∈ X tel que f(¯x)<+∞.
Remarque 2.1.1 1. Si domf 6=∅, alorsinfx∈Xf(x)∈R∪ {−∞}.
2. Soit > 0. D’après la caractérisation de la borne inférieure, on a toujours-ArgminXf 6=∅. En effet, si
i) inf
x∈Xf(x)∈R, pour tout >0, il existe x ∈X, tel que f(x)< inf
x∈Xf(x) + i.e., x∈-ArgminXf,
ii) inf
x∈Xf(x) = −∞. Supposons que -ArgminXf = ∅. Alors, pour touty∈X, on a f(y)>−1
. Par suite,
−∞= inf
y∈Xf(y)≥ −1 ce qui donne une contradiction.
Cependant, ArgminXf peut être vide comme on le voit dans l’exemple suivant
Exemple 2.1.1 Soitf la fonction définie sur R, par f(x) =exp(x). Alors
x∈infR
f(x) = 0
mais il n’existe pas dex∈R, tel que f(x) = 0, i.e., ArgminRf =∅.
Exercice 2.1.1 Soient X un sous ensemble non vide deRn, etf :X −→R une fonction avec domf 6=∅. Montrer que
1. ArgminXf ⊂-ArgminXf,∀ >0.
2.1. PRÉLIMINAIRES ET DÉFINITIONS 9 2. ArgminXf = \
>0
-ArgminXf.
Définition 2.1.2 Soit f : Rn −→ R une fonction. La fonction f est dite convexe si pour tout x, y∈domf, et tout α∈[0,1], on a
f(αx+ (1−α)y)≤αf(x) + (1−α)f(y).
Elle est dite strictement convexe si l’inégalité ci-dessus est stricte et vérifiée pour tout x, y∈domf, x6=y, et tout α ∈]0,1[. La fonction f est dite con- cave (respectivement strictement concave), si−f est convexe (respectivement strictement convexe).
Proposition 2.1.1 Soitf :Rn−→Rune fonction. Alors, f est convexe si et seulement si epif est convexe dans Rn+1.
Preuve. (=⇒) Supposons que f est convexe sur Rn. Soient (x, t),(y, s) ∈ epif, etα∈ [0,1]. On a
f(αx+ (1−α)y)≤αf(x) + (1−α)f(y)≤αt+ (1−α)s.
Alors,
(αx+ (1−α)y, αt+ (1−α)) =α(x, t) + (1−α)(y, s)∈epif.
D’où le résultats.
(⇐=) Supposons que epif est un convexe de Rn+1. Soient x, y ∈domf, et α∈ [0,1]. On a,(x, f(x))∈epif, et(y, f(y))∈epif, et donc
α(x, f(x)) + (1−α)(y, f(y)) = (αx+ (1−α)y, αf(x) + (1−α)f(y))∈epif.
Par suite
f(αx+ (1−α)y)≤αf(x) + (1−α)f(y),
i.e., f est convexe. 2
Exercice 2.1.2 1. Montrer que domf = p
Rn(epif), où pRn désigne la projection surRn.
2. Montrer que si f est convexe sur Rn, alors, domf est un convexe de Rn.
3. Etablir : f est convexe sur Rn ⇐⇒ episf est un convexe de Rn+1.
Proposition 2.1.2 (L’inégalité de Jensen) Soit f :Rn → R une fonction.
Alors,f est convexe, si et seulement si, pour tout p ∈N∗, tout xi ∈ domf, et tout αi ∈ [0,1], i= 1, ..., p, avec
p
X
i=1
αi = 1, on a
f
p
X
i=1
αixi
!
≤
p
X
i=1
αif(xi).
Preuve. (⇐=) Obtenue pourp= 2.
(=⇒) Pour toutxi ∈ domf, i∈ {1, ..., p}, on a(xi, f(xi))∈epif. Puisque epif est convexe (Proposition2.1.1), alors,
p
X
i=1
αi(xi, f(xi)) =
p
X
i=1
αixi,
p
X
i=1
αif(xi)
!
∈epif i.e.,
f
p
X
i=1
αixi
!
≤
p
X
i=1
αif(xi). 2
Proposition 2.1.3 Soient f :Rn×Rm→Rune fonction convexe, et C un sous ensemble convexe deRm. Alors, la fonction marginale définie sur Rn, par
v(x) = Inf
y∈Cf(x, y) est convexe sur Rn.
Preuve. Soitx, x0 ∈domv, i.e., v(x)<+∞, etv(x0)<+∞. Soitt∈[0,1].
Soit(α, β)∈R2, tel que
v(x)< α et v(x0)< β.
Il existey ety0 ∈C, tels que
f(x, y)< α et f(x0, y0)< β.
on aty+ (1−t)y0 ∈C. Alors,
v(tx+ (1−t)x0) ≤ f(tx+ (1−t)x0, ty+ (1−t)y0)
≤ tf(x, y) + (1−t)f(x0, y0)
< tα+ (1−t)β.
En faisant tendreα→v(x), etβ→v(x0), on obtient
v(tx+ (1−t)x0)≤tv(x) + (1−t)v(x0). 2 Considérons maintenant le cas où l’ensemble des contraintesX est explicite, qui est représenté par un nombre fini d’inégalités.
2.1. PRÉLIMINAIRES ET DÉFINITIONS 11 Proposition 2.1.4 Soient f : Rn×Rm → R, une fonction convexe, et gi : Rn×Rm → R, i = 1, ..., p des fonctions convexes. Alors, la fonction marginale définie sur Rn par
v(x) = Inf
y∈Rm gi(x,y)≤0
i=1,...,p
f(x, y)
est convexe sur Rn.
Preuve. Soientx, x0 ∈domv, ett∈[0,1]. Soit(α, β)∈R2, tel que v(x)< α and v(x0)< β.
Alors, il existe y ety0 ∈Rm, tels que
gi(x, y)≤0, i= 1, ..., p f(x, y)< α et
gi(x0, y0)≤0, i= 1, ..., p, f(x0, y0)< β.
La convexité de gi implique que
gi(tx+ (1−t)x0, ty+ (1−t)y0)≤tgi(x, y) + (1−t)gi(x0, y0)≤0, i= 1, ..., p. Il s’en suit que
v(tx+ (1−t)x0) ≤ f(tx+ (1−t)x0, ty+ (1−t)y0)
≤ tf(x, y) + (1−t)f(x0, y0)
< tα+ (1−t)β.
Faisant tendreα→v(x), etβ→v(x0), on obtient
v(tx+ (1−t)x0)≤tv(x) + (1−t)v(x0). 2 Proposition 2.1.5 Soientf :Rn→R, une fonction convexe, et C un sous ensemble non vide de Rn. Alors
sup
x∈C
f(x) = sup
x∈coC
f(x).
Preuve. On a
sup
x∈C
f(x)≤ sup
x∈coC
f(x).
Soit x ∈ coC. Il existe alors xi ∈ C, αi ∈ [0,1], i = 1, ..., k, k ∈ N∗, avec
k
X
i=1
αi= 1, tel que
x=
k
X
i=1
αixi.
En utilisant la convexité def, on obtient f(x)≤
k
X
i=1
αif(xi)≤
k
X
i=1
αisup
y∈C
f(y) = sup
y∈C
f(y).
Puisquex est arbitraire dans coC, il s’en suit que sup
x∈coC
f(x)≤sup
x∈C
f(x). 2
Corollaire 2.1.1 Soient A un sous ensemble non vide de Rn et σA(.) sa fonction support, i.e., la fonction définie sur Rn par
σA(x) = sup
a∈A
hx, ai.
Alors,σA=σcoA.
Preuve. Soient y∈Rn, etfy la fonction définie sur Rn, par fy(x) =hy, xi
qui est convexe. Donc sup
x∈A
fy(x) = sup
x∈coA
fy(x) ⇐⇒ sup
x∈A
hy, xi= sup
x∈coA
hy, xi
⇐⇒ σA(y) =σcoA(y).
Puisquey est arbitraire dans Rn, on obtientσA=σcoA. 2 Théorème 2.1.1 Soient C un sous ensemble compact et convexe de Rn et f :Rn→R, une fonction convexe. Alors,
sup
x∈C
f(x) = sup
x∈extC
f(x).
Preuve. PuisqueCest un convexe compact, on a extC6=∅, etC=co(extC).
Alors,
sup
x∈C
f(x) = sup
x∈co(extC)
f(x) = sup
x∈extC
f(x). 2
Exercice 2.1.3 Soit(fi)i∈I une famille de fonctions concaves. Montrer que la fonctioninfi∈Ifi est concave.
Définition 2.1.3 Soient f1, ..., fm :Rn → R des fonctions. L’inf convolu- tion de f1, ..., fm est la fonction notée f12...2fm définie sur Rn par
f12...2fm(x) = inf
x1,...,xm∈Rn x=x1+...+xm
f1(x1) +...+fm(xm) .
On dit que l’inf convolution est exacte enx, si l’infimum est atteint, i.e., f12...2fm(x) = min
x1,...,xm∈Rn x=x1+...+xm
f1(x1) +...+fm(xm) . Elle est dite exacte sur Rn, si elle est exacte en tout point deRn.
2.1. PRÉLIMINAIRES ET DÉFINITIONS 13 Remarque 2.1.2 Si m= 2, l’inf convolution peut être écrite sous la forme
f12f2(x) = inf
y∈Rn
f1(y) +f2(x−y) .
Exemple 2.1.2 Soient x ∈ Rn, et X un sous ensemble non vide de Rn. Alors,
d(x, X) = inf
y∈Xkx−yk= inf
y∈Rn
{iX(y) +kx−yk}= (iX2k.k)(x) où iX désigne la fonction indicatrice de X, i.e.,
iX(y) =
0 si y∈X, +∞ si y6∈X.
Proposition 2.1.6 Soient f1, f2 : Rn → R∪ {+∞}, des fonctions propres et convexes. Alors, leur inf-convolution f12f2 est convexe sur Rn.
Preuve. Soitf :Rn×Rn→R∪ {+∞}la fonction définie par f(x, y) =f1(y) +f2(x−y).
Alors,
f12f2(x) = inf
y∈Rn
f(x, y).
Montrons que f est convexe. Soient (x, y), (x0, y0) ∈ domf, et α ∈ [0,1].
On a
f(α(x, y) + (1−α)(x0, y0))
= f(αx+ (1−α)x0, αy+ (1−α)y0)
= f1(αy+ (1−α)y0) +f2(αx+ (1−α)x0−αy−(1−α)y0)
≤ αf1(y) + (1−α)f1(y0) +αf2(x−y) + (1−α)f2(x0−y0)
= αf(x, y) + (1−α)f(x0, y0).
Alors, le résultat se déduit de la Proposition2.1.3. 2 Remarque 2.1.3 Il est facile de voir
i) L’opération 2 est commutative et associative, ii) L’opération 2 préserve la convexité.
2.2 Propriétés topologiques des fonctions convexes
Dans cette section, nous donnons quelques propriétés topologiques fonda- mentales de functions convexes.
Théorème 2.2.1 Soit f : Rn → R∪ {+∞} une fonction convexe. On suppose qu’il existe un voisinage de x¯ ∈ domf, dans lequel f est bornée supérieurement. Alors, la fonctionf est continue en x.¯
Preuve. Soit g la fonction définie par g(x) = f(x + ¯x)−f(¯x). Alors, g(0) = 0. De plus,gest convexe (déjà vue) et bornée supérieurement sur un voisinage de0. En effet, il existe m >0, et une boule B(¯x, r) telle que
f(x)≤m ∀x∈B(¯x, r).
Donc
f(x+ ¯x) +f(¯x)≤m+f(¯x), ∀x∈B(0, r).
SoitM >0tel que m+f(¯x)< M. Alors,
g(x)≤M ∀x∈B(0, r).
Montrons queg est continue en0 et le résultat s’en suit. Soient∈]0,1[, et y∈B(0, r). On a
y= (1−)0 +y
. Alors, d’après la convexité deg, et puisque y
∈B(0, r), on obtient g(y)≤(1−)g(0) +gy
≤M.
De même, on a
0 = y
1 ++ 1 +
−y
et
g(0)≤ 1
1 +g(y) + 1 +g
−y
≤ 1
1 +
g(y) + 1 +M.
Alors,
g(y)≥(1 +)g(0)−M =−M.
Par suite
|g(y)| ≤M ∀y∈B(0, r) i.e., on a
∀∈]0,1[, ∃B(0, r) telle que ∀y∈B(0, r), |g(y)−g(0)| ≤M ce qui signifie queg est continue en0. Donc,
x→0limg(x) =g(0) = 0
2.2. PROPRIÉTÉS TOPOLOGIQUES DES FONCTIONS CONVEXES15 et
x→0limf(x+ ¯x) =f(¯x).
D’où la continuité def en x.¯ 2
Théorème 2.2.2 Soit f : Rn → R∪ {+∞} une fonction convexe, avec int(domf)6=∅. Soit x¯∈int(domf). Alors,f est continue en x.¯
Preuve. Voir cours fait en classe, semestre S6.
Théorème 2.2.3 Soitf :Rn→R∪ {+∞}, une fonction convexe et propre.
Alors, la fonction f est continue sur ri(domf).
Preuve. La preuve est similaire à celle du Théorème 2.2.2, en travaillant avec la topologie induite sur affC, avecC =domf.
Corollaire 2.2.1 Soit f :Rn →R∪ {+∞} une fonction convexe et propre et C un sous ensemble convexe et compact deRn, avec C ⊂ri(domf). Soit Ml’ensemble des solutions du problème
Maxx∈C f(x).
Alors,
M ∩co(extC)6=∅
i.e., le supremum def sur C est atteint en un point extrémal de C.
Preuve. Puisque C est un convexe compact, on a extC 6= ∅, et C = co(extC). De plus, la fonctionf est continue surC(Théorème2.2.3). Alors,
sup
x∈C
f(x) = sup
x∈co(extC)
f(x) = sup
x∈extC
f(x).
D’après le théorème de Weierstrass, il existe x¯∈C, tel que f(¯x) = sup
x∈C
f(x)
= max
x∈C f(x).
Supposons queM ∩co(extC) =∅. Alors, pour toute∈extC, on a f(e)<sup
x∈C
f(x) =f(¯x).
D’autre part, puisque x¯ ∈ C = co(extC), il existe αi ∈ [0,1], ei ∈ extC, i∈ {1, ..., p},
p
X
i=1
αi = 1,p∈N∗, tels que
¯ x=
p
X
k=1
αiei.
D’après la convexité def, on obtient f(¯x)≤
p
X
i=1
αif(ei)<
p
X
i=1
αi
sup
x∈C
f(x)
=f(¯x) ce qui donne une contradiction. Donc, il existee¯∈extC, tel que
f(¯e)≥ sup
x∈extC
f(x) et par suite
f(¯e) = max
x∈extC
f(x) = max
x∈C f(x). 2
Exercice 2.2.1 Soit X un sous ensemble fermé de Rn. Montrer que X= \
α>0
X+ ¯B(0, α)
oùB¯(0, α) est la boule fermée de centre 0 et de rayonα.
Théorème 2.2.4 Soient f : Rn → R∪ {+∞}, une fonction convexe et propre, etX⊂Rn. Supposons que X est compact etX⊂int(domf). Alors, f est lipschitzienne sur X.
Preuve. On a X⊂int(domf), ce qui implique que X∩
int(domf)c
=∅.
Puisque
X= \
α>0
X+ ¯B(0, α) alors, il existeα >0, tel que
X+ ¯B(0, α)
∩
int(domf)c
=∅.
Sinon, pour toutα >0, on a X+ ¯B(0, α)
∩
int(domf)c
6=∅.
Pour 1
k, k ∈ N∗, il existe xk ∈X+ ¯B(0,1k), et xk ∈
int(domf)c
. Posons xk = ak+ek, où ak ∈ X, et ek ∈ B¯(0,1k). Puisque ek → 0, quand k → +∞, alors, xk−ak → 0. Mais ak ∈ X, qui est compact. Donc, il existe akj → ¯a ∈ X, quand j → +∞. Par suite, xkj → ¯a, quand j → +∞.
De plus, on a xkj ∈
int(domf)c
, qui est un ensemble fermé. Donc, ¯a ∈ int(domf)c
, ce qui donne une contradiction. Par suite, il existe α >0, tel
2.2. PROPRIÉTÉS TOPOLOGIQUES DES FONCTIONS CONVEXES17 queX+ ¯B(0, α)⊂int(domf). Puisquef est continue sur int(domf), il s’en suit qu’elle est continue surX+ ¯B(0, α). D’après la compacité deX+ ¯B(0, α), et la continuité de f, on déduit que f est bornée surX+ ¯B(0, α). Donc, il existe a, b∈R, tel que
a≤f(x)≤b ∀x∈X+αB(0,¯ 1).
Soitx, y∈X, avec x6=y. Posons
z=y+α y−x ky−xk
qui appartient àX+αB¯(0,1). De plus, x, y∈X ⊂X+αB(0,¯ 1). On a z=
ky−xk+α ky−xk
y−α x ky−xk. Alors,
y = ky−xk
α+ky−xkz+ α α+ky−xkx et par la convexité def, on obtient
f(y)≤ ky−xk
α+ky−xkf(z) + α
α+ky−xkf(x).
Il s’en suit que
f(y)−f(x) ≤ ky−xk
α+ky−xkf(z)− ky−xk α+ky−xkf(x)
= ky−xk
α+ky−xk(f(z)−f(x))
≤ b−a
α ky−xk.
De même, en substituant ci-dessusz part=x+α x−y
ky−xk, on obtient f(x)−f(y)≤ b−a
α ky−xk.
On déduit que
|f(x)−f(y)| ≤ b−a
α ky−xk
ce qui signifie quef est lipschitzienne. 2
Corollaire 2.2.2 Soit f :Rn→R∪ {+∞}une fonction convexe et propre.
Supposons qu’il existe un ouvertU deRn, oùf est bornée. Alors, la fonction f est localement lipschitzienne sur U.
Preuve. Soit m, M ∈R, tels que
m≤f(x)≤M ∀x∈U.
Donc U ⊂ domf et par suite U ⊂ int(domf). Soit x¯ ∈ U. Il existe une boule B(¯¯ x, r), telle que B(¯¯ x, r)⊂U. Montrons quef est lipschitzienne sur B(¯¯ x, r). On a
B(¯¯ x, r)⊂U ⊂int(domf).
Puisque B(¯¯ x, r) est compact, alors d’après le Théorème 2.2.4 on a f est lipschitzienne surB(¯¯ x, r). Donc, f est localement lipschitzienne sur U. 2 Proposition 2.2.1 Soit f : Rn → R∪ {+∞} une fonction convexe pro- pre et continue en a ∈ domf. Alors, il existe une boule B(a, r), où f est lipschitzienne.
Preuve. D’après la continuité de f en a, on a
∀0 >0, ∃η >0, tel que ∀x∈B(a, η), |f(x)−f(a)|< 0. Pour0 = 1, il existeη1 >0, tel que
∀x∈B(a, η1) |f(x)−f(a)|<1.
Alors,
−1 +f(a)
| {z }
m
< f(x)<1 +f(a)
| {z }
M
.
Posons η1 = +r, avec > 0, et r > 0. Alors, pour tout x ∈ B(a, +r), on a
m < f(x)< M
i.e., f est bornée sur la boule B(a, +r). Soit x, y ∈ B(a, r), avec x 6=y.
Soit
z=y+ y−x ky−xk
qui appartient à la boule B(a, +r). De même, on a x, y ∈ B(a, +r).
Alors,
y = ky−xk +ky−xk
z+ x ky−xk
= ky−xk
+ky−xkz+
+ky−xkx.
Donc,
f(y) ≤ ky−xk
+ky−xkf(z) +
+ky−xkf(x)
2.3. FONCTIONS CONVEXES ET DIFFÉRENTIABILITÉ 19 et
f(y)−f(x) ≤ ky−xk
+ky−xk(f(z)−f(x))
≤ ky−xk
M−m
. De même, en substituant ci-dessusz part=x+ x−y
ky−xk, on obtient f(x)−f(y)≤ ky−xk
M−m
. On déduit que
|f(x)−f(y)| ≤
M−m
ky−xk.
Doncf est lipschitzienne sur la boule B(a, r). 2
2.3 Fonctions convexes et différentiabilité
2.3.1 Propriétés des fonctions convexes liées à la différentia- bilité
Nous rappelons d’abord les résultats suivants de calcul différentiel.
Théorème 2.3.1 Soient U un ouvert convexe de Rn, et f :U −→R fonc- tion différentiable sur U. Alors, pour tout x, y ∈ U, il existe α ∈]0,1[, tel que
f(x)−f(y) =h∇f(αx+ (1−α)y), x−yi.
Théorème 2.3.2 Soient U un ouvert convexe de Rn, et f :U −→ R une fonction deux fois différentiable sur U. Alors, pour tout x, y ∈ U, il existe α∈]0,1[, tel que
f(y)−f(x) =h∇f(x), y−xi+1
2h∇2f(αy+ (1−α)x)(y−x), y−xi.
Proposition 2.3.1 Soient f : Rn → R une fonction, et C un ouvert con- vexe de Rn. Supposons que f est différentiable sur C. Alors, les propriétés suivantes sont équivalentes
1) f est convexe sur C,
2) f(x)≥f(y) +h∇f(y), x−yi, ∀x, y∈C, 3) h∇f(x)− ∇f(y), x−yi ≥0, ∀x, y∈C.
Preuve. On montrera 1)⇐⇒2), et2)⇐⇒3).
1) =⇒ 2)Supposons que la fonction f est convexe sur C. Soient x, y ∈C, ett∈]0,1[. Alors,
f(ty+ (1−t)x)≤tf(y) + (1−t)f(x) et
f(x+t(y−x))−f(x)
t ≤f(y)−f(x).
En faisant tendret→0+, on obtient
h∇f(x), y−xi ≤f(y)−f(x).
2) =⇒1)Soientx, y∈C, ett∈ [0,1]. Posonsz=tx+ (1−t)y. On a f(y)≥f(z) +h∇f(z), y−zi
et
f(x)≥f(z) +h∇f(z), x−zi.
Alors,
(1−t)f(y) +tf(x)≥f(z) + (1−t)h∇f(z), y−zi+th∇f(z), x−zi et
(1−t)f(y) +tf(x)≥f(z) +h∇f(z),(1−t)(y−z) +t(x−z)
| {z }
=0
i.
Donc,
f(z)≤tf(x) + (1−t)f(y).
Par suite,f est convexe surC.
2) =⇒3)Soitx, y∈C. On a
f(x)≥f(y) +h∇f(y), x−yi et
f(y)≥f(x) +h∇f(x), y−xi.
Alors,
h∇f(y), x−yi+h∇f(x), y−xi ≤0.
Par suite
h∇f(x)− ∇f(y), x−yi ≥0.
3) =⇒2)Soient x, y∈C. D’après le Théorème 2.3.1, il existe α∈]0,1[, tel que
f(x)−f(y) =h∇f(αx+ (1−α)y), x−yi.
2.3. FONCTIONS CONVEXES ET DIFFÉRENTIABILITÉ 21 En utilisant 3) on obtient
h∇f(αx+ (1−α)y)− ∇f(y), α(x−y)i ≥0.
Donc
h∇f(αx+ (1−α)y)− ∇f(y), x−yi ≥0 ce qui donne
h∇f(αx+ (1−α)y), x−yi ≥ h∇f(y), x−yi.
Par suite,
f(x)−f(y)≥ h∇f(y), x−yi. 2 Proposition 2.3.2 Soientf :Rn→R, une fonction etCun ouvert convexe de Rn. Supposons que f est différentiable sur C. Alors, la fonction f est strictement convexe sur C si et seulement si
f(y)> f(x) +h∇f(x), y−xi ∀x, y∈C, x6=y.
Preuve. (=⇒) Supposons que f est strictement convexe surC. Soit x, y∈ C,x6=y. Posonsz= 12(y−x). Selon la Proposition 2.3.1, on a
f
x+y 2
=f(x+z)≥f(x) +h∇f(x), zi.
Donc
f(x) +h∇f(x),y−x 2 i ≤f
x+y 2
< 1
2(f(x) +f(y))
où la stricte inégalité résulte de la stricte convexité def. Alors, après sim- plification, on obtient
f(y)> f(x) +h∇f(x), y−xi.
(⇐=) La preuve est identique à celle de002) =⇒1)00 de la Proposition2.3.1, en remplaçant l’inégalité≥par la stricte inégalité>. 2 Exercice 2.3.1 Soient f :Rn→ R, une fonction convexe différentiable, et C un ouvert convexe deRn, tel que riC=C, i.e.,C est relativement ouvert.
Soit V le sous espace vectoriel associé à affC. Considérons le problème de minimisation suivant
(P) Min
x∈Cf(x)
Soit x¯∈C. Montrer que, x¯ est solution du problème(P) si et seulement si
∇f(¯x)∈V⊥, où V⊥ est l’orthogonal de V.
Proposition 2.3.3 Soit f : Rn → R, une fonction deux fois différentiable sur un ouvert convexeC deRn. Alors, les assertions suivantes sont équiva- lentes
1) la fonction f est convexe sur C,
2) pour toutx∈C, la matrice hessienne∇2f(x) est semi-définie positive sur Rn, i.e.,
h∇2f(x)y, yi ≥0, ∀y ∈Rn.
Preuve. 1) =⇒2)Soit x∈C. Remarquons que si y = 0, alors la propriété est vraie. Soit alors y ∈Rn\ {0}, et α ∈R∗+. Puisque x+αy→ x, quand α→ 0+, etC ouvert, il existe alors α >¯ 0, tel que x+αy∈C, ∀α∈]0,α[.¯ D’autre part, on a
f(x+αy) =f(x) +αh∇f(x), yi+α2
2 h∇2f(x)y, yi+kαyk2βx(αy) oùβx(αy)→0, quandα→0+. Alors,
f(x+αy)−f(x)−αh∇f(x), yi= α2
2 h∇2f(x)y, yi+kαyk2βx(αy) où le terme de gauche est positive puisque f est convexe (voir Proposition 2.3.1). Donc
α2
2 h∇2f(x)y, yi+kαyk2βx(αy)≥0.
Après simplification parα2, et en faisant tendre α→0+, on obtient h∇2f(x)y, yi ≥0.
2) =⇒ 1) Soit x, y ∈ C. D’après le Théorème 2.3.2, il existe α ∈]0,1[, tel que
f(y) =f(x) +h∇f(x), y−xi+1
2hy−x,∇2f(x+α(y−x))(y−x)i.
Donc
f(y)−f(x)− h∇f(x), y−xi= 1
2hy−x,∇2f(x+α(y−x))(y−x)i.
Puisque x+α(y−x) ∈ C, alors d’après 2), on a ∇2f(x+α(y−x)) est semi-définie positive. D’où le terme de droite est positive. Il en résulte que
f(y)≥f(x) +h∇f(x), y−xi. 2
2.3. FONCTIONS CONVEXES ET DIFFÉRENTIABILITÉ 23 Remarque 2.3.1 Pour le cas concave, on obtient le résultat suivant, ana- logue à celui de la Proposition 2.3.3 :
• la fonction f est concave sur C, si et seulement si pour tout x ∈ C, la matrice hessienne ∇2f(x) semi-définie négative sur Rn, i.e.,
h∇2f(x)y, yi ≤0, ∀y∈Rn.
Proposition 2.3.4 Soit f : Rn → R une fonction deux fois différentiable sur un ouvert convexeC de Rn. Supposons que pour toutx∈C, la matrice hessienne ∇2f(x) définie positive sur Rn, i.e.,
h∇2f(x)y, yi>0 ∀y∈Rn\ {0}.
Alors,f est strictement convexe surC.
Preuve. Soientx, y∈C,x6=y, ett∈]0,1[. Il existeα∈]0,1[, tel que f(y)−f(x)− h∇f(x), y−xi= 1
2h∇2f(αy+ (1−α)x)(y−x), y−xi où le terme de droite est strictement positif. Donc
f(y)> f(x)− h∇f(x), y−xi.
D’après la Proposition2.3.2 la fonction f est strictement convexe sur C. 2 Dans la Proposition 2.3.4 la réciproque est en général fausse. Cependant, pour le cas quadratique, on a le résultat suivant.
Proposition 2.3.5 Considérons la fonction quadratique suivante définie sur Rn par
f(x) = 1
2hQx, xi+hb, xi
où Q ∈ Rn×n, est symétrique et b∈ Rn. Alors, on a les équivalences suiv- antes
1) f est convexe ⇐⇒ Qest semi-définie positive, 2) f est strictement convexe ⇐⇒ Q est définie positive.
Preuve. A faire comme exercice.
Exercice 2.3.2 Soit f : Rn → R une fonction convexe et différentiable.
Montrer que pour tout x∈Rn, on a ∇f(x)
−1
∈ Nepif(x, f(x)).
2.3.2 Dérivée directionnelle
Définition 2.3.1 Soit f : Rn → R∪ {+∞} une fonction convexe. Soit a∈Rn avec f(a) ∈R, et d∈Rn\ {0}. La dérivée directionnelle def en a dans la directiond, notéef0(a;d) est donnée par la limite
f0(a, d) = lim
t&0+
f(a+td)−f(a)
t .
La fonction f0(a;.) est appelée la dérivée directionnelle de f en a. Quand la fonctionf0(a;.) est linéaire, on dit que f est Gâteaux différentiable en a.
Dans ce cas, il existe x∗ ∈Rn, tel quef0(a;.) =hx∗, .i. Si pour tout d∈Rn, f0(a;d) est un nombre réel fini, on dit quef est directionnellement dérivable ena.
Remarque 2.3.2 1. On af0(a;d)∈ [−∞,+∞].
2. La fonction f0(a;.) est positivement homogène (simple à vérifier), i.e., f0(a;td) =tf0(a;d), ∀t >0.
3. Si f est différentiable en a, alors, pour tout d∈ Rn\ {0}, f0(a;d) = h∇f(a), di.
Proposition 2.3.6 Soitf :Rn→R∪{+∞}une fonction convexe et propre.
Soit x ∈ Rn où f est finie, et d ∈ Rn\ {0}. Alors, la fonction ϕ : R∗+ → R∪ {+∞}définie par
ϕ(t) = f(x+td)−f(x) t
est croissante surR∗+.
Preuve. Soit r, s∈R∗+. Supposons ques≥r. Alors, r
s ∈ [0,1], et x+rd= r
s(x+sd) +
1−r s
x.
D’après la convexité def, on a f(x+rd)≤ r
sf(x+sd) +
1−r s
f(x).
Donc
f(x+rd)−f(x)
r ≤ f(x+sd)−f(x) s
i.e.,
ϕ(r)≤ϕ(s). 2
2.3. FONCTIONS CONVEXES ET DIFFÉRENTIABILITÉ 25 Proposition 2.3.7 Soit f :Rn → R∪ {+∞}une fonction propre convexe et semi-continue inférieurement. Soient a ∈ domf, et t ∈]0,1[. Alors, la fonctionϕt(.) :Rn→R∪ {+∞}, définie par
ϕt(x) = f(a+tx)−f(a) t
est convexe propre et semi-continue inférieurement.
Preuve. On a ϕt(0) = f(a)−ft (a) = 0 < +∞, et ϕt(x) > −∞, ∀x ∈ Rn. Donc, la fonction ϕt(.)est propre.
Montrons queϕt(.)est convexe surRn. Soientx, y∈domϕt(.), etα∈]0,1[.
On a
ϕt(αx+ (1−α)y) = f(a+t(αx+ (1−α)y)−f(a) t
= f(α(a+tx) + (1−α)(a+ty))−f(a) t
≤ αf(a+tx) + (1−α)f(a+ty)−f(a) t
= α(f(a+tx)−f(a)) + (1−α)(f(a+ty)−f(a))
= αϕt(x) + (1−α)ϕt(y). t
Pour montrer que ϕt(.) est semi-continue inférieurement sur Rn, soit (xk) une suite qui converge versx dansRn. On a
lim inf
k→+∞ϕt(xk) = 1 tlim inf
k→+∞
f(a+txk)−f(a) t
≥ 1
tf(a+tx)−f(a)
t =ϕt(x)
i.e., ϕt(.)est semi-continue inférieurement sur Rn. 2 Proposition 2.3.8 Soitf :Rn→R∪{+∞}une fonction convexe et propre.
Soient x∈domf, et d∈Rn\ {0}. Alors
i) si pour tout t>0, x+td6∈domf, alors f0(x, d) = +∞.
ii) on a
f0(x;d) = inf
t>0
f(x+td)−f(x) t
Preuve. Pourt∈
0,+∞
, posons
h(t) = f(x+td)−f(x)
t .
i) Supposons que pour tout t>0, x+td 6∈domf. Alors, h ≡+∞, et donc f0(x, d) = +∞.
ii) Résulte de la croissance de la fonction h. 2
Proposition 2.3.9 Soitf :Rn→R∪{+∞}une fonction convexe et propre.
Soitx∈domf. Alors,
f(y)≥f(x) +f0(x;y−x), ∀y ∈Rn. Preuve. Soient y∈Rn, ett∈
0,1
. Alors, f(x+ 1(y−x))−f(x)
1 ≥ f(x+t(y−x))−f(x) t
En passant à la limite, on obtient
f(y)≥f(x) +f0(x;y−x), ∀y∈Rn 2 Proposition 2.3.10 Soit f : Rn → R∪ {+∞}, une fonction convexe et propre. Alors
−f0(x;−d)≤f0(x;d) ∀x∈domf, ∀d∈Rn\ {0}.
Preuve. Soient x∈domf etd∈Rn. On a x= 1
2(x−td) +1
2(x+td) ∀t >0.
Par convexité def, on a f(x)≤ 1
2f(x+t(−d)) + 1
2f(x+td).
Donc
0≤ f(x+t(−d))−f(x)
t +f(x+td)−f(x) t
En faisant tendret→0+, on obtient
0≤f0(x;−d) +f0(x;d).
D’où le résultat 2
Proposition 2.3.11 Soit f : Rn → R∪ {+∞} une fonction convexe et propre. Soitx, y∈domf. Alors,
f0(x;x−y)−f0(y;x−y)≥0.
Preuve. D’après la Proposition 2.3.9, on a
f(x)≥f(y) +f0(y;x−y) et
f(y)≥f(x) +f0(x;y−x).
2.3. FONCTIONS CONVEXES ET DIFFÉRENTIABILITÉ 27 Donc,
f0(y;x−y) +f0(x;y−x)≤0.
d’où
f0(y;x−y)≤ −f0(x;y−x)≤f0(x;x−y) où la dernière inégalité résulte de la Proposition2.3.10. Par suite,
f0(x;x−y)−f0(y;x−y)≥0. 2 Proposition 2.3.12 Soit f : Rn → R∪ {+∞}, une fonction convexe et propre. Alors, pour tout x∈domf, la fonctionf0(x;.) est convexe sur Rn. Proof. Soient d1, d2 ∈ Rn, etα∈ [0,1]. Alors,
f0(x;αd1+ (1−α)d2)
= lim
t&0+
f(x+t(αd1+ (1−α)d2))−f(x) t
= lim
t&0+
f(α(x+td1) + (1−α)(x+td2))−f(x) t
≤ lim
t&0+
αf(x+td1)−f(x)
t + (1−α)f(x+td2)−f(x) t
= αf0(x;d1) + (1−α)f0(x;d2).
Proposition 2.3.13 Soit f : Rn → R∪ {+∞} une fonction convexe et propre. Soitx∈domf. Supposons qu’il existe un ouvertU deRn contenant x oùf est bornée. Alors, f0(x;.) est une fonction continue sur Rnà valeurs finies.
Preuve. Soitd∈Rn\ {0}. On aU ⊂domf. D’après le Corollaire2.2.2, il existe une B(x, r)¯ ⊂U, où f est lipschitzienne. Puisque x+td→ x, quand t& 0+, il existe ¯t > 0, tel que pour tout t∈
0,¯t
, on a x+td ∈ B(x, r).¯ Par suite
|f(x+td)−f(x)| ≤Ltkdk
oùL est la constante de Lipschitz. En faisant tendre t&0+, on obtient
|f0(x;d)| ≤Lkdk.
On déduit que la fonction f0(x;.) est à valeurs finies sur Rn. De plus, en utilisant le fait que f0(x;.) est convexe sur Rn, on déduit que f0(x;.) est
continue surRn. 2
Corollaire 2.3.1 Soit f :Rn→R∪ {+∞}une fonction convexe et propre.
Soitx∈int(domf). Alors, domf0(x;.) =Rn.
Preuve. Puisque x ∈int(dom)f, alors, f est continue en x. Donc, d’après la continuité def, pour= 1, il exister >0, tel que
|f(y)−f(x)|<1 ∀y∈B(x, r).
Donc
f(x)−1< f(y)< f(x) + 1 ∀y ∈B(x, r).
D’où,f est bornée sur la boule ouverte B(x, r). Le résultat se déduit de la
Proposition2.3.13. 2
2.3.3 Quasi-convexité
Définition 2.3.2 Soient f :C →R une fonction, et C un convexe de Rn. 1. On dit que la fonctionf est quasi-convexe surC, si pour toutx, y∈C,
et tout α∈ 0,1
, on a
f(αx+ (1−α)y)≤max{f(x), f(y)}.
La fonctionf est dite quasi-concave si−f est quasi-convexe.
2. On dit que la fonction f est strictement quasi-convexe sur C, si pour toutx, y∈C, avec f(x)6=f(y), et tout α∈
0,1 , on a f(αx+ (1−α)y)<max{f(x), f(y)}.
La fonction f est dite strictement quasi-concave si −f strictement quasi-convexe.
Proposition 2.3.14 SoientCun convexe deRnetf :C →Rune fonction.
Alors, la fonction f est quasi-convexe sur C si et seulement si pour tout r∈R, l’ensemble
x∈C/ f(x)≤r est convexe.
Preuve. (=⇒) Supposons que f est quasi-convexe. Soient x, y ∈ z ∈ C/ f(z)≤r , etα∈ [0,1]. Alors, on a
f(αx+ (1−α)y)≤max{f(x), f(y)} ≤r.
C’est à direαx+ (1−α)y∈
z∈C/ f(z)≤r .
(⇐=) Soient x, y ∈ C, et α ∈ [0,1]. Posons r = max{f(x), f(y)}. Alors, f(x)≤r etf(y)≤r. C’est à dire x, y∈
z∈C/ f(z)≤r . Donc f(αx+ (1−α)y)≤r= max
f(x), f(y) où l’inégalité résulte de la convexité de l’ensemble
z∈C/ f(z)≤r . 2
2.3. FONCTIONS CONVEXES ET DIFFÉRENTIABILITÉ 29 Remarque 2.3.3 Si f est convexe, alors f est quasi-convexe.
Proposition 2.3.15 Soient C un convexe de Rn, et f :C → R, une fonc- tion quasi-convexe sur C. Considérons le problème de minimisation suivant
(P) Min
x∈Cf(x).
Si x¯ ∈C est un minimum local strict de f sur C, alors x¯ est un minimum global def sur C.
Preuve. Supposons quex¯est un minimum local strict def surC. Il existe une boule ferméeB¯(¯x, r), tel que
f(¯x)< f(x), ∀x∈B(¯¯ x, r)∩C.
Supposons qu’il existe y¯ ∈ C\B(¯¯ x, r), tel que f(¯y) < f(¯x). Posons t = r
k¯y−xk¯ . Alors
kt¯y+ (1−t)¯x−xk¯ =tk¯y−xk¯ =r.
C’est à dire t¯y+ (1−t)¯x∈B(¯¯ x, r), et donct¯y+ (1−t)¯x∈B(¯¯ x, r)∩C. Il s’en suit que
f(¯x) < f(t¯y+ (1−t)¯x)
≤ max
f(¯x), f(¯y)
= f(¯x)
ce qui donne une contradiction. 2
Chapter 3
Conditions d’optimalité
Dans ce chapitre, on s’intéresse aux conditions d’optimalité nécessaires et suffisantes vérifiées en un minimum local ou global d’un problème de min- imisation. Plusieurs types de contraintes sont considérées.
3.1 Préliminaires et définitions
Soit f : Rn → R une fonction et C un sous ensemble non vide de Rn. Considérons le problème de minimisation suivant
(P) Min
x∈Cf(x).
On dit que le problème (P) est convexe si C et f sont convexes. Nous rappelons que dans le cas où (P) est convexe, alors tout minimum local est global.
Définition 3.1.1 Soit C un sous ensemble non vide Rn et x¯ ∈ C.
L’ensemble
Dad(¯x) =n
d∈Rn\ {0}/∃¯t >0,∀t∈ 0,¯t
,x¯+td∈Co ,
est appelé l’ensemble des directions admissibles en x. Dans la suite, s’il n’y¯ pas d’ambiguité surx, on notera tout simplement¯ Dad au lieu deDad(¯x).
Remarque 3.1.1 i) Remarquons que si intC6=∅, etx¯∈intC, alors tout vecteur d∈Rn\ {0} est une direction admissible en x, i.e.,¯ Dad(¯x) = Rn\ {0}. En effet, il suffit d’utiliser le fait que intC est voisinage de
¯
x, et que x¯+td→x, quand¯ t→0+.
ii) L’ensemble Dad est un cône (à faire comme exercice).
31
Définition 3.1.2 Soient f :Rn →R une fonction et d∈Rn\ {0}. On dit quedest une direction de descente de f en x¯∈Rn, s’il existe >0, tel que
f(¯x+td)< f(¯x), ∀t∈ 0,
,
i.e., localement la fonction f décroit en effectuant un déplacement dans la direction d à partir de x. En d’autres termes, un petit déplacement le long¯ de la directiond à partir dex, réduit la valeur de¯ f.
L’exercice suivant sera utile pour la suite.
Exercice 3.1.1 Soit (xk) une suite réelle qui converge vers x ∈ R, avec x <0. Montrer qu’il existe k0∈N, tel que xk<0, pour toutk≥k0. Considérons le problème de minimisation
Minx∈Cf(x) oùC est un sous ensemble non vide de Rn.
Proposition 3.1.1 Soit x¯ ∈C. On suppose que C est un ouvert et que f est différentiable enx¯ avec ∇f(¯x)6= 0. Soit d∈Rn\ {0}, tel que
h∇f(¯x), di<0.
Alors,dest une direction de descente de f enx.¯
Preuve. Puisque x¯+td → x, quand¯ t → 0+, et C est un ouvert (donc voisinage dex), il existe alors¯ t1>0, tel que
¯
x+td∈C, ∀t∈ 0, t1
.
Donc, d est une direction admissible en x. Par ailleurs, d’après la différen-¯ tiabilité def en x, on a¯
f(¯x+td) =f(¯x) +th∇f(¯x), di+tkdk2β(¯x;td),
où β(¯x;.) : Rn → R est une fonction vérifiant β(¯x;x) → 0, quand x → 0.
On a
f(¯x+td)−f(¯x)
t =h∇f(¯x), di+kdk2β(¯x;td), et
t→0lim+
f(¯x+td)−f(¯x)
t =h∇f(¯x), di<0.
Par conséquent, il existet2 >0, tel que f(¯x+td)−f(¯x)
t <0, ∀t∈ 0, t2
.
3.2. CONDITIONS D’OPTIMALITÉ 33 D’où
f(¯x+td)< f(¯x), ∀t∈ 0, t2
. Soitt∗ = inf(t1, t2). Alors, pour toutt∈
0, t∗
, on ax¯+td∈C et f(¯x+td)< f(¯x),
i.e., dest une direction de descente def en x.¯ 2 Remarque 3.1.2 Soient f :Rn→ R une fonction et x¯∈ Rn. On suppose quef est différentiable en x¯ et∇f(¯x)6= 0.
i) On a−∇f(¯x) est une direction de descente de f enx. En effet, on a¯ h∇f(¯x),−∇f(¯x)i=−k∇f(¯x)k22 <0.
Le résultat se déduit alors de la Proposition 3.1.1.
ii) Soit d∈Rn\ {0}. On a la caractérisation suivante : h∇f(¯x), di<0⇐⇒cos(∇f(¯x), d) = h∇f(¯x), di
k∇f(¯x)k2kdk2 ∈[−1,0[.
3.2 Conditions d’optimalité
3.2.1 L’ensemble des contraintes est un ouvert
Soient f : Rn → R une fonction et C un ouvert de Rn. Considérons le problème de minimisation suivant
(P) Min
x∈Cf(x).
Si f est différentiable en x ∈ C et ∇f(x) = 0, on dit que x est un point stationnaire. Dans le cas oùC=Rn, le problème(P)est dit sans contraintes.
Conditions nécessaire d’optimalité
Théorème 3.2.1 Soit x¯ ∈ C un minimum local de f sur C ouvert. Sup- posons que f est différentiable en x. Alors,¯ ∇f(¯x) = 0.
Preuve. Supposons que ∇f(¯x) 6= 0. Alors, −∇f(¯x) est une direction de descente def en x. Il existe¯ α >0, tel que
f(¯x−t∇f(¯x))< f(¯x), ∀t∈ 0, α
. (3.1)
Or x¯ est un minimum local de f sur C, il existe alors une boule ouverte B(¯x, r) telle que
f(¯x)≤f(x), ∀x∈B(¯x, r)∩C.
Puisque x¯−t∇f(¯x) → x, quand¯ t → 0+, et B(¯x, r)∩C est un voisinage ouvert de x¯ (comme intersection de deux ouverts), il existe β > 0, tel que pour toutt∈
0, β , on a
¯
x−t∇f(¯x)∈B(¯x, r)∩C.
Soitγ = min{α, β}. Alors, pour toutt∈ 0, γ
, on a f(¯x)≤f(¯x−t∇f(¯x))< f(¯x),
où la dernière stricte inégalité résulte de (3.1), ce qui donne une contradic-
tion. Par suite,∇f(¯x) = 0. 2
Exemple 3.2.1 Considérons dansR2 le problème de minimisation suivant
(P) min
x∈Cf(x1, x2), où f(x1, x2) = x21 −2x22 +x1x2 et C =
−2,2
×
−2,2
qui est un ouvert de R2. Soit x¯ = (−1,1)T qui est un point réalisable de (P). On a
∇f(x1, x2) = (2x1 +x2, x1−4x2)T, et ∇f(¯x) = (−1,−5)T. Donc, x¯ ne vérifie pas la condition nécessaire d’optimalité dans le Théorème 3.2.1, et par suite il ne peut être un minimum local de (P). Le seul point réalisable qui satisfait la condition nécessaire d’optimalité est (0,0)T.
Comme conditions nécessaires d’optimalité faisant intervenir la matrice hessienne de la fonction objectif, i.e., conditions d’optimalité de second ordre, on a le résultat suivant.
Théorème 3.2.2 Soit x¯ ∈ C un minimum local de f sur C ouvert. Sup- posons quef est deux fois continûment différentiable enx. Alors,¯ ∇f(¯x) = 0, et la matrice hessienne∇2f(¯x) est semi-définie positive sur Rn.
Preuve. D’après le Théorème 3.2.1, on a∇f(¯x) = 0. Soit d∈Rn ett >0.
Alors
f(¯x+td) = f(¯x) +th∇f(¯x), di+ 1
2t2h∇2f(¯x)d, di+t2kdk22β(¯x;td)
= f(¯x) + 1
2t2h∇2f(¯x)d, di+t2kdk22β(¯x;td), (3.2) où β(¯x;.) : Rn → R une fonction vérifiant β(¯x;x) → 0, quand x → 0.
Puisquex¯est un minimum local de (P), il existe une boule ouverte B(¯x, r), telle que
f(¯x)≤f(x), ∀x∈B(¯x, r)∩C.
On a x¯+td → x, quand¯ t → 0+. Il existe alors α > 0, tel que pour tout t ∈
0, α
, on a x¯+td ∈ B(¯x, r)∩C (ouvert comme intersection de deux ouverts). Donc
f(¯x+td)≥f(¯x), ∀t∈ 0, α
.
3.2. CONDITIONS D’OPTIMALITÉ 35 D’après (3.2), on a
f(¯x+td)−f(¯x)
t2 = 1
2h∇2f(¯x)d, di+kdk22β(¯x;td)≥0, ∀t∈ 0, α
. En faisant tendre t→0+, on obtient
h∇2f(¯x)d, di ≥0. 2
Nous aurons besoin des résultats suivants (théorèmes3.2.3 et3.2.4).
Théorème 3.2.3 SoitF :Rn→R∪ {+∞}une fonction convexe et propre.
Soitx¯∈domF. Alors
x∗ ∈∂F(¯x)⇐⇒F0(¯x;y)≥ hx∗, yi, ∀y∈Rn. Preuve. (=⇒) Supposonsx∗ ∈∂F(¯x). Donc
F(¯x+ty)≥F(¯x) +thx∗, yi, ∀t >0,∀y∈Rn. D’où
F(¯x+ty)−F(¯x)
t ≥ hx∗, yi, ∀t >0,∀y∈Rn. En passant à la limite quandt→0+, on obtient
F0(¯x;y)≥ hx∗, yi, ∀y∈Rn. (⇐=)Soit y∈Rn arbitraire. On a
F(¯x+ 1(y−x))¯ −F(¯x)
1 ≥ inf
t>0
F(¯x+t(y−x))¯ −F(¯x) t
= F0(¯x;y−x)¯
≥ hx∗, y−xi.¯ Par conséquent
F(y)−F(¯x)≥ hx∗, y−xi.¯
Puisquey est arbitraire dans Rn, on déduit que x∗ ∈∂F(¯x). 2 Théorème 3.2.4 Soit F :Rn → R une fonction convexe. On suppose que F est différentiable en x¯∈Rn. Alors
F(y)≥F(¯x) +h∇F(¯x), y−xi,¯ ∀y ∈Rn.
Preuve. Remarquons d’abord que pour tout x ∈ Rn, ∂F(x) est non vide, puisque domF =Rn, et par suite int(domF) =Rn. Soient x∗ ∈∂F(¯x) ety arbitraire dansRn. D’après la différentiabilité deF en x, on a¯
F0(¯x;y) = h∇F(¯x), yi
≥ hx∗, yi,
où la dernière inégalité s’obtient en utilisant le Théorème 3.2.3. En substi- tuanty par−y, on obtient aussi
h∇F(¯x), yi ≤ hx∗, yi.
D’où
h∇F(¯x)−x∗, yi= 0.
Puisque y est arbitraire dans Rn, on déduit que x∗ = ∇F(¯x). Par suite
∇F(¯x) vérifie
F(z)≥F(¯x) +h∇F(¯x), z−xi,¯ ∀z∈Rn.
On déduit aussi que∂F(¯x) ={∇F(¯x)}. 2
Conditions suffisantes d’optimalité
Théorème 3.2.5 Soit x¯ ∈ C. Supposons que f est convexe et C est un ouvert convexe. Si f est différentiable en x¯ et ∇f(¯x) = 0, alors, x¯ est un minimum global de(P).
Preuve. Soit x∈C. D’après le Théorème3.2.4 , on a f(x)≥f(¯x) +h∇f(¯x), x−xi¯ =f(¯x).
Donc,x¯ est un minimum global du problème (P). 2 Dans le cas où les données sont convexes, on obtient alors la condition néces- saire et suffisante d’optimalité suivante.
Corollaire 3.2.1 Soit x¯∈C. Supposons que C est un ouvert convexe et f convexe sur Rn et différentiable en x. Alors,¯ x¯ est un minimum global de (P) si et seulement si ∇f(¯x) = 0.
Preuve. Le résultat s’obtient en utilisant Théorèmes3.2.1 et3.2.5.
Exemple 3.2.2 Considérons le problème
(P) min
x∈Cf(x1, x2), où f(x1, x2) = x21 + 2x22 +x1x2 +x1 et C =
−1,1
×
−1,1 . On a ∇f(x1, x2) = 2xx1+x2+1
1+4x2
, et ∇2f(x1, x2) =
2 1 1 4
dont les valeurs propres sont 3 +√
2 et 3−√
2 qui sont strictement positives. Par suite, f est strictement convexe. De plus C est un ouvert convexe. Donc, d’après le Corollaire 3.2.1, x= (x1, x2)T est solution de (P) si et seulement si
2x1+x2+ 1 = 0, x1+ 4x2 = 0.
Ce système admet la solutionx¯= −47 ,17T
, qui est aussi le minimum global unique du problème(P).
3.2. CONDITIONS D’OPTIMALITÉ 37 Théorème 3.2.6 Soit x¯ ∈C. Supposons que C est un ouvert et que f est deux fois continûment différentiable enx. Si de plus¯ ∇f(¯x) = 0, et la matrice hessienne ∇2f(¯x) est définie positive sur Rn, alors x¯ est un minimum local strict de f sur C.
Preuve. Soitx∈Rn. On a f(x)=f(¯x)+h∇f(¯x), x−xi¯ +1
2h∇2f(¯x)(x−x), x¯ −xi¯ +kx−xk¯ 22β(¯x;x−x)¯
= f(¯x) +1
2h∇2f(¯x)(x−x), x¯ −xi¯ +kx−xk¯ 22β(¯x;x−x),¯
où β(¯x;.) : Rn → R une fonction vérifiant β(¯x;x) → 0, quand x → 0.
Montrons qu’il existe une boule ouverteB(¯x, r) telle que f(¯x)< f(x), ∀x∈B(¯x, r)∩C.
Supposons le contraire. Alors, pour tout r > 0, il existe xr ∈ B(¯x, r)∩C, xr 6= ¯x, tel que
f(xr)≤f(¯x).
Pour 1
k,k∈N∗, il existexk ∈B(¯x,1k)∩C,xk6= ¯x, tel que f(xk)≤f(¯x).
De plus, on a xk →x, quand¯ k→+∞. Posons dk= xk−x¯
kxk−xk¯ 2, qui est un élément de la boule fermée B¯(0,1) (qui est compacte). Donc, il existe une sous suite (dkj)j qui converge vers d, quand j → +∞, avec kdk2 = 1. Par ailleurs, on a
f(xkj) =f(¯x) +kxkj −xk¯ 22n1 2
D∇2f(¯x)dkj, dkjE
+β(¯x;xkj−x)¯ o . Par suite
f(xkj)−f(¯x) kxkj−xk¯ 22 = 1
2 D
∇2f(¯x)dkj, dkjE
+β(¯x;xkj−x)¯ ≤0.
En faisant tendre j→+∞, on obtient h∇2f(¯x)d, dE
≤0,
ce qui contredit le fait que la matrice hessienne ∇2f(¯x) est définie positive
surRn. 2
Remarque 3.2.1 Si ∇f(¯x) = 0 et ∇2f(¯x) est semi-définie positive, en général x¯ n’est pas un minimum local comme on peut le voir dans l’exemple suivant.
Exemple 3.2.3 Soient C = R2, et f(x1, x2) = −2x61 + x22. On a
∇f(x1, x2) = (−12x51,2x2)T. L’équation
∇f(x1, x2) = (0,0)T, donne l’unique solution x¯= (0,0)T. On a
∇2f(¯x) =
0 0 0 2
,
qui est semi-définie positive. Pour k∈N∗, soit xk= (1k,0)T. On a f(xk) =
−2
k6, et xk → x, quand¯ k→ +∞. Donc, pour tout r > 0, il existe k(r) = kr ∈N, tel que pour tout k≥kr, xk∈B(¯x, r). Or
f(xk) =−2
k6 < f(¯x) = 0,∀k∈N∗. Donc, x¯ n’est pas un minimum local de f sur R2. 3.2.2 Contraintes d’égalités linéaires Considérons le problème de minimisation suivant
(P) Min
x∈Rn Ax=b
f(x),
oùf :Rn→R,A∈ Mm,n(R), etb∈Rm, avecm≤n. Posons C=n
x∈Rn/ Ax=bo , qui est un ensemble convexe.
Remarque 3.2.2 1) Soientx¯∈C, et d∈Rn\ {0}. Notons par KerA le noyau deA. Il est facile de voir que dest une direction admissible en
¯
x si et seulement si Ad= 0, i.e., d∈KerA.
2) On a aussi
d∈KerA⇐⇒ −d∈KerA.
Doncdest une direction admissible en x¯si et seulement si −dest une direction admissible enx.¯
Conditions nécessaires d’optimalité
Théorème 3.2.7 Soit x¯ ∈ C un minimum local de (P). Supposons que f est différentiable enx. Alors, il existe un vecteur¯ λ∈Rm, vérifiant
∇f(¯x) +ATλ= 0.
Si de plus, rgA=m, alors le vecteur λest unique.
3.2. CONDITIONS D’OPTIMALITÉ 39 Preuve. Soit dune direction admissible deC enx. Il existe¯ α >0, tel que pour toutt∈
0, α
, on a x¯+td ∈C. De plus, puisque x¯ est un minimum local, il existe un voisinageV de x, tel que¯
f(¯x)≤f(x), ∀x∈ V ∩C.
On a x¯+td→x, quand¯ t→0+. Donc, il existeβ >0, tel que
¯
x+td∈V, ∀t∈ 0, β
. Soit γ = min{α, β}. Alors, pour tout t ∈
0, γ
, on a x¯+td ∈ V ∩C, et donc
f(¯x)≤f(¯x+td).
D’après la différentiabilité def en x, on a¯
f(¯x+td) =f(¯x) +th∇f(¯x), di+tkdk2β(¯x;td), avec β(¯x;x)→0, quandx→0. De plus
f(¯x+td)−f(¯x)
t =h∇f(¯x), di+kdk2β(¯x;td)≥0, ∀t∈ 0, γ
. En faisant tendre t→0+, on obtient
h∇f(¯x), di ≥0.
D’autre part, −d est une direction admissible en x¯ (voir Remarque 3.2.2).
Alors, avec les mêmes arguments que ci-dessus, on a h∇f(¯x),−di ≥0.
Donc
h∇f(¯x), di= 0.
Puisque d est arbitraire dans KerA, il s’en suit que ∇f(¯x) ∈ (KerA)⊥ = ImAT. Par conséquent, il existe v∈Rm, tel que
∇f(¯x) =ATv.
En posantλ=−v, on obtient
∇f(¯x) +ATλ= 0.
Supposons maintenant que rgA=m. Dans ce cas, la matriceAest surjective etAT est injective. Supposons qu’il existe λ1, λ2∈Rm, tels que
∇f(¯x) =−ATλ1 =−ATλ2. Doncλ1−λ2 ∈KerAT =
0 , et par suite λ1 =λ2. 2
Conditions suffisantes d’optimalité
Théorème 3.2.8 Soit x¯ ∈ C. Supposons que f est différentiable en x¯ et convexe surRn. S’il existeλ∈Rm tel que
∇f(¯x) +ATλ= 0, alors, x¯ est un minimum global de (P).
Preuve. D’après le Théorème 3.2.4, on a
f(x)≥f(¯x) +h∇f(¯x), x−xi,¯ ∀x∈Rn. En particulier
f(x)≥f(¯x) +h∇f(¯x), x−xi,¯ ∀x∈C.
Donc
f(x)≥f(¯x) +h−ATλ, x−xi¯ =f(¯x)− hλ, Ax−A¯x
| {z }
=0
i, ∀x∈C.
Par suite
f(x)≥f(¯x), ∀x∈C,
ce qui montre quex¯ réalise un minimum global def surC. 2 Corollaire 3.2.2 Soit x¯ ∈ C. Supposons que f est différentiable en x¯ et convexe sur Rn et que rgA=m. Alors, x¯ est un minimum global de (P) si et seulement si il existeλ∈Rm, tel que
∇f(¯x) +ATλ= 0.
Preuve. Le résultat est une conséquence des Théorèmes3.2.7 et3.2.8. 2 3.2.3 Contraintes d’égalités non linéaires
Considérons le problème de minimisation suivant
(P) Min
x∈Rn h(x)=0
f(x),
où f :Rn→ R, et h = (h1, ..., hm)T :Rn→ Rm des fonctions avecm ≤n.
Posons
C=n
x∈Rn/ h(x) = 0o ,
l’ensemble des contraintes. Dans le cas oùf eth sont différentiables on dit que(P) est un problème différentiable.
Dans la suite nous utiliserons le théorème suivant.
