• Aucun résultat trouvé

L’ensemble des contraintes est un ouvert

3.2 Conditions d’optimalité

3.2.1 L’ensemble des contraintes est un ouvert

Soitt = inf(t1, t2). Alors, pour toutt∈

0, t

, on ax¯+td∈C et f(¯x+td)< f(¯x),

i.e., dest une direction de descente def en x.¯ 2 Remarque 3.1.2 Soient f :Rn→ R une fonction et x¯∈ Rn. On suppose quef est différentiable en x¯ et∇f(¯x)6= 0.

i) On a−∇f(¯x) est une direction de descente de f enx. En effet, on a¯ h∇f(¯x),−∇f(¯x)i=−k∇f(¯x)k22 <0.

Le résultat se déduit alors de la Proposition 3.1.1.

ii) Soit d∈Rn\ {0}. On a la caractérisation suivante : h∇f(¯x), di<0⇐⇒cos(∇f(¯x), d) = h∇f(¯x), di

k∇f(¯x)k2kdk2 ∈[−1,0[.

3.2 Conditions d’optimalité

3.2.1 L’ensemble des contraintes est un ouvert

Soient f : Rn → R une fonction et C un ouvert de Rn. Considérons le problème de minimisation suivant

(P) Min

x∈Cf(x).

Si f est différentiable en x ∈ C et ∇f(x) = 0, on dit que x est un point stationnaire. Dans le cas oùC=Rn, le problème(P)est dit sans contraintes.

Conditions nécessaire d’optimalité

Théorème 3.2.1 Soit x¯ ∈ C un minimum local de f sur C ouvert. Sup-posons que f est différentiable en x. Alors,¯ ∇f(¯x) = 0.

Preuve. Supposons que ∇f(¯x) 6= 0. Alors, −∇f(¯x) est une direction de descente def en x. Il existe¯ α >0, tel que

f(¯x−t∇f(¯x))< f(¯x), ∀t∈ 0, α

. (3.1)

Or x¯ est un minimum local de f sur C, il existe alors une boule ouverte B(¯x, r) telle que

f(¯x)≤f(x), ∀x∈B(¯x, r)∩C.

Puisque x¯−t∇f(¯x) → x, quand¯ t → 0+, et B(¯x, r)∩C est un voisinage ouvert de x¯ (comme intersection de deux ouverts), il existe β > 0, tel que pour toutt∈

0, β , on a

¯

x−t∇f(¯x)∈B(¯x, r)∩C.

Soitγ = min{α, β}. Alors, pour toutt∈ 0, γ

, on a f(¯x)≤f(¯x−t∇f(¯x))< f(¯x),

où la dernière stricte inégalité résulte de (3.1), ce qui donne une

contradic-tion. Par suite,∇f(¯x) = 0. 2

Exemple 3.2.1 Considérons dansR2 le problème de minimisation suivant

(P) min

x∈Cf(x1, x2), où f(x1, x2) = x21 −2x22 +x1x2 et C =

−2,2

×

−2,2

qui est un ouvert de R2. Soit x¯ = (−1,1)T qui est un point réalisable de (P). On a

∇f(x1, x2) = (2x1 +x2, x1−4x2)T, et ∇f(¯x) = (−1,−5)T. Donc, x¯ ne vérifie pas la condition nécessaire d’optimalité dans le Théorème 3.2.1, et par suite il ne peut être un minimum local de (P). Le seul point réalisable qui satisfait la condition nécessaire d’optimalité est (0,0)T.

Comme conditions nécessaires d’optimalité faisant intervenir la matrice hessienne de la fonction objectif, i.e., conditions d’optimalité de second ordre, on a le résultat suivant.

Théorème 3.2.2 Soit x¯ ∈ C un minimum local de f sur C ouvert. Sup-posons quef est deux fois continûment différentiable enx. Alors,¯ ∇f(¯x) = 0, et la matrice hessienne∇2f(¯x) est semi-définie positive sur Rn.

Preuve. D’après le Théorème 3.2.1, on a∇f(¯x) = 0. Soit d∈Rn ett >0.

Alors

f(¯x+td) = f(¯x) +th∇f(¯x), di+ 1

2t2h∇2f(¯x)d, di+t2kdk22β(¯x;td)

= f(¯x) + 1

2t2h∇2f(¯x)d, di+t2kdk22β(¯x;td), (3.2) où β(¯x;.) : Rn → R une fonction vérifiant β(¯x;x) → 0, quand x → 0.

Puisquex¯est un minimum local de (P), il existe une boule ouverte B(¯x, r), telle que

f(¯x)≤f(x), ∀x∈B(¯x, r)∩C.

On a x¯+td → x, quand¯ t → 0+. Il existe alors α > 0, tel que pour tout t ∈

0, α

, on a x¯+td ∈ B(¯x, r)∩C (ouvert comme intersection de deux ouverts). Donc

f(¯x+td)≥f(¯x), ∀t∈ 0, α

.

3.2. CONDITIONS D’OPTIMALITÉ 35 D’après (3.2), on a

f(¯x+td)−f(¯x)

t2 = 1

2h∇2f(¯x)d, di+kdk22β(¯x;td)≥0, ∀t∈ 0, α

. En faisant tendre t→0+, on obtient

h∇2f(¯x)d, di ≥0. 2

Nous aurons besoin des résultats suivants (théorèmes3.2.3 et3.2.4).

Théorème 3.2.3 SoitF :Rn→R∪ {+∞}une fonction convexe et propre.

Soitx¯∈domF. Alors

x ∈∂F(¯x)⇐⇒F0(¯x;y)≥ hx, yi, ∀y∈Rn. Preuve. (=⇒) Supposonsx ∈∂F(¯x). Donc

F(¯x+ty)≥F(¯x) +thx, yi, ∀t >0,∀y∈Rn. D’où

F(¯x+ty)−F(¯x)

t ≥ hx, yi, ∀t >0,∀y∈Rn. En passant à la limite quandt→0+, on obtient

F0(¯x;y)≥ hx, yi, ∀y∈Rn. (⇐=)Soit y∈Rn arbitraire. On a

F(¯x+ 1(y−x))¯ −F(¯x)

1 ≥ inf

t>0

F(¯x+t(y−x))¯ −F(¯x) t

= F0(¯x;y−x)¯

≥ hx, y−xi.¯ Par conséquent

F(y)−F(¯x)≥ hx, y−xi.¯

Puisquey est arbitraire dans Rn, on déduit que x ∈∂F(¯x). 2 Théorème 3.2.4 Soit F :Rn → R une fonction convexe. On suppose que F est différentiable en x¯∈Rn. Alors

F(y)≥F(¯x) +h∇F(¯x), y−xi,¯ ∀y ∈Rn.

Preuve. Remarquons d’abord que pour tout x ∈ Rn, ∂F(x) est non vide, puisque domF =Rn, et par suite int(domF) =Rn. Soient x ∈∂F(¯x) ety arbitraire dansRn. D’après la différentiabilité deF en x, on a¯

F0(¯x;y) = h∇F(¯x), yi

≥ hx, yi,

où la dernière inégalité s’obtient en utilisant le Théorème 3.2.3. En substi-tuanty par−y, on obtient aussi

h∇F(¯x), yi ≤ hx, yi.

D’où

h∇F(¯x)−x, yi= 0.

Puisque y est arbitraire dans Rn, on déduit que x = ∇F(¯x). Par suite

∇F(¯x) vérifie

F(z)≥F(¯x) +h∇F(¯x), z−xi,¯ ∀z∈Rn.

On déduit aussi que∂F(¯x) ={∇F(¯x)}. 2

Conditions suffisantes d’optimalité

Théorème 3.2.5 Soit x¯ ∈ C. Supposons que f est convexe et C est un ouvert convexe. Si f est différentiable en x¯ et ∇f(¯x) = 0, alors, x¯ est un minimum global de(P).

Preuve. Soit x∈C. D’après le Théorème3.2.4 , on a f(x)≥f(¯x) +h∇f(¯x), x−xi¯ =f(¯x).

Donc,x¯ est un minimum global du problème (P). 2 Dans le cas où les données sont convexes, on obtient alors la condition néces-saire et suffisante d’optimalité suivante.

Corollaire 3.2.1 Soit x¯∈C. Supposons que C est un ouvert convexe et f convexe sur Rn et différentiable en x. Alors,¯ x¯ est un minimum global de (P) si et seulement si ∇f(¯x) = 0.

Preuve. Le résultat s’obtient en utilisant Théorèmes3.2.1 et3.2.5.

Exemple 3.2.2 Considérons le problème

(P) min

x∈Cf(x1, x2), où f(x1, x2) = x21 + 2x22 +x1x2 +x1 et C =

−1,1

×

−1,1 . On a ∇f(x1, x2) = 2xx1+x2+1

1+4x2

, et ∇2f(x1, x2) =

2 1 1 4

dont les valeurs propres sont 3 +√

2 et 3−√

2 qui sont strictement positives. Par suite, f est strictement convexe. De plus C est un ouvert convexe. Donc, d’après le Corollaire 3.2.1, x= (x1, x2)T est solution de (P) si et seulement si

2x1+x2+ 1 = 0, x1+ 4x2 = 0.

Ce système admet la solutionx¯= −47 ,17T

, qui est aussi le minimum global unique du problème(P).

3.2. CONDITIONS D’OPTIMALITÉ 37 Théorème 3.2.6 Soit x¯ ∈C. Supposons que C est un ouvert et que f est deux fois continûment différentiable enx. Si de plus¯ ∇f(¯x) = 0, et la matrice hessienne ∇2f(¯x) est définie positive sur Rn, alors x¯ est un minimum local strict de f sur C.

Preuve. Soitx∈Rn. On a f(x)=f(¯x)+h∇f(¯x), x−xi¯ +1

2h∇2f(¯x)(x−x), x¯ −xi¯ +kx−xk¯ 22β(¯x;x−x)¯

= f(¯x) +1

2h∇2f(¯x)(x−x), x¯ −xi¯ +kx−xk¯ 22β(¯x;x−x),¯

où β(¯x;.) : Rn → R une fonction vérifiant β(¯x;x) → 0, quand x → 0.

Montrons qu’il existe une boule ouverteB(¯x, r) telle que f(¯x)< f(x), ∀x∈B(¯x, r)∩C.

Supposons le contraire. Alors, pour tout r > 0, il existe xr ∈ B(¯x, r)∩C, xr 6= ¯x, tel que

f(xr)≤f(¯x).

Pour 1

k,k∈N, il existexk ∈B(¯x,1k)∩C,xk6= ¯x, tel que f(xk)≤f(¯x).

De plus, on a xk →x, quand¯ k→+∞. Posons dk= xk−x¯

kxk−xk¯ 2, qui est un élément de la boule fermée B¯(0,1) (qui est compacte). Donc, il existe une sous suite (dkj)j qui converge vers d, quand j → +∞, avec kdk2 = 1. Par ailleurs, on a

f(xkj) =f(¯x) +kxkj −xk¯ 22n1 2

D∇2f(¯x)dkj, dkjE

+β(¯x;xkj−x)¯ o . Par suite

f(xkj)−f(¯x) kxkj−xk¯ 22 = 1

2 D

2f(¯x)dkj, dkjE

+β(¯x;xkj−x)¯ ≤0.

En faisant tendre j→+∞, on obtient h∇2f(¯x)d, dE

≤0,

ce qui contredit le fait que la matrice hessienne ∇2f(¯x) est définie positive

surRn. 2

Remarque 3.2.1 Si ∇f(¯x) = 0 et ∇2f(¯x) est semi-définie positive, en général x¯ n’est pas un minimum local comme on peut le voir dans l’exemple suivant.

Exemple 3.2.3 Soient C = R2, et f(x1, x2) = −2x61 + x22. On a

∇f(x1, x2) = (−12x51,2x2)T. L’équation

∇f(x1, x2) = (0,0)T, donne l’unique solution x¯= (0,0)T. On a

2f(¯x) =

0 0 0 2

,

qui est semi-définie positive. Pour k∈N, soit xk= (1k,0)T. On a f(xk) =

−2

k6, et xk → x, quand¯ k→ +∞. Donc, pour tout r > 0, il existe k(r) = kr ∈N, tel que pour tout k≥kr, xk∈B(¯x, r). Or

f(xk) =−2

k6 < f(¯x) = 0,∀k∈N. Donc, x¯ n’est pas un minimum local de f sur R2. 3.2.2 Contraintes d’égalités linéaires Considérons le problème de minimisation suivant

(P) Min

x∈Rn Ax=b

f(x),

oùf :Rn→R,A∈ Mm,n(R), etb∈Rm, avecm≤n. Posons C=n

x∈Rn/ Ax=bo , qui est un ensemble convexe.

Remarque 3.2.2 1) Soientx¯∈C, et d∈Rn\ {0}. Notons par KerA le noyau deA. Il est facile de voir que dest une direction admissible en

¯

x si et seulement si Ad= 0, i.e., d∈KerA.

2) On a aussi

d∈KerA⇐⇒ −d∈KerA.

Doncdest une direction admissible en x¯si et seulement si −dest une direction admissible enx.¯

Conditions nécessaires d’optimalité

Théorème 3.2.7 Soit x¯ ∈ C un minimum local de (P). Supposons que f est différentiable enx. Alors, il existe un vecteur¯ λ∈Rm, vérifiant

∇f(¯x) +ATλ= 0.

Si de plus, rgA=m, alors le vecteur λest unique.

3.2. CONDITIONS D’OPTIMALITÉ 39 Preuve. Soit dune direction admissible deC enx. Il existe¯ α >0, tel que pour toutt∈

0, α

, on a x¯+td ∈C. De plus, puisque x¯ est un minimum local, il existe un voisinageV de x, tel que¯

f(¯x)≤f(x), ∀x∈ V ∩C.

On a x¯+td→x, quand¯ t→0+. Donc, il existeβ >0, tel que

¯

x+td∈V, ∀t∈ 0, β

. Soit γ = min{α, β}. Alors, pour tout t ∈

0, γ

, on a x¯+td ∈ V ∩C, et donc

f(¯x)≤f(¯x+td).

D’après la différentiabilité def en x, on a¯

f(¯x+td) =f(¯x) +th∇f(¯x), di+tkdk2β(¯x;td), avec β(¯x;x)→0, quandx→0. De plus

f(¯x+td)−f(¯x)

t =h∇f(¯x), di+kdk2β(¯x;td)≥0, ∀t∈ 0, γ

. En faisant tendre t→0+, on obtient

h∇f(¯x), di ≥0.

D’autre part, −d est une direction admissible en x¯ (voir Remarque 3.2.2).

Alors, avec les mêmes arguments que ci-dessus, on a h∇f(¯x),−di ≥0.

Donc

h∇f(¯x), di= 0.

Puisque d est arbitraire dans KerA, il s’en suit que ∇f(¯x) ∈ (KerA) = ImAT. Par conséquent, il existe v∈Rm, tel que

∇f(¯x) =ATv.

En posantλ=−v, on obtient

∇f(¯x) +ATλ= 0.

Supposons maintenant que rgA=m. Dans ce cas, la matriceAest surjective etAT est injective. Supposons qu’il existe λ1, λ2∈Rm, tels que

∇f(¯x) =−ATλ1 =−ATλ2. Doncλ1−λ2 ∈KerAT =

0 , et par suite λ12. 2

Conditions suffisantes d’optimalité

Théorème 3.2.8 Soit x¯ ∈ C. Supposons que f est différentiable en x¯ et convexe surRn. S’il existeλ∈Rm tel que

∇f(¯x) +ATλ= 0, alors, x¯ est un minimum global de (P).

Preuve. D’après le Théorème 3.2.4, on a

f(x)≥f(¯x) +h∇f(¯x), x−xi,¯ ∀x∈Rn. En particulier

f(x)≥f(¯x) +h∇f(¯x), x−xi,¯ ∀x∈C.

Donc

f(x)≥f(¯x) +h−ATλ, x−xi¯ =f(¯x)− hλ, Ax−A¯x

| {z }

=0

i, ∀x∈C.

Par suite

f(x)≥f(¯x), ∀x∈C,

ce qui montre quex¯ réalise un minimum global def surC. 2 Corollaire 3.2.2 Soit x¯ ∈ C. Supposons que f est différentiable en x¯ et convexe sur Rn et que rgA=m. Alors, x¯ est un minimum global de (P) si et seulement si il existeλ∈Rm, tel que

∇f(¯x) +ATλ= 0.

Preuve. Le résultat est une conséquence des Théorèmes3.2.7 et3.2.8. 2 3.2.3 Contraintes d’égalités non linéaires

Considérons le problème de minimisation suivant

(P) Min

x∈Rn h(x)=0

f(x),

où f :Rn→ R, et h = (h1, ..., hm)T :Rn→ Rm des fonctions avecm ≤n.

Posons

C=n

x∈Rn/ h(x) = 0o ,

l’ensemble des contraintes. Dans le cas oùf eth sont différentiables on dit que(P) est un problème différentiable.

Dans la suite nous utiliserons le théorème suivant.

3.2. CONDITIONS D’OPTIMALITÉ 41 Théorème 3.2.9 On suppose que h est une fonction continûment différen-tiable sur Rn, avec m ≤ n. Soit x ∈ C. Supposons que les gradients

∇h1(x),...,∇hm(x), sont linéairement indépendants. Alors TC(¯x) =

Théorème 3.2.10 Soit x¯ ∈ C un minimum local de f sur C. Supposons que les fonctions f et h sont continûment différentiables sur Rn, et que les gradients∇h1(¯x),...,∇hm(¯x)sont linéairement indépendants. Alors, il existe un vecteur unique λ= (λ1, ..., λm)T ∈Rm, tel que

Les réels λi, i= 1, ..., m, sont appelés les multiplicateurs de Lagrange.

Preuve. i) Existence.

D’après le Théorème 3.2.9, on a TC(¯x) = n

Puisque x¯ est un minimum local, il existe une boule ouverte B(¯x, r), telle que

f(¯x)≤f(x), ∀x∈B(¯x, r)∩C.

D’autre part, d’après la continuité deϕ, on a limt→0

Utilisant le fait queϕ(t)∈C, pour toutt∈]−α, α[, on déduit que ϕ(t)∈B(¯x, r)∩C, ∀t∈]−β, β[.

D’où

f(¯x) =f(ϕ(0))≤f(ϕ(t)), ∀t∈

−β, β . Donc zéro est solution du problème

t∈Min]−β,β[(f◦ϕ)(t).

Par suite(f ◦ϕ)0(0) = 0(voir Théorème 3.2.1). On a (f◦ϕ)0(t) =h∇f(ϕ(t)), ϕ0(t)i.

Pourt= 0, on obtient

h∇f(ϕ(0)), ϕ0(0)i=h∇f(¯x), di= 0.

Puisquedest arbitraire dansTC(¯x), on déduit alors que∇f(¯x)∈(TC(¯x)). Donc

∇f(¯x)∈Vect n

∇h1(¯x), ...,∇hm(¯x) o

. Il existe alorsβ1, ..., βm∈R, tels que

∇f(¯x) =

m

X

i=1

βi∇hi(¯x).

Pouri∈ {1, ..., m}, posonsβi =−λi. Alors

∇f(¯x) +

m

X

i=1

λi∇hi(¯x) = 0.

ii) Unicité.

Supposons qu’il existeλ01,...,λ0m ∈R, tels que

∇f(¯x) +

m

X

i=1

λ0i∇hi(¯x) = 0.

Donc m

X

i=1

i−λ0i)∇hi(¯x) = 0.

Puisque les vecteurs ∇hi(¯x), i = 1, ..., m, sont linéairement indépendants,

on déduit queλi0i,i= 1, ..., m. 2

3.2. CONDITIONS D’OPTIMALITÉ 43 3.2.4 Contraintes d’inégalités

Considérons le problème de minimisation suivant (P) Min

x∈Cf(x),

où f :Rn→ R, et C un sous ensemble non vide de Rn. Soit x¯ ∈C etDad l’ensemble des directions admissibles enx.¯

Conditions nécessaires d’optimalité

Donnons d’abord des conditions nécessaires d’optimalité dans le cas où C est un sous ensemble non vide quelconque de Rn.

Théorème 3.2.11 Supposons quex¯ est un minimum local de (P) et que la fonctionf est différentiable en x. Alors¯

Dad∩n

d∈Rn\ {0}/h∇f(¯x), di<0o

=∅.

Preuve. Puisquex¯est un minimum local, il existe une boule ouverteB(¯x, r), telle que

f(¯x)≤f(x), ∀x∈B(¯x, r)∩C.

Supposons que

Dad∩n

d∈Rn\ {0}/h∇f(¯x), di<0o 6=∅.

Soitdˆun élément de cette intersection. Puisquedˆ∈ Dad, il existet1 >0, tel que

¯

x+tdˆ∈C, ∀t∈ 0, t1

. (3.3)

De plus on a h∇f(¯x),diˆ <0. Donc dˆest une direction de descente de f en

¯

x (voir Proposition3.1.1). Il existe donct2 >0, tel que f(¯x+td)ˆ < f(¯x), ∀t∈

0, t2

. (3.4)

Or,x¯+tdˆ→x, quand¯ t→0+. Donc, il existe t3 >0, tel que

¯

x+tdˆ∈B(¯x, r), ∀t∈ 0, t3

. (3.5)

Soit¯t= min{t1, t2, t3}. Alors, en utilisant (3.3), (3.4) et (3.5), on déduit que

¯

x+tdˆ∈B(¯x, r)∩C et f(¯x+td)ˆ < f(¯x), ∀t∈ 0,¯t

,

ce qui contredit l’optimalité locale de x.¯ 2

Soient gi : Rn → R, i = 1, ..., m, des fonctions. Soit I =

1, ..., m et considérons le cas où

C=n

x∈Rn/ gi(x)≤0,∀i∈Io .

Pourx∈C, posons

I(x) = n

i∈ {1, ..., m}/ gi(x) = 0 o

,

l’ensemble des indices des contraintes activesgi enx, i.e.,gi(¯x) = 0.

Théorème 3.2.12 Soitx¯∈Cun minimum local de(P). Supposons que les fonctions f, gi, i∈I(¯x), sont différentiables en x, et que pour¯ i6∈ I(¯x), gi est continue en x. Posons¯

D1 = n

d∈Rn\ {0}/h∇f(¯x), di<0 o

, et

D2 = n

d∈Rn\ {0}/h∇gi(¯x), di<0,∀i∈I(¯x) o

. Alors

D1∩ D2 =∅.

Preuve. Supposons que

D1∩ D2 6=∅

et soit dˆ∈ D1 ∩ D2. Puisque x¯ est un minimum local, il existe une boule ouverteB(¯x, r), telle que

f(¯x)≤f(x), ∀x∈B(¯x, r)∩C.

D’après la différentiabilité des fonctions f et gi en x,¯ i∈ I(¯x), pour t > 0, on a

f(¯x+td) =ˆ f(¯x) +th∇f(¯x),diˆ +tkdkˆ 2β(¯x; ˆd), et

gi(¯x+td) =ˆ gi(¯x) +th∇gi(¯x),diˆ +tkdkˆ 2γ(¯x; ˆd),

où β(¯x;.), γ(¯x;.) : Rn → R sont des fonctions vérifiant β(¯x;x) → 0, et γ(¯x;x)→0, quand x→0. Puisque

h∇f(¯x),diˆ <0, h∇gi(¯x),diˆ <0, ∀i∈I(¯x),

et x¯+tdˆ→ x, quand¯ t → 0+, il s’en suit que pour t suffisamment petit, t >0, on a

f(¯x+td)ˆ < f(¯x) et gi(¯x+td)ˆ < gi(¯x) = 0, ∀i∈I(¯x).

Pour i6∈I(¯x), on a gi(¯x) <0. Puisque gi(¯x+td)ˆ → gi(¯x), quand t→ 0+, on a

gi(¯x+td)ˆ <0,

3.2. CONDITIONS D’OPTIMALITÉ 45 pourt >0suffisamment petit. Donc, pourtsuffisamment petit, on ax+td¯ ∈ B(¯x, r),

f(¯x+td)ˆ < f(¯x) et gi(¯x+td)ˆ <0, ∀i∈ {1, ..., m}.

Il en résulte que pour tsuffisamment petit, on a

f(¯x+td)ˆ < f(¯x) et x¯+tdˆ∈B(¯x, r)∩C,

ce qui contredit l’optimalité locale de x.¯ 2

Exemple 3.2.4 Considérons le problème de minimisation suivant

(P) min

(x1,x2)R2 x2

1+2x2≤1

−x1≤0

−x2≤0

x21+x2.

Soient f(x1, x2) =x21+x2, g1(x1, x2) = x21+ 2x2−1, g2(x1, x2) =−x1 et g3(x1, x2) =−x2. On a

∇f(x1, x2) = (2x1,1)T,∇g1(x1, x2) = (2x1,2)T,

∇g2(x1, x2) = (−1,0)T,∇g3(x1, x2) = (0,−1)T. Considérons le point réalisable suivant x¯= (1,0)T. Alors I(¯x) =

1,3 (les contraintes actives enx¯ sont g1 etg3),

∇f(¯x) = 2

1

, ∇g1(¯x) = 2

2

, et ∇g3(¯x) = 0

−1

. Soitd= (−2,1)T. On a

h∇f(¯x), di=−3<0, h∇g1(¯x), di=−2<0, et h∇g3(¯x), di=−1<0.

Il s’en suit que d ∈ D1 ∩ D2. Par suite, x¯ ne satisfait pas la condition nécessaire du Théorème 3.2.12. Donc, x¯ ne peut être un minimum local du problème (P).

Dans la suite, nous utilisons le lemme suivant.

Lemme 3.2.1 (Lemme de Gordan) Soit {a1, ..., ap} ⊂ Rn, avec p ≥ 2.

Alors, les propriétés suivantes sont équivalentes 1) ∃a ∈Rn, tel queha, aii<0,∀i∈ {1, ..., p}, 2) 06∈conv{a1, ..., ap}.

Théorème 3.2.13 Soit x¯ un minimum local du problème (P). Supposons D’après l’optimalité locale dex¯ (voir Théorème 3.2.12), on a n

On distingue les cas suivants.

1) Pouri∈I(¯x), on agi(¯x) = 0. Doncµigi(¯x) = 0.

3.2. CONDITIONS D’OPTIMALITÉ 47

iii) µi≥0,∀i= 0, ..., m. 2

Remarquons que l’éventuel cas où µ0 = 0, donne moins d’informations sur le minimum localx. Pour éviter ce cas, les deux théorèmes suivants donnent¯ une amélioration du Théorème 3.2.13 permettant d’avoir µ0 6= 0, sous des conditions de qualification des contraintes.

Théorème 3.2.14 Soit x¯ un minimum local de (P). Supposons que les fonctions f, gi, i∈ I(¯x) sont différentiables en x, et que pour¯ i 6∈ I(¯x), gi

est continue en x. Si de plus, la condition de qualification des contraintes¯ suivante, dite de Mangasarian-Fromovitz, est satisfaite en x¯ :

(M F CQ) : ∃d∈Rn\ {0} tel que h∇gi(¯x), di<0, ∀i∈I(¯x), alors, il existe λi∈R,i= 1, ..., m, tels que

i) ∇f(¯x) +

m

X

i=1

λi∇gi(¯x) = 0, ii) λigi(¯x) = 0, ∀i= 1, ..., m, iii) λi ≥0, ∀i= 1, ..., m.

Preuve. D’après le Théorème 3.2.13, il existeµi ∈R, i= 0, ..., m,

m

X

i=0

µi = 1, tels que (voir preuve du Théorème 3.2.13),

a) µ0∇f(¯x) +

m

X

i=1

µi∇gi(¯x) =µ0∇f(¯x) + X

i∈I(¯x)

µi∇gi(¯x) = 0, b) µigi(¯x) = 0,∀i= 1, ..., m,

c) µi≥0,∀i= 0, ..., m, Supposons que µ0 = 0. Alors,

m

X

i∈I(¯x)

µi = 1. Donc, au moins un des µi, i ∈ I(¯x), est non nul. Soit d le vecteur donné par la condition (MFCQ).

Alors

X

i∈I(¯x)

µih∇gi(¯x), di<0.

D’autre part, en utilisant a), on obtient X

i∈I(¯x)

µih∇gi(¯x), di= 0,

ce qui donne une contradiction. On déduit alors que µ0 6= 0. En divisant parµ0 dans a), on obtient

∇f(¯x) + X

i∈I(¯x)

µi

µ0∇gi(¯x) = 0.

Pouri∈I(¯x), posonsλi = µi µ0

. Distinguons les cas suivants : 1) sii∈I(¯x), alors gi(¯x) = 0, etλigi(¯x) = 0,

2) sii6∈I(¯x), on agi(¯x)<0. Choisissonsλi= 0. Alors,λigi(¯x) = 0.

Finalement, on obtient i) ∇f(¯x) +

m

X

i=1

λi∇gi(¯x) = 0, ii) λigi(¯x) = 0,∀i= 1, ..., m,

iii)λi≥0,∀i= 1, ..., m. 2

Théorème 3.2.15 Soitx¯un minimum local de(P). Supposons que les fonc-tions f etgi, i∈I(¯x), sont différentiables en x, et que pour¯ i6∈I(¯x),gi est continue en x. Si de plus, les gradients¯ ∇gi(¯x), i∈I(¯x), sont linéairement indépendants, alors, il existeλi∈R, i= 1, ..., m, tels que

i)∇f(¯x) +

m

X

i=1

λi∇gi(¯x) = 0, ii)λigi(¯x) = 0,∀i= 1, ..., m, iii)λi≥0,∀i= 1, ..., m.

Preuve. Montrons que la condition de Mangasarian-Fromovitz est satisfaite en x. Dans ce cas le résultat se déduit du Théorème¯ 3.2.14. Nous devons montrer que

∃d∈Rn\ {0}, tel que h∇gi(¯x), di<0, ∀i∈I(¯x).

Supposons que pour toutd∈Rn\ {0}, il existei∈I(¯x), tel que h∇gi(¯x), di ≥0.

D’après le Lemme de Gordan, on déduit que 0 ∈ conv n

∇gi(¯x), i ∈ I(¯x) o

. Donc, il existeαi ∈[0,1],i∈I(¯x), X

i∈I(¯x)

αi = 1, tels que X

i∈I(¯x)

αi∇gi(¯x) = 0,

ce qui contredit le fait que les gradients∇gi(¯x),i∈I(¯x), sont linéairement indépendants. Donc, la condition de Mangasarian-Fromovitz est satisfaite

enx.¯ 2

3.2. CONDITIONS D’OPTIMALITÉ 49 Exemple 3.2.5 Considérons le problème

(P) min courbes de niveau de la fonction objectiff montre quex¯= (0,0)T est solution du problème (P). On a

C’est à dire la condition nécessaire ci-dessus dans le Théorème 3.2.15 est satisfaite pour λ1 = 0,λ23 = 2.

3.2.5 Contraintes d’égalités et d’inégalités Considérons le problème de minimisation suivant

(P) Min sont des fonctions avec `≤n. Si les fonctions f,g eth sont différentiables, on dit que le problème (P) est différentiable.

Pourx∈Rn, posons

Théorème 3.2.16 Soit x¯ ∈ C un minimum local de (P). Supposons que les fonctions f et g sont différentiables et que h est continûment différen-tiable surRn. Si de plus, les gradients ∇h1(¯x),...,∇h`(¯x), sont linéairement indépendants, alors

F(¯x)∩ G(¯x)∩ H(¯x) =∅.

Preuve. Supposons que

F(¯x)∩ G(¯x)∩ H(¯x)6=∅,

et soitd∈ F(¯x)∩ G(¯x)∩ H(¯x).SoitJ h(¯x) la matrice jacobienne deh en x.¯ Alors

h∇f(¯x), di<0, h∇gi(x), di<0, ∀i∈I(¯x) et J h(¯x)d= 0.

Puisque les gradients ∇h1(¯x),...,∇h`(¯x), sont linéairement indépendants, nous distinguons les cas suivants.

1) si ` = n, alors n Alors, la fonctionF est continûment différentiable sur R×Rn, et

F(0,x) = (h¯ 1(¯x), ..., h`(¯x),hu`+1,0i, ...,hun,0i)T = 0Rn, indépendants, alors la matrice JyF(0,x)¯ est inversible. D’après le théorème des fonctions implicites, il existe une boule ouverte B((0,x), r)¯ ⊂ R×Rn, un intervalle ouvert I de R contenant zéro, et une fonctionϕ:I →Rn, de classeC1, tels que

3.2. CONDITIONS D’OPTIMALITÉ 51 i)JyF(t, y) est inversible,∀(t, y)∈B((0,x), r),¯

ii) ϕ(0) = ¯x,

iii) F(t, ϕ(t)) = 0,∀t∈I. La propriétéiii) implique que

hj(ϕ(t)) = 0, ∀t∈I,∀j∈ {1, ..., `}. (3.6) Donc

h∇hj(ϕ(t)), ϕ0(t)i= 0, ∀t∈I, ∀j∈ {1, ..., `}.

Pourt= 0, on obtient

h∇hj(¯x), ϕ0(0)i= 0, ∀j∈ {1, ..., `}.

Puisqueh∇hj(¯x), di= 0 (card∈ H(¯x)), pour toutj∈ {1, ..., `}, on a h∇hj(¯x), ϕ0(0)−di= 0, ∀j∈ {1, ..., `}. (3.7) On déduit aussi de la propriétéiii) que

hu`+1, ϕ(t)−x¯−tdi=...=hun, ϕ(t)−x¯−tdi= 0, ∀t∈I.

En remplaçantx¯ parϕ(0) et en divisant part,t6= 0 , on obtient uj,ϕ(t)−ϕ(0)

t −d

= 0, ∀j∈ {`+ 1, ..., n}.

En faisant tendre t→0, on obtient

huj, ϕ0(0)−di= 0, ∀j∈ {`+ 1, ..., n}. (3.8) Puisque

∇h1(¯x), ...,∇h`(¯x), u`+1, ..., un est une base de Rn, on déduit de (3.7) et (3.8), que

ϕ0(0) =d.

D’autre part, pour tout i∈I(¯x), on a limt→0

t∈I\{0}

gi(ϕ(t))−gi(ϕ(0))

t =h∇gi(ϕ(0)), ϕ0(0)i=h∇gi(¯x), di<0. (3.9) De plus, pouri6∈I(¯x), on a

gi(¯x) =gi(ϕ(0))<0. (3.10) Notons que

gi(ϕ(0)) =gi(¯x) = 0, pour i∈I(¯x), gi(ϕ(0)) =gi(¯x)<0, pour i6∈I(¯x).

Alors de (3.9) et (3.10), et en utilisant le fait quegi(ϕ(t))→gi(ϕ(0)), quand t → 0, t ∈ I pour la propriété (3.10), on déduit que pour t suffisamment petit,t∈I\ {0}

gi(ϕ(t))<0, ∀i∈ {1, ..., m}. (3.11) Par ailleurs, on a

limt→0 t∈I\{0}

f(ϕ(t))−f(ϕ(0))

t =h∇f(ϕ(0)), ϕ0(0)i=h∇f(¯x), di<0.

Par suite, pourtsuffisamment petit,t∈I\ {0}, les propriétés (3.6) et (3.11) sont vérifiées et

f(ϕ(t))< f(ϕ(0)) =f(¯x).

Ce qui contredit l’optimalité locale dex.¯ 2

Nous aurons besoin du lemme suivant.

Lemme 3.2.2 Soient A, B, C ∈ Mm,n(R). Alors, un et un seul des sys-tèmes suivants a une solution

1)Ax <0,Bx≤0, Cx= 0, x∈Rn,

2) ATu+BTv+CTw = 0, (u, v) ∈ Rm+ ×Rm+, eTu = 1, et w ∈ Rm, où e= (1, ...,1)T ∈Rm.

Théorème 3.2.17 (Conditions nécessaires de Fritz John). Supposons que les fonctionsfetgsont différentiables et quehest continûment différentiable sur Rn. Si x¯ ∈ C est un minimum local de (P), alors, il existe u¯i ∈ R, i= 0, ..., m, et¯vj ∈R,j= 1, ..., `, tels que

i) ¯u0∇f(¯x) +

m

X

i=1

¯

ui∇gi(¯x) +

`

X

j=1

¯

vj∇hj(¯x) = 0, ii) ¯uigi(¯x) = 0,∀i= 1, ..., m,

iii) (¯u0, ...,u¯m)T ≥0,(¯u0, ...,u¯m,¯v1, ...,v¯l)6= 0.

Preuve. On distingue les cas suivants.

Cas 1 : Si les vecteurs ∇h1(¯x),...,∇h`(¯x), sont linéairement dépendants, alors, il existev= (¯v1, ...,v¯`)T ∈R`\ {0}, tel que

`

X

j=1

¯

vj∇hj(¯x) = 0.

On prend alors u¯0 = ... = ¯um = 0, et les propriétés i), ii) and iii) sont satisfaites.

3.2. CONDITIONS D’OPTIMALITÉ 53 Cas 2 : Si les vecteurs ∇h1(¯x),...,∇h`(¯x), sont linéairement indépendants, alors, d’après le Théorème 3.2.16, on a

F(¯x)∩ G(¯x)∩ H(¯x) =∅. (3.12) (3.12) signifie que le système

 signifieyi <0, pour tout i. Alors, d’après le Lemme3.2.2, le système

On distingue les cas suivants :

a)Pour r∈I(¯x), on agr(¯x) = 0. Doncu¯rgr(¯x) = 0.

b) Pourr 6∈I(¯x), on agr(¯x)<0. On prendu¯r= 0, et doncu¯rgr(¯x) = 0.

D’après les deux dernières propriétés dans (3.13), on déduit que (¯u0,u¯i1, ...,u¯ip)6= 0et (¯u0,u¯i1, ...,u¯ip)≥0. Donc(¯u0,u¯1, ...,u¯m,¯v1, ...,v¯`)6=

0.Par suite, on a

i) ¯u0∇f(¯x) +

Remarque 3.2.3 D’après a) etb) ci-dessus, la propriété i) s’écrit aussi

¯

Exemple 3.2.6 Considérons le problème de minimisation suivant

(P) min facile utilisant les courbes de niveau de la fonction objectif f donne x¯ =

1

Alors, les conditions nécessaires de Fritz John dans le Théorème 3.2.17sont satisfaites pouru¯0= ¯u1 = 1, u¯2 = ¯u3 = 0 et v¯1 =−4.

PosonsI ={1, ..., m}etJ ={1, ..., `}. Alors, le théorème suivant donne une amélioration de Théorème 3.2.17 sous une qualification des contraintes. Il permet d’éviter le cas oùu¯0= 0.

Théorème 3.2.18 (Conditions nécessaires de Karush-Kuhn-Tucker) Soit

¯

x∈C un minimum local de (P). Supposons que les fonctionsf, et gi,i∈I sont différentiables et que les fonctionshj,j = 1, ..., l, avec1 ≤l < n, sont

3.2. CONDITIONS D’OPTIMALITÉ 55 continûment différentiables surRn. Si de plus, la condition de qualification des contraintes suivante, dite de Mangasarian-Fromovitz, est satisfaite

(M F CQ)

Les conditions i), ii) et iii) sont appelées les conditions de Karush-Kuhn-Tucker (KKT). Les réels αi et βj sont appelés les multiplicateurs de Lagrange-KKT associés aux contraintes d’égalités et d’inégalités.

Preuve. D’après le Théorème précédent, il existe (u0, u, v)∈ R×Rm×R`,

De plus, puisque les gradients∇h1(¯x), ...,∇h`(¯x)sont linéairement indépen-dants, alors, d’après le second cas de la preuve du Théorème 3.2.17, on a (u0, u1, ..., um) 6= 0. Plus précisément, on a (u0, ui1, ..., uip) 6= 0, avec I(¯x) = {i1, ..., ip}, l’ensemble des indices des contraintes gi saturées en x.¯ Supposons que u0 = 0. Donc, pour au moins un i ∈ I(¯x), on a ui 6= 0.

Alors, d’après la propriété 1), on a

m (pour la première égalité voir Remarque3.2.3). La condition de qualification des contraintes (MFCQ) entraine que

X

Par ailleurs (3.14) entraine que ce qui donne une contradiction. Doncu0 6= 0. Alors, en divisant paru0 dans 1) ci-dessus, on obtient qui s’écrit aussi sous la forme

∇f(¯x) + X

Remarque 3.2.4 La condition de Mangasarian-Fromovitz ne peut être satisfaite si ` = n. En effet, puisque dans ce cas ∇h1(¯x), ...,∇h`(¯x), sont linéairement indépendants, alors {∇h1(¯x), ...,∇h`(¯x)} est une base de Rn. Par suite si un vecteur vecteur d est orthogonal aux vecteurs

∇h1(¯x), ...,∇h`(¯x), alors d∈(Rn) ={0}.

Nous donnons le cas suivant où la condition de qualification des contraintes de Mangasarian-Fromovitz est satisfaite.

Proposition 3.2.1 Soit x¯ ∈ C un point réalisable de (P). Supposons que g est convexe différentiable et h est affine sur Rn. Si de plus, la condition suivante (dite condition de Slater) est satisfaite enx¯ :

i) les gradients ∇hj(¯x), j= 1, ..., `, sont linéairement indépendants, ii)∃x0∈Rn tel queh(x0) = 0, et gi(x0)<0,∀i∈I(¯x).

Alors, la condition de Mangasarian-Fromovitz dans le Théorème 3.2.18 est satisfaite enx.¯

3.2. CONDITIONS D’OPTIMALITÉ 57 Preuve. D’après la convexité et la différentiabilité des fonctionsgi, on a

gi(x0)≥gi(¯x) +h∇gi(¯x), x0−xi.¯ Posonsd=x0−x. Alors, pour¯ i∈I(¯x), on a

h∇gi(¯x), di ≤gi(x0)−gi(¯x) =gi(x0)<0.

De plus, puisque les fonctionshj,j= 1, ..., `, sont affines, on a hj(x0)−hj(¯x) = h∇hj(¯x), x0−xi¯

= h∇hj(¯x), di= 0.

C’est à dire la condition de Mangasarian-Fromovitz est satisfaite. 2 Conditions suffisantes d’optimalité

Le théorème suivant traite le cas convexe, où les conditions de KKT dans le Théorème3.2.18deviennent suffisantes.

Théorème 3.2.19 (Conditions suffisantes de Karush-Kuhn-Tucker) Soit

¯

x ∈ C un point réalisable de (P). Supposons que les fonctions f et g sont convexes différentiables et h est affine sur Rn. Si x¯ satisfait les conditions suivantes, dites de Karush-Kuhn-Tucker :

∃(α, β)∈Rm×R`, α= (α1, ..., αm)T, β = (β1, ..., β`)T, tels que









i) ∇f(¯x) +

m

X

i=1

αi∇gi(¯x) +

`

X

j=1

βj∇hj(¯x) = 0, ii)αigi(¯x) = 0,∀i= 1, ..., m,

iii) αi ≥0,∀i= 1, ..., m, alors,x¯ est un minimum global de(P).

Preuve. Soit x un point réalisable de (P). D’après la différentiablité et la convexité de la fonctionf, on a

f(x)≥f(¯x) +h∇f(¯x), x−xi.¯ (3.15) Montrons que

h∇f(¯x), x−xi ≥¯ 0, et le résultat s’en suit. On a

0≥gi(x)≥gi(¯x) +h∇gi(¯x), x−xi¯ =h∇gi(¯x), x−xi,¯ ∀i∈I(¯x).

Donc

h∇gi(¯x), x−xi ≤¯ 0, ∀i∈I(¯x). (3.16)

Puisque les fonctionshj,j= 1, ..., `, sont affines, on a

En utilisant (3.16) et (3.17), on déduit que h∇f(¯x), x−xi¯ =− X Finalement, (3.15) et (3.18) entrainent que

f(x)≥f(¯x). 2

Exemple 3.2.7 Considérons le problème de minimisation suivant

(P) min

3.2. CONDITIONS D’OPTIMALITÉ 59 Donc f et g= (g1, g2, g3)T sont convexes et différentiables, eth est linéaire sur R2. Par suite, le problème (P) est convexe. Soit x¯= (¯x1,x¯2)T un point réalisable de (P). Utilisons les conditions suffisantes d’optimalité de KKT dans le Théorème3.2.19. Vérifiant alors s’il existeα1, α2, α3 ∈R+etβ ∈R, minimum global du problème (P). On vérifie que la seule contrainte active en x¯ parmi les composantes de g est g1. De plus, x¯ est l’unique solution de (P) puisque f est strictement convexe.

3.2.6 Conditions d’optimalité utilisant le cône normal, le cône tangent et le sous-différentiel

Considérons le problème de minimisation suivant (P) Min

x∈Cf(x),

où f :Rn→ R, une fonction et C un sous ensemble non vide de Rn. Dans cette section, on donne des conditions d’optimalité pour le problème(P)dans le cas différentiable et le cas non différentiable avec des données convexes.

Ces conditions sont exprimées en fonction du cône normal, cône tangent et du sous-différentiel dans le sense de l’analyse convexe.

Le cas différentiable

Théorème 3.2.20 Supposons que la fonctionf est convexe et différentiable sur Rn, et C est un convexe fermé. Soit x¯ un point réalisable du problème (P). Alors, les propriétés suivantes sont équivalentes

i) f(¯x) = min

x∈Cf(x), ii) −∇f(¯x)∈ NC(¯x), iii) −∇f(¯x)∈

TC(¯x)

, le polaire du cône tangent.

Preuve. "i) =⇒ii)". Soitx∈C. PuisqueC est convexe, alors

¯

x+t(x−x) =¯ tx+ (1−t)¯x∈C, ∀t∈[0,1].

Donc

f(¯x)≤f(¯x+t(x−x)),¯ ∀t∈ 0,1

. Par suite

f(¯x+t(x−x))¯ −f(¯x)

t ≥0, ∀t∈

0,1 . En faisant tendret→0+, on obtient

h∇f(¯x), x−xi ≥¯ 0.

Par suite

h−∇f(¯x), x−xi ≤¯ 0, oùx est arbitraire dans C. Donc,−∇f(¯x)∈ NC(¯x).

"ii) =⇒ i)". Soitx∈C. Alors

h−∇f(¯x), x−xi ≤¯ 0.

En utilisant le fait quef est convexe différentiable sur R2, on obtient f(x)−f(¯x)≥ h∇f(¯x), x−xi ≥¯ 0.

D’où le résultat.

ii) ⇐⇒iii) Résulte du fait queNC(¯x) =

TC(¯x)

(voir chapitre 1). 2 Le cas non différentiable

Proposition 3.2.2 Supposons quef est une fonction convexe etC un con-vexe fermé. Alors, les propriétés suivantes sont équivalentes :

i)x¯ minimise f sur C, ii)0∈∂f(¯x) +NC(¯x).

Preuve. Rappelons que la fonction indicatrice de C, notée IC est définie par

IC(x) =

0, six∈C, +∞, six6∈C, qui est convexe. Par suite, on a

¯

x minimise f surC ⇐⇒ x¯ minimise f+IC surRn

⇐⇒ 0∈∂(f +IC)(¯x) =∂f(¯x) +NC(¯x), où l’égalité résulte du fait que domIC = C, et f continue sur Rn, donc

continue en tout point de domIC. 2

Remarque 3.2.5 Dans le cas où C =Rn, on aNC(¯x) ={0} et le résultat de la Proposition 3.2.2, devient

¯

x minimise f sur Rn⇐⇒0∈∂f(¯x).

3.2. CONDITIONS D’OPTIMALITÉ 61 Exercice 3.2.1 Montrer que d ∈ TC(¯x) si et seulement si, il existe une suite (dk) ⊂ Rn, dk → d, (tk) ⊂ R+, tk → 0, quand k → +∞, telles que

¯

x+tkdk ∈C, pour toutk∈N.

Théorème 3.2.21 Supposons que f est une fonction convexe et C un

Théorème 3.2.21 Supposons que f est une fonction convexe et C un

Documents relatifs