1 Conditions d’optimalité du premier ordre

Aide Mémoire d’optimisation sous contraintes

Un problème d’optimisation sous containtes : (P_C)

min f(x) s.c. x∈C( Rⁿ

1 Conditions d’optimalité du premier ordre

d∈Rⁿ∗ direction admissible enx∈C⇐⇒ ∃η >0| ∀06α6η, x+αd∈C

DC(x) ^def= ensemble des directions admissibles à la limite

= {d∈Rⁿ| ∃(tn)n↓0, ∃(xn)n →x telles que d= lim

n→+∞

xn−x t_n }

= {d∈Rⁿ| ∃(tn)n↓0, ∃(dn)n→d telles que x+tndn∈C}

Pratique :on trace les ”tangentes” àCenxet on en déduit la forme du côneDC(x).

Au minimumx^∗, les directions admissibles à la limite sont des directions de monté :

∀d∈ DC(x^∗), h∇f(x^∗), di>0

Couvert =⇒ D_C(x) =Rⁿ Pratique :on peut négliger les contraintes dans un ouvert :∇f(x^∗) = 0

Cconvexe

x^∗minimum locale de(PC)

=⇒ ∀x∈C, ∇f(x^∗)^T(x−x^∗)>0 Cconvexe

f convexe

∀x∈C, ∇f(x^∗)^T(x−x^∗)>0







=⇒ x^∗minimum global de(PC)

1.1 C contraintes d’égalités : multiplicateurs de Lagrange

(P_E)

min f(x)

s.c. h(x) = 0 (i.e.h_i(x) = 0, ∀i= 1, ..., m)

C={x∈Rⁿ|h(x) = 0}=h⁻¹({0})inverse d’un fermé donc fermé sihest continue

xpoint régulier de(PE) ⇐⇒ xadmissible et les∇hi(x)sont linéairement indépendants

=⇒ D_C(x) ={d∈Rⁿ| h∇h_i(x), di= 0, ∀i= 1, . . . , m}= ker∇h(x)^T

=⇒ DC(x): ensemble de directions orthogonales aux gradients des contraintes d’égalité

1.1.1 Théorème des multiplicateurs de Lagrange x^∗minimum local de(PE) x^∗régulier

=⇒ ∃!λ^∗∈R^m, ∇f(x^∗) +

m

X

i=1

λ^∗_i∇hi(x^∗) = 0 Pratique :

xest candidat pour être un minimum local de(PE)⇐⇒ soit

xest un point régulier de(PE)

∃λ∈R^m, ∇f(x) +Pm

i=1λ_i∇hi(x) = 0 soit xn’est pas un point régulier de(PE)

1

1.1.2 Lagrangien associé à(PE)

L: Rⁿ×R^m → R (x;λ) 7→ f(x) +

m

X

i=1

λihi(x)

∇xL(x;λ) =∇f(x) +

m

X

i=1

λi∇hi(x) et ∇λL(x;λ) =h(x).

(PE)

min f(x) s.c. h(x) = 0

x^∗regulier

←→ (P⁰)







min L(x;λ) =f(x) +

m

X

i=1

λihi(x)

s.c. (x, λ)∈Rⁿ×R^m

1.2 C contraintes d’égalités et d’inégalités : conditions de Karush-Kuhn-Tucker

(PEI)







min f(x)

s.c. h(x) = 0 (i.e.hi(x) = 0, ∀i= 1, ..., m) g(x)60 (i.e. gi(x) = 0, ∀i= 1, ..., p)

C = {x∈Rⁿ|h(x) = 0, g(x)60}=h⁻¹({0})∩g⁻¹(]− ∞; 0])

= intersection d’inverses de fermés donc fermé sihetgsont continues gi(x)60est une contrainte d’inégalité active enx ⇐⇒ gi(x) = 0

I0(x)^def= {i∈I|gi(x) = 0}: ensemble des contraintes actives enx Pratique :

- les contraintes inactives enx"ne comptent pas et peuvent être ignorées"

- les contraintes actives peuvent être traitées comme des contraintes d’égalité

(PEI)







min f(x)

s.c. h_i(x) = 0, i∈ {1, . . . , m}

g_i(x)60, i∈ {1, . . . , p}

x^∗minimum local

⇐⇒ (P⁰E)







min f(x)

s.c. h_i(x) = 0, i∈ {1, . . . , m}

g_i(x) = 0, i∈I₀(x^∗)

xpoint régulier de(PEI) ⇐⇒ {∇hi(x), 16i6m} ∪ {∇gi(x), i∈I0(x)}est libre

=⇒ D_C(x) ={d∈Rⁿ| h∇h_i(x), di= 0 (i∈E); h∇g_i(x), di60 (i∈I₀(x))}

=⇒ DC(x): ensemble de directions orthogonales aux gradients des contraintes d’égalité et de descentes par rapport au contraintes d’inégalité actives

1.2.1 Les 3 conditions de Karush-Kuhn-Tucker

x^∗minimum local de(PEI) x^∗régulier

=⇒















∃!λ^∗∈R^m, ∃!µ^∗∈R^p, KKT 1 : ∇f(x^∗) +Pm

i=1λ^∗_i∇hi(x^∗) +Pp

i=1µ^∗_i∇gi(x^∗) = 0 KKT 2 : ∀i∈ {1,· · · , p}, µ^∗_i >0

KKT 3 : ∀i∈ {1,· · · , p}, µ^∗_ig_i(x^∗) = 0 Pratique :

xest candidat pour être un minimum local de(PEI)⇐⇒ soit

xest un point régulier de(PEI) et vérifie les 3 conditions KKT soit xn’est pas un point régulier de(P_EI)

2

1.2.2 Lagrangien associé à(PEI)

L: Rⁿ×R^m×R^p → R (x;λ, µ) 7→ f(x) +

m

X

i=1

λ_ih_i(x) +

p

X

j=1

µ_jg_i(x).

fet lesgisont convexes et leshisont affines x^∗vérifie les conditions KKT

=⇒x^∗minimum local de(PEI)

1.2.3 Qualification des contraintes

Le cône des directions admissibles des contraintes linéairisées au voisinage dex

D_h,g⁰ (x)^def.= {v∈Rⁿ | h∇hi(x), vi= 0, i∈E, h∇gi(x), vi60, i∈ I0(x)}.

les contrainteshetgsont qualifiées enxsiDC(x) =D_h,g⁰ (x)

xest régulier =⇒ contrainteshetgsont qualifiées pourx les∇hi(x)sont linéairement indépendants

∃d∈Rⁿ| ∀i∈I0(x), h∇gi(x), di<0

∀i∈E, h∇hi(x), di= 0







=⇒ contrainteshetgsont qualifiées pourx (qualifi. de Mangasarian-Fromovitz) hisont affines

gisont convexes

∃¯x| h(¯x) = 0 g(¯x)<0











=⇒ contrainteshetgsont qualifiées pourtousx (qualifi. de Slater)

2 Conditions d’optimalité du seconde ordre

2.1 Conditions nécessaires d’optimalité de second ordre

x^∗minimum local de(PEI) hetgsont qualifiées pourx^∗

=⇒



















∃λ^∗∈R^m, ∃µ^∗∈R^p,

∇f(x^∗) +Pm

i=1λ^∗_i∇hi(x^∗) +Pp

i=1µ^∗_i∇gi(x^∗) = 0

∀i∈ {1,· · · , p}, µ^∗_i >0

∀i∈ {1,· · · , p}, µ^∗_igi(x^∗) = 0

∀y∈ D_EI(x^∗) hy,∇²_xxL(x^∗, µ^∗, λ^∗)yi>0

2.2 Conditions suffisantes d’optimalité locale de second ordre

f :Rⁿ→R, h:Rⁿ →R^mg:Rⁿ→R^pet de classeC²(Rⁿ) x^∗∈Rⁿ, µ^∗∈R^m, λ^∗∈R^p

h(x^∗) = 0 g(x^∗) 6 0

∇f(x^∗) +Pm

i=1λ^∗_i∇h_i(x^∗) +Pp

i=1µ^∗_i∇g_i(x^∗) = 0

∀i∈ {1,· · ·, p}, µ^∗_igi(x^∗) = 0

∀i∈I0(x^∗), µ^∗_i > 0

∀y∈ D(x^∗)\{0} hy,∇²_xxL(x^∗;µ^∗, λ^∗)yi > 0



















=⇒x^∗minimiseur strict de(P_EI)

3 Interprétation des multiplicateurs de Lagrange

f :Rⁿ →R, h:Rⁿ →R^mg:Rⁿ→R^pet de classeC²(Rⁿ)

x^∗∈Rⁿ, µ^∗∈R^m, λ^∗∈R^pvérifient les conditions suffisantes d’optimalité du second ordre 3

problème perturbé :(P_(u,v))







min f(x) s.c. h(x) =u

g(x)6v.

=⇒























∃U×V =V(0,0)⊂R^m×R^p

∃x:U×V →Rⁿ, λ:U×V →R^met µ:U×V →R^pde classeC¹(U×V) x(0,0) =x^∗ λ(0,0) =λ^∗ µ(0,0) =µ^∗

φ(u, v) =f(x(u, v)) =f(x^∗)− hλ^∗, ui − hµ^∗, vi+o(k(u, v)k)

∇uφ(u, v) =−λ(u, v)

∇vφ(u, v) =−µ(u, v)

x(u, v), λ(u, v), µ(u, v)satisfont les conditions suffisantes d’optimalité de(P(u,v))

4