#4 Optimisation non linéaire sous contraintes

(1)

Optimisation non lin´

eaire: Th´

eorie

MTH8415

S. Le Digabel, Polytechnique Montr´

eal

H2020

(2)

Plan

1. Introduction et d´

efinitions

2. Optimisation sans contraintes

3. Optimisation avec contraintes

4. Extensions

(3)

1. Introduction et d´

efinitions

2. Optimisation sans contraintes

3. Optimisation avec contraintes

4. Extensions

(4)

Probl`

eme et solutions

I

On cherche `

a r´

esoudre

min

x∈R

n

{f (x) : x ∈ Ω}

avec f : R

n

→ R diff´erentiable et Ω ⊆ R

n

I

Un point r´

ealisable x

∗

∈ Ω est un

minimum global

de la

fonction f sur le domaine Ω si

f (x

∗

) ≤ f (x) pout tout x ∈ Ω

I

Un point r´

ealisable x

∗

∈ Ω est un

minimum local

de f sur Ω

s’il existe ε > 0 tel que

f (x

∗

) ≤ f (x) pout tout x ∈ Ω ∩ B

ε

(x

∗

)

(5)

D´

eriv´

ees

I

Gradient

de f en x = (x

1 , x

2 , . . . , x

n

) ∈ R

n

:

∇f (x) =

∂f (x)

∂x

1 ,

∂f (x)

∂x

2 , . . . ,

∂f (x)

∂x

n

∈ R

n

I

D´

eriv´

ee directionnelle

de f en x ∈ R

n

dans la direction

unitaire d ∈ R

n

:

f

_d

0 (x) = lim

t↓0

f (x + td) − f (x)

t

= d

>

_{∇f (x)}

I

Si les d´

eriv´

ees secondes de f existent et sont continues, alors

la

matrice hessienne

en x s’´

ecrit

∇

2 _{f (x) =}

∂

2 f

∂x

i

∂x

j

(x)

ij

(6)

Direction de descente

I

d ∈ R

n

est une

direction (stricte) de descente

de f en x ∈ R

n

si

f

_d

0 (x) = d

>

∇f (x) < 0

I

Pour tout α ∈ R petit, on aura h(α) = f (x + αd) < f (x) et

h

0 (0) < 0

I

Principe de la

line search

(recherche lin´

eaire) : Trouver α tel

que h

0 (α) = 0

(7)

Signe d’une matrice

A ∈ R

n×n

sym´

etrique est dite

I

Semi-d´

efinie positive

si x

>

Ax ≥ 0 pour tout x ∈ R

n

I

D´

efinie positive

si x

>

Ax > 0 pour tout x ∈ R

n

6= 0

I

Semi-d´

efinie n´

egative

si x

>

Ax ≤ 0 pour tout x ∈ R

n

I

D´

efinie n´

egative

si x

>

Ax < 0 pour tout x ∈ R

n

6= 0

I

Ind´

efinie

sinon

En pratique, on peut v´

erifier le signe d’une matrice en examinant

ses valeurs propres ou ses mineurs principaux dominants

(8)

1. Introduction et d´

efinitions

2. Optimisation sans contraintes

3. Optimisation avec contraintes

4. Extensions

(9)

Optimisation sans contraintes : CN1

Dans le cas Ω = R

n

:

Condition n´

ecessaire d’optimalit´

e de premier ordre

Si x

∗

est un minimum local de f sur R

n

, alors ∇f (x

∗

) = 0 (x

∗

est

un

point critique)

I

Attention : Ce n’est pas une condition suffisante : Un point

critique peut ˆ

etre un minimum local, un maximum local, ou

un bien un

point de selle

I

Un point critique x est un point de selle si pour tout ε > 0 il

existe a, b ∈ B

ε

(x) tels que f (a) < f (x) < f (b)

I

Si x n’est pas un point critique, il ne peut pas ˆ

etre un

minimum ou un maximum

(10)

Optimisation sans contraintes : CN2

Condition n´

ecessaire de second ordre

Si x

∗

est un minimum local de f sur R

n

, alors ∇f (x

∗

) = 0 et la

matrice hessienne ∇

2 f (x

∗

) est semi-d´

efinie positive

Preuve : Soit x

∗

un minimum local. Pour toute direction unitaire

d ∈ R

n

et pour t ∈ R suffisamment petit :

f (x

∗

) ≤ f (x

∗

+ td)

' f (x

∗

) + td

>

∇f (x

∗

) +

t

₂

2

d

>

∇

2 _{f (x}

∗

_)d

= f (x

∗

) +

t

₂

2

d

>

∇

2 _{f (x}

∗

_)d

⇒ d

>

∇

2 _{f (x}

∗

_{)d ≥ 0}

Si la matrice hessienne en un point critique est ind´

efinie, alors il

s’agit d’un point de selle

(11)

Optimisation sans contraintes : CS2

Condition suffisante de second ordre

si x

∗

∈ R

n

_{est un point critique et si ∇}

2 _{f (x}

∗

_{) est :}

I

D´

efinie positive : x

∗

est un minimum local

I

D´

efinie n´

egative : x

∗

est un maximum local

I

Ind´

efinie : x

∗

est un point de selle

I

Semi-d´

efinie positive ou semi-d´

efinie n´

egative : on ne peut

rien dire

(12)

Optimisation sans contraintes : Convexit´

e

f : R

n

→ R est

convexe

si :

I

pour tout x, y ∈ R

n

_{et tout λ ∈ [0; 1],}

f (λx + (1 − λ)y) ≤ λf (x) + (1 − λ)f (y)

I

ou si sa matrice hessienne ∇

2 f (x) est semi-d´

efinie positive

pour tout x ∈ R

n

I

Si f est convexe, la CN1 devient suffisante : Il suffit de

trouver un point critique pour minimiser f

(13)

Optimisation sans contraintes : M´

ethode du gradient

Pour la minimisation d’une fonction f : R

n

→ R sans contraintes

[0] Initialisation

Point de d´

epart : x

0 _{∈ R}

n

k ← 0

[1] It´

eration k

Calculer d

k

_{= −∇f (x}

k

_{) (dir. de descente)}

Si (d

k

_{= 0) : Stop (point critique)}

Trouver α

k

_{∈ arg min}

α≥0

h(α) = f (x

k

_{+ αd}

k

₎

x

k+1

_{← x}

k

_{+ α}

k

_d

k

k ← k + 1

Aller en [1]

(14)

M´

ethode du gradient : Remarques

I

Lorsque la minimisation de h est faite de fa¸

con exacte, les

directions cons´

ecutives d

k

et d

k+1

sont perpendiculaires : on

s’arrˆ

ete toujours de fa¸

con tangente `

a une courbe de niveau

I

La m´

ethode peut prendre un nombre consid´

erable d’it´

erations

(15)

M´

ethode de Newton

I

Soit le mod`

ele quadratique de f autour de x :

m(d) = f (x) + d

>

∇f (x) +

1

2 d

>

_∇

2 _{f (x)d}

I

Si ∇

2 f (x) est d´

efinie positive, alors m est une fonction

convexe et on peut identifier son minimum global avec

∇m(d) = ∇f (x) + ∇

2 f (x)d = 0

I

Au lieu de consid´

erer d

k

= −∇f (x

k

) comme direction de

descente, on prend donc d

k

= − ∇

2 f (x

k

)

−1

∇f (x

k

₎

(16)

M´

ethode quasi-Newton

I

La direction de Newton n’est pas d´

efinie si la matrice

hessienne n’est pas d´

efinie positive

I

Calculer (et inverser) la matrice hessienne peut aussi ˆ

etre tr`

es

coˆ

uteux

I

On peut consid´

erer la direction quasi-Newton

d = −B(x)

−1

∇f (x)

avec B(x) d´

efinie positive qui remplace la matrice hessienne

I

Une m´

ethode quasi-Newton sera d’autant plus efficace quand

(17)

1. Introduction et d´

efinitions

2. Optimisation sans contraintes

3. Optimisation avec contraintes

4. Extensions

R´

ef´

erences

(18)

Optimisation avec contraintes

min

x∈R

n

{f (x) : x ∈ Ω}

Th´

eor`

eme

Si Ω est ferm´

e et born´

e et si f est continue sur Ω, alors il existe un

minimum global atteint en un point de Ω et un maximum global

atteint en un point de Ω

En pratique, cela signifie que pour r´

esoudre le probl`

eme, on peut

´

enum´

erer tous les candidats (les points critiques) et les comparer

afin de trouver les optima

(19)

Optimisation avec une contrainte ´

egalit´

e

Avec Ω = {x ∈ R

n

: c(x) = 0} ⊆ R

n

:

CN1

Si x

∗

est un minimum local de f dans Ω, et si ∇c(x

∗

) 6= 0, alors

c(x

∗

) = 0 et il existe λ ∈ R tel que

∇f (x

∗

) = λ∇c(x

∗

)

I

Un point x

∗

satisfaisant cette condition est appel´

e un

point

critique

I

Exemple 1 : min

x1,x2

3x

1 − 2x

2 s.c.

x

2

(20)

Optimisation avec une contrainte in´

egalit´

e

Avec Ω = {x ∈ R

n

: c(x) ≥ 0} ⊆ R

n

:

CN1

Si x

∗

est un minimum local de f dans Ω, alors il existe λ ≥ 0 tel

que ∇f (x

∗

) = λ∇c(x

∗

) et c(x

∗

)λ = 0

I

Un point x

∗

satisfaisant ces conditions est appel´

e un

point

critique

I

Si c(x

∗

) > 0, la condition devient ∇f (x

∗

) = 0

I

Exemple 2 : min

x1,x2

(x

1 − 1)

2 _{+ (x}

2 − 2)

2 s.c.

x

2

1 + x

2

2 ≤ 45

(21)

Optimisation avec plusieurs contraintes ´

egalit´

e

Avec Ω = {x ∈ R

n

: c

i

(x) = 0, i ∈ E } ⊆ R

n

et |E | = m :

CN1

Si x

∗

est un minimum local de f dans Ω o`

u {∇c

i

(x

∗

) : i ∈ E } est

un ensemble lin´

eairement ind´

ependant, alors c

i

(x

∗

) = 0 pour tout

i ∈ E et il existe λ ∈ R

m

tel que

∇f (x

∗

) =

X

i∈E

λ

i

∇c

i

(x

∗

)

I

Un point x

∗

satisfaisant cette condition est appel´

e un

point

critique

I

Exemple 3 : min

x∈R

3

x

1 − x

2 + x

3 s.c.

x

2 ₁

+ x

2 ₂

+ x

2 ₃

= 1

x

2 ₁

+ (x

2 − 1)

2 + (x

3 − 2)

2 = 4

(22)

Multiplicateurs de Lagrange

I

Les λ des conditions n´

ecessaires sont appel´

es les

multiplicateurs de Lagrange

I

Ils peuvent servir `

a effectuer des analyses de sensibilit´

e sur les

membres de droite des contraintes

I

En effet, un λ repr´

esente la variation de f lorsque le mdd de

la contrainte associ´

ee augmente d’une unit´

e

(23)

Optimisation avec contraintes : Cas g´

en´

eral

min

x∈R

n

{f (x) : x ∈ Ω}

avec

Ω =

x ∈ R

n

c

i

(x) = 0, i ∈ E

c

i

(x) ≥ 0, i ∈ I

⊆ R

n

et

|E| = m , |I| = p

I

Les fonctions d´

ecrivant le probl`

eme sont toutes diff´

erentiables

et Ω est un ensemble ferm´

e et born´

e

I

On va d´

ecrire les conditions d’optimalit´

e de ce probl`

eme. Trois

ingr´

edients sont n´

ecessaires : Le cˆ

one tangent, le cˆ

one normal,

et la qualification des contraintes

(24)

G´

eom´

etrie de l’ensemble r´

ealisable

I

d ∈ R

n

_{, d 6= 0, est une}

_{direction r´}

_ealisable

_`

_{a partir de x ∈ Ω}

s’il existe ε > 0 tel que pour tout t ∈]0; ε[, x + td ∈ Ω

I

Un ensemble K ⊆ R

n

est appel´

e un

cˆ

one

si pour tout d ∈ K

et tout λ ≥ 0, λd ∈ K

I

L’ensemble de toutes les directions r´

ealisables `

a partir de

x ∈ Ω forme un cˆ

one

I

Le

cˆ

one polaire

du cˆ

one K ⊆ R

n

_est

K

∗

=

n

d ∈ R

n

: d

>

v ≤ 0 : v ∈ K

o

(25)

Ensemble des contraintes actives

Ω =

x ∈ R

n

c

i

(x) = 0, i ∈ E

c

i

(x) ≥ 0, i ∈ I

⊆ R

n

_{, |E | = m, |I| = p}

I

Pour tout x ∈ R

n

_{, l’ensemble des contraintes actives A(x)}

_est

l’ensemble des indices des contraintes in´

egalit´

e satisfaites `

a

´

egalit´

e en x :

A(x) = {i ∈ I : c

i

(x) = 0}

I

Attention : Mˆ

eme si les contraintes ´

egalit´

e sont toujours

actives, elles ne sont pas repr´

esent´

ees par A(x)

(26)

Qualification de contraintes (1/2)

I

Permet d’exprimer le cˆ

one tangent en lin´

earisant les

contraintes et d’obtenir des formulations analytiques des

cˆ

ones tangent et normal

I

Condition basique de qualification de contraintes :

Avec

Λ(x) =







λ ∈ R

m+p

λ

i

∈ R i ∈ E

λ

i

≥ 0

i ∈ A(x)

λ

i

= 0

i ∈ I \ A(x)







la condition basique de qualification de contraintes est

satisfaite en x ∈ Ω ssi le seul λ ∈ Λ(x) tel que

X

i∈E

λ

i

∇c

i

(x) −

X

i∈A(x)

λ

i

∇c

i

(x) = 0

(27)

Qualification de contraintes (2/2)

I

Cette condition n’est pas facile `

a v´

erifier et d’autres conditions

(plus fortes) peuvent ˆ

etre employ´

ees : Par exemple, la LICQ

(Linear Independence Constraint Qualification) est satisfaite

en x ∈ Ω si {∇c

i

(x) : i ∈ E ∪ A(x)} est un ensemble de

vecteurs lin´

eairement ind´

ependants

I

Dans tout ce qui suit, on suppose que la condition basique est

v´

erifi´

ee

(28)

Cˆ

one tangent

I

D´

efinition g´

eom´

etrique :

I

_{d ∈ R}

n

_{est un}

_{vecteur tangent}

_`

a Ω en x ∈ R

n

s’il existe une

suite {zk} de points r´

ealisables avec zk

→ x et une suite de

r´

eels positifs {t

k} avec tk

→ 0 tels que

lim

k→∞

zk

− x

tk

= d

I

L’ensemble des vecteurs tangents forme le

cˆ

one tangent

TΩ(x)

I

D´

efinition alg´

ebrique :

T

Ω

(x) =

d ∈ R

n

d

>

∇c

i

(x) = 0

i ∈ E

d

>

∇c

i

(x) ≥ 0

i ∈ A(x)

I

Le cˆ

one tangent correspond aux directions r´

ealisables de

premier ordre (i.e. lorsque tout est lin´

earis´

e)

(29)

Cˆ

one normal

I

D´

efinition g´

eom´

etrique : Le

cˆ

one normal

est le polaire du cˆ

one

tangent :

N

_Ω

∗

(x) = T

Ω

(x)

I

D´

efinition alg´

ebrique :

N

Ω

(x) =







X

i∈E

λ

i

∇c

i

(x) −

X

i∈A(x)

λ

i

∇c

i

(x)

λ

i

∈ R i ∈ E

λ

i

≥ 0

i ∈ A(x)







(30)

Exemples de cˆ

ones tangent et normal [Orban, 2010]

I

Les cˆ

ones tangents sont en

bleu

et les cˆ

ones normaux en

rouge

I

Dans le 3`

eme cas, le cˆ

one normal est r´

eduit `

a {0}

I

La pointe de chaque cˆ

one devrait correspondre `

a l’origine,

mais ils sont ici translat´

es

(31)

Condition n´

ecessaire d’optimalit´

e de premier ordre

Id´

ee : Si x

∗

est un minimum local, alors il n’existe pas de direction

d ∈ T

Ω

(x

∗

) (' dir. r´

ealisable) qui soit une direction de descente,

i.e. telle que d

>

∇f (x

∗

) < 0

CN1

Si x

∗

est un minimum local de f dans Ω, alors

−∇f (x

∗

) ∈ N

Ω

(x

∗

)

(32)

Interpr´

etation graphique (1/2)

&%

'$

. ... ... ... ... ... ... ... ... ... ... ... . .. .. .. .. .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..._._._._._._._._._._._._._._._. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... .. .. .. .. .. .. . ... ... ... ... ... .... .... .... .... . ... ... ... ... . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. .. .. .. .. .. .. .. .. .. ... ... ... ... ... ... ... ... ... ... ... . ... . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. .. .. .. .. .. .. .. .. .. .. .. .. .. ... ... ... ... .. ... ... .... ... ... ... ... ... ... ... ... ... ... . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .... .... .... .... .... .... .... .... .... .... .... ... ... ... . ... ... ... .... ... . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... . . . . . . . . . . . . . . . . . . . . ... . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. .. .. .. .. .. .. .. .. .. .. . ... ... ... ... ... ... ... ... .. ... ... ... ... . ... ... ... ... ... ... ... ... ... . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..._._._._._._._._._._._._._._._._._._._._. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... ... . . . . . . . . . . . . . . . .. .. .. .. .. .. .. .. .. .... .... .... .... .... . ... ... ... ... ... ... .. ... ... ... ... ... ... ... ... ... ... ... ... .. ... ... ... ... ... . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... ... . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. .. .. .. .. .. .. .. .. .. .. .. . ... ... ... ... . ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...

5

6

7

6

5

4

3

2

1 c

2 (x) = 0

c

1 (x) = 0

Ω

.

...

....

...

....

...

....

...

.

....

.

....

..

....

.

....

..

...

....

...

.

...

.

...

.

....

..

....

.

....

...

.

....

_....

....

...

....

...

.

...

..

...

..

...

....

...

.

...

....

...

.

....

..

_.

_....

....

...

.

_....

.

..

....

...

....

_....

....

.

....

...

....

.

....

...

....

.

...

....

...

..

...

.

...

.

...

.

...

(33)

Interpr´

etation graphique (1/2)

&%

'$

. ... ... ... ... ... ... ... ... ... ... ... . .. .. .. .. .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..._._._._._._._._._._._._._._._. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... .. .. .. .. .. .. . ... ... ... ... ... .... .... .... .... . ... ... ... ... . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. .. .. .. .. .. .. .. .. .. ... ... ... ... ... ... ... ... ... ... ... . ... . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. .. .. .. .. .. .. .. .. .. .. .. .. .. ... ... ... ... .. ... ... .... ... ... ... ... ... ... ... ... ... ... . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .... .... .... .... .... .... .... .... .... .... .... ... ... ... . ... ... ... .... ... . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... . . . . . . . . . . . . . . . . . . . . ... . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. .. .. .. .. .. .. .. .. .. .. . ... ... ... ... ... ... ... ... .. ... ... ... ... . ... ... ... ... ... ... ... ... ... . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..._._._._._._._._._._._._._._._._._._._._. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... ... . . . . . . . . . . . . . . . .. .. .. .. .. .. .. .. .. .... .... .... .... .... . ... ... ... ... ... ... .. ... ... ... ... ... ... ... ... ... ... ... ... .. ... ... ... ... ... . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... ... . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. .. .. .. .. .. .. .. .. .. .. .. . ... ... ... ... . ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...

5

6

7

6

5

4

3

2

1 c

2 (x) = 0

c

1 (x) = 0

Ω

.

...

....

...

....

...

....

...

.

....

.

....

..

....

.

....

..

...

....

...

.

...

.

...

.

....

..

....

.

....

...

.

....

_....

....

...

....

...

.

...

..

...

..

...

....

...

.

...

....

...

.

....

..

_.

_....

....

...

.

_....

.

..

....

...

....

_....

....

.

....

...

....

.

....

...

....

.

...

....

...

..

...

.

...

.

...

.

...

• _x

a

(34)

Interpr´

etation graphique (1/2)

&%

'$

. ... ... ... ... ... ... ... ... ... ... ... . .. .. .. .. .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..._._._._._._._._._._._._._._._. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... .. .. .. .. .. .. . ... ... ... ... ... .... .... .... .... . ... ... ... ... . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. .. .. .. .. .. .. .. .. .. ... ... ... ... ... ... ... ... ... ... ... . ... . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. .. .. .. .. .. .. .. .. .. .. .. .. .. ... ... ... ... .. ... ... .... ... ... ... ... ... ... ... ... ... ... . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .... .... .... .... .... .... .... .... .... .... .... ... ... ... . ... ... ... .... ... . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... . . . . . . . . . . . . . . . . . . . . ... . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. .. .. .. .. .. .. .. .. .. .. . ... ... ... ... ... ... ... ... .. ... ... ... ... . ... ... ... ... ... ... ... ... ... . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..._._._._._._._._._._._._._._._._._._._._. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... ... . . . . . . . . . . . . . . . .. .. .. .. .. .. .. .. .. .... .... .... .... .... . ... ... ... ... ... ... .. ... ... ... ... ... ... ... ... ... ... ... ... .. ... ... ... ... ... . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... ... . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. .. .. .. .. .. .. .. .. .. .. .. . ... ... ... ... . ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...

5

6

7

6

5

4

3

2

1 c

2 (x) = 0

c

1 (x) = 0

Ω

.

...

....

...

....

...

....

...

.

....

.

....

..

....

.

....

..

...

....

...

.

...

.

...

.

....

..

....

.

....

...

.

....

_....

....

...

....

...

.

...

..

...

..

...

....

...

.

...

....

...

.

....

..

_.

_....

....

...

.

_....

.

..

....

...

....

_....

....

.

....

...

....

.

....

...

....

.

...

....

...

..

...

.

...

.

...

.

...

• _x

a

∇f (x

a

)=0

(35)

Interpr´

etation graphique (1/2)

&%

'$

. ... ... ... ... ... ... ... ... ... ... ... . .. .. .. .. .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..._._._._._._._._._._._._._._._. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... .. .. .. .. .. .. . ... ... ... ... ... .... .... .... .... . ... ... ... ... . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. .. .. .. .. .. .. .. .. .. ... ... ... ... ... ... ... ... ... ... ... . ... . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. .. .. .. .. .. .. .. .. .. .. .. .. .. ... ... ... ... .. ... ... .... ... ... ... ... ... ... ... ... ... ... . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .... .... .... .... .... .... .... .... .... .... .... ... ... ... . ... ... ... .... ... . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... . . . . . . . . . . . . . . . . . . . . ... . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. .. .. .. .. .. .. .. .. .. .. . ... ... ... ... ... ... ... ... .. ... ... ... ... . ... ... ... ... ... ... ... ... ... . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..._._._._._._._._._._._._._._._._._._._._. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... ... . . . . . . . . . . . . . . . .. .. .. .. .. .. .. .. .. .... .... .... .... .... . ... ... ... ... ... ... .. ... ... ... ... ... ... ... ... ... ... ... ... .. ... ... ... ... ... . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... ... . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. .. .. .. .. .. .. .. .. .. .. .. . ... ... ... ... . ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...

#4 Optimisation non linéaire sous contraintes

Optimisation non lin´

eaire: Th´

eorie

MTH8415

S. Le Digabel, Polytechnique Montr´

eal

H2020

Plan

1. Introduction et d´

efinitions

2. Optimisation sans contraintes

3. Optimisation avec contraintes

4. Extensions

1. Introduction et d´

efinitions

2. Optimisation sans contraintes

3. Optimisation avec contraintes

4. Extensions

Probl`

eme et solutions

I

On cherche `

a r´

esoudre

min

x∈R

{f (x) : x ∈ Ω}

avec f : R

n

→ R diff´erentiable et Ω ⊆ R

n

I

Un point r´

ealisable x

∗

∈ Ω est un

minimum global

de la

fonction f sur le domaine Ω si

f (x

∗

) ≤ f (x) pout tout x ∈ Ω

I

Un point r´

ealisable x

∗

∈ Ω est un

minimum local

de f sur Ω

s’il existe ε > 0 tel que

f (x

∗

) ≤ f (x) pout tout x ∈ Ω ∩ B

ε

(x

∗

)

D´

eriv´

ees

I

Gradient

de f en x = (x

1

, x

2

, . . . , x

n

) ∈ R

n

:

∇f (x) =

 ∂f (x)

∂x

1

,

∂f (x)

∂x

2

∂f (x)

_d

_{∇f (x)}

_{f (x) =}

_d