S´eance 4 Optimisation sous contraintes

S.L

CENTRALE

S´ eance 4

Optimisation sous contraintes

P. Laurent Math´ ematiques 2

28 septembre 2005

P. Laurent Math´ematiques 2 S´eance 4 Optimisation sous contraintes

S.L

CENTRALE

Plan

1 L’optimisation sous contraintes d’´ egalit´ e Le probl` eme

Th´ eor` eme de Lagrange

Interpr´ etation des multiplicateurs Exemples

2 Dualit´ e

Fonction objectif convexe Dualit´ e

Algorithme P´ enalisation

3 Conclusion

S.L

CENTRALE

Optimisation sous contraintes

1 L’optimisation sous contraintes d’´ egalit´ e Le probl` eme

Th´ eor` eme de Lagrange

Interpr´ etation des multiplicateurs Exemples

2 Dualit´ e

Fonction objectif convexe Dualit´ e

Algorithme P´ enalisation

3 Conclusion

P. Laurent Math´ematiques 2 S´eance 4 Optimisation sous contraintes

S.L

CENTRALE

Optimisation sous contraintes

Devise du cours de math´ ematiques 2

Il est (peut ˆ etre) trop tard pour apprendre des maths,

il n’est pas trop tard pour apprendre ` a s’en servir.

S.L

CENTRALE

Optimisation sous contraintes

Notations

V : Espace vectoriel

F (x), F i (x ), i = 1, . . . , p, : ∈ C ¹ (V )

D´ efinition

F _i (x) : Contraintes, liaisons

C : Ensemble des solutions r´ ealisables : ou ensemble des contraintes F (x) : Fonction objectif

¯

x : Solution

P. Laurent Math´ematiques 2 S´eance 4 Optimisation sous contraintes

S.L

CENTRALE

Optimisation sous contraintes

Le probl` eme formel







C = {x ∈ V tel que F j (x) = 0 , j = 1, . . . , p}

∀x ∈ C F (¯ x) ≤ F (x)

(1)

D´ efinition

F _i (x) : Contraintes, liaisons

C : Ensemble des solutions r´ ealisables : ou ensemble des contraintes F (x) : Fonction objectif

¯

x : Solution

S.L

CENTRALE

Optimisation sous contraintes

Le probl` eme formel







C = {x ∈ V tel que F j (x) = 0 , j = 1, . . . , p}

∀x ∈ C F (¯ x) ≤ F (x)

(1)

D´ efinition

F _i (x) : Contraintes, liaisons

C : Ensemble des solutions r´ ealisables : ou ensemble des contraintes F (x) : Fonction objectif

¯

x : Solution

P. Laurent Math´ematiques 2 S´eance 4 Optimisation sous contraintes

S.L

CENTRALE

Optimisation sous contraintes

Exemples (Dimension finie)

V = R ⁿ F (x) = 1

2 hAx, xi − hb, xi F _i (x) = hB _i , xi − c _i Exemples (Dimension infinie)

V = C ¹ ([0, 1]) F (u) =

Z 1

0

u ⁰ (t) ²

2 + u(t ) ²

2 dt

F (u) = u(t ) − c

S.L

CENTRALE

Optimisation sous contraintes

Exemples (Dimension finie)

V = R ⁿ F (x) = 1

2 hAx, xi − hb, xi F _i (x) = hB _i , xi − c _i Exemples (Dimension infinie)

V = C ¹ ([0, 1]) F (u) =

Z 1 0

u ⁰ (t) ²

2 + u(t ) ² 2 dt F _i (u) = u(t _i ) − c _i

P. Laurent Math´ematiques 2 S´eance 4 Optimisation sous contraintes

S.L

CENTRALE

Multiplicateurs de Lagrange

Th´ eor` eme (Th´ eor` eme de Lagrange)

¯

x est solution du Pb. d’optimisation sous contraintes (1)

⇒

∃ λ ¯ _j ∈ R , j = 1, . . . , p,

appel´ es multiplicateurs de Lagrange



 

 

 

 

DF (¯ x) +

p

X

j=1

λ ¯ _j DF _j (¯ x) = 0

F _j (¯ x) = 0, j = 1, . . . , p

(2)

Les conditions de Lagrange sont n´ ecessaires mais elles ne sont pas

suffisantes.

S.L

CENTRALE

Multiplicateurs de Lagrange

Th´ eor` eme (Th´ eor` eme de Lagrange)

¯

x est solution du Pb. d’optimisation sous contraintes (1)

⇒

∃ λ ¯ _j ∈ R , j = 1, . . . , p,

appel´ es multiplicateurs de Lagrange



 

 

 

 

DF (¯ x) +

p

X

j=1

λ ¯ _j DF _j (¯ x) = 0

F _j (¯ x) = 0, j = 1, . . . , p

(2)

Les conditions de Lagrange sont n´ ecessaires mais elles ne sont pas suffisantes.

P. Laurent Math´ematiques 2 S´eance 4 Optimisation sous contraintes

S.L

CENTRALE

Mise en ´ equations

V = R ⁿ

Th´ eor` eme de Lagrange ⇒ syst` eme de n + p ´ equations ` a n + p inconnues

Th´ eor` eme (Lagrange : ´ equations)



 

 

∇ F (x) +

p

X

j=1

λ _j ∇ F _j (x) = 0 F j (x) = 0, j = 1, . . . , p

(3)

C’est un syst` eme de n + p ´ equations ` a n + p inconnues (x 1 , ..., x n , λ 1 , ..., λ p ).

Question

S.L

CENTRALE

Mise en ´ equations

V = R ⁿ

Th´ eor` eme de Lagrange ⇒ syst` eme de n + p ´ equations ` a n + p inconnues

Th´ eor` eme (Lagrange : ´ equations)



 

 

∇ F (x) +

p

X

j=1

λ _j ∇ F _j (x) = 0 F j (x) = 0, j = 1, . . . , p

(3)

C’est un syst` eme de n + p ´ equations ` a n + p inconnues (x 1 , ..., x n , λ 1 , ..., λ p ).

Question

Comment r´ esoudre ce syst` eme ?

P. Laurent Math´ematiques 2 S´eance 4 Optimisation sous contraintes

S.L

CENTRALE

Introduction du lagrangien

Notations

Λ = (λ 1 , . . . , λ p ) ∈ R ^p D´ efinition (Lagrangien)

L(x, Λ) = F (x) +

p

X

j =1

λ _j F _j (x)

Th´ eor` eme (Lagrange) (¯ x, Λ) ¯ v´ erifie

D x L(¯ x, ¯ Λ) = 0

F _j (¯ x) = 0, j = 1, . . . , p (4)

S.L

CENTRALE

Introduction du lagrangien

Notations

Λ = (λ 1 , . . . , λ p ) ∈ R ^p D´ efinition (Lagrangien)

L(x, Λ) = F (x) +

p

X

j =1

λ _j F _j (x)

Th´ eor` eme (Lagrange) (¯ x, Λ) ¯ v´ erifie

D x L(¯ x, ¯ Λ) = 0

F _j (¯ x) = 0, j = 1, . . . , p (4)

P. Laurent Math´ematiques 2 S´eance 4 Optimisation sous contraintes

S.L

CENTRALE

Introduction du lagrangien

Notations

Λ = (λ 1 , . . . , λ p ) ∈ R ^p D´ efinition (Lagrangien)

L(x, Λ) = F (x) +

p

X

j =1

λ _j F _j (x)

Th´ eor` eme (Lagrange) (¯ x, Λ) ¯ v´ erifie

D x L(¯ x, ¯ Λ) = 0

F _j (¯ x) = 0, j = 1, . . . , p (4)

S.L

CENTRALE

Th´ eor` eme de Lagrange : forme diff´ erentielle

Remarques

D _Λ L(¯ x , Λ) = (F ¯ ₁ (x), . . . , F _p (x)) ^t On peut donc ´ ecrire aussi Th´ eor` eme

(¯ x, Λ) ¯ v´ erifie

D _x L(¯ x, Λ) = 0 ¯

D Λ L(¯ x, Λ) = 0 ¯ (5)

P. Laurent Math´ematiques 2 S´eance 4 Optimisation sous contraintes

S.L

CENTRALE

Th´ eor` eme de Lagrange : forme diff´ erentielle

Remarques

D _Λ L(¯ x , Λ) = (F ¯ ₁ (x), . . . , F _p (x)) ^t On peut donc ´ ecrire aussi Th´ eor` eme

(¯ x, Λ) ¯ v´ erifie

D _x L(¯ x, Λ) = 0 ¯

D Λ L(¯ x, Λ) = 0 ¯ (5)

S.L

CENTRALE

Th´ eor` eme de Lagrange : exemple

Exemples (Fonction quadratique, contraintes lin´ eaires)



 

 

C = {x ∈ V tel que Bx = c } F (x) = 1

2 hAx, xi − hb, xi

∀x ∈ C F (¯ x) ≤ F (x)

(6)

Th´ eor` eme (Conditions d’optimalit´ e) A¯ x +B ^t Λ ¯ = b

B¯ x = c (7)

Question

Comment r´ esoudre ce syst` eme ?

P. Laurent Math´ematiques 2 S´eance 4 Optimisation sous contraintes

S.L

CENTRALE

Th´ eor` eme de Lagrange : exemple

Exemples (Fonction quadratique, contraintes lin´ eaires)



 

 

C = {x ∈ V tel que Bx = c } F (x) = 1

2 hAx, xi − hb, xi

∀x ∈ C F (¯ x) ≤ F (x)

(6)

L(x, Λ) = 1

2 hAx, xi − hb, xi + hΛ, Bxi = 1

2 hAx, xi − hb − B ^t Λ, xi Th´ eor` eme (Conditions d’optimalit´ e)

A¯ x +B ^t Λ ¯ = b

B¯ x = c (7)

Question

S.L

CENTRALE

Th´ eor` eme de Lagrange : exemple

Exemples (Fonction quadratique, contraintes lin´ eaires)



 

 

C = {x ∈ V tel que Bx = c } F (x) = 1

2 hAx, xi − hb, xi

∀x ∈ C F (¯ x) ≤ F (x)

(6)

L(x, Λ) = 1

2 hAx, xi − hb, xi + hΛ, Bxi = 1

2 hAx, xi − hb − B ^t Λ, xi Th´ eor` eme (Conditions d’optimalit´ e)

A¯ x +B ^t Λ ¯ = b

B¯ x = c (7)

Question

Comment r´ esoudre ce syst` eme ?

P. Laurent Math´ematiques 2 S´eance 4 Optimisation sous contraintes

S.L

CENTRALE

Th´ eor` eme de Lagrange : exemple

Exemples (Fonction quadratique, contraintes lin´ eaires)



 

 

C = {x ∈ V tel que Bx = c } F (x) = 1

2 hAx, xi − hb, xi

∀x ∈ C F (¯ x) ≤ F (x)

(6)

Th´ eor` eme (Conditions d’optimalit´ e) A¯ x +B ^t Λ ¯ = b

B¯ x = c (7)

Question

Comment r´ esoudre ce syst` eme ?

S.L

CENTRALE

Interpr´ etation des multiplicateurs

On perturbe une contrainte F 1 (x) = 0 → F 1 (x) + = 0.

L (x, Λ) = F (x) + λ ₁ (F ₁ (x) + ) + P p

j =2 λ _j F _j (x) (x(), Λ()) la solution correspondante.

Th´ eor` eme

λ 1 = d

d F (x())| ₌₀ (8)

Interpr´ etation des multiplicateurs

Les multiplicateurs mesurent la sensibilit´ e de la valeur optimale par rapport ` a la variation d’une contrainte.

P. Laurent Math´ematiques 2 S´eance 4 Optimisation sous contraintes

S.L

CENTRALE

Interpr´ etation des multiplicateurs

On perturbe une contrainte F 1 (x) = 0 → F 1 (x) + = 0.

L (x, Λ) = F (x) + λ ₁ (F ₁ (x) + ) + P p

j =2 λ _j F _j (x) (x(), Λ()) la solution correspondante.

Th´ eor` eme

λ 1 = d

d F (x())| ₌₀ (8)

Interpr´ etation des multiplicateurs

Les multiplicateurs mesurent la sensibilit´ e de la valeur optimale par

rapport ` a la variation d’une contrainte.

S.L

CENTRALE

Interpr´ etation des multiplicateurs

On perturbe une contrainte F 1 (x) = 0 → F 1 (x) + = 0.

L (x, Λ) = F (x) + λ ₁ (F ₁ (x) + ) + P p

j =2 λ _j F _j (x) (x(), Λ()) la solution correspondante.

Th´ eor` eme

λ 1 = d

d F (x())| ₌₀ (8)

Interpr´ etation des multiplicateurs

Les multiplicateurs mesurent la sensibilit´ e de la valeur optimale par rapport ` a la variation d’une contrainte.

P. Laurent Math´ematiques 2 S´eance 4 Optimisation sous contraintes

S.L

CENTRALE

Un probl` eme de gestion

Ressources 1

Produits 1

Produits 2

Produits 3 Ressources 2

Ressources 3

Ressources 4

Quantité x1 Quantité x1

Quantité x2

Quantité x3 b11 x1+ b12 x2 < Q1

b21 x1+ b22 x2+b23 x3 < Q2

b31 x1+ b33 x3 < Q3

b41 x1+ b42 x2+ b43 x3 < Q4

S.L

CENTRALE

Un probl` eme de gestion

Optimisation d’un coˆ ut

Maximisation de la valeur F (x ) de produits fabriqu´ es en quantit´ e x = (x 1 , ..., x i , ..., x n ) ^t en utilisant p resources sous p contraintes sur les quantit´ es de ressources ` a utiliser

F _j (x) = X

i

b _ij x _i = Q _j

Introduction des multiplicateurs L(x, Λ) = F (x) + P p

j =1 λ _j (Q _j − F _j (x)) λ _j : coˆ ut d’une mati` ere premi` ere manquante.

Interpr´ etation des multiplicateurs comme prix marginal.

P. Laurent Math´ematiques 2 S´eance 4 Optimisation sous contraintes

S.L

CENTRALE

Un probl` eme de gestion

Optimisation d’un coˆ ut

Maximisation de la valeur F (x ) de produits fabriqu´ es en quantit´ e x = (x 1 , ..., x i , ..., x n ) ^t en utilisant p resources sous p contraintes sur les quantit´ es de ressources ` a utiliser

F _j (x) = X

i

b _ij x _i = Q _j

Introduction des multiplicateurs L(x, Λ) = F (x) + P p

j =1 λ _j (Q _j − F _j (x)) λ _j : coˆ ut d’une mati` ere premi` ere manquante.

Interpr´ etation des multiplicateurs comme prix marginal.

S.L

CENTRALE

Un probl` eme de m´ ecanique

(x1,y1) (x2,y2)

(xn,yn) λ nn

P. Laurent Math´ematiques 2 S´eance 4 Optimisation sous contraintes

S.L

CENTRALE

Un probl` eme de m´ ecanique

´ Equilibre d’un treillis

Un treillis de barres, avec contact bilat´ eral.

La position d’´ equilibre minimise l’´ energie potentielle min x

1

2 hKx, xi − hb, xi avec les condition de liaison avec des appuis

F _i (x) = 0

S.L

CENTRALE

Un probl` eme de m´ ecanique

´ Equilibre d’un treillis

Un treillis de barres, avec contact bilat´ eral.

La position d’´ equilibre minimise l’´ energie potentielle min x

1

2 hKx, xi − hb, xi avec les condition de liaison avec des appuis

F _i (x) = 0

Les multiplicateurs sont des forces de r´ eaction.

P. Laurent Math´ematiques 2 S´eance 4 Optimisation sous contraintes

S.L

CENTRALE

Un probl` eme de m´ ecanique : ´ equilibre d’une chaˆıne pesante

(x2,y2) (x1,y1) (x0,y0)

(x3,y3)

(xn,yn)

(xn+1,yn+1))

E = {x ∈ R ²ⁿ / (x _i − x i−1 ) ² + (y _i − y i−1 ) ² = L ² , i = 1, . . . , n + 1}

min hP , xi

S.L

CENTRALE

Un probl` eme de m´ ecanique : ´ equilibre d’une chaˆıne pesante

Mise sous forme de probl` eme d’optimisation

C = {x / hB _j x, xi = b j } (9)

min x∈C hP , x i (10)

L(x, Λ) = hP , xi + X

j

λ _j (hB _j x, xi − b _j ) (11)

Le Lagrangien est quadratique ⇒ Le calcul de x(Λ) est un probl` eme lin´ eaire.

P. Laurent Math´ematiques 2 S´eance 4 Optimisation sous contraintes

S.L

CENTRALE

Optimisation sous contraintes

1 L’optimisation sous contraintes d’´ egalit´ e Le probl` eme

Th´ eor` eme de Lagrange

Interpr´ etation des multiplicateurs Exemples

2 Dualit´ e

Fonction objectif convexe Dualit´ e

Algorithme P´ enalisation

3 Conclusion

S.L

CENTRALE

Fonction objectif convexe

Hypoth` eses

F (x) est strictement convexe, F i (x) lin´ eaires, donc

F _i (x) = 0, i = 1, . . . , p s’´ ecrit aussi Bx = c

D´ efinition (Optimisation convexe sous contraintes lin´ eaires) C = {x ∈ V tel que B¯ x = c }

∀x ∈ C F (¯ x) ≤ F (x) (12)

P. Laurent Math´ematiques 2 S´eance 4 Optimisation sous contraintes

S.L

CENTRALE

Fonction objectif convexe

Hypoth` eses

F (x) est strictement convexe, F i (x) lin´ eaires, donc

F _i (x) = 0, i = 1, . . . , p s’´ ecrit aussi Bx = c

D´ efinition (Optimisation convexe sous contraintes lin´ eaires) C = {x ∈ V tel que B¯ x = c }

∀x ∈ C F (¯ x) ≤ F (x) (12)

S.L

CENTRALE

Fonction objectif convexe

Th´ eor` eme (Lagrange)

∃ Λ = ( ¯ ¯ λ 1 , . . . , λ ¯ p ), tels que

∀x ∈ V L(¯ x, Λ) ¯ ≤ L(x, Λ)

B¯ x = c (13)

P. Laurent Math´ematiques 2 S´eance 4 Optimisation sous contraintes

S.L

CENTRALE

Fonction objectif convexe

D´ efinition Soit Λ ∈ R ^p .

On appelle probl` eme primal le probl` eme

min x L(x, Λ) (14)

D´ efinition

On appelle fonction duale du probl` eme d’optimisation (12) la fonction de R ^p dans R d´ efinie par

Φ(Λ) = min

x L(x, Λ) (15)

S.L

CENTRALE

Fonction objectif convexe

D´ efinition Soit Λ ∈ R ^p .

On appelle probl` eme primal le probl` eme

min x L(x, Λ) (14)

D´ efinition

On appelle fonction duale du probl` eme d’optimisation (12) la fonction de R ^p dans R d´ efinie par

Φ(Λ) = min

x L(x, Λ) (15)

P. Laurent Math´ematiques 2 S´eance 4 Optimisation sous contraintes

S.L

CENTRALE

Principe de dualit´ e

Th´ eor` eme (Point selle)

(¯ x, Λ) ¯ est un point selle du Lagrangien :

∀x ∈ V , ∀Λ ∈ R ^p , L(¯ x, Λ) ≤ L(¯ x, Λ) ¯ ≤ L(x, Λ) ¯ (16) Th´ eor` eme (Probl` eme dual)

Φ(Λ) est concave.

∇ Φ(Λ) = Bx(Λ) − c (17)

o` u x (Λ) est la solution du probl` eme primal.

∀Λ ∈ R ^p , Φ(Λ) ≤ Φ(¯ Λ)

S.L

CENTRALE

Principe de dualit´ e

Th´ eor` eme (Point selle)

(¯ x, Λ) ¯ est un point selle du Lagrangien :

∀x ∈ V , ∀Λ ∈ R ^p , L(¯ x, Λ) ≤ L(¯ x, Λ) ¯ ≤ L(x, Λ) ¯ (16) Th´ eor` eme (Probl` eme dual)

Φ(Λ) est concave.

∇ Φ(Λ) = Bx(Λ) − c (17)

o` u x (Λ) est la solution du probl` eme primal.

∀Λ ∈ R ^p , Φ(Λ) ≤ Φ(¯ Λ)

P. Laurent Math´ematiques 2 S´eance 4 Optimisation sous contraintes

S.L

CENTRALE

Algorithme

Algorithme d’Uzawa

Choisir une estimation de Λ ⁰ et de ρ > 0 (assez petit), Faire :

Chercher x ^k solution du probl` eme primal :

∀x ∈ V , L(x ^k , Λ ^k ) ≤ L(x, Λ ^k ) F _k = L(x ^k , Λ ^k )

Tester F _k > F k−1 sinon diminuer ρ g ^k = Bx ^k − c

Λ ^k+1 = Λ ^k + ρg ^k

Tant que kg ^k k ≥ epskg ⁰ k

S.L

CENTRALE

P´ enalisation

D´ efinition (Probl` eme p´ enalis´ e)



 

 

F (x) = F (x) + X

i

F _i (x) ² 2

∀x ∈ V F (x ) ≤ F (x)

(18)

Remarques

doit ˆ etre petit, mais : probl` eme des erreurs de troncature.

Pr´ ecision en √ . Interpr´ etation.

P. Laurent Math´ematiques 2 S´eance 4 Optimisation sous contraintes

S.L

CENTRALE

P´ enalisation

D´ efinition (Probl` eme p´ enalis´ e)



 

 

F (x) = F (x) + X

i

F _i (x) ² 2

∀x ∈ V F (x ) ≤ F (x)

(18)

Remarques

doit ˆ etre petit, mais : probl` eme des erreurs de troncature.

Pr´ ecision en √

.

Interpr´ etation.

S.L

CENTRALE

Optimisation sous contraintes

1 L’optimisation sous contraintes d’´ egalit´ e Le probl` eme

Th´ eor` eme de Lagrange

Interpr´ etation des multiplicateurs Exemples

2 Dualit´ e

Fonction objectif convexe Dualit´ e

Algorithme P´ enalisation

3 Conclusion

P. Laurent Math´ematiques 2 S´eance 4 Optimisation sous contraintes

S.L

CENTRALE

Conclusion

Plusieurs approches :

1

G´ eom´ etrique.

2

M´ ecanique.

3

Economique. ´

Conclusion

1

Chaque interpr´ etation a ses avantages.

2

Il faut savoir passer de l’une ` a l’autre.

3

La dualit´ e : nous n’avons vu que le d´ ebut de l’histoire...

S.L

CENTRALE

Conclusion

Plusieurs approches :

1

G´ eom´ etrique.

2

M´ ecanique.

3

Economique. ´

Conclusion

1

Chaque interpr´ etation a ses avantages.

2

Il faut savoir passer de l’une ` a l’autre.

3

La dualit´ e : nous n’avons vu que le d´ ebut de l’histoire...

P. Laurent Math´ematiques 2 S´eance 4 Optimisation sous contraintes

S.L

CENTRALE

Conclusion

Plusieurs approches :

1

G´ eom´ etrique.

2

M´ ecanique.

3

Economique. ´

Conclusion

1

Chaque interpr´ etation a ses avantages.

2

Il faut savoir passer de l’une ` a l’autre.

3

La dualit´ e : nous n’avons vu que le d´ ebut de l’histoire...

S.L

CENTRALE

Conclusion

Plusieurs approches :

1

G´ eom´ etrique.

2

M´ ecanique.

3

Economique. ´

Conclusion

1

Chaque interpr´ etation a ses avantages.

2

Il faut savoir passer de l’une ` a l’autre.

3

La dualit´ e : nous n’avons vu que le d´ ebut de l’histoire...

P. Laurent Math´ematiques 2 S´eance 4 Optimisation sous contraintes

S.L

CENTRALE

Conclusion

Plusieurs approches :

1

G´ eom´ etrique.

2

M´ ecanique.

3

Economique. ´ Conclusion

1

Chaque interpr´ etation a ses avantages.

2

Il faut savoir passer de l’une ` a l’autre.

3

La dualit´ e : nous n’avons vu que le d´ ebut de l’histoire...

S.L

CENTRALE

Conclusion

Plusieurs approches :

1

G´ eom´ etrique.

2

M´ ecanique.

3

Economique. ´ Conclusion

1

Chaque interpr´ etation a ses avantages.

2

Il faut savoir passer de l’une ` a l’autre.

3

La dualit´ e : nous n’avons vu que le d´ ebut de l’histoire...

P. Laurent Math´ematiques 2 S´eance 4 Optimisation sous contraintes

S.L

CENTRALE

Conclusion

Plusieurs approches :

1

G´ eom´ etrique.

2

M´ ecanique.

3

Economique. ´ Conclusion

1

Chaque interpr´ etation a ses avantages.

2

Il faut savoir passer de l’une ` a l’autre.

3

La dualit´ e : nous n’avons vu que le d´ ebut de l’histoire...