S.L
CENTRALE
S´ eance 5
Optimisation sous contraintes d’in´ egalit´ e
P. Laurent Math´ ematiques 2
29 septembre 2005
S.L
CENTRALE
Plan
1 L’optimisation sous contraintes d’in´ egalit´ e Le probl` eme
Conditions d’optimalit´ e Th´ eor` eme de Kuhn et Tucker Exemples
2 Dualit´ e
Fonction duale Probl` eme dual Algorithmes
3 P´ enalisation
Principe
Interpr´ etation
Int´ erˆ et
S.L
CENTRALE
Optimisation sous contraintes
1 L’optimisation sous contraintes d’in´ egalit´ e Le probl` eme
Conditions d’optimalit´ e Th´ eor` eme de Kuhn et Tucker Exemples
2 Dualit´ e
Fonction duale Probl` eme dual Algorithmes
3 P´ enalisation
Principe
Interpr´ etation
Int´ erˆ et
S.L
CENTRALE
Optimisation sous contraintes d’in´ egalit´ e
Le probl` eme formel
C = {x ∈ V tel que F j (x) ≤ 0 , j = 1, . . . , p }
∀x ∈ C F (¯ x) ≤ F (x)
(1)
S.L
CENTRALE
Optimisation sous contraintes d’in´ egalit´ e
Le probl` eme formel
C = {x ∈ V tel que F j (x) ≤ 0 , j = 1, . . . , p }
∀x ∈ C F (¯ x) ≤ F (x)
(1)
Exemples (Dimension finie)
V = R n min x F (x) = 1
2 hAx, xi − hb, xi
avec F i (x) = hB i , xi − c i ≤ 0
S.L
CENTRALE
Optimisation sous contraintes d’in´ egalit´ e
Le probl` eme formel
C = {x ∈ V tel que F j (x) ≤ 0 , j = 1, . . . , p }
∀x ∈ C F (¯ x) ≤ F (x)
(1)
Exemples (Projection sur un convexe) V = R n
min x F (x) = hy − x, y − xi
avec F i (x) = hB i , xi − c i ≤ 0
S.L
CENTRALE
Optimisation sous contraintes d’in´ egalit´ e
Le probl` eme formel
C = {x ∈ V tel que F j (x) ≤ 0 , j = 1, . . . , p }
∀x ∈ C F (¯ x) ≤ F (x)
(1)
Exemples (Dimension infinie)
V = C 1 ([0, 1]) max x F (u) =
Z 1
0
u (t) dt avec F 1 (u) =
Z 1 q
1 + u 0 (t) 2 dt − L ≤ 0
S.L
CENTRALE
Optimisation sous contraintes d’in´ egalit´ e
Le probl` eme formel
C = {x ∈ V tel que F j (x) ≤ 0 , j = 1, . . . , p }
∀x ∈ C F (¯ x) ≤ F (x)
(1)
D´ efinition
F i (x) : Contraintes, liaisons F i (x) = 0 : Contraintes actives
C : Ensemble des solutions r´ ealisables : ou ensemble des contraintes F (x) : Fonction objectif
¯
x : Solution
S.L
CENTRALE
Optimisation sous contraintes d’in´ egalit´ e
Le probl` eme formel
C = {x ∈ V tel que F j (x) ≤ 0 , j = 1, . . . , p }
∀x ∈ C F (¯ x) ≤ F (x)
(1)
D´ efinition
F i (x) lin´ eaires : C est un poly` edre
idem, F (x) lin´ eaire : “Programmation lin´ eaire”
admet une solution exacte : algorithme du simplexe
idem, F (x) quadratique : “Programmation quadratique”
F i (x) convexes, F (x) convexe : “Programmation convexe”
S.L
CENTRALE
Conditions d’optimalit´ e
Grad F(xx))
dx
F(xx) = Cte C
C
Fig. : Optimisation sur un convexe
S.L
CENTRALE
Conditions d’optimalit´ e
Th´ eor` eme (Condition locale)
Si ¯ x r´ ealise le minimum d’une fonction F (x) sur un convexe C alors
∀y ∈ x hGradF (¯ x ), (y − ¯ x)i ≥ 0
Si la fonction F (x) est convexe, la condition est suffisante
S.L
CENTRALE
Exemples en dimension 2
F1(x)>0 F2(x)>0
F3(x)>0 Grad F(xx))
xx
Fig. : x ¯ ` a l’int´ erieur
GradF (x) = 0
S.L
CENTRALE
Exemples en dimension 2
F1(x)>0 F2(x)>0
F3(x)>0
− Grad F2(x)
Grad F(xx)) dx
xx
− Grad F2(xx)) dx
Fig. : ¯ x sur un bord
h−GradF 2 (¯ x ), dx i ≥ 0 ⇒ hGradF (x), dx i ≥ 0
S.L
CENTRALE
Exemples en dimension 2
F1(x)>0 F2(x)>0
F3(x)>0
− Grad F2(x)
Grad F(xx)) dx
xx dx
− Grad F2(xx))
Fig. : ¯ x sur un bord
∃λ ≥ 0 / GradF (x) + λGradF 2 (¯ x) = 0
S.L
CENTRALE
Exemples en dimension 2
F1(x)>0 F2(x)>0
F3(x)>0
− Grad F3(x)
− Grad F2(x) Grad F(x)
dx
Fig. : ¯ x sur un point extr´ emal
h−GradF i (¯ x), dx i ≥ 0 ⇒ hGradF (x), dx i ≥ 0
S.L
CENTRALE
Exemples en dimension 2
F1(x)>0 F2(x)>0
F3(x)>0
− Grad F3(x)
− Grad F2(x) Grad F(x)
dx
Fig. : ¯ x sur un point extr´ emal
∃λ i ≥ 0 / GradF (x) + X
i
λ i GradF i (¯ x) = 0
S.L
CENTRALE
Th´ eor` eme de Kuhn et Tucker
Th´ eor` eme (Kuhn et Tucker, Version locale )
¯
x solution du probl` eme d’optimisation (1) ssi
DF (¯ x) +
p
X
j=1
λ ¯ j DF j (¯ x) = 0
λ j F j (¯ x) = 0 ∀j = 1, . . . , p, F j (¯ x) ≤ 0, λ j ≥ 0 j = 1, . . . , p
(2)
Seules interviennent les contraintes actives.
S.L
CENTRALE
Th´ eor` eme de Kuhn et Tucker
Th´ eor` eme (Kuhn et Tucker, Version locale )
¯
x solution du probl` eme d’optimisation (1) ssi
DF (¯ x) +
p
X
j=1
λ ¯ j DF j (¯ x) = 0
λ j F j (¯ x) = 0 ∀j = 1, . . . , p, F j (¯ x) ≤ 0, λ j ≥ 0 j = 1, . . . , p
(2)
Seules interviennent les contraintes actives.
S.L
CENTRALE
Multiplicateurs et Lagrangien
D´ efinition (Multiplicateur)
les r´ eels λ j ≥ 0, j = 1, ..., p sont les multiplicateurs de Lagrange.
λ ¯ j = 0 si la contrainte j est inactive.
D´ efinition (Lagrangien)
L(x, Λ) = F (x) +
p
X
j =1
λ j F j (x)
Si F(x) et F j (x) sont convexes ⇒ L(x, Λ) est convexe en x
S.L
CENTRALE
Multiplicateurs et Lagrangien
D´ efinition (Multiplicateur)
les r´ eels λ j ≥ 0, j = 1, ..., p sont les multiplicateurs de Lagrange.
λ ¯ j = 0 si la contrainte j est inactive.
D´ efinition (Lagrangien)
L(x, Λ) = F (x) +
p
X
j =1
λ j F j (x)
Si F(x) et F j (x) sont convexes ⇒ L(x, Λ) est convexe en x
S.L
CENTRALE
Cas convexe
Th´ eor` eme (Kuhn et Tucker, Version globale ) On suppose F(x) et F j (x) convexes.
¯
x solution de (1) ⇒ ∃ ( ¯ λ j ≥ 0, j = 1, . . . , p)
∀x ∈ V , L(¯ x, Λ) ¯ ≤ L(x, Λ) ¯ λ ¯ j F j (¯ x) = 0, j = 1, . . . , p F j (¯ x) ≤ 0, λ j ≥ 0 j = 1, . . . , p
(3)
D´ efinition (Probl` eme primal)
Le probl` eme Λ → x / min x L(x, Λ) ¯ est le probl` eme primal .
C’est un probl` eme d’optimisation sans contrainte.
S.L
CENTRALE
Cas convexe
Th´ eor` eme (Kuhn et Tucker, Version globale ) On suppose F(x) et F j (x) convexes.
¯
x solution de (1) ⇒ ∃ ( ¯ λ j ≥ 0, j = 1, . . . , p)
∀x ∈ V , L(¯ x, Λ) ¯ ≤ L(x, Λ) ¯ λ ¯ j F j (¯ x) = 0, j = 1, . . . , p F j (¯ x) ≤ 0, λ j ≥ 0 j = 1, . . . , p
(3)
D´ efinition (Probl` eme primal)
Le probl` eme Λ → x / min x L(x, Λ) ¯ est le probl` eme primal .
C’est un probl` eme d’optimisation sans contrainte.
S.L
CENTRALE
Un probl` eme de m´ ecanique
(x1,y1) (x2,y2)
(xn,yn) λ nn
S.L
CENTRALE
Un probl` eme de m´ ecanique
´ Equilibre d’un treillis
Un treillis de barres, avec contact unilat´ eral.
La position d’´ equilibre minimise l’´ energie potentielle min x
1
2 hKx, xi − hb, xi avec les condition de non enfoncement des appuis
F i (x) ≤ 0
S.L
CENTRALE
Un probl` eme de m´ ecanique
´ Equilibre d’un treillis
Un treillis de barres, avec contact unilat´ eral.
La position d’´ equilibre minimise l’´ energie potentielle min x
1
2 hKx, xi − hb, xi avec les condition de non enfoncement des appuis
F i (x) ≤ 0
Les multiplicateurs sont des r´ eactions d’orientation connue.
S.L
CENTRALE
Un probl` eme de gestion
Ressources 1
Produits 1
Produits 2
Produits 3 Ressources 2
Ressources 3
Ressources 4
Quantité x1 Quantité x1
Quantité x2
Quantité x3 b11 x1+ b12 x2 < Q1
b21 x1+ b22 x2+b23 x3 < Q2
b31 x1+ b33 x3 < Q3
b41 x1+ b42 x2+ b43 x3 < Q4
S.L
CENTRALE
Un probl` eme de gestion
Optimisation d’un coˆ ut
Maximisation de la valeur F (x ) de produits fabriqu´ es en quantit´ e x = (x 1 , ..., x i , ..., x n ) t en utilisant p resources sous p contraintes sur les quantit´ es de ressources disponibles
F j (x) = X
i
b ij x i ≤ Q j
Introduction des multiplicateurs L(x, Λ) = F (x) + P p
j =1 λ j (Q j − F j (x)) λ j : coˆ ut d’une mati` ere premi` ere manquante.
Interpr´ etation des multiplicateurs comme prix marginal.
S.L
CENTRALE
Un probl` eme de gestion
Optimisation d’un coˆ ut
Maximisation de la valeur F (x ) de produits fabriqu´ es en quantit´ e x = (x 1 , ..., x i , ..., x n ) t en utilisant p resources sous p contraintes sur les quantit´ es de ressources disponibles
F j (x) = X
i
b ij x i ≤ Q j
Introduction des multiplicateurs L(x, Λ) = F (x) + P p
j =1 λ j (Q j − F j (x)) λ j : coˆ ut d’une mati` ere premi` ere manquante.
Interpr´ etation des multiplicateurs comme prix marginal.
S.L
CENTRALE
Un probl` eme de m´ ecanique
(x2,y2) (x1,y1) (x0,y0)
(x3,y3) (xn,yn)
(xn+1,yn+1))
E = {x ∈ R 2n / (x i − x i−1 ) 2 + (y i − y i−1 ) 2 ≤ L 2 , i = 1, . . . , n + 1}
min x∈E hP , xi
S.L
CENTRALE
Un probl` eme de m´ ecanique
Mise sous forme de probl` eme d’optimisation
C = {x / hB j x, xi ≤ b j } (4)
min x∈C hP, xi (5)
L(x, Λ) = hP , xi + X
j
λ j (hB j x, xi − b j ) (6)
Le Lagrangien est quadratique ⇒ Le probl` eme primal est lin´ eaire.
S.L
CENTRALE
Optimisation sous contraintes
1 L’optimisation sous contraintes d’in´ egalit´ e Le probl` eme
Conditions d’optimalit´ e Th´ eor` eme de Kuhn et Tucker Exemples
2 Dualit´ e
Fonction duale Probl` eme dual Algorithmes
3 P´ enalisation
Principe
Interpr´ etation
Int´ erˆ et
S.L
CENTRALE
Kuhn et Tucker : point selle
Th´ eor` eme
(¯ x, Λ) ¯ est un point selle du Lagrangien :
∀x ∈ V , ∀Λ ≥ 0 ∈ R p , L(¯ x, Λ) ≤ L(¯ x, Λ) ¯ ≤ L(x, Λ) ¯ (7) Preuve
L(¯ x, Λ) = F (¯ x) + P
j λ j F j (¯ x) ≤ F (¯ x) = L(¯ x, Λ) ¯
L(¯ x, Λ) = ¯ L(x, Λ) d’apr` ¯ es K.T.
S.L
CENTRALE
Kuhn et Tucker : point selle
Th´ eor` eme
(¯ x, Λ) ¯ est un point selle du Lagrangien :
∀x ∈ V , ∀Λ ≥ 0 ∈ R p , L(¯ x, Λ) ≤ L(¯ x, Λ) ¯ ≤ L(x, Λ) ¯ (7) Preuve
L(¯ x, Λ) = F (¯ x) + P
j λ j F j (¯ x) ≤ F (¯ x) = L(¯ x, Λ) ¯
L(¯ x, Λ) = ¯ L(x, Λ) d’apr` ¯ es K.T.
S.L
CENTRALE
Fonction duale
D´ efinition
Φ(Λ) de ( R + ) p dans R d´ efinie par Φ(Λ) = min
x L(x, Λ) (8)
Interpr´ etation
Φ(Λ) est la valeur optimale, produits + ressources,(resp. l’´ energie
potentielle totale, ´ energie interne + travail des efforts ) pour des
prix (resp. efforts de liaison) d´ efinis par les multiplicateurs.
S.L
CENTRALE
Fonction duale
D´ efinition
Φ(Λ) de ( R + ) p dans R d´ efinie par Φ(Λ) = min
x L(x, Λ) (8)
Interpr´ etation
Φ(Λ) est la valeur optimale, produits + ressources,(resp. l’´ energie
potentielle totale, ´ energie interne + travail des efforts ) pour des
prix (resp. efforts de liaison) d´ efinis par les multiplicateurs.
S.L
CENTRALE
Probl` eme dual
Proposition
1) Φ(Λ) est concave.
2) si x(Λ) est la solution du probl` eme primal
∇ Φ(Λ) = (F 1 (x(Λ)), ..., F p (x(Λ))) t (9) Th´ eor` eme (Probl` eme dual)
∀Λ ∈ ( R + ) p , Φ(Λ) ≤ Φ(¯ Λ)
Φ(Λ) = min
x L(x, Λ) ≤ L(¯ x, Λ) = L(¯ x, Λ) ¯
S.L
CENTRALE
Probl` eme dual
Proposition
1) Φ(Λ) est concave.
2) si x(Λ) est la solution du probl` eme primal
∇ Φ(Λ) = (F 1 (x(Λ)), ..., F p (x(Λ))) t (9) Th´ eor` eme (Probl` eme dual)
∀Λ ∈ ( R + ) p , Φ(Λ) ≤ Φ(¯ Λ)
Φ(Λ) = min
x L(x, Λ) ≤ L(¯ x, Λ) = L(¯ x, Λ) ¯
S.L
CENTRALE
M´ ethode directe
On suppose les contraintes lin´ eaires, C est un convexe.
Projection
On projette les algorithmes d’optimisation sans contrainte sur le convexe C des contraintes.
La v´ erification des conditions d’optimalit´ e de Kuhn et Tucker permet de piloter l’algorithme.
Gradient
On projette le gradient sur les faces du convexe
S.L
CENTRALE
M´ ethode directe
On suppose les contraintes lin´ eaires, C est un convexe.
Projection
On projette les algorithmes d’optimisation sans contrainte sur le convexe C des contraintes.
La v´ erification des conditions d’optimalit´ e de Kuhn et Tucker permet de piloter l’algorithme.
Gradient
On projette le gradient sur les faces du convexe
S.L
CENTRALE
Probl` eme dual
Probl` eme dual Le probl` eme dual
∀Λ ∈ (R + ) p , Φ(Λ) ≤ Φ(¯ Λ)
est un probl` eme d’optimisation sur le cˆ one positif de R p Int´ erˆ et
On a remplac´ e le convexe des contraintes par un convexe simple, le
cˆ one positif, pour lequel le calcul de la projection est facile.
S.L
CENTRALE
Probl` eme dual
Probl` eme dual Le probl` eme dual
∀Λ ∈ (R + ) p , Φ(Λ) ≤ Φ(¯ Λ)
est un probl` eme d’optimisation sur le cˆ one positif de R p Int´ erˆ et
On a remplac´ e le convexe des contraintes par un convexe simple, le
cˆ one positif, pour lequel le calcul de la projection est facile.
S.L
CENTRALE
Algorithme d’Uzawa
Choisir une estimation de Λ 0 et de ρ > 0 (assez petit), Faire :
Chercher x k solution du probl` eme primal :
∀x ∈ V , L(x k , Λ k ) ≤ L(x, Λ k ) F k = L(x k , Λ k )
Tester F k > F k−1 sinon diminuer ρ g k = Π(Bx k − c)
Λ k+1 = Λ k + ρg k
Tant que kg k k ≥ epskg 0 k
S.L
CENTRALE
Optimisation sous contraintes
1 L’optimisation sous contraintes d’in´ egalit´ e Le probl` eme
Conditions d’optimalit´ e Th´ eor` eme de Kuhn et Tucker Exemples
2 Dualit´ e
Fonction duale Probl` eme dual Algorithmes
3 P´ enalisation
Principe
Interpr´ etation
Int´ erˆ et
S.L
CENTRALE
Optimisation sous contraintes d’´ egalit´ e
Le probl` eme formel
C = {x ∈ V tel que F j (x ) = 0 , j = 1, . . . , p}
∀x ∈ C F (¯ x) ≤ F (x)
(10)
Principe
On supprime les contraintes mais on punit leur non-respect
S.L
CENTRALE
Optimisation sous contraintes d’´ egalit´ e
Le probl` eme formel
C = {x ∈ V tel que F j (x ) = 0 , j = 1, . . . , p}
∀x ∈ C F (¯ x) ≤ F (x)
(10)
Principe
On supprime les contraintes mais on punit leur non-respect
S.L
CENTRALE
P´ enalisation
D´ efinition (Probl` eme p´ enalis´ e)
F (x) = F (x) + X
i
F i (x) 2 2
∀x ∈ V F (x ) ≤ F (x)
(11)
Remarques
doit ˆ etre petit, mais : probl` eme des erreurs de troncature.
S.L
CENTRALE
P´ enalisation
D´ efinition (Probl` eme p´ enalis´ e)
F (x) = F (x) + X
i
F i (x) 2 2
∀x ∈ V F (x ) ≤ F (x)
(11)
Remarques
doit ˆ etre petit, mais : probl` eme des erreurs de troncature.
S.L
CENTRALE
Un probl` eme de m´ ecanique
(x1,y1) (x2,y2)
(xn,yn)
F1(x)=0
∆∆F=F1(x)/εε
Fig. : Equilibre d’une structure avec contact unilat´ ´ eral
S.L
CENTRALE
Un probl` eme de m´ ecanique
´ Equilibre d’un treillis
Un treillis de barres, avec contact unilat´ eral.
La position d’´ equilibre p´ enalis´ ee minimise min x
1
2 hKx, xi − hb, xi + F 1 (x ) 2 2
qui est l’´ energie potentielle + l’´ energie interne d’un ressort de
liaison.
S.L
CENTRALE
P´ enalisation
Th´ eor` eme
La solution du probl` eme p´ enalis´ e tend vers la solution du probl` eme avec contraintes quand → 0.
L’erreur est en √ Difficult´ e
Le probl` eme p´ enalis´ e est mal conditionn´ e, la pr´ ecision est m´ ediocre
S.L
CENTRALE
P´ enalisation
Th´ eor` eme
La solution du probl` eme p´ enalis´ e tend vers la solution du probl` eme avec contraintes quand → 0.
L’erreur est en √ Difficult´ e
Le probl` eme p´ enalis´ e est mal conditionn´ e, la pr´ ecision est m´ ediocre
S.L
CENTRALE
Conclusion
Plusieurs approches :
1
G´ eom´ etrique.
2
M´ ecanique.
3
Economique. ´
Conclusion
1
Chaque interpr´ etation a ses avantages.
2
Il faut savoir passer de l’une ` a l’autre.
3
La dualit´ e : nous n’avons vu que le d´ ebut de l’histoire...
S.L
CENTRALE
Conclusion
Plusieurs approches :
1
G´ eom´ etrique.
2
M´ ecanique.
3
Economique. ´
Conclusion
1
Chaque interpr´ etation a ses avantages.
2
Il faut savoir passer de l’une ` a l’autre.
3
La dualit´ e : nous n’avons vu que le d´ ebut de l’histoire...
S.L
CENTRALE
Conclusion
Plusieurs approches :
1
G´ eom´ etrique.
2
M´ ecanique.
3
Economique. ´
Conclusion
1
Chaque interpr´ etation a ses avantages.
2
Il faut savoir passer de l’une ` a l’autre.
3
La dualit´ e : nous n’avons vu que le d´ ebut de l’histoire...
S.L
CENTRALE
Conclusion
Plusieurs approches :
1
G´ eom´ etrique.
2
M´ ecanique.
3
Economique. ´
Conclusion
1
Chaque interpr´ etation a ses avantages.
2
Il faut savoir passer de l’une ` a l’autre.
3
La dualit´ e : nous n’avons vu que le d´ ebut de l’histoire...
S.L
CENTRALE
Conclusion
Plusieurs approches :
1
G´ eom´ etrique.
2
M´ ecanique.
3
Economique. ´ Conclusion
1
Chaque interpr´ etation a ses avantages.
2
Il faut savoir passer de l’une ` a l’autre.
3
La dualit´ e : nous n’avons vu que le d´ ebut de l’histoire...
S.L
CENTRALE
Conclusion
Plusieurs approches :
1
G´ eom´ etrique.
2
M´ ecanique.
3
Economique. ´ Conclusion
1
Chaque interpr´ etation a ses avantages.
2
Il faut savoir passer de l’une ` a l’autre.
3
La dualit´ e : nous n’avons vu que le d´ ebut de l’histoire...
S.L
CENTRALE
Conclusion
Plusieurs approches :
1
G´ eom´ etrique.
2
M´ ecanique.
3
Economique. ´ Conclusion
1
Chaque interpr´ etation a ses avantages.
2
Il faut savoir passer de l’une ` a l’autre.
3
