7.2 Lagrangien augment´e et r´egularisation duale
7.2.3 R´egularisation du Lagrangien par rapport λ et cons´equences
b(x) = inf y∈X b x − y 2/2 + f (y) + IXad(y) = inf y∈Xad b x − y 2/2 + f (y).
Ensuite, le Th´eor`eme 7.11 s’applique ´evidemment, ce qui signifie que inf
x∈X f
Xad
b (x) = inf
y∈Xad f(y) .
Il est tr`es important de noter que c’est la r´egularisation qui se fait sur Xad puis la minimisation de la fonction r´egularis´ee sur toutX. On pourra se convaincre sur des exemples que le sch´ema inverse :
• calcul de la r´egularis´ee de f sur tout X, • puis minimisation de cette r´egularis´ee sur Xad,
ne fonctionne pas.
7.2.3 R´egularisation du Lagrangien par rapport λ et cons´equences
Revenons `a l’expression (7.3d) de la fonctionζb. Elle montre que la fonctionλ #→ ζb(θ, λ) peut ˆetre
consid´er´ee comme la r´egularis´ee de la fonctionλ #→ λ , θ , vue comme une fonction concave,3 pour la constante 1/b et sur le sous-ensemble C. Une cons´equence imm´ediate de cette observation est que
le Lagrangien augment´e Lb est aussi la r´egularis´ee du Lagrangien ordinaire L par rapport `a la variable duale λ pour la constante 1/b et sur le sous-ensemble C. Cette remarque va avoir de multiples et
int´eressantes cons´equences.
Th´eor`eme 7.13. Le Lagrangien ordinaire L sur Uad× Cet le Lagrangien augment´e L
b sur Uad× C∗
ont les mˆemes points selle.
D´emonstration. Consid´erons un point selle u", λ"de L sur Uad× C:
∀λ ∈ C, L(u", λ) ≤ L(u", λ") , (7.7a) ∀u ∈ Uad, L(u", λ") ≤ L(u, λ") . (7.7b) L’in´egalit´e (7.7a) indique que la fonctionλ #→ L(u", λ) atteint son maximum sur C au pointλ". Le
Th´eor`eme 7.11 nous apprend que l’on peut en dire autant pour sa r´egularis´eeλ #→ Lb(u", λ), la
maximi-sation portant maintenant sur toutC∗. En particulier, les valeurs maximales L(u", λ") et Lb(u", λ") sont
´egales. Ceci nous fournit donc l’in´egalit´e de gauche du point selle de Lbsur Uad× C∗.
Consid´erons maintenant l’in´egalit´e (7.7b). Le fait queζb(θ, ·) soit la r´egularis´ee de · , θ − IC(·)
(cas concave), ou directement la formule (7.3d), montre queζb(θ, λ) ≥ λ , θ − IC(λ) et en particulier
∀u, ζb
#(u), λ"
≥ λ", #(u)
puisque IC(λ") = 0. Il d´ecoule de cette in´egalit´e et de (7.7b) l’in´egalit´e de droite pour le point selle
de Lb. Finalement,(u", λ") est un point selle de Lbsur Uad× C∗.
R´eciproquement, soit (u", λ") un point selle de Lb sur Uad × C∗. Pour obtenir (7.7a), on utilise
exactement l’argument sym´etrique du pr´ec´edent comme l’autorise le Th´eor`eme 7.11 qui fonctionne dans les deux sens. On observe aussi qu’en raison du fait queλ #→ Lb(u", λ) atteint son maximum en λ sur
toutC∗ au pointλ" et du fait que cette fonction est diff´erentiable enλ, sa d´eriv´ee en λ au point λ" est
nulle. Alors,
(Lb) λ(u", λ") = (ζb) λ#(u"), λ"= 0 ⇒ (ζb) θ#(u"), λ"= λ" ,
la derni`ere implication r´esultant de la relation (7.5). Cette remarque d´ebouche sur l’autre in´egalit´e du point selle pour L. En effet, admettons pour l’instant (voir Exercice 7.14 ci-apr`es) que l’in´egalit´e de droite du point selle pour Lbsoit ´equivalente `a la condition d’optimalit´e :
∀u ∈ Uad, J(u) − J(u") + (ζb) θ#(u"), λ", #(u) − #(u")≥ 0 .
Si on tient compte dans cette in´equation variationnelle de la remarque pr´ec´edente, on obtient l’in´egalit´e de droite du point selle pour L et la d´emonstration est compl`ete.
Exercice 7.14. `A titre de g´en´eralisation des conditions d’optimalit´e du§5.1.4, consid`erer le probl`eme
min
u∈Uad
J(u) + GH(u),
o `u Uad ⊂ U est convexe ferm´e, J : U → R est une fonction convexe s.c.i. H : U → C est une application `a valeurs dansC muni d’un “cˆone positif” C (convexe ferm´e), H ´etant C-convexe et continue,
G :C → R est une fonction convexe, C-non d´ecroissante, continue et diff´erentiable, et montrer qu’une solution optimale u" (suppos´ee exister) peut ˆetre caract´eris´ee par
∀u ∈ Uad, J(u) − J(u") + G
H(u"), H (u) − H (u")≥ 0 .
Indication : on commencera par transformer le probl`eme en le probl`eme ´equivalent (`a d´emontrer !)
min
u∈Uad,c∈C
J(u) + G(c) sous H(u) − c ∈ −C ,
Du fait que Lb(u, ·) est la r´egularis´ee de L(u, ·) (plus pr´ecis´ement de L − IC(·)) avec la constante
1/b, et ´etant donn´e que, d’apr`es (6.29), la fonction ψ est d´efinie par minimisation en u de L(u, ·)−IC(·),
cela sugg`ere que si l’on d´efinit :
∀λ ∈ C∗, ψb(λ)def
= inf
u∈Uad Lb(u, λ) , (7.8)
alorsψbdevrait ˆetre la r´egularis´ee deψ avec la constante 1/b (r´egularisation sur tout l’espace). C’est ce
que nous montrons maintenant.
Th´eor`eme 7.15. La fonctionψbd´efinie par (7.8) est la r´egularis´ee concave deψ d´efinie par (6.29) avec
la constante 1/b.
D´emonstration. Si on attaque la d´emonstration directement `a partir des d´efinitions de ψ et ψb et de
l’expression (7.3d) qui a permis d’interpr´eterζb(θ, ·) elle-mˆeme comme la r´egularisation de · , θ , on
doit commuter un infu∈Uad et un supµ∈C pour parvenir au r´esultat. La fonction de u, µ en cause (`a
savoir L(u, µ)− λ − µ 2/2b avec λ comme param`etre) est bien convexe-concave, s.c.i.-s.c.s. et mˆeme
coercive enµ grˆace au terme quadratique. Mais, pour appliquer le Th´eor`eme 6.13 d’existence de point
selle qui permettrait cette commutation, il nous manque une hypoth`ese de coercivit´e en u que nous n’avons pas faite, pr´ef´erant simplement postuler l’existence d’une solution u" au probl`eme (6.1).
C’est pourquoi, une autre preuve possible consiste `a utiliser plut ˆot la formule initiale (7.3c) pourζb. On a donc `a calculer ψb(λ) = inf u∈Uad J(u) + ζb#(u), λ = inf u∈Uad inf c∈C
J(u) + λ , #(u) + c + b #(u) + c 2/2
= inf
u∈Uadinf
c∈Cµ∈Csup∗
J(u) + λ , #(u) + c + b #(u) + c 2/2 − µ , c
par dualit´e comme dans la d´emonstration du Lemme 7.5, = sup
µ∈C∗ inf
u∈Uadinf
c∈C
J(u) + λ , #(u) + c + b #(u) + c 2/2 − µ , c
car la contrainte c∈ C ´etant affine est qualifi´ee, = sup µ∈C∗ inf u∈Uad J(u) + µ , #(u) − λ − µ 2/2b
par minimisation explicite en c = sup µ∈C∗ inf u∈Uad L(u, µ) − λ − µ 2/2b = sup µ∈C∗ ψ(µ) − λ − µ 2/2b,
o `u l’on reconnaˆıt la r´egularis´ee deψ sur C∗.
On ´enonce maintenant un r´esultat fondamental qui peut ˆetre consid´er´e comme l’aboutissement et le but ultime de toute la d´emarche du Lagrangien augment´e.
D´emonstration. Il nous faut montrer que si U"× &"est l’ensemble des points selle de Lbsur Uad× C∗,4
alors, pour toutλ"∈ &"et toutu∈ arg minu∈Uad Lb(u, λ"), u est aussi dans U".
Si λ" ∈ &", alors λ" appartient aussi `a arg max
λ∈C∗ψb(λ). Or cette fonction est diff´erentiable
(comme r´egularis´ee de ψ) et puisqu’elle atteint son maximum sur tout C∗ en λ", alors sa d´eriv´ee en
λ"est nulle. Pour toutu ∈ arg minu∈Uad Lb(u, λ"), on sait que (Lb)
λ(u, λ") constitue un sur-gradient de
ψb au pointλ", compte tenu de la d´efinition (7.8) deψb et de l’analogue de (4.26) pour les fonctions concaves. Maisψb ´etant d´erivable, cette expression est en fait la d´eriv´ee deψbenλ", et cette d´eriv´ee est
nulle ; donc
(Lb) λ(u, λ") = 0 .
Cette ´egalit´e montre que l’applicationλ #→ Lb(u, λ) est aussi maximale en λ", et ceci n’est rien d’autre
que l’in´egalit´e de gauche du point selle de Lbsur Uad× C∗pour le couple(u, λ"). L’in´egalit´e de droite
pour le mˆeme couple provient tout simplement de la d´efinition mˆeme deu. Par cons´equent, ce couple est
un point selle de Lbet doncu∈ U".