R´egularisation du Lagrangien par rapport λ et cons´equences

Dans le document Convexité et Optimisation (Page 134-137)

7.2 Lagrangien augment´e et r´egularisation duale

7.2.3 R´egularisation du Lagrangien par rapport λ et cons´equences

b(x) = inf y∈X  b x − y 2/2 + f (y) + IXad(y) = inf y∈Xad  b x − y 2/2 + f (y).

Ensuite, le Th´eor`eme 7.11 s’applique ´evidemment, ce qui signifie que inf

x∈X f

Xad

b (x) = inf

y∈Xad f(y) .

Il est tr`es important de noter que c’est la r´egularisation qui se fait sur Xad puis la minimisation de la fonction r´egularis´ee sur toutX. On pourra se convaincre sur des exemples que le sch´ema inverse :

• calcul de la r´egularis´ee de f sur tout X, • puis minimisation de cette r´egularis´ee sur Xad,

ne fonctionne pas.

7.2.3 R´egularisation du Lagrangien par rapport λ et cons´equences

Revenons `a l’expression (7.3d) de la fonctionζb. Elle montre que la fonctionλ #→ ζb(θ, λ) peut ˆetre

consid´er´ee comme la r´egularis´ee de la fonctionλ #→ λ , θ , vue comme une fonction concave,3 pour la constante 1/b et sur le sous-ensemble C. Une cons´equence imm´ediate de cette observation est que

le Lagrangien augment´e Lb est aussi la r´egularis´ee du Lagrangien ordinaire L par rapport `a la variable duale λ pour la constante 1/b et sur le sous-ensemble C. Cette remarque va avoir de multiples et

int´eressantes cons´equences.

Th´eor`eme 7.13. Le Lagrangien ordinaire L sur Uad× Cet le Lagrangien augment´e L

b sur Uad× C

ont les mˆemes points selle.

D´emonstration. Consid´erons un point selle u", λ"de L sur Uad× C:

∀λ ∈ C, L(u", λ) ≤ L(u", λ") , (7.7a) ∀u ∈ Uad, L(u", λ") ≤ L(u, λ") . (7.7b) L’in´egalit´e (7.7a) indique que la fonctionλ #→ L(u", λ) atteint son maximum sur C au pointλ". Le

Th´eor`eme 7.11 nous apprend que l’on peut en dire autant pour sa r´egularis´eeλ #→ Lb(u", λ), la

maximi-sation portant maintenant sur toutC. En particulier, les valeurs maximales L(u", λ") et Lb(u", λ") sont

´egales. Ceci nous fournit donc l’in´egalit´e de gauche du point selle de Lbsur Uad× C.

Consid´erons maintenant l’in´egalit´e (7.7b). Le fait queζb(θ, ·) soit la r´egularis´ee de · , θ − IC(·)

(cas concave), ou directement la formule (7.3d), montre queζb(θ, λ) ≥ λ , θ − IC(λ) et en particulier

∀u, ζb



#(u), λ"

λ", #(u)

puisque IC") = 0. Il d´ecoule de cette in´egalit´e et de (7.7b) l’in´egalit´e de droite pour le point selle

de Lb. Finalement,(u", λ") est un point selle de Lbsur Uad× C.

R´eciproquement, soit (u", λ") un point selle de Lb sur Uad × C. Pour obtenir (7.7a), on utilise

exactement l’argument sym´etrique du pr´ec´edent comme l’autorise le Th´eor`eme 7.11 qui fonctionne dans les deux sens. On observe aussi qu’en raison du fait queλ #→ Lb(u", λ) atteint son maximum en λ sur

toutC au pointλ" et du fait que cette fonction est diff´erentiable enλ, sa d´eriv´ee en λ au point λ" est

nulle. Alors,

(Lb)λ(u", λ") = (ζb)λ#(u"), λ"= 0 ⇒ (ζb)θ#(u"), λ"= λ" ,

la derni`ere implication r´esultant de la relation (7.5). Cette remarque d´ebouche sur l’autre in´egalit´e du point selle pour L. En effet, admettons pour l’instant (voir Exercice 7.14 ci-apr`es) que l’in´egalit´e de droite du point selle pour Lbsoit ´equivalente `a la condition d’optimalit´e :

∀u ∈ Uad, J(u) − J(u") + (ζb)θ#(u"), λ", #(u) − #(u")≥ 0 .

Si on tient compte dans cette in´equation variationnelle de la remarque pr´ec´edente, on obtient l’in´egalit´e de droite du point selle pour L et la d´emonstration est compl`ete.

Exercice 7.14. `A titre de g´en´eralisation des conditions d’optimalit´e du§5.1.4, consid`erer le probl`eme

min

u∈Uad 

J(u) + GH(u),

o `u Uad ⊂ U est convexe ferm´e, J : U → R est une fonction convexe s.c.i. H : U → C est une application `a valeurs dansC muni d’un “cˆone positif” C (convexe ferm´e), H ´etant C-convexe et continue,

G :C → R est une fonction convexe, C-non d´ecroissante, continue et diff´erentiable, et montrer qu’une solution optimale u" (suppos´ee exister) peut ˆetre caract´eris´ee par

∀u ∈ Uad, J(u) − J(u") + G

H(u"), H (u) − H (u")≥ 0 .

Indication : on commencera par transformer le probl`eme en le probl`eme ´equivalent (`a d´emontrer !)

min

u∈Uad,c∈C



J(u) + G(c) sous H(u) − c ∈ −C ,

Du fait que Lb(u, ·) est la r´egularis´ee de L(u, ·) (plus pr´ecis´ement de L − IC(·)) avec la constante

1/b, et ´etant donn´e que, d’apr`es (6.29), la fonction ψ est d´efinie par minimisation en u de L(u, ·)−IC(·),

cela sugg`ere que si l’on d´efinit :

∀λ ∈ C, ψb(λ)def

= inf

u∈Uad Lb(u, λ) , (7.8)

alorsψbdevrait ˆetre la r´egularis´ee deψ avec la constante 1/b (r´egularisation sur tout l’espace). C’est ce

que nous montrons maintenant.

Th´eor`eme 7.15. La fonctionψbd´efinie par (7.8) est la r´egularis´ee concave deψ d´efinie par (6.29) avec

la constante 1/b.

D´emonstration. Si on attaque la d´emonstration directement `a partir des d´efinitions de ψ et ψb et de

l’expression (7.3d) qui a permis d’interpr´eterζb(θ, ·) elle-mˆeme comme la r´egularisation de · , θ , on

doit commuter un infu∈Uad et un supµ∈C pour parvenir au r´esultat. La fonction de u, µ en cause (`a

savoir L(u, µ)− λ − µ 2/2b avec λ comme param`etre) est bien convexe-concave, s.c.i.-s.c.s. et mˆeme

coercive enµ grˆace au terme quadratique. Mais, pour appliquer le Th´eor`eme 6.13 d’existence de point

selle qui permettrait cette commutation, il nous manque une hypoth`ese de coercivit´e en u que nous n’avons pas faite, pr´ef´erant simplement postuler l’existence d’une solution u" au probl`eme (6.1).

C’est pourquoi, une autre preuve possible consiste `a utiliser plut ˆot la formule initiale (7.3c) pourζb. On a donc `a calculer ψb(λ) = inf u∈Uad  J(u) + ζb#(u), λ = inf u∈Uad inf c∈C 

J(u) + λ , #(u) + c + b #(u) + c 2/2

= inf

u∈Uadinf

c∈Cµ∈Csup 

J(u) + λ , #(u) + c + b #(u) + c 2/2 − µ , c 

par dualit´e comme dans la d´emonstration du Lemme 7.5, = sup

µ∈C inf

u∈Uadinf

c∈C



J(u) + λ , #(u) + c + b #(u) + c 2/2 − µ , c 

car la contrainte c∈ C ´etant affine est qualifi´ee, = sup µ∈C  inf u∈Uad  J(u) + µ , #(u) − λ − µ 2/2b

par minimisation explicite en c = sup µ∈C  inf u∈Uad L(u, µ) − λ − µ 2/2b = sup µ∈C  ψ(µ) − λ − µ 2/2b,

o `u l’on reconnaˆıt la r´egularis´ee deψ sur C.

On ´enonce maintenant un r´esultat fondamental qui peut ˆetre consid´er´e comme l’aboutissement et le but ultime de toute la d´emarche du Lagrangien augment´e.

D´emonstration. Il nous faut montrer que si U"× &"est l’ensemble des points selle de Lbsur Uad× C,4

alors, pour toutλ"∈ &"et toutu∈ arg minu∈Uad Lb(u, λ"), u est aussi dans U".

Si λ" ∈ &", alors λ" appartient aussi `a arg max

λ∈Cψb(λ). Or cette fonction est diff´erentiable

(comme r´egularis´ee de ψ) et puisqu’elle atteint son maximum sur tout C en λ", alors sa d´eriv´ee en

λ"est nulle. Pour toutu ∈ arg minu∈Uad Lb(u, λ"), on sait que (Lb)

λ(u, λ") constitue un sur-gradient de

ψb au pointλ", compte tenu de la d´efinition (7.8) deψb et de l’analogue de (4.26) pour les fonctions concaves. Maisψb ´etant d´erivable, cette expression est en fait la d´eriv´ee deψbenλ", et cette d´eriv´ee est

nulle ; donc

(Lb)λ(u, λ") = 0 .

Cette ´egalit´e montre que l’applicationλ #→ Lb(u, λ) est aussi maximale en λ", et ceci n’est rien d’autre

que l’in´egalit´e de gauche du point selle de Lbsur Uad× Cpour le couple(u, λ"). L’in´egalit´e de droite

pour le mˆeme couple provient tout simplement de la d´efinition mˆeme deu. Par cons´equent, ce couple est

un point selle de Lbet doncu∈ U".

Dans le document Convexité et Optimisation (Page 134-137)