Lagrangien augment´e

La technique du Lagrangien augment´e (aussi appel´ee “multiplier method” en Anglais) a ´et´e intro-duite pour surmonter les sauts de dualit´e survenant dans le cas non convexe (voir [3]) : une in-terpr´etation g´eom´etrique va nous permettre de comprendre comment. Nous allons pour cela reprendre l’Exercice 2.29.

On a vu qu’un saut de dualit´e survient lorsque la fonction “perturbation” (cas de contraintes ´egalit´e) ϕ(θ) =  min J(u) | u ∈ Uad

et 2(u) = θ (4.1)

ne co¨ıncide pas enθ = 0 avec son enveloppe convexe. Comme l’a montr´e la d´emarche de l’exercice, le fait que l’enveloppe convexe deϕ joue un rˆole provient du fait que le Lagrangien J(u) + hp , 2(u)i est interpr´et´e comme l’ordonn´ee `a l’origine d’un hyperplan de coefficient directeur − p dans l’espace C × R

ϕ

θ

Figure 4.1: Graphe deϕ et enveloppe de paraboles concaves

passant par le point 2(u), J(u)
. Minimiser le Lagrangien, c’est-`a-dire calculer la fonction duale ψ(p), c’est rechercher l’ordonn´ee `a l’origine de l’hyperplan de “pente” − p s’appuyant sur l’´epigraphe de ϕ. Toutes ces interpr´etations g´eom´etriques sont illustr´ees par la Figure 2.4.

Dans cette optique, l’id´ee du Lagrangien augment´e consiste, pour “ausculter” l’´epigraphe de ϕ, `a remplacer les “objets plats” que sont les hyperplans par des objets concaves, et suffisamment “poin-tus” pour venir se loger dans les “trous” ´eventuels de l’´epigraphe. Ainsi, si on remplace le Lagrangien ordinaire (3.81) par le Lagrangien augment´e

Lc(u, p) = J(u) + hp , 2(u)i + ^c

2k2(u)k2 , (4.2)

o`u c est un nombre positif, cela revient, selon le point de vue de la question 2 de l’exercice, `a remplacer l’hyperplan d’´equation y = − h p , xi + a par le parabolo¨ıde concave

y = − h p , xi − ^c

2kxk²+ a , qui est d’autant plus “pointu” que c est grand.

Il est facile de constater que toutes les questions de l’Exercice 2.29 peuvent ˆetre reprises avec ce nouvel ´el´ement d’appui `a la place de l’hyperplan pr´ec´edent.

La Figure 4.1 illustre ce qui va se passer dans cette nouvelle situation : si c est assez grand, la famille de paraboles d’appui index´ee par leur “pente `a l’origine” − p va parvenir `a “suivre” l’´epigraphe de ϕ, y compris dans sa partie concave. Ainsi, si l’enveloppe de cette famille de paraboles d’appui co¨ıncide en 0 avecϕ(0), on aura surmont´e le saut de dualit´e et on aura r´ealis´e la condition de point selle

max

p min

u Lc(u, p) = min

u max

p Lc(u, p) .

Par contre, si c n’est pas assez grand pour les concavit´es de l’´epigraphe de ϕ, la Figure 4.2 montre que le saut de dualit´e subsiste (mais est att´enu´e par rapport `a ce qu’il serait avec le Lagrangien ordinaire). En fait, pour certains probl`emes, il sera impossible de r´eduire le saut de dualit´e `a 0 avec cette tech-nique mˆeme pour c arbitrairement grand.

ϕ

θ

saut de dualité

Figure 4.2: Le saut de dualit´e subsiste si c n’est pas assez grand (mais il est plus petit que pour c = 0)

ϕ

θ

;;;;; ;; ϕ

θ localisation

Figure 4.4: D´ecroissance plus rapide que quadratique et effet de la “localisation”

• Il y a d’abord les probl`emes en variables enti`eres ou mixtes pour lesquels des discontinuit´es de ϕ ne sont pas exclues (changement brutal de la solution enti`ere pour une faible variation de la per-turbationθ), ce qui peut conduire `a la situation illustr´ee par la Figure 4.3 : aucune “parabole” ne peut “combler le trou” caus´e par une discontinuit´e verticale au voisinage du pointθ = 0.

Ceci dit, on observera que mˆeme dans ces cas, le saut de dualit´e sera moindre avec le Lagrangien augment´e qu’avec le Lagrangien ordinaire.¹

• Il y a ensuite le cas des probl`emes o`u ϕ peut tendre vers −∞ plus vite qu’une fonction quadratique de la perturbation θ. Alors, aucune “parabole” ne peut rester enti`erement sous le graphe de ϕ comme l’illustre la Figure 4.4.

Mais cette figure illustre aussi le fait que si on limite la plage de variation des variables primales (en remplac¸ant Uadpar Uad

∩V(u⁰), o`u V(u0) d´esigne un voisinage convexe ferm´e d’une estimation u0

de la solution u^]), ce qui aura pour effet de limiter aussi la plage atteignable pourθ, remplac¸ant ϕ(θ) par la valeur +∞ en dehors de cette plage atteignable,2alors les “branches infinies” du graphe deϕ sont “redress´ees” vers le haut, et le probl`eme d’une d´ecroissance plus rapide que quadratique disparaˆıt.

C’est pourquoi, dans la th´eorie du Lagrangien augment´e pour le cas non convexe (voir [3]), on ne pr´etend retrouver qu’un point selle “local” pour c assez grand : le mot “local” doit ˆetre compris au sens ci-dessus, c’est-`a-dire celui d’une limitation des variables primales `a un voisinage de la solution.

Le fait de retrouver un point selle, mˆeme seulement local, est ´evidemment un progr`es d´ecisif pour appliquer une m´ethode duale `a un probl`eme d’optimisation sous contrainte non convexe. Mais, mˆeme dans le cas convexe, l’utilisation du Lagrangien augment´e est un tr`es grand pas en avant.

1La “relaxation lagrangienne” est une technique tr`es r´epandue pour approcher la solution de probl`emes en variables enti`eres ou mixtes, en particulier parce qu’elle conduit souvent `a une d´ecomposition de la minimisation primale. Beaucoup d’auteurs dans la litt´erature, s’ils n’ignorent pas que le Lagrangien augment´e est pr´ef´erable du point de vue de la r´eduction du saut de dualit´e — facilitant d’autant la “fabrication `a la main” d’une solution admissible `a partir de la solution obtenue par relax-ation lagrangienne —, pensent que le recours `a cette technique est interdit par la pr´eoccuprelax-ation de pr´eserver la possibilit´e de d´ecomposition, parce qu’ils m´econnaissent en fait le contenu de ce qui va suivre dans ce chapitre.

2+∞ est la valeur optimale du coˆut pour un probl`eme de minimisation sous contrainte dont l’ensemble des solutions

• On va pouvoir r´esoudre la difficult´e de convergence des variables primales rencontr´ees `a l’Exercice 2.30 lorsque la fonction coˆut n’est ni fortement, ni mˆeme strictement convexe, mais seulement convexe. Ceci tient `a la propri´et´e de “stabilit´e en u” du Lagrangien augment´e, d´ej`a ´evoqu´ee au Commentaire 2.4-c.

• Par ailleurs, mˆeme dans le cas fortement convexe, tous les essais num´eriques confirment la plus grande rapidit´e de convergence des algorithmes par dualit´e utilisant le Lagrangien augment´e plutˆot que le Lagrangien ordinaire.

Les deux points ci-dessus ont une explication commune. Elle a ´et´e donn´ee par Rockafellar dans le cas convexe : on montre que la fonction duale

ψc(p) = min

u∈UadLc(u, p) , (4.3)

analogue de la fonctionψ introduite dans (2.4), mais ici `a partir du Lagrangien augment´e, est pr´ecis´ement reli´ee `aψ par une r´egularisation de Yosida-Moreau. On va voir que cette r´egularisation transforme une fonction concaveψ non n´ecessairement diff´erentiable en une autre fonction concave ψc, diff´erentiable, de gradient Lipschitzien, et admettant le mˆeme maximum (du point de vue de la valeur de la fonctionψ et du point de vue des arguments p^]r´ealisant le maximum).

Remarque 4.1. On a parfois tendance `a voir le Lagrangien augment´e comme le m´elange d’une tech-nique de dualit´e (Lagrangien ordinaire) et de p´enalisation, le terme suppl´ementaire(c/2) k2(u)k2jouant ce rˆole. Si cette interpr´etation ´etait la bonne, l’´equivalent du Lagrangien augment´e pour le cas de con-traintes in´egalit´e devrait amener `a remplacer, dans le cas d’une contrainte scalaire2(u) ≤ 0, le terme quadratique par

c

2 

max 0, 2(u)
^2, et dans le cas g´en´eral (2(u) ∈ −C), par

c 2 proj_C∗2(u) 2 ,

car d’apr`es la d´ecomposition orthogonale illustr´ee par la Figure 3.2 (et plutˆot avec les cˆones oppos´es), ce terme constitue bien une p´enalisation de la contrainte.

Or, les formules ci-dessus ne permettent pas de retrouver un Lagrangien augment´e stable en u pour le cas de contraintes in´egalit´e, et en fait ne permettent pas de pr´eserver l’interpr´etation de la r´egularisation de ψ en ψc. L’exercice ci-dessous indique une fac¸on de retrouver les bonnes formules qui seront ex-plicit´ees plus loin.

Exercice 4.2. Dans le cas de contraintes in´egalit´e pour le probl`eme (3.36) (c’est-`a-dire avec C 6= {0}), on peut se ramener au cas ´egalit´e en introduisant une “variable d’´ecart”ξ ∈ −C suppl´ementaire (par rapport `a laquelle il faudra aussi minimiser) et en transformant la contrainte en ´egalit´e :2(u) − ξ = 0.

Former le Lagrangien augment´e correspondant `a ce nouveau probl`eme avec contrainte ´egalit´e. Mon-trer que la minimisation enξ ∈ −C de cette expression peut ˆetre effectu´ee par des formules analytiques qui fournissent alors l’expression, ne d´ependant plus que de u, qui est la “bonne” expression du Lagrang-ien augment´e dans le cas in´egalit´e. On pourra, si on le souhaite, commencer par le cas d’une contrainte scalaire.