2.4 Annexe : Exercices sur la dualit´e
2.5.16 Corrig´e de l’Exercice 2.32
1. Le premier membre de la contrainte (2.36c) est minimal quand u2 prend sa valeur inf´erieure 0 (dict´ee par (2.36b)) et u1prend sa valeur sup´erieure 1. La valeur minimale deϑ pour laquelle les contraintes (2.36c) restent compatibles avec (2.36b) est donc −1/2. Par un raisonnement similaire, on voit que la valeur maximale autoris´ee pourϑ est 1. En dehors de l’intervalle [−1/2, 1], il n’y a plus de solution admisible pour le probl`eme (2.36) etϕ vaut +∞.
`
A l’int´erieur de cet intervalle, on peut tirer u1 en fonction de u2 `a l’aide de l’´equation (2.36c) (u1 = 2u2 − 2ϑ) et le substituer dans le coˆut (2.36a) qui devient ´egal `a 2 + 2ϑ − 3u2, et les contraintes (2.36b) qui deviennent ensemble :
max(0, ϑ) ≤ u2≤ min(1, ϑ + 1/2) .
Le coˆut est minimal pour la valeur de u2maximale, c’est-`a-dire pour u2 = min(1, ϑ + 1/2). Ce coˆut optimal est par d´efinition ´egal `aϕ(ϑ) qui vaut donc :
ϕ(ϑ) = max(2ϑ − 1, −ϑ + 1/2) .
Le graphe de cette fonction est repr´esent´e sur la Figure 2.8. On observe que cette fonction est mini-male, et surtout non diff´erentiable, enϑ = 1/2 et admet pour sous-diff´erentiel le segment [−1, 2]. Pourϑ = 1/2, les valeurs optimales de u1et u2sont, d’apr`es ce qui pr´ec`ede, u1= u2= 1. Montrons que tout p] ∈ [−2, 1] est un multiplicateur optimal de la contrainte (2.36c) lorsque ϑ = 1/2. En effet, en ne dualisant que les contraintes dont on sait qu’elles seront actives `a l’optimum (en particulier celles qui d´efinissent la borne sup´erieure 1 pour u1et u2),23le Lagrangien du probl`eme (2.36) s’´ecrit :
L(u, p) = 2 − (u1+ u2) + p(−u1/2 + u2− 1/2) + q1(u1− 1) + q2(u2− 1) , avec q1≥ 0 et q2≥ 0. Les conditions de stationnarit´e de L en u1et u2donnent :
∂ L ∂u1 = −1 − p ] 2 + q1]= 0 , ∂ L ∂u2 = −1 + p]+ q2]= 0 ,
avec pour seules autres conditions (`a partir du moment o`u u]1= u]2= 1) que q1] ≥ 0 et q2]≥ 0. On v´erifie que ces conditions d’optimalit´e sont satisfaites pour toute valeur p] ∈ [−2, 1], ce qui est conforme avec le fait que − p]∈ ∂ϕ(1/2) (voir point 2 du corrig´e de l’Exercice 2.31).
Il est clair que cette non unicit´e de la valeur optimale des multiplicateurs tient au fait que trois contraintes (dans R2), parmi toutes les contraintes (2.36b)–(2.36c), se trouvent ˆetre actives en mˆeme temps (ce qui ne se produit pas pour les autres valeurs autoris´ees deϑ — le v´erifier), et que, dans ces conditions, les gradients des contraintes actives ne peuvent ´evidemment pas ˆetre lin´eairement ind´ependants.
2. La solution primale des sous-probl`emes (2.37) est trivialement donn´ee par u1= −2θ1et u2= θ2, `a condition que 0 ≤ −2θ1≤ 1, c’est-`a-dire −1/2 ≤ θ1≤ 0, et 0 ≤ θ2≤ 1. Mais par ailleurs il faut respecter (2.38), d’o`u la contrainte suppl´ementaire surθ2: −1/2 ≤ ϑ − θ2≤ 0, donc finalement
max(0, ϑ) ≤ θ2≤ min(1, ϑ + 1/2) .
Cet intervalle d´elimite les valeurs de θ2 pour lesquelles, avec les valeurs correspondantes de θ1
via (2.38), les sous-probl`emes admettront des solutions admissibles.
Pourϑ = 1/2, la solution optimale du probl`eme (2.36), `a savoir u]1 = u]2= 1, sera obtenue pour θ1]= −1/2 et θ2] = 1. La stationnarit´e des Lagrangiens L1et L2des deux sous-probl`emes, o`u l’on a comme pr´ec´edemment dualis´e uniquement les contraintes actives `a l’optimum, donne :
∂ L1 ∂u1 = −1 − p ] 1 2 + q1]= 0 , ∂ L ∂u2 = −1 + p]2+ q2] = 0 ,
ce qui donne, avec les conditions de non-n´egativit´e des qi, les valeurs possibles :
p]1≤ 1 , p2]≥ −2 . (2.40)
On retrouve, si p]1= p]2(condition du Lemme 2.12 ou 2.14), la plage commune de valeurs [−2, 1] d´ej`a trouv´ee `a la question pr´ec´edente, mais ce qui est grave, c’est que toutes les autres valeurs de p1] et p2] permises par (2.40) peuvent aussi bien ˆetre trouv´ees comme valeurs optimales par les sous-probl`emes, ce qui ne permet pas en g´en´eral de s’apercevoir que la coordination a atteint l’allocation optimale.
Le Principe du Probl`eme Auxiliaire
3.1 Introduction
Jusqu’ici dans ce cours, trois m´ethodes de d´ecomposition-coordination ont ´et´e expos´ees `a partir de mod`eles relativement g´en´eraux, mais pr´esentant cependant la particularit´e d’avoir des fonctions coˆut et des contraintes additives par rapport `a la d´ecomposition en sous-probl`emes.
Il a sembl´e que cette particularit´e jouait un rˆole essentiel dans la d´emarche de d´ecomposition, et il est vrai qu’elle constitue une forte incitation et un guide pour d´efinir le d´ecoupage en sous-probl`emes.
Mais par ailleurs, cette caract´eristique constitue un frein lorsqu’il s’agit par exemple d’utiliser le Lagrangien augment´e `a la place du Lagrangien ordinaire, car ce genre de technique ne respecte pas la structure additive. Il en a ´et´e question `a plusieurs reprises au Chapitre 2.
Dans ce qui suit, on pr´esente un principe g´en´eral en optimisation appel´e “Principe du Probl`eme Auxiliaire” (PPA). Ce principe a plusieurs objectifs et avantages.
• Il propose un cadre g´en´eral pour construire des algorithmes it´eratifs en optimisation. Ceci inclut des algorithmes classiques comme l’algorithme du gradient ou l’algorithme de Newton, ainsi que la plupart des algorithmes de coordination. Dans ce cadre unifi´e, on r´ealise donc qu’il n’y a pas de diff´erence essentielle de nature entre tous ces algorithmes.
• Ce cadre permet aussi de se focaliser sur l’´etude de convergence d’un nombre limit´e de sch´emas it´eratifs de base au travers d’un point de vue g´en´eral et abstrait. Ceci permet de bien d´egager les hypoth`eses et m´ecanismes g´en´eraux qui assurent la convergence en dehors des particularit´es de chaque situation sp´ecifique.
• En d´egageant les ressorts essentiels, l’application de ces id´ees au cas des algorithmes de d´ecomposition-coordination permet de s’affranchir des restrictions structurelles (comme l’additivit´e) ´evoqu´ees plus haut.
En fait, la th´eorie de la d´ecomposition-coordination est bas´ee sur deux “piliers” essentiels.
1. Le premier concerne ce que l’on peut appeler la “manipulation des probl`emes” `a partir de leur forme originale vers d’autres formes ´equivalentes mais qui se prˆetent mieux `a l’approche par d´ecomposition. Un exemple de telles manipulations a ´et´e donn´e lors du passage du probl`eme (2.1) `a ses formes ´equivalentes (2.9) ou (2.21). Il s’agit l`a plus d’“art”, de “cr´eativit´e” ou d’“exp´erience” que de th´eorie.
2. L’autre pilier est une bonne compr´ehension des sch´emas it´eratifs, et ceci est le domaine du PPA. 43
Ce formalisme a ´et´e introduit dans [5, 6] dans le contexte de la programmation convexe et diff´erentiable dans des espaces de Hilbert (de dimension ´eventuellement infinie), puis a ´et´e ´etendu `a d’autres contextes : probl`emes non diff´erentiables [26, 12, 7], optimisation stochastique [13, 10], in´equations variationnelles [8, 21, 16, 23].
Il n’est bien sˆur pas question de donner un expos´e complet de tous ces travaux dans le cadre de ce cours. On se contentera d’exposer les id´ees essentielles du PPA dans le contexte le plus simple : programmation convexe diff´erentiable, avec parfois un aperc¸u des autres d´eveloppements.