3.4.3 Conditions d’optimalité dans le cas de contraintes égalité

3.4 Optimisation sous contraintes

3.4.1 Définitions

SoitE = IRⁿ, soitf ∈C(E,IR), et soitKun sous ensemble deE. On s’intéresse à la recherche deu¯∈K tel

que : (

¯ u∈K f(¯u) = inf

K f (3.48)

Ce problème est un problème de minimisation avec contrainte (ou “sous contrainte") au sens où l’on chercheuqui minimisefen restreignant l’étude defaux éléments deK. Voyons quelques exemples de ces contraintes (définies par l’ensembleK), qu’on va expliciter à l’aide despfonctions continues,gi∈C(E,IR)i= 1. . . p.

1. Contraintes égalités.On poseK={x∈E,gi(x) = 0i= 1. . . p}. On verra plus loin que le problème de minimisation def peut alors être résolu grâce au théorème des multiplicateurs de Lagrange (voir théorème 3.34).

2. Contraintes inégalités.On poseK={x∈E,gi(x)≤0i= 1. . . , p}. On verra plus loin que le problème de minimisation defpeut alors être résolu grâce au théorème de Kuhn–Tucker (voir théorème 3.38).

— Programmation linéaire.Avec un tel ensemble de contraintesK, si de plusf est linéaire, c’est-à-dire qu’il existeb∈IRⁿtel quef(x) =b·x, et les fonctionsgisont affines, c’est-à-dire qu’il existebi∈IRⁿ etci ∈IRtels quegi(x) =bi·x+ci, alors on dit qu’on a affaire à un problème de “programmation linéaire”. Ces problèmes sont souvent résolus numériquement à l’aide de l’algorithme de Dantzig, inventé vers 1950.

— Programmation quadratique.Avec le même ensemble de contraintesK, si de plusf est quadratique, c’est-à-dire sif est de la formef(x) = 1

2Ax·x−b·x, et les fonctionsgisont affines, alors on dit qu’on a affaire à un problème de “programmation quadratique”.

3. Programmation convexe. Dans le cas où f est convexe etK est convexe, on dit qu’on a affaire à un problème de “programmation convexe”.

3.4.2 Existence – Unicité – Conditions d’optimalité simple

Théorème 3.28(Existence). SoitE= IRⁿetf ∈C(E,IR).

1. SiKest un sous-ensemble fermé borné deE, alors il existex¯ ∈Ktel quef(¯x) = inf

Kf.

2. SiKest un sous-ensemble fermé deE, et sif est croissante à l’infini, c’est–à–dire quef(x)→+∞quand

|x| →+∞, alors∃x¯ ∈Ktel quef(¯x) = inf

Kf

DÉMONSTRATION–

1. SiKest un sous-ensemble fermé borné deE, commefest continue, elle atteint ses bornes surK, d’où l’existence dex.¯

2. Sifest croissante à l’infini, alors il existeR >0tel que sikxk> Ralorsf(x)> f(0); doncinf

Kf= inf

K∩BR

f, où BRdésigne la boule de centre 0 et de rayonR. L’ensembleK∩BRest compact, car intersection d’un fermé et d’un compact. Donc, par ce qui précède, il existex¯∈Ktel quef(¯x) = inf

K∩BR

f= inf

BR

f.

Théorème 3.29(Unicité). SoitE= IRⁿetf ∈C(E,IR). On suppose quef est strictement convexe et queKest convexe. Alors il existe au plus un élémentx¯ deKtel quef(¯x) = inf

Kf.

DÉMONSTRATION– Supposons quex¯et¯¯xsoient deux solutions du problème (3.48), avecx¯6= ¯¯x Alorsf(¹₂x¯+¹₂x)¯¯ <1

2f(¯x) + 12f(¯¯x) = inf

Kf. On aboutit donc à une contradiction.

Des théorèmes d’existence 3.28 et d’unicité 3.29 on déduit immédiatement le théorème d’existence et d’unicité suivant :

Théorème 3.30(Existence et unicité). SoientE= IRⁿ,f ∈C(E,IRⁿ)une fonction strictement convexe etKun sous ensemble convexe fermé deE. SiKest borné ou sif est croissante à l’infini, c’est–à–dire sif(x) →+∞ quandkxk →+∞, alors il existe un unique élémentx¯ deKsolution du problème de minimisation(3.48), i.e. tel quef(¯x) = inf

Kf

Remarque 3.31. On peut remplacerE = IRⁿ parE espace de Hilbert de dimension infinie dans le dernier théorème, mais on a besoin dans ce cas de l’hypothèse de convexité def pour assurer l’existence de la solution (voir cours de maîtrise).

Proposition 3.32(Condition simple d’optimalité). SoientE= IRⁿ,f ∈C(E,IR)etx¯ ∈Ktel quef(¯x) = inf

Kf. On suppose quef est différentiable enx¯

1. Six¯ ∈K^◦ alors∇f(¯x) = 0.

2. SiKest convexe, alors∇f(¯x)·(x−x)¯ ≥0pour toutx∈K.

DÉMONSTRATION– 1. Si¯x∈K, alors il existe^◦ ε >0tel queB(¯x, ε)⊂Ketf(¯x)≤f(x)∀x∈B(¯x, ε). Alors on a déjà vu (voir preuve de la Proposition 3.7 page 214) que ceci implique∇f(¯x) = 0.

2. Soitx∈K. Commex¯réalise le minimum defsurK, on a :f(¯x+t(x−x)) =¯ f(tx+ (1−t)¯x)≥f(¯x)pour toutt∈]0,1], par convexité deK. On en déduit que

f(¯x+t(x−x))¯ −f(¯x)

t ≥0pour toutt∈]0,1].

En passant à la limite lorsquettend vers 0 dans cette dernière inégalité, on obtient :∇f(¯x)·(x−x)¯ ≥0.

3.4.3 Conditions d’optimalité dans le cas de contraintes égalité

Dans tout ce paragraphe, on considèrera les hypothèses et notations suivantes : f ∈C(IRⁿ,IR), gi∈C¹(IRⁿ,IR), i= 1. . . p; K={u∈IRⁿ, gi(u) = 0 ∀i= 1. . . p};

g= (g1, . . . , gp)^t∈C¹(IRⁿ,IR^p) (3.49) Remarque 3.33(Quelques rappels de calcul différentiel).

Commeg ∈ C¹(IRⁿ,IR^p), siu ∈ IRⁿ,alorsDg(u) ∈ L(IRⁿ,IR^p), ce qui revient à dire, en confondant l’ap- plication linéaireDg(u)avec sa matrice, queDg(u)∈M_p,n(IR). Par définition,Im(Dg(u)) ={Dg(u)z, z ∈ IRⁿ} ⊂IR^p, et rang(Dg(u)) = dim(Im(Dg(u)))≤p.On rappelle de plus que

Dg(u) =









∂g1

∂x₁, · · · , ∂g1

∂xn

· · · , ..., · · ·

∂gp

∂x1, · · · , ∂gp

∂xn







,

et que rang(Dg(u))≤min(n, p).De plus, si rang(Dg(u)) =p, alors les vecteurs(Dgi(u))i=1...psont linéaire- ment indépendants dansIRⁿ.

Théorème 3.34(Multiplicateurs de Lagrange). Soitu¯ ∈Ktel quef(¯u) = inf

Kf. On suppose quef est différen- tiable enu¯etdim(Im(Dg(¯u)) =p(ou rang(Dg(¯u)) =p), alors :

il existe(λ1, . . . , λp)^t∈IR^ptels que∇f(¯u) + Xp i=1

λi∇gi(¯u) = 0.

(Cette dernière égalité a lieu dansIRⁿ)

DÉMONSTRATION– Pour plus de clarté, donnons d’abord une idée “géométrique" de la démonstration dans le casn= 2 etp= 1. On a dans ce casf ∈C¹(IR²,IR)etK={(x, y)∈IR²g(x, y) = 0}, et on chercheu∈Ktel quef(u) = inf

Kf.

Traçons dans le repère(x, y)la courbeg(x, y) = 0, ainsi que les courbes de niveau def. Si on se “promène" sur la courbe g(x, y) = 0, en partant du pointP0vers la droite (voir figure 3.1), on rencontre les courbes de niveau successives defet on se rend compte sur le dessin que la valeur minimale que prendf sur la courbeg(x, y) = 0est atteinte lorsque cette courbe est tangente à la courbe de niveau def: sur le dessin, ceci correspond au pointP1 où la courbeg(x, y) = 0est tangente à la courbef(x, y) = 3. Une fois qu’on a passé ce point de tangence, on peut remarquer quefaugmente.

On utilise alors le fait que siϕest une fonction continûment différentiable deIR²dansIR, le gradient deϕest orthogonal à toute courbe de niveau deϕ, c’est-à-dire toute courbe de la formeϕ(x, y) =c, oùc∈IR. (En effet, soit(x(t), y(t)), t∈ IRun paramétrage de la courbeg(x, y) =c, en dérivant par rapport àt, on obtient :∇g(x(t), y(t))·(x^′(t), y^′(t))^t= 0).

En appliquant ceci àfetg, on en déduit qu’au point de tangence entre une courbe de niveau defet la courbeg(x, y) = 0, les gradients defetgsont colinéaires. Et donc si∇g(u)6= 0, il existeλ6= 0tel que∇f(u) =λ∇g(u).

Passons maintenant à la démonstration rigoureuse du théorème dans laquelle on utilise le théorème des fonctions impli- cites⁵.

Par hypothèse,Dg(¯u) ∈ L(IRⁿ,IR^p) etIm(Dg(¯u)) = IR^p. Donc il existe un sous espace vectorielF deIRⁿ de dimensionp, tel queDg(¯u)soit bijective deF dansIR^p. En effet, soit(e1. . . ep)la base canonique deIR^p, alors pour touti∈ {1, . . . p}, il existeyi∈IRⁿtel queDg(¯x)yi=ei.SoitFle sous espace engendré par la famille{y1. . . yp}; on remarque que cette famille est libre, car siPp

i=1λiyi= 0, alorsPp

i=1λiei= 0, et doncλi= 0pour touti= 1, . . . p.

On a ainsi montré l’existence d’un sous espaceFde dimensionptelle queDg(¯x)soit bijective (car surjective) deFdans IR^p.

Il existe un sous espace vectorielGdeIRⁿ, tel queIRⁿ=FL_{G. Pour}

v∈Fetw∈G; on pose¯g(w, v) =g(v+w) etf(w, v) =¯ f(v+w). On a doncf¯∈C(G×F,IR)et¯g∈C¹(G×F, IR). De plus,D2¯g(w, v)∈L(F, IR^p), et pour toutz∈F, on aD2g(w, v)z¯ =Dg(v+w)z.

Soit(¯v,w)¯ ∈F×Gtel queu¯= ¯v+ ¯w. AlorsD2g( ¯¯w,¯v)z=Dg(¯u)zpour toutz∈F.L’applicationD2g( ¯¯w,v)¯ est une bijection deFsurIR^p, car, par définition deF,Dg(¯u)est bijective deF surIR^p.

5. Théorème des fonctions implicitesSoientpetqdes entiers naturels, soith∈C¹(IR^q×IR^p,IR^p), et soient(¯x,y)¯ ∈IR^q×IR^pet c∈IR^ptels queh(¯x,y) =¯ c. On suppose que la matrice de la différentielleD2h(¯x,y)(∈¯ Mp(IR))est inversible. Alors il existeε >0et ν >0tels que pour toutx∈B(¯x, ε), il existe un uniquey∈B(¯y, ν)tel queh(x, y) =c.on peut ainsi définir une applicationφdeB(¯x, ε) dansB(¯y, ν)parφ(x) =y. On aφ(¯x) = ¯y,φ∈C¹(IR^p,IR^p)etDφ(x) =−[D2h(x, φ(x))]⁻¹·D1h(x,φ(x)).

f(x) = 5 f(x) = 4 f(x) = 3

f(x) = 2 f(x) = 1

g(x) = 0

x y

F^IGURE3.1: Interprétation géométrique des multiplicateurs de Lagrange

On rappelle queK={u∈IRⁿ:g(u) = 0}et on définitK={(w, v)∈G×F, g(w, v) = 0¯ }.Par définition def¯et

de¯g, on a _{( ¯}

w,¯v)∈K

f( ¯¯w,v)¯ ≤f(w, v) ∀(w, v)∈K (3.50) D’autre part, le théorème des fonctions implicites (voir note de bas de page 262) entraîne l’existence deε >0etν >0 tels que pour toutw∈BG( ¯w, ε)il existe un uniquev∈BF(¯v, ν)tel que¯g(w, v) = 0. On notev=φ(w)et on définit ainsi une applicationφ∈C¹(BG( ¯w, ε), BF(¯v, ν)).

On déduit alors de (3.50) que :

f¯( ¯w, φ( ¯w))≤f¯(w, φ(w))),∀w∈BG( ¯w, ε), et donc

f(¯u) =f( ¯w+φ( ¯w))≤f(w+φ(w)),∀w∈BG( ¯w, ε).

En posantψ(w) = ¯f(w, φ(w)), on peut donc écrire

ψ( ¯w) = ¯f( ¯w, φ( ¯w))≤ψ(w),∀w∈BG( ¯w, ε).

On a donc, grâce à la proposition 3.32,

Dψ( ¯w) = 0. (3.51)

Par définition deψ, def¯et de¯g, on a :

Dψ( ¯w) =D1f¯( ¯w, φ(( ¯w)) +D2f( ¯¯w, φ( ¯w))Dφ( ¯w).

D’après le théorème des fonctions implicites,

Dφ( ¯w) =−[D2g( ¯¯w, φ(( ¯w))]⁻¹D1g( ¯¯w, φ(( ¯w)).

On déduit donc de (3.51) que

D1f( ¯¯w, φ(( ¯w))w−[D2¯g( ¯w, φ(( ¯w))]⁻¹D1¯g( ¯w, φ(( ¯w))w= 0, pour toutw∈G. (3.52) De plus, commeD2¯g( ¯w, φ(( ¯w))]⁻¹D2¯g( ¯w, φ(( ¯w)) =Id, on a :

D2f¯( ¯w, φ(( ¯w))z−D2f( ¯¯w, φ(( ¯w)) [D2g( ¯¯w, φ(( ¯w))]⁻¹D2g( ¯¯w, φ(( ¯w))z= 0,∀z∈F. (3.53) Soitx∈IRⁿ, et(z, w)∈F×Gtel quex=z+w. En additionant (3.52) et (3.53), et en notant

Λ =−D2f( ¯¯w, φ(( ¯w)) [D2g( ¯¯w, φ(( ¯w))]⁻¹,

on obtient :

Df(¯u)x+ ΛDg(¯u)x= 0, ce qui donne, en transposant :∇f(¯u) +Pp

i=1λi∇gi(¯u) = 0,avecΛ = (λ1, . . . , λp).

Remarque 3.35(Utilisation pratique du théorème de Lagrange). Soitf ∈ C¹(IRⁿ,IR),g = (g1, . . . , gp)^tavec gi∈C(IRⁿ,IR)pouri= 1, . . . , p.,et soitK={u∈IRⁿ, gi(u) = 0, i= 1, . . . , p}.

Le problème qu’on cherche à résoudre est le problème de minimisation (3.48) qu’on rappelle ici : ( u¯∈K

f(¯u) = inf

Kf

D’après le théorème des multiplicateurs de Lagrange, siu¯est solution de (3.48) etIm(Dg(¯u)) = IR^p, alors il existe(λ1, . . . , λp)∈IR^ptel queu¯est solution du problème







∂f

∂xj(¯u) + Xp i=1

λi

∂gi

∂xj = 0, j= 1, . . . n, gi(¯u) = 0, i= 1, . . . , p.

(3.54)

Le système (3.54) est un système non linéaire de de(n+p)équations et à(n+p)inconnues(¯x, . . . ,x¯n, λi. . . λp).

Ce système sera résolu par une méthode de résolution de système non linéaire (Newton par exemple).

Remarque 3.36. On vient de montrer que six¯solution de(3.48)etIm(Dg(¯x)) = IR^p, alors¯xsolution de(3.54).

Par contre, si¯xest solution de(3.54), ceci n’entraîne pas quex¯est solution de(3.48).

Des exemples d’application du théorème des multiplicateurs de Lagrange sont donnés dans les exercices 126 page 266 et 127 page 266.

3.4.4 Contraintes inégalités

Soitf ∈ C(IRⁿ,IR)etgi ∈ C¹(IRⁿ,IR) i= 1, . . . , p, on considère maintenant un ensembleKde la forme : K={x∈IRⁿ, gi(x)≤0 ∀i= 1. . . p},et on cherche à résoudre le problème de minimisation (3.48) qui sécrit :

x¯∈K

f(¯x)≤f(x), ∀x∈K.

Remarque 3.37. Soitx¯une solution de(3.48)et supposons quegi(¯x) < 0,pour touti ∈ {1, . . . , p}. Il existe alorsε >0tel que six∈B(¯x, ε)alorsgi(x)<0pour touti= 1, . . . , p.

On a doncf(¯x)≤f(x) ∀x∈B(¯x, ε).On est alors ramené à un problème de minimisation sans contrainte, et si fest différentiable enx, on a donc¯ ∇f(¯x) = 0.

On donne maintenant sans démonstration le théorème de Kuhn-Tücker qui donne une caractérisation de la solution du problème (3.48).

Théorème 3.38(Kuhn–Tucker). Soitf ∈ C(IRⁿ,IR), soitgi ∈ C¹(IRⁿ,IR),pouri = 1, . . . , p, et soitK = {x ∈ IRⁿ, gi(x) ≤ 0 ∀i = 1. . . p}. On suppose qu’il existex¯ solution de(3.48), et on poseI(¯x) = {i ∈ {1, . . . , p};|gi(¯x) = 0}. On suppose quef est différentiable enx¯et que la famille (deIRⁿ){∇gi(¯x), i∈I(¯x)} est libre. Alors il existe une famille(λi)i∈I(¯x)⊂IR+telle que

∇f(¯x) + X

i∈I(¯x)

λi∇gi(¯x) = 0.

Remarque 3.39.

1. Le théorème de Kuhn-Tucker s’applique pour des ensembles de contrainte de type inégalité. Si on a une contraite de type égalité, on peut évidemment se ramener à deux contraintes de type inégalité en remarquant que{h(x) = 0}={h(x)≤0)} ∩ {−h(x)≤0}. Cependant, si on poseg₁=hetg₂ =−h, on remarque que la famille {∇g₁(¯x),∇g₂(¯x)} = {∇h(¯x),−∇h(¯x)} n’est pas libre. On ne peut donc pas appliquer le théorème de Kuhn-Tucker sous la forme donnée précédemment dans ce cas (mais on peut il existe des versions du théorème de Kuhn-Tucker permettant de traiter ce cas, voir Bonans-Saguez).

2. Dans la pratique, on a intérêt à écrire la conclusion du théorème de Kuhn-Tucker (i.e. l’existence de la famille (λi)i∈I(¯x)) sous la forme du système den+péquations et2pinéquations à résoudre suivant :















∇f(¯x) + Xp i=1

λi∇gi(¯x) = 0, λigi(¯x) = 0, ∀i= 1, . . . , p, gi(¯x)≤0, ∀i= 1, . . . , p, λi ≥0, ∀i= 1, . . . , p.