C11, Optimisation avec contrainte

C11, Optimisation avec contrainte

Objectif :

f ∈ C (R

K un sous ensemble ferm´ e de

. On s’int´ eresse aux 3 questions suivantes :

1.

Existence de x ¯ ∈ K tel que f (¯ x ) ≤ f (x) pour tout x ∈ K . (On dit alors que x ∈

f .)

2.

Unicit´ e de x ¯ ∈ K tel que f (¯ x) ≤ f (x) pour tout x ∈ K . (Si il y a existence et unicit´ e, on dit alors que x =

f .)

Comment calculer ce point x ¯ de K minimisant f sur K . C’est un probl` eme de minimisation avec contrainte car la variable est contrainte ` a ˆ etre dans K , sous ensemble de

.

On peut remplacer

(

) par

(K

)

Existence de x ¯

Th´ eor` eme f ∈ C (

).

1.

L’ensemble K est ferm´ e, born´ e, non vide.

Alors, il existe x ¯ ∈ K tel que f (¯ x ) ≤ f (x) pour tout x ∈ K .

L’ensemble K est ferm´ e non vide et f (x) → +∞ quand

kxk → +∞.

Alors, il existe x ¯ ∈ K tel que f (¯ x ) ≤ f (x) pour tout x ∈ K .

Existence de x, d´ ¯ emonstration, premier cas

f ∈ C (

). L’ensemble

est ferm´ e, born´ e, non vide.

Dans ce cas, l’ensemble K est compact et, comme f est continue,

f est born´ ee sur K et atteint ses bornes. Donc, il existe x ¯ ∈ K tel

que f (¯ x) ≤ f (x) pour tout x ∈ K .

Existence de x, d´ ¯ emonstration, deuxi` eme cas

L’ensemble

est ferm´ e non vide et

(x)

+∞ quand

+∞.

Soit x

∈ K . Il existe R

0 tel que

kxk

R = ⇒ f (x)

f (x

).

On pose B

= {x ∈

kxk ≤ R}.

Comme B

∩ K est compact et f est continue, il existe

¯

x ∈ B

∩ K tel que f (¯ x ) ≤ f (x) pour tout x ∈ B

∩ K . En particulier, f (¯ x) ≤ f (x

) et donc

f (¯ x) ≤ f (x)

x ∈ K

On a bien trouv´ e x ¯ ∈ K tel que f (¯ x) ≤ f (x) pour tout x ∈ K .

Unicit´ e de x ¯

D´ efinition

L’ensemble K est convexe si

x, y ∈ K

t ∈ [0, 1] = ⇒ tx + (1 − t)y ∈ K

Th´ eor` eme

f ∈ C (

). On suppose f strictement convexe et K convexe.

Alors, il existe au plus un point x ¯ ∈ K tel que f (¯ x) ≤ f (x) pour tout x ∈ K .

D´emonstration : Soientx¯∈K etx¯¯∈K tels quef(¯x)≤f(x)pour tout x∈K etf(¯¯x))≤f(x)pour tout x∈K.

On a doncf(¯x) =f(¯x). Si¯ x¯6= ¯¯x, par strict convexit´e def,

f(x¯+ ¯x¯ 2 )< 1

2(f(¯x) +f(¯x¯)) =f(¯x),

et, par convexit´e deK, ^¯x+¯₂^x¯∈K, ce qui est impossible. Doncx¯= ¯x¯.

Existence et unicit´ e de x ¯

On regroupe le th´ eor` eme d’existence et le th´ eor` eme d’unicit´ e : Th´ eor` eme

f ∈ C (

). On suppose f strictement convexe et K convexe ferm´ e non vide. On suppose K born´ e ou f (x) → +∞ quand kxk → +∞.

Alors, il existe un unique x ¯ ∈ K tel que f (¯ x) ≤ f (x) pour tout

x ∈ K .

Condition n´ ecessaire d’optimalit´ e

On suppose que f ∈ C

(

).

Proposition

Soit x ¯ ∈ K tel. que f (¯ x) ≤ f (x ) pour tout x ∈ K

Si x ¯ ∈ K ˚ , alors ∇f (¯ x) = 0.

2.

Si K convexe, ∇f (¯ x) · (x − x) ¯ ≥ 0 pour tout x ∈ K . .

D´emonstration du premier cas Six¯∈K˚, il existeε >0 tel que k¯x−zk ≤ε =⇒ z ∈K.

Soity ∈Rⁿ, y6= 0, on ax¯+ty∈K si −_kyk^ε ≤t ≤ _kyk^ε et donc, en posantϕ(t) =f(¯x+ty),

ϕ(0) =f(¯x)≤ϕ(t)si − ε

kyk ≤t ≤ ε kyk. On en d´eduitϕ⁰(0) = 0, c’est-`a-dire

ϕ⁰(0) =∇f(¯x)·y = 0pour tout y∈Rⁿ et donc∇f(¯x) = 0.

Condition n´ ecessaire d’optimalit´ e, deuxi` eme cas

f ∈C¹(Rⁿ,R),K convexe, ¯x∈K tel. quef(¯x)≤f(x) pour toutx∈K

Soitx ∈K. par convexit´e deK,x¯+t(x−x)¯ ∈K sit ∈]0,1[. Donc, f(¯x+t(x−x))¯ −f(¯x)

t ≥0 pour tout0<t <1.

quandt→0 ceci donne

∇f(¯x)·(x−x)¯ ≥0.

K d´ efini par de contraintes “´ egalit´ es”

f ∈ C

(

), n ≥ 1

g

∈ C

(

), i ∈ {1, . . . , p} (p ≥ 1).

K = {x ∈

; g

(x) = 0, i = 1, . . . , p}.

g

=





 g₁

.. .





∈C¹

(R

)

K ={x∈Rⁿ; g(x) = 0}.

Multiplicateurs de lagrange

Th´ eor` eme

Soit f ∈ C

(R

g ∈ C

(R

).

K ={x∈Rⁿ; g(x) = 0}.

¯

x ∈ K , f (¯ x) ≤ f (x) pour tout x ∈ K .

On suppose que rang(Jg(¯x)) =p (et donc p≤n)

Alors, il existe

dans

tels que

∇f (¯ x) +

p

X

i=1

λ_i

∇g

(¯ x) = 0.

Rappel :

(x)

et

(J

(x)) = (∇g

(x))

Le casp =n est facile car{∇g₁(¯x), . . . ,∇g_n(¯x)}est alors une base deRⁿ

Courbes de niveau d’une fonction, n = 2

h∈C¹(R²,R),c∈R,Γh,c ={x ∈R²;h(x) =c}.

Param´etrisation locale de Γh,c

x∈C¹(]−1,1[,R²),{x(t);t∈]−1,1[} ⊂Γh,c. Alors h(x(t)) =c pour tout t∈]−1,1[, et donc∇h(x(t))·x⁰(t) = 0pour tout t∈]−1,1[.

Le vecteur∇h(x(0)) est orthogonal `a la courbe Γh,c au pointx(0).

Figure:Courbe de niveau de h en rouge,∇h(x(0))en bleu

Multiplicateur de Lagrange, n = 2, p = 1

Dans cette figures les courbes de niveau def sont en rouge. L’epaisseur de la courbe est li´ee `a la valeur de f.

La courbe de niveau deg, c’est-`a-direΓg,0, est en vert.

Lorsque que l’on parcourt la courbe de niveau deg, la fonction f atteint son minimum (enx) lorsque les courbes de niveau de¯ f etg sont tangentes, c’est-`a-dire lorsque leurs vecteurs normaux∇g(¯x)ou∇f(¯x) sont colin´eaires, et il existe doncλtel que∇f(¯x) =−λ∇g(¯x)(si

∇g(¯x)6= 0).

RappelK = Γ_g,0. On cherche l’argmin def surK

Multiplicateur de Lagrange, n = 2, p = 1, autre m´ ethode

On peut aussi param´etriserΓ_g,0au voisinage de x¯

Soitx ∈C¹(]−1,1[,R²),{x(t);t ∈]−1,1[} ⊂Γ_g,0etx(0) = ¯x.

La fonctiont 7→f(x(t))est minimale ent = 0. Sa d´eriv´ee est nulle en0:

∇f(¯x)·x⁰(0) = 0.

Mais on sait aussi que∇g(x(0))·x⁰(0) = 0.

Ce qui prouve encore, six⁰(0)6= 0, que∇g(¯x)et∇f(¯x)sont colin´eaires,

Multiplicateur de Lagrange, d´ emonstration (1)

Hypoth`eses : f ∈C¹(Rⁿ,R), g ∈C¹(Rⁿ,R^p). K ={x ∈Rⁿ; g(x) = 0}.

¯

x∈K,f(¯x)≤f(x)pour toutx∈K. rang(Jg(¯x)) =p<n.

Etape 1 : Il existeG s.e.v deRⁿ tel queRⁿ=G⊕ker(Jg(¯x))etJg(¯x) bijection deG surIm(Jg(¯x))(exercice 1 du td1, d´emonstration du th´eor`eme du rang).

Commerang(J_g(¯x)) =p,Im(J_g(¯x)) =R^p. Donc J_g(¯x)est une bijection deG surR^p.

on poseF= ker(J_g(¯x)).

Pour(y,z)∈G×F, on pose f¯(y,z) =f(y+z)etg¯(y,z) =g(y+z)

¯

x= ¯y+ ¯z.

Int´erˆet : D1g¯(y,z)(h) =Dg(y+z)(h) =Jg(y+z)hpour touth∈G et doncD1g¯(¯y,z¯) est inversible deG dansR^p.

Multiplicateur de Lagrange, d´ emonstration (2)

Etape 2 :

K¯ ={(y,z)∈G×F; y+z ∈K}={(y,z)∈G×F; ¯g(y,z) = 0}.

(¯y,z¯)∈K¯,D1g¯(¯y,z¯)est inversible. Le th´eor`eme des fonctions implicites donne alors qu’il existeε >0,δ >0tels que

∀z ∈B(¯z, ε), ∃!y ∈B(¯y, δ)tel queg¯(y,z) = 0.

On noteφ(z)cette valeur dey. Le th´eor`eme donne aussiφ∈C¹(F,G).

B(¯z, ε) est la boule ouverte (deF) de centre ¯z et de rayonε.

B(¯y, δ) est la boule ouverte (deG) de centre ¯y et de rayonδ.

Commeg¯(φ(z),z) = 0:

D1g¯(¯y,z¯)◦Dφ(¯z) +D2g¯(¯y,z¯) = 0 c’est-`a-direDφ(¯z) =−(D1g¯(¯y,z¯))⁻¹◦D2g¯(¯y,z¯).

NoterD2g¯(¯y,z¯)∈ L(F,R^p) etD1g¯(¯y,z)¯ ∈ L(G,R^p)

Multiplicateur de Lagrange, d´ emonstration (3)

f¯(φ(¯z),z¯)≤f¯(φ(z),z)pour toutz ∈B(¯z, ε)

carφ(z) +z ∈K etφ(¯z) + ¯z = ¯y+ ¯z = ¯x. Donc (min. sans contrainte) D₁f¯(¯y,z¯)◦Dφ(¯z) +D₂f¯(¯y,z) = 0,¯

et donc, commeDφ(¯z) =−(D1g¯(¯y,z¯))⁻¹◦D₂g¯(¯y,z¯), D₂f¯(¯y,z¯) =D₁f¯(¯y,z¯)◦(D₁g¯(¯y,z¯))⁻¹◦D₂g¯(¯y,z¯).

Mais on a aussi

D1f¯(¯y,z¯) =D1f¯(¯y,z¯)◦(D1g¯(¯y,z¯))⁻¹◦D1g¯(¯y,z¯).

Ceci donne

Df(¯x) =−Λ◦Dg(¯x),

avecΛ =−D1f¯(¯y,z¯)◦(D1g¯(¯y,z¯))⁻¹∈ L(R^p,R),Dg(¯x)∈ L(Rⁿ,R^p).

Ccei donne bien∇f(¯x) +Pp

i=1λi∇gi(¯x) = 0, o`u lesλi sont les composantes de la matrice repr´esentant Λ.

Rappel de calcul diff´ erentiel

Df(¯x) =−Λ◦Dg(¯x), Df(¯x)∈ L(Rⁿ,R),Λ∈ L(R^p,R),Dg(¯x)∈ L(Rⁿ,R^p).

Soith∈Rⁿ,u=Dg(¯x)(h) =Jg(¯x)h∈R^p.

pouri∈ {1, . . . ,p}, on noteui la i-eme composante deu ui=Li(Jg(¯x))^t·h=∇gi(¯x)·h.

Λ◦Dg(¯x)(h) = Λ(u) =

p

X

i=1

λiui = (

p

X

i=1

λi∇gi(¯x))·h.

Df(¯x)(h) =∇f(¯x)·h.

Df(¯x) =−Λ◦Dg(¯x)signifie

∇f(¯x) +Pp

i=1λ_i∇gi(¯x) = 0.

Utilisation pratique des multiplicateurs de Lagrange

f ∈C¹(Rⁿ,R),g ∈C¹(Rⁿ,R^p). K ={x∈Rⁿ; g(x) = 0}.

On cherche `a calculer x¯tel que

¯

x∈K,f(¯x)≤f(x)pour toutx∈K.

Une possibilit´e est donc de r´esoudre le syst`eme de(n+p)´equations `a (n+p)inconnues (¯x dansRⁿetλ1, . . . , λp):

∇f(x) +

p

X

i=1

λ_i∇g_i(x) = 0 (n ´equations), g(x) = 0 (p ´equations).

Il reste alors deux difficult´es :

1. x solution de ce syst`eme n’est pas forc´ement un point o`uf r´ealise son minimum surK.

2. Si, pour le point recherch´e,rang(Jg(¯x))<p, le pointx¯ peut ne pas ˆ

etre solution de ce syst`eme.

Toutefois, cette m´ethode est souvent tr`es performante.

K d´ efini par de contraintes “in´ egalit´ es”

f ∈ C

(

), n ≥ 1

g

∈ C

(

), i ∈ {1, . . . , p} (p ≥ 1).

K = {x ∈

; g

(x) ≤ 0, i = 1, . . . , p}.

g

=





 g₁

.. .





∈C¹

(R

)

K ={x∈Rⁿ; g(x)≤0}.

Th´ eor` eme de Kuhn-Tucker

Th´ eor` eme

Soitf ∈C¹(Rⁿ,R), g ∈C¹(Rⁿ,R^p).

K ={x∈Rⁿ; g(x)≤0}.

¯

x∈K,f(¯x)≤f(x)pour toutx∈K.

On noteI(¯x) ={i∈ {1, . . . ,p};gi(¯x) = 0} et on suppose que {∇gi(¯x), i ∈I(¯x)}est une famille libre.

Alors, il existe{λi,i∈I(¯x)} inclus dansR+telle que

∇f(¯x) + X

i∈I(¯x)

λi∇gi(¯x) = 0.

Remarque : SiI(¯x) =∅, c’est-`a-dire g<sub>i</sub>(¯x)<0 pour touti∈ {1, . . . ,p}, on est alors ramen´e `a un probl`eme de minimisation sans contrainte et donc∇f(¯x) = 0.

Utilisation pratique du th´ eor` eme de Kuhn-Tucker

f ∈C¹(Rⁿ,R),g ∈C¹(Rⁿ,R^p),K ={x∈Rⁿ; g(x)≤0}.

On cherche `a calculer x¯tel que

¯

x∈K,f(¯x)≤f(x)pour toutx∈K.

Une possibilit´e est de r´esoudre le syst`eme de(n+p)´equations `a(n+p) inconnues (¯x dans Rⁿetλ1, . . . , λp)avec2pin´egalit´es :

∇f(x) +

p

X

i=1

λi∇gi(x) = 0 (n ´equations), λigi(x) = 0, i∈ {1, . . . ,p}(p ´equations), g_i(x)≤0, i∈ {1, . . . ,p},

λi ≥0, i∈ {1, . . . ,p}.

Ici encore, cette m´ethode est souvent tr`es performante.