O PTIMISATION MACS 2, 2019

O PTIMISATION MACS 2, 2019

L. H

© INSTITUT GALILEE, 99 avenue Jean-Baptiste-Clément 93430 VILLETANEUSE 20016/2017

Table des matières

I Résultats théoriques 5

1 Résultats d’existence 7

1.1 Théorèmes généraux . . . 7

1.2 Rappels de calcul différentiel . . . 10

1.2.1 Dérivées premières . . . 10

1.2.2 Dérivées secondes . . . 10

1.2.3 Formules de Taylor . . . 10

2 Caractérisation des extrema 15 2.1 Equation d’Euler, cas général . . . 15

2.2 Inéquation d’Euler, cas convexe . . . 16

2.3 Multiplicateurs de Lagrange, cas général . . . 18

2.3.1 Contraintes égalités . . . 21

2.3.2 Contraintes inégalités . . . 24

3 Lagrangien et point selle 27 3.1 Point selle . . . 27

3.2 Théorie de Kuhn et Tucker . . . 29

Soit V un espace de Hilbert de dimension finie sur R,K une partie de V ,J une fonction définie surV à valeurs dansR. On dit queuestminimum localdeJ surKsiuappartient àK et s’il existe un voisinageU deudansKtel que

∀v∈U, J(u)≤J(v). (1) Si la relation précédente est vraie pour toutv dansK, on dit que u estminimum global de J surK. On parle de minimum strict si l’inégalité est stricte dans (1.1). On définit un problème de minimisation surKpar

( u∈K, J(u) = inf

v∈K J(v) (2)

K est l’ensemble descontraintes. On dit queuestsolution optimaledu problème de minimisa- tion surK. Le problème de minimisation est ditsans contraintesiV =K,avec contraintessi V 6=K.

Bien évidemment, on définit un problème de maximisation, en remplaçant6par>dans (1.1) et inf par sup dans (1.2). On parlera en général de problème d’optimisation. On passe de l’un à l’autre en définissant la fonctionnelle opposée. Dans ce cours tous les résultats sont établis sur les problèmes de minimisation.

Les questions que l’on se pose sont :

1. Est-ce que la fonctionJ est bornée inférieurement surK? 2. Existe t-il des extrema locaux ?

3. Existe t-il des extrema globaux c’est-à-dire est-ce que la borne inférieure est atteinte ? 4. Combien y en a t-il ?

5. S’il est unique comment le caractériser ? 6. Comment le calculer ?

Première partie

Résultats théoriques

Chapitre 1

Résultats d’existence

Sommaire

1.1 Théorèmes généraux . . . . 7

1.2 Rappels de calcul différentiel . . . . 10

1.2.1 Dérivées premières . . . . 10

1.2.2 Dérivées secondes . . . . 10

1.2.3 Formules de Taylor . . . . 10

SoitV un espace de Hilbert surR,Kune partie deV ,J une fonction définie surV à valeurs dansR. On dit queuestminimum localdeJsurKsiuappartient àKet s’il existe un voisinage U deudansK tel que

∀v∈U, J(u)≤J(v). (1.1)

Si la relation précédente est vraie pour toutv dansK, on dit que u estminimum global de J surK. On parle de minimum strict si l’inégalité est stricte dans (1.1). On définit un problème de minimisation surKpar

( u∈K, J(u) = inf

v∈K J(v) (1.2)

On dit alors que u estsolution optimale du problème de minimisation surK. Le problème de minimisation est ditsans contraintesiV =K,avec contraintessiV 6=K.

Bien évidemment, on définit un problème de maximisation, en remplaçant6par>dans (1.1) et inf par sup dans (1.2). On parlera en général de problème d’optimisation. On passe de l’un à l’autre en définissant la fonctionnelle opposée. Dans ce cours tous les résultats sont établis sur les problèmes de minimisation.

1.1 Théorèmes généraux

Définition 1.1 Une suite minimisante pour la fonctionJsur l’ensembleKest une suiteu_nd’élé- ments deKtelle que pour toutε, il existeN, pour toutn>N,

J(u_n)−ε ≤ inf

v∈KJ(v) ≤ J(u_n).

Théorème 1.1 SoitV un espace vectoriel de dimension finie, K une partie fermée non vide deV. SOitJ une fonction continue surK.

1. SiKest compact ou 2. siJ est infinie à l’infini,

dans les deux cas, le problème de minimisation (1.2) admet une solution.

PROOF La première partie du théorème relève du L2 : en dimension finie toute fonction continue sur un compact y est bornée et atteint ses bornes (théorème de Weierstrass). Pour la deuxième partie, on suppose seulement queKest fermé et non pas qu’il est borné (les deux ensemble font un compact). Choisissons un pointwdansKet définissons

K˜ ={v∈K, J(v)≤J(w)}.

K˜ est fermé puisque défini par une inégalité large, et borné car J est infinie à l’infini. Donc compact. De plus

v∈Kinf J(v) = inf

v∈K˜

J(v)

et on est ramené au cas 1.

Pour les fans de maths : La deuxième partie du théorème est vrai en dimension finie, mais pas en dimension infinie. Pourquoi ? Par contre la convexité va pallier au problème.

On rappelle qu’une partieKdeV est convexe si

∀(x, y)∈K,∀θ∈[0,1], θx+ (1−θ)y∈K (1.3) Une fonction J définie sur un convexeK est dite

— convexe si

∀(x, y)∈K,∀θ∈[0,1], J(θx+ (1−θ)y)6θJ(x) + (1−θ)J(y), (1.4)

— strictement convexe si

∀(x, y)∈K, x6=y,∀θ∈]0,1[, J(θx+ (1−θ)y)< θJ(x) + (1−θ)J(y), (1.5)

— αconvexe si

∀(x, y)∈K,∀θ∈[0,1], J(θx+ (1−θ)y)6 θJ(x)+(1−θ)J(y)−

− α

2θ(1−θ)||x−y||². (1.6) Théorème 1.2 SiJ est convexe, tout minimum local est global, et l’ensemble des solutions opti- males est convexe.

PROOF Par l’absurde : soituun minimum local, et supposons qu’il n’est pas global. Alors il existe unwdansKtel queJ(w) < J(u). Considérons le segment[u, w]⊂KpuisqueKest convexe.

Pour toutv = θu+ (1−θ)wdans ce segment,J(v) < J(u)par convexité deJ. Mais puisque uest minimum local,J(v)doit ^etre au moins égal àJ(u)dans un voisinage deusur ce segment.

D’où contradiction.

Soit maintenant deux solutions optimalesu₁ etu₂, doncJ(u₁) = J(u₂) = infv∈KJ(v). Mais alors par convexité, le segment qui les joint est dansK, et pour toutθ∈[0,1],

v∈Kinf J(v) ≤ J(θu1+ (1−θ)u2) ≤ J(u1) =J(u2) = inf

v∈KJ(v)

Doncθu₁+(1−θ)u₂est aussi solution optimale et l’ensemble des solutions optimales est convexe.

Théorème 1.3 Si J est strictement convexe, la solution optimale, si elle existe, est unique.

PROOF Par l’absurde encore, supposons qu’il y en a deux, et reprenons l’inégalité précédente qui devient

v∈Kinf J(v) ≤ J(θu₁+ (1−θ)u₂)<J(u₁) =J(u₂) = inf

v∈KJ(v)

et fournit une contradiction

Pour les fans de maths : [ Dimension infinie]. SoitKun convexe fermé non vide,June fonction définie sur K à valeurs dans R convexe continue. On suppose queJ est infinie à l’infini (i.e.

J(v) → +∞ lorsque ||v|| → +∞) ou que K est borné. A lors le problème de minimisation admet une solution.

Rappelons le théorème de projection.

Théorème 1.4 [Projection sur un convexe fermé]. Soit K une partie convexe fermée non vide d’un espace de HilbertV, etwun point deV n’appartenant pas àK. Alors il existe un unique point deK, notéPKwtel que

(

PKw∈K,

kw−PKwk= inf

v∈K kw−vk (1.7)

Il est caractérisé par

∀v∈K,(PKw−w, v−PKw)>0 (1.8) PROOF La démonstration traditionnelle repose sur les suites minimisantes. Ici nous nous appuyons dans le cas de la dimension infinie sur le résultat précédent. Evidemment la fonction définie par J(v) =kw−vest strictement convexe, infinie à l’infinie. Il existe un minimum, et il est unique.

Pour toutv ∈K etθ∈[0,1], puisqueK est convexe,θv+ (1−θ)P pKw∈K, et on peut donc écrire

kP^Kw−wk² ≤ kθv+ (1−θ)P pKw−w)k² =kθ(v−P pKw) + (P pKw−w)k² Développons ce dernier terme

kPKw−wk² ≤ kP pKw−wk²+ 2θ(PKw−w, v−PKw) +θ²kv−P pKwk² , ce qui est équivalent à

∀θ∈[0,1], 2(PKw−w, v−PKw) +θkv−P p_Kwk² > 0.

Il suffit maintenant de faire tendreθvers 0 pour obtenir le résultat.

Le résultat compact suivant est très utile dans les applications où les fonctions sont souvent α−convexes

Corollaire 1.1 . SoitK un convexe fermé non vide,J une fonction définie surK à valeurs dans R, α-convexe continue. Alors le problème de minimisation admet une solution et une seule. De plus toute suite minimisante converge versu.

PROOF La démonstration repose sur un lemme technique d’analyse que nous ne démontrons pas ici, et qui dit qu’une fonctionα−convexe est infinie à l’infini. Pour les fans, la démonstration de ce fait utilise le théorème de Hahn-Banach de séparation d’un point et d’un convexe.

1.2 Rappels de calcul différentiel

SoitJ une fonction définie surV de dimensionnà valeurs dansR.

1.2.1 Dérivées premières

Définition 1.2 (Différentiabilité) J est différentiable enu ∈V de différentielleJ⁰ :V 7→V ou

∇J avecF⁰(u) =∇J(u)si,

∀w∈V, J(u+w) =J(u) +J⁰(u)·w+(w)kwk, lim

w→0(w) = 0 (1.9) Dans Rⁿ, si J est différentiable en u, elle admet des dérivées partielles ∂_jJ(u) := _∂x^∂J

j, et

∇J(u) = (∂1J(u),· · ·, ∂nJ(u)), si bien queJ⁰(u).v =Pn i=1 ∂J

∂xi(u)vi. Exemples de base

1. Les formes linéaires J(u) = (c, u), où c est un vecteur donné dans V. Alors J⁰(u) =

∇J(u) =c.

2. Les fonctionsJ(u) =a(u, u), oùaest une forme bilinéaire continue surV. AlorsJ⁰(u).v = a(u, v) +a(v, u), et siaest symétriqueJ⁰(u).v = 2a(u, v).

Définition 1.3 (Dérivée directionnelle) On appelle dérivée deJ enudans la directionvla déri- vée en 0 de la fonction d’une variablet7→J(u+tv). On peut alors noter

DvJ(u) =J⁰(u)·v.

1.2.2 Dérivées secondes

SiJ⁰ :V 7→ V admet une différentielleJ⁰⁰application bilinéaire continue deV ×V dansR. On noteraJ”(u)·v·w.

Exemples de base

1. J(u) = (c, u),J”(u) = 0.

2. J(u) =a(u, u), alorsJ⁰⁰(u).v.w =a(v, w) +a(w, v), et siaest symétriqueJ⁰⁰(u).v.w = 2a(v, w). SiV =Rⁿ,J(u) = ¹₂(Au, u)oùAest une matrice symétrique, alorsJ”(u) =A pour toutu.

3. SiV =Rⁿ,J⁰⁰(u)est la matrice des dérivées partielles secondes _∂x^∂2J

i∂xj(u).

1.2.3 Formules de Taylor Pouru6=v∈V,

Taylor Mac-Laurin ordre 1 SiJ : V 7→ Rest définie et continue sur [u, v], différentiable sur ]u, v[, il existeθ∈]0,1[tel que

J(v) =J(u) +J⁰(u+θ(v−u))·(v−u) (1.10) On l’appelle aussi la formule de la moyenne, et on peut la formuler ainsi il existew∈]u, v[

tel que

J(v) =J(u) +J⁰(w)·(v−u) (1.11) Taylor Mac-Laurin ordre 2 SiJ :V 7→Rest définie et continue sur[u, v], 2 fois différentiable

sur]u, v[, il existeθ∈]0,1[tel que J(v) =J(u) +J⁰(u)·(v−u) +1

2J⁰⁰(u+θ(v−u))·(v−u)·(v−u) (1.12)

Taylor Young ordre 2 SiJ :V 7→R^pest2fois différentiable enu, alors pour toutv J(v) =J(u)+J⁰(u)·(v−u)+1

2J⁰⁰(u)·(v−u)·(v−u)+(v−u)kv−uk², lim

w→0(w) = 0 (1.13) Théorème 1.5 [caractérisation des fonctions convexes]. J est convexe sur V si et seulement si l’une des conditions équivalentes suivantes est vérifiée :

(1) SiJ est différentiable, le graphe deJ est au-dessus de l’hyperplan tangent, i.e.

∀u, v∈V, J(v)>J(u) +J⁰(u)·(v−u) (1.14) (2) SiJ est différentiable,J⁰est un opérateur monotone, i.e.

∀u, v∈V,(J⁰(v)−J⁰(u))·(v−u)>0 (1.15) (3) SiJ est deux fois différentiable,J⁰⁰est un opérateur non négatif, i.e.

∀u, w ∈V, J⁰⁰(u)w.w >0 (1.16) PROOF Nous montrons d’abord que convexe ⇐⇒ (1), puis que (1) =⇒ (2) =⇒ (3) =⇒ (1) .

convexe =⇒ (1)

J(θv+ (1−θ)u)≤θJ(v) + (1−θ)J(u).

Divisons parθ

J(u+θ(v−u))−J(u)

θ ≤J(v)−J(u).

Passons à la limite enθ→0:

J⁰(u)·(v−u)≤J(v)−J(u).

(1) =⇒ convexe On applique l’inégalité (1.14) successivement aux couples(θu+ (1−θ)v, u) et(θu+ (1−θ)v, v):

×θ J(u) > J(θu+ (1−θ)v) +J⁰(θu+ (1−θ)v)·(1−θ)(u−v)

×(1−θ) J(v) > J(θu+ (1−θ)v) +J⁰(θu+ (1−θ)v)·θ(v−u)

Lorsque l’on ajoute ces deux inégalités, les termes de droit se neutralisent, il ne reste plus que l’inégalité de convexité

θJ(u) + (1−θ)J(v) > J(θu+ (1−θ)v).

(1) =⇒ (2) Appliquons successivement (1.14) aux couples(u, v)et(v, u).

J(v)>J(u) +J⁰(u)·(v−u) J(u)>J(v)−J⁰(v)·(v−u)

et ajoutons les pour obtenir0 > (J⁰(u)−J⁰(v))·(v−u)qui donne le résultat souhaité en changeant les signes.

(2) =⇒ (3) Pour toutwdansV, et θ > 0, posonsv = u+θw, et appliquons (2) au couple (u, v). On obtient

(J⁰(u+θw)−J⁰(u))·w > 0 ce qui implique (J⁰(u+θw)−J⁰(u))·w

θ > 0

Par définition de la différentiabilité de J⁰,J⁰(u+θw)−J⁰(u) = θJ⁰⁰(u)w+(θ)kθwk. Remplaçons dans l’inégalité précédente et divisons parθ:

(J⁰⁰(u)w+ε(θ)kwk)·w > 0 Faisons tendre maintenantθvers 0 pour obtenir le résultat.

(3) =⇒ (1) On utilise la formule de Taylor Mac-Laurin à l’ordre 2 (1.10) et le résultat vient tout de suite.

Pour une fonction strictement convexe, on a :

Théorème 1.6 [caractérisation des fonctions strictement convexes]. SoitJ différentiable surV. Jest strictement convexe et seulement si l’une des conditions équivalentes suivantes est vérifiée :

∀u, v∈V, u6=v, J(v)> J(u) +J⁰(u)·(v−u) (1.17)

∀u, v∈V, u6=v, (J⁰(v)−J⁰(u))·(v−u)>0 (1.18) SiJest deux fois différentiable, et si

∀u, w∈V, w6= 0, J⁰⁰(u)w.w >0, (1.19) alorsJ est strictement convexe.

PROOF SI on cherche à refaire la démonstration précédente, lorsque l’on utilise un passage à la limite, les inégalités strictes deviennent des inégalités larges, et on ne peut pas conclure. C’est le cas pour strictement convexe =⇒ (1). Reprenons

(1.17) =⇒ strictement convexe : m^eme démonstration.

strictement convexe =⇒(1.17) Il faut ^etre un peu plus subtil. Écrivons pouru 6= v,θ ∈]0,1[, ω ∈]0,1[,θ6=ω,

u+θ(v−u) = ω−θ ω u+ θ

ω(u+ω(v−u)).

Fixonsω, et choisissonsθ≤ω. Par convexité on a donc J(u+θ(v−u)) < ω−θ

ω J(u) + θ

ωJ(u+ω(v−u)),

inégalité que nous réécrivons en soustrayantJ(u)des deux c^otés et en divisant parθ: J(u+θ(v−u))−J(u)

θ ≤ J(u+ω(v−u))−J(u)

ω .

ωest toujours fixé dans]0,1[, passons maintenant à la limite enθ, J⁰(u)·(v−u)≤ J(u+ω(v−u))−J(u)

ω ,

Par stricte convexité de nouveau on a

J(u+ω(v−u)) =J((1−ω)u+ωv)<(1−ω)J(u) +ωJ(v), et en reportant dans l’inégalité du dessus on obtient

J⁰(u)·(v−u)< J(v)−J(u),

qui est le résultat souhaité. On a donc maintenant strictement convexe ⇐⇒ (1.17).

(1.17) =⇒ (1.18) : m^eme démonstration.

(1.18) =⇒ strictement convexe De nouveau il faut ^etre un peu subtil. Soitu 6=v etθ ∈]0,1[.

Utilisons la formule de la moyenne eqrefeq :TML1b pour(u, u+θ(v−u))et(v, u+θ(v− u)). Il existe doncw₁ ∈]u, u+θ(v−u)[etw₂ ∈]u+θ(v−u), v[tels que

×(1−θ) J(u+θ(v−u)) =J(u) +J⁰(w1)·θ(v−u)

×θ J(u+θ(v−u)) =J(v) +J⁰(w₂)·(1−θ)(u−v) Multiplions la première par1−θ, la deuxième parθ, et ajoutons.

J(u+θ(v−u)) = (1−θ)J(u) +θJ(v) +θ(1−θ)(J⁰(w1)−J⁰(w2))·(v−u).

Quel est le signe de la quantité en rouge ? Notons que puisquew1 ∈]u, u+θ(v−u)[et w₂ ∈]u+θ(v−u), v[, ils sont distincts, et s’écrivent avecα∈]0,1[etβ ∈]0,1[

w1 =α(u+θ(v−u)) + (1−α)u=u+αθ(v−u), w2 =β(u+θ(v−u)) + (1−β)v=v+β(1−θ)(u−v), si bien que

w1−w2= (1−αθ−β(1−θ))(u−v).

Il suffit maintenant de remarquer que par convexitéγ = 1−αθ−β(1−θ)∈]0,1[, et donc J(u+θ(v−u)) = (1−θ)J(u) +θJ(v)− 1

γ(J⁰(w₁)−J⁰(w₂))·(w₁−w₂).

Par hypothèse le terme en rouge est positif, ce qui donne la convexité stricte.

(1.19) =⇒ strictement convexe Ici la démonstration repose sur Taylor Mac-Laurin à l’ordre 2, comme dans le cas convexe.

Pour une fonctionα-convexe, on a :

Théorème 1.7 [caractérisation des fonctionsα-convexes].Jestα- convexe surV si et seulement si l’une des conditions équivalentes suivantes est vérifiée :

(1) SiJ est différentiable,

∀u, v∈V, J(v)>J(u) +J⁰(u)·(v−u) + α

2 kv−uk², (1.20) (2) SiJ est différentiable,

∀u, v∈V,(J⁰(v)−J⁰(u))·(v−u)>αkv−uk², (1.21) (3) SiJ est deux fois différentiable,

∀u, w∈V, J⁰⁰(u)w.w>αkwk² . (1.22)

PROOF En exercice.

En particulier les fonctionnelles de la formeJ(u) =a(u, u), oùaest une forme bilinéaire symé- trique continue surV sontα-convexes si et seulement si

∀u∈V,2a(w, w)>αkwk²

Si l’on est dansRⁿ, avecJ(u) = ¹₂(Au, u), ceci revient à

∀u∈V,(Aw, w)>αkwk²

La matriceAétant symétrique, elle diagonalise en base orthonormée,A = P DP^T, oùDest la matrice des valeurs propresd_ietP la matrice des vecteurs propres. On a alors

(Aw, w) =

n

X

i=1

di((P w)i)²>( min

1≤i≤ndi)

n

X

i=1

((P w)i)²

(Aw, w)>( min

1≤i≤ndi)kP wk² = ( min

1≤i≤ndi)kwk²

car, puisqueP est orthogonale, kP wk = kwk. Si A est définie positive, la fonctionnelle J est min1≤i≤ndi-convexe.

Chapitre 2

Caractérisation des extrema

Sommaire

2.1 Equation d’Euler, cas général . . . . 15

2.2 Inéquation d’Euler, cas convexe . . . . 16

2.3 Multiplicateurs de Lagrange, cas général . . . . 18

2.3.1 Contraintes égalités . . . . 21

2.3.2 Contraintes inégalités . . . . 24

2.1 Equation d’Euler, cas général

Théorème 2.1 [condition nécessaire]. Si u est minimum local deJ dansV, alors (1) SiJ est différentiable enu,J⁰(u) = 0,

(2) Si J est deux fois différentiable enu, on a de plus∀w∈V, J⁰⁰(u)w.w>0.

PROOF Pour toutv∈V, définissons la fonction d’une variable réelle ϕ(t) =J(u+tv).

(1) Pourtréel assez petit,u+tvest dans un voisinage deuet puisqueuest minimum local, J(u+tv)>J(u)ce qui se traduit parϕ(t) >ϕ(0). Par définitionϕest dérivable en 0 et ϕ⁰(0) =J⁰(u)·v. Ecrivons

0 ≤ lim

t→0₊

ϕ(t)−ϕ(0)

t =ϕ⁰(0) = lim

t→0−

ϕ(t)−ϕ(0)

t ≤ 0.

ce qui prouve queϕ⁰(0) = 0. On a donc pour toutv,J⁰(u)·v= 0, et doncJ⁰(u) = 0.

(2) Dans le deuxième cas, appliquons la formule de Taylor-Young à l’ordre 2 à la fonctionϕ: ϕ(t) =ϕ(0) +tϕ⁰(0) + t²

2(ϕ⁰⁰(0) +(t)), avec lim

t→0(t) = 0.

D’après la première partie,ϕ⁰(0) = 0. supposons queϕ⁰⁰(0) <0, alors pourtassez petit,

1

2ϕ⁰⁰(0)+(t)est encore strictement négatif, et doncϕ(t)< ϕ(0)ce qui contredit le fait que uest minimum local. Doncϕ⁰⁰(0)>0et il est facile de calculer que c’est égal àJ⁰⁰(u)·v·v.

Théorème 2.2 [condition suffisante]. SoitJ une fonction différentiable dansV etuun point de V tel queJ⁰(u) = 0.

(1) SiJ est deux fois différentiable dans un voisinage deuet s’il existe un voisinageΩdeutel que∀v∈Ω,∀w∈V, J⁰⁰(v)w.w >0, alorsuest minimum local deJ.

(2) SiJ est deux fois différentiable,et s’il existeα >0tel que

∀w∈V, J⁰⁰(u)w.w>αkwk², alorsuest minimum local strict pourJ.

PROOF

(1) PuisqueΩest un voisinage, il contient une boule ouverte de centre u, donc convexe. Soit v dans cette boule. Alors tout le segment]u, v[est contenu dans cette boule, et d’après la formule de Taylor Mac-Laurin à l’ordre 2,

J(v) =J(u) +J⁰(u)·(v−u)

| {z }

0

+1

2J⁰⁰(u+θ(v−u))·(v−u)·(v−u)

| {z }

>0

et doncJ(v)>J(u):uest un minimum local.

(2) Utilisons la formule de Taylor-Young et l’hypothèse :

J(v) > J(u) +αk(v−u)k²+(v−u)kv−uk², lim

w→0(w) = 0 Pourvsuffisamment proche deu,α+(v−u)>0, et doncJ(v) > J(u).

2.2 Inéquation d’Euler, cas convexe

Dans cette section on considère le problème de minimisation globale surK, soit avec contraintes, On l’écrit

Trouveru∈Ktel queJ(u) = inf

v∈KJ(v). (2.1)

Siu est solution de (2.1), on dit queuest solution optimale. On suppose queK est un convexe fermé non vide et queJ est différentiable.

Théorème 2.3 Siuest solution optimale, on a l’inéquation d’Euler u∈K

∀v∈K, J⁰(u).(v−u)>0. (2.2) Réciproquement si on a l’inéquation d ’Euler en u et si de plusJ est convexe, alorsuest solution optimale.

PROOF Soitv∈K. PuisqueKest convexe, le segment[u, v]est contenu dansK. Soit de nouveau la fonctionϕ(t) =J(u+t(v−u))pourt∈[0,1]. Elle est dérivable puisqueJest différentiable.

Appliquons-lui la définition de la dérivée en 0. Pourt∈[0,1], ϕ(t) =ϕ(0) +tϕ⁰(0) +t(t), lim

t→0(t) = 0,

ce qui s’écrit en termes deJ, pour toutt∈[0,1], en utilisant le fait queuest solution optimale, J(u+t(v−u) =J(u) +t(J⁰(u)(v−u) +(t)) >J(u),

ce qui implique queJ⁰(u)(v−u) +(t) > 0. Faisons maintenant tendretvers 0, pour obtenir J⁰(u)(v−u)>0.

Réciproquement, nous supposons maintenant queJest en plus convexe et satisfait l’inéquation d’Euler. Utilisons la caractérisation de la convexité (1.14). Pour toutvdansK,

J(v) > J(u) +J⁰(u).(v−u) >J(u).

Nous retrouvons en corollaire le théorème de projection sur un convexe fermé (en exo).

Les cas particuliers sont très importants.

1.K=V C’est le cas sans contrainte. On a le

Théorème 2.4 SiJ est convexe différentiable, alorsuréalise le minimum deJ surV si et seulement siJ⁰(u) = 0.

Remarque 2.1 . En particulier siJ estα-convexe, il existe une unique solution optimale, caractérisée parJ⁰(u) = 0.

2.Ksous-espace affine engendré par le sous-espace vectoriel fermé E de V, i.e.K = {u0+ v, v∈E}, alors

(2.2) ⇐⇒

(u∈K

∀w∈E, J⁰(u).w = 0 (2.3)

Ce qui se traduit par : ∇J(u) ∈ E^⊥. Si E est défini par m contraintes, E = {v ∈ V,(ai, v) = 0,1 6 i 6 m}, alors l’orthogonal deE est l’espace vectoriel engendré par lesai, et donc

(2.2) ⇐⇒





 u∈K

∃λ1, .., λm∈R, ∇J(u) +

m

X

i=1

λiai = 0. (2.4) Remarque 2.2 Si l’on définit les fonctions affinesF_i(w) = (w−u₀, a_i), alorsK ={w∈ V, Fi(w) = 0}, et (2.4) se réécrit

(2.2) ⇐⇒





 u∈K

∃λ₁, .., λ_m,∇J(u) +

m

X

i=1

λ_iF_i⁰(u) = 0. (2.5) 3.Kc^one convexe fermé de sommetu0. On noteK0le c^one de sommetOqui lui est parallèle.

(K0est un c^one siw∈K0 =⇒ tw∈K0pour toutt>0). Alors

(2.2) ⇐⇒





 u∈K

J⁰(u).(u0−u) = 0

∀w∈K₀, J⁰(u).w>0.

(2.6)

PROOF Pour toutv∈K,u₀+t(v−u₀)∈K, et donc en particulier pourv=ul’inéquation d’Euler s’écrit

∀t>0, J⁰(u)·(u0+t(u−u0)−u)>0, ou encore

∀t>0, (1−t)J⁰(u)·(u₀−u)>0.

Comme1−tpeut prendre des valeurs positives ou négatives, ceci implique queJ⁰(u)·(u₀− u) = 0. Maintenant pour toutv=u0+w,w∈K0, écrivonsJ⁰(u)·(u0+w−u)>0, et puisqueJ⁰(u)·(u0−u) = 0, il nous reste plus que∀w∈K0, J⁰(u).w >0.

PourM c^one convexe fermé de sommetO, on définit le c^one dual par

M^?={c∈V,∀v∈M,(c, v)>0}. (2.7) SiM est engendré par un nombre fini de vecteurs, alors on peut décrireM^? :

Théorème 2.5 [Lemme de Farkas].

Si M = {v ∈ V,∀i ∈ {1, .., m},(v, ai) 6 0}, alors c ∈ M^? si et seulement si −c appartient au c^one convexe engendré par lesai, i.e. il existe{λ1, .., λm}tous>0tels que c=−

m

X

i=1

λiai.

PROOF Il est d’abord clair que sic=−

m

X

i=1

λiaiavec tous lesλipositifs ou nuls, alors pour tout vdansM,(v, c) = −

m

X

i=1

λi(ai, v) > 0et doncc∈ M^∗. La réciproque repose sur le

théorème de Hahn-Banach et est hors programme.

Intéressons nous maintenant au cas où K₀ est défini par m contraintes, K₀ = {w ∈ V,(a_i, w) ≤ 0,1 6 i 6 m}. Alors la troisième ligne dans (2.6) exprime que −J⁰(u) est dansK₀^?, et donc (2.6) se réécrit

(2.2) ⇐⇒













 u∈K

J⁰(u).(u0−u) = 0

∃(λ1,· · ·, λm)>0,∇J(u) +

m

X

i=1

λiai= 0

(2.8)

Remarquons comme dans le cas précédent queKse définit ici commeK={w∈V, F_i(w)≤ 0,16i6m}, et (2.8) s’écrit

(2.2) ⇐⇒













 u∈K

J⁰(u).(u0−u) = 0

∃(λ₁,· · ·, λ_m)>0,∇J(u) +

m

X

i=1

λ_iF_i⁰(u) = 0

(2.9)

2.3 Multiplicateurs de Lagrange, cas général

Le lemme de Farkas va nous permettre de trouver des conditions nécessaires d’optimalité dans le cas général.

PourK fermé non vide, pour toutv dansK, nous définissons le c^one des directions admissibles par

K(v) ={0} ∪ {w∈V,

∃{vk}k∈N⊂K lim

k→+∞vk=v, vk6=vpour toutk, lim

k→+∞

vk−v

||vk−v|| = w

||w||} (2.10) Théorème 2.6 Pour toutvdansK,K(v)est un c^one fermé de sommet O.

Avant de démontrer le théorème, illustrons le en dimension 2.

v

w

<latexit sha1_base64="Swi7/VjHQDrmCc66ngxbi9oYbe0=">AAACxHicjVHLSsNAFD2Nr1pfVZdugkVwVdIq6LIoiMsW7ANqkWQ6raGTB5mJUor+gFv9NvEP9C+8M6aiFtEJSc6ce8+Zufd6sfClcpyXnDU3v7C4lF8urKyurW8UN7daMkoTxpssElHS8VzJhR/ypvKV4J044W7gCd72Rqc63r7hifSj8EKNY94L3GHoD3zmKqIat1fFklN2zLI/QeUnKCFb9aj4jEv0EYEhRQCOEIqwgAtJTxcVOIiJ62FCXELIN3GOOxRIm1IWpwyX2BF9h7TrZmxIe+0pjZrRKYLehJQ29kgTUV5CWJ9mm3hqnDX7m/fEeOq7jenvZV4BsQrXxP6lm2b+V6drURjg2NTgU02xYXR1LHNJTVf0ze0vVSlyiInTuE/xhDAzymmfbaORpnbdW9fEX02mZvWeZbkp3vQtacAz45wFrWq5clCuNg5LtZNs1HnsYBf7NM8j1HCOOprG+wGPeLLOLGFJK/1ItXKZZhvflnX/DmxUj4E=</latexit>

w

<latexit sha1_base64="Swi7/VjHQDrmCc66ngxbi9oYbe0=">AAACxHicjVHLSsNAFD2Nr1pfVZdugkVwVdIq6LIoiMsW7ANqkWQ6raGTB5mJUor+gFv9NvEP9C+8M6aiFtEJSc6ce8+Zufd6sfClcpyXnDU3v7C4lF8urKyurW8UN7daMkoTxpssElHS8VzJhR/ypvKV4J044W7gCd72Rqc63r7hifSj8EKNY94L3GHoD3zmKqIat1fFklN2zLI/QeUnKCFb9aj4jEv0EYEhRQCOEIqwgAtJTxcVOIiJ62FCXELIN3GOOxRIm1IWpwyX2BF9h7TrZmxIe+0pjZrRKYLehJQ29kgTUV5CWJ9mm3hqnDX7m/fEeOq7jenvZV4BsQrXxP6lm2b+V6drURjg2NTgU02xYXR1LHNJTVf0ze0vVSlyiInTuE/xhDAzymmfbaORpnbdW9fEX02mZvWeZbkp3vQtacAz45wFrWq5clCuNg5LtZNs1HnsYBf7NM8j1HCOOprG+wGPeLLOLGFJK/1ItXKZZhvflnX/DmxUj4E=</latexit>

w

<latexit sha1_base64="Swi7/VjHQDrmCc66ngxbi9oYbe0=">AAACxHicjVHLSsNAFD2Nr1pfVZdugkVwVdIq6LIoiMsW7ANqkWQ6raGTB5mJUor+gFv9NvEP9C+8M6aiFtEJSc6ce8+Zufd6sfClcpyXnDU3v7C4lF8urKyurW8UN7daMkoTxpssElHS8VzJhR/ypvKV4J044W7gCd72Rqc63r7hifSj8EKNY94L3GHoD3zmKqIat1fFklN2zLI/QeUnKCFb9aj4jEv0EYEhRQCOEIqwgAtJTxcVOIiJ62FCXELIN3GOOxRIm1IWpwyX2BF9h7TrZmxIe+0pjZrRKYLehJQ29kgTUV5CWJ9mm3hqnDX7m/fEeOq7jenvZV4BsQrXxP6lm2b+V6drURjg2NTgU02xYXR1LHNJTVf0ze0vVSlyiInTuE/xhDAzymmfbaORpnbdW9fEX02mZvWeZbkp3vQtacAz45wFrWq5clCuNg5LtZNs1HnsYBf7NM8j1HCOOprG+wGPeLLOLGFJK/1ItXKZZhvflnX/DmxUj4E=</latexit>

v

<latexit sha1_base64="E21UOquGv3Catu//acT7oGmaSY4=">AAACyHicjVHLTsJAFD3UF9YX6tJNIzFx1bSIUXYkbogrTCyYICFtGXBCaZt2iiHEjT/gVr/M+Af6F94ZSqILotN05s6555yZO9eLA54Ky/ooaCura+sbxU19a3tnd6+0f9BKoyzxmeNHQZTceW7KAh4yR3ARsLs4Ye7YC1jbG13JfHvCkpRH4a2Yxqw7dochH3DfFQQ5k95I13ulsmXWKufVmmVYpk1LRQVzxDYtNcrIRzMqveMefUTwkWEMhhCC4gAuUvo6sGEhJqyLGWEJRVzlGZ6gkzYjFiOGS+iI5iHtOjka0l56pkrt0ykB/QkpDZyQJiJeQrE8zVD5TDlLdJn3THnKu01p9XKvMaECD4T+pVsw/6uTtQgMcKlq4FRTrBBZnZ+7ZOpV5M2NH1UJcogJk3Gf8gnFvlIu3tlQmlTVLt/WVflPxZSo3Ps5N8OXvCU1eNFFY3nQqpj2mVm5qZbrjbzVRRzhGKfUzwvU0UATDnlzvOAVb9q1FmuP2nRO1Qq55hC/hvb8DaxakM0=</latexit>

K

<latexit sha1_base64="2/gc98/olUZ2uMIQI3XyaSwbhFA=">AAACxnicjVHLSsNAFD2NrxpfVZdugkVwVZIq6LLgpuCmon2AFkmm0zo0TcJkopQi+ANu9dPEP9C/8M6YglpEJyQ5c+49Z+beGyShSJXrvhasufmFxaXisr2yura+UdrcaqVxJhlvsjiMZSfwUx6KiDeVUCHvJJL7oyDk7WB4ouPtWy5TEUcXapzw7sgfRKIvmK+IOj+17etS2a24ZjmzwMtBGflqxKUXXKGHGAwZRuCIoAiH8JHScwkPLhLiupgQJwkJE+e4h03ajLI4ZfjEDuk7oN1lzka0156pUTM6JaRXktLBHmliypOE9WmOiWfGWbO/eU+Mp77bmP5B7jUiVuGG2L9008z/6nQtCn0cmxoE1ZQYRlfHcpfMdEXf3PlSlSKHhDiNexSXhJlRTvvsGE1qate99U38zWRqVu9ZnpvhXd+SBuz9HOcsaFUr3kGlenZYrtXzURexg13s0zyPUEMdDTTJe4BHPOHZqluRlVl3n6lWIdds49uyHj4AfvqPgg==</latexit>

FIGURE2.1 – Cas 1 :v∈K˚

r<latexit sha1_base64="3qxdxnMakA1fkpbCMzoik/xJctA=">AAAC0HicjVHLSsNAFD2NrxpfVZdugkWom5JWQZdFQVxWsQ9oi0zSaQ3Ny2RSLEXErT/gVr9K/AP9C++MKahFdEKSM+fec2buvVboOrEwzdeMNjM7N7+QXdSXlldW13LrG/U4SCKb1+zADaKmxWLuOj6vCUe4vBlGnHmWyxvW4FjGG0MexU7gX4hRyDse6/tOz7GZIKrT9pnlMuOkMNzV9ctc3iyaahnToJSCPNJVDXIvaKOLADYSeODwIQi7YIjpaaEEEyFxHYyJiwg5Ks5xC520CWVxymDEDujbp10rZX3aS89YqW06xaU3IqWBHdIElBcRlqcZKp4oZ8n+5j1WnvJuI/pbqZdHrMAVsX/pJpn/1claBHo4VDU4VFOoGFmdnbokqivy5saXqgQ5hMRJ3KV4RNhWykmfDaWJVe2yt0zF31SmZOXeTnMTvMtb0oBLP8c5DerlYmmvWD7bz1eO0lFnsYVtFGieB6jgFFXUyPsaj3jCs3au3Wh32v1nqpZJNZv4trSHD8Bekxw=</latexit> F(v)

F<latexit sha1_base64="WxFiPG5M+LX0LK10UEODAw0aHLk=">AAACy3icjVHLSsNAFD2NrxpfVZdugkWom5JUQTdCURA3QgX7gFokmU5raF4kk0KtLv0Bt/pf4h/oX3hnTEEtohOSnDn3nDtz73Uiz02Eab7mtJnZufmF/KK+tLyyulZY32gkYRozXmehF8Ytx0645wa8Llzh8VYUc9t3PN50Bicy3hzyOHHD4FKMIt7x7X7g9lxmC6Jap6Xh7pGp69eFolk21TKmgZWBIrJVCwsvuEIXIRhS+OAIIAh7sJHQ04YFExFxHYyJiwm5Ks5xD528Kak4KWxiB/Tt066dsQHtZc5EuRmd4tEbk9PADnlC0sWE5WmGiqcqs2R/yz1WOeXdRvR3slw+sQI3xP7lmyj/65O1CPRwqGpwqaZIMbI6lmVJVVfkzY0vVQnKEBEncZfiMWGmnJM+G8qTqNplb20Vf1NKyco9y7Qp3uUtacDWz3FOg0albO2VKxf7xepxNuo8trCNEs3zAFWcoYa6muMjnvCsnWuJdqvdfUq1XObZxLelPXwAED2Q3Q==</latexit> (v) = 0

K<latexit sha1_base64="oiYJ7WPZKcjitYWOt4WQ5cIYndA=">AAACxnicjVHLSsNAFD2NrxpfVZdugkVwVZIq6LLopuCmon1ALZJMpzU0LyYTpRTBH3Crnyb+gf6Fd8YU1CI6IcmZc+85M/deLwn8VNr2a8GYm19YXCoumyura+sbpc2tVhpngvEmi4NYdDw35YEf8ab0ZcA7ieBu6AW87Y1OVbx9y0Xqx9GlHCe8F7rDyB/4zJVEXZyZ5nWpbFdsvaxZ4OSgjHw14tILrtBHDIYMITgiSMIBXKT0dOHARkJcDxPiBCFfxznuYZI2oyxOGS6xI/oOadfN2Yj2yjPVakanBPQKUlrYI01MeYKwOs3S8Uw7K/Y374n2VHcb09/LvUJiJW6I/Us3zfyvTtUiMcCxrsGnmhLNqOpY7pLprqibW1+qkuSQEKdwn+KCMNPKaZ8trUl17aq3ro6/6UzFqj3LczO8q1vSgJ2f45wFrWrFOahUzw/LtZN81EXsYBf7NM8j1FBHA03yHuIRT3g26kZkZMbdZ6pRyDXb+LaMhw99LI98</latexit>

FIGURE2.2 – Cas 2 :v∈FrK, F(v) = 0

K<latexit sha1_base64="oiYJ7WPZKcjitYWOt4WQ5cIYndA=">AAACxnicjVHLSsNAFD2NrxpfVZdugkVwVZIq6LLopuCmon1ALZJMpzU0LyYTpRTBH3Crnyb+gf6Fd8YU1CI6IcmZc+85M/deLwn8VNr2a8GYm19YXCoumyura+sbpc2tVhpngvEmi4NYdDw35YEf8ab0ZcA7ieBu6AW87Y1OVbx9y0Xqx9GlHCe8F7rDyB/4zJVEXZyZ5nWpbFdsvaxZ4OSgjHw14tILrtBHDIYMITgiSMIBXKT0dOHARkJcDxPiBCFfxznuYZI2oyxOGS6xI/oOadfN2Yj2yjPVakanBPQKUlrYI01MeYKwOs3S8Uw7K/Y374n2VHcb09/LvUJiJW6I/Us3zfyvTtUiMcCxrsGnmhLNqOpY7pLprqibW1+qkuSQEKdwn+KCMNPKaZ8trUl17aq3ro6/6UzFqj3LczO8q1vSgJ2f45wFrWrFOahUzw/LtZN81EXsYBf7NM8j1FBHA03yHuIRT3g26kZkZMbdZ6pRyDXb+LaMhw99LI98</latexit>

r<latexit sha1_base64="pN7LUaEWy9GKN9tPFs1LN++BkVo=">AAAC1HicjVHLSsNAFD2Nr1ofjbp0EyxC3ZSkCrosCuKygn1AW8okndbQNAnJpFCqK3HrD7jVbxL/QP/CO2MKahGdkOTMuefcmXuvHXpuLEzzNaMtLC4tr2RXc2vrG5t5fWu7HgdJ5PCaE3hB1LRZzD3X5zXhCo83w4izke3xhj08k/HGmEexG/hXYhLyzogNfLfvOkwQ1dXzbZ/ZHjPOu1ZxfJDLdfWCWTLVMuaBlYIC0lUN9Be00UMABwlG4PAhCHtgiOlpwYKJkLgOpsRFhFwV57hFjrwJqTgpGLFD+g5o10pZn/YyZ6zcDp3i0RuR08A+eQLSRYTlaYaKJyqzZH/LPVU55d0m9LfTXCNiBa6J/cs3U/7XJ2sR6ONE1eBSTaFiZHVOmiVRXZE3N75UJShDSJzEPYpHhB3lnPXZUJ5Y1S57y1T8TSklK/dOqk3wLm9JA7Z+jnMe1Msl67BUvjwqVE7TUWexiz0UaZ7HqOACVdTUzB/xhGetrt1od9r9p1TLpJ4dfFvawwf9NpPx</latexit> F1(v)

F1(v) = 0

<latexit sha1_base64="c5e5qwFwU8qfnWtPu3Jy1j+CWlQ=">AAACz3icjVHLSsNAFD2NrxpfVZdugkWom5KooBuhKIjLFuwD2lKSdFqHpklIJpVSFLf+gFv9K/EP9C+8M6agFtEJSc6ce8+Zufc6ocdjYZqvGW1ufmFxKbusr6yurW/kNrdqcZBELqu6gRdEDceOmcd9VhVceKwRRsweOh6rO4NzGa+PWBTzwL8S45C1h3bf5z3u2oKolm5cdKzCaP/U1PVOLm8WTbWMWWClII90lYPcC1roIoCLBEMw+BCEPdiI6WnCgomQuDYmxEWEuIoz3EInbUJZjDJsYgf07dOumbI+7aVnrNQuneLRG5HSwB5pAsqLCMvTDBVPlLNkf/OeKE95tzH9ndRrSKzANbF/6aaZ/9XJWgR6OFE1cKopVIyszk1dEtUVeXPjS1WCHELiJO5SPCLsKuW0z4bSxKp22Vtbxd9UpmTl3k1zE7zLW9KArZ/jnAW1g6J1WDyoHOVLZ+mos9jBLgo0z2OUcIkyquQd4hFPeNYq2o12p91/pmqZVLONb0t7+ABn6JG/</latexit>

v

FIGURE2.3 – Cas 3 :v ∈FrK, F1(v) =F2(v) = 0, cas convexe

K

<latexit sha1_base64="oiYJ7WPZKcjitYWOt4WQ5cIYndA=">AAACxnicjVHLSsNAFD2NrxpfVZdugkVwVZIq6LLopuCmon1ALZJMpzU0LyYTpRTBH3Crnyb+gf6Fd8YU1CI6IcmZc+85M/deLwn8VNr2a8GYm19YXCoumyura+sbpc2tVhpngvEmi4NYdDw35YEf8ab0ZcA7ieBu6AW87Y1OVbx9y0Xqx9GlHCe8F7rDyB/4zJVEXZyZ5nWpbFdsvaxZ4OSgjHw14tILrtBHDIYMITgiSMIBXKT0dOHARkJcDxPiBCFfxznuYZI2oyxOGS6xI/oOadfN2Yj2yjPVakanBPQKUlrYI01MeYKwOs3S8Uw7K/Y374n2VHcb09/LvUJiJW6I/Us3zfyvTtUiMcCxrsGnmhLNqOpY7pLprqibW1+qkuSQEKdwn+KCMNPKaZ8trUl17aq3ro6/6UzFqj3LczO8q1vSgJ2f45wFrWrFOahUzw/LtZN81EXsYBf7NM8j1FBHA03yHuIRT3g26kZkZMbdZ6pRyDXb+LaMhw99LI98</latexit>

r<latexit sha1_base64="pN7LUaEWy9GKN9tPFs1LN++BkVo=">AAAC1HicjVHLSsNAFD2Nr1ofjbp0EyxC3ZSkCrosCuKygn1AW8okndbQNAnJpFCqK3HrD7jVbxL/QP/CO2MKahGdkOTMuefcmXuvHXpuLEzzNaMtLC4tr2RXc2vrG5t5fWu7HgdJ5PCaE3hB1LRZzD3X5zXhCo83w4izke3xhj08k/HGmEexG/hXYhLyzogNfLfvOkwQ1dXzbZ/ZHjPOu1ZxfJDLdfWCWTLVMuaBlYIC0lUN9Be00UMABwlG4PAhCHtgiOlpwYKJkLgOpsRFhFwV57hFjrwJqTgpGLFD+g5o10pZn/YyZ6zcDp3i0RuR08A+eQLSRYTlaYaKJyqzZH/LPVU55d0m9LfTXCNiBa6J/cs3U/7XJ2sR6ONE1eBSTaFiZHVOmiVRXZE3N75UJShDSJzEPYpHhB3lnPXZUJ5Y1S57y1T8TSklK/dOqk3wLm9JA7Z+jnMe1Msl67BUvjwqVE7TUWexiz0UaZ7HqOACVdTUzB/xhGetrt1od9r9p1TLpJ4dfFvawwf9NpPx</latexit> F1(v)

F1(v) = 0

<latexit sha1_base64="c5e5qwFwU8qfnWtPu3Jy1j+CWlQ=">AAACz3icjVHLSsNAFD2NrxpfVZdugkWom5KooBuhKIjLFuwD2lKSdFqHpklIJpVSFLf+gFv9K/EP9C+8M6agFtEJSc6ce8+Zufc6ocdjYZqvGW1ufmFxKbusr6yurW/kNrdqcZBELqu6gRdEDceOmcd9VhVceKwRRsweOh6rO4NzGa+PWBTzwL8S45C1h3bf5z3u2oKolm5cdKzCaP/U1PVOLm8WTbWMWWClII90lYPcC1roIoCLBEMw+BCEPdiI6WnCgomQuDYmxEWEuIoz3EInbUJZjDJsYgf07dOumbI+7aVnrNQuneLRG5HSwB5pAsqLCMvTDBVPlLNkf/OeKE95tzH9ndRrSKzANbF/6aaZ/9XJWgR6OFE1cKopVIyszk1dEtUVeXPjS1WCHELiJO5SPCLsKuW0z4bSxKp22Vtbxd9UpmTl3k1zE7zLW9KArZ/jnAW1g6J1WDyoHOVLZ+mos9jBLgo0z2OUcIkyquQd4hFPeNYq2o12p91/pmqZVLONb0t7+ABn6JG/</latexit>

v

FIGURE2.4 – Cas 4 :v∈FrK, F1(v) =F2(v) = 0, cas rebroussement

PROOF Il est clair queK(v)un c^one de sommetO, puisque pourt > 0, _ktwk^tw = _kwk^w . Pour montrer qu’il est fermé, prenons une suitewⁿ d’éléments deK(v), supposons que la suite tend versw ∈ V et montrons que w ∈ K(v). Siw = 0ou est égal à l’un deswn, alors on a bien w ∈ K(v) et c’est fini. Sinon, associons à chaque wⁿ une suite (v_kⁿ)_k d’éléments de K tous différents dev, qui converge verswⁿquandktend vers l’infini et telle que

∀n>0, lim

k→+∞v_kⁿ=v, et lim

k→+∞

v_kⁿ−v

kv_kⁿ−vk = wⁿ kwⁿk

Nous allons montrer que l’on peut extraire de la double suitev_kⁿ une suiteu_n = v_k(n)ⁿ qui tend versvet telle que

n→+∞lim

u_n−v

ku_n−vk = w kwk

Soit ε_n une suite décroissante de nombres réels positifs qui tend vers 0. Pour toutnil existe un entierk(n)tel que

kv_k(n)ⁿ −vk ≤ε_n,

vⁿ_k(n)−v

kvⁿ_k(n)−vk − wⁿ kwⁿk

≤ε_n. ce qui prouve que la suiteu_ntend versv, et par l’inégalité triangulaire que

v_k(n)ⁿ −v

kv_k(n)ⁿ −vk − w kwk →0.

Le c^one des directions admissibles va permettre de donner une condition nécessaire d’optimalité.

Théorème 2.7 SiJ a un minimum local enu ∈ K et siJ est différentiable enu, alorsJ⁰(u) ∈ K(u)^?.

PROOF Soitw∈K(u), etu_kune suite telle que

k→+∞lim u_k=u, et lim

k→+∞

u_k−u

ku_k−uk = w kwk.

Puisque u est un point de minium local, pour k suffisamment grand, J(uk) > J(u). Ecrivons d’autre part la formule de Taylor-Young à l’ordre 1 pouru_ketu.

J(u_k)−J(u) =J⁰(u)·(u_k−u) +(u_k−u)ku_k−uk, lim

w→0(w) = 0.

Divisons parkuk−uk:

0 ≤ J(u_k)−J(u)

ku_k−uk =J⁰(u)· u_k−u

ku_k−uk +(u_k−u).

Passons à la limite enk:

0 ≤ J⁰(u)· w kwk.

Ceci prouve queJ⁰(u)·w>0pour toutw∈K(u), ce qui est juste dire queJ⁰(u)∈K(u)^∗. Nous allons pouvoir en déduire les m^emes inégalités que dans le cas oùKest un c^one, à l’aide du lemme de Farkas.

2.3.1 Contraintes égalités

K ={v∈V, F1(v) =F2(v) =· · ·=Fm(v) = 0} (2.11) Les fonctionsF1, .., Fm sontC¹ :V →R. On noteF l’application deV dansR^m définie par les F_i, soitF(v) = (F₁(v), F₂(v), . . . , F_m(v))∈R^m.

Définition 2.1 Les contraintes sont régulières enu∈ Ksi lesF_i⁰(u)sont linéairement indépen- dantes. On dit alors queuest un point régulier.

On peut alors caractériser le c^one des directions admissibles : Lemme 2.1 Si les contraintes sont regulières enu∈K, alors

K(u) ={w∈V, F_i⁰(u).w = 0,1≤i≤m} (2.12)

Ici en fait le c^one est un espace vectoriel, l’orthogonal de l’espace engendré par lesF_i⁰(u). PROOF

[of the lemma] NotonsK(u) =˜ {w ∈ V, F_i⁰(u).w = 0,1 ≤ i ≤ m}. Nous allons montrer que K(u)˜ coincide avecK(u).

K(u) ⊂ K(u). Soit˜ w ∈ K(u), uk la suite associée, et nous appliquons Taylor-Lagrange à l’ordre 1 à chaqueFi:

Fi(u_k) =Fi(u) +F_i⁰(u+θ(u_k−u))·(u_k−u) Puisqueuetu_ksont dansK,Fi(u) =Fi(u_k) = 0, et nous obtenons

F_i⁰(u+θ(u_k−u))·(u_k−u) = 0 =F_i⁰(u+θ(u_k−u))· uk−u ku_k−uk.

Il suffit maintenant de passer à la limite enkpour obtenirF_i⁰(u)·w= 0et doncw∈K(u).˜ K(u)˜ ⊂K(u) . Soit w ∈ K(u), c’est-à-dire orthogonal à l’espace vectoriel engendré par les˜

F_i⁰(u). Pour toutvdansV on peut écrire v=u+λw+

m

X

i=1

αiF_i⁰(u).

Définissons les applicationsgj :R×R^m →R, etg:R×R^m →R^m, par α= (α1, . . . , αm), gj(λ, α) =Fj(v), g(λ, α) =F(v).

Nous allons appliquer à la fonctionvle théorème des fonctions implicites. D’abordg(0,0) = F(u) = 0. Ensuite

D_αg(λ, α) = ∂gj

∂α_i

1≤i,j≤m

(λ, α).

Calculons ces quantités :

∂gj

∂α_i(λ, α) =F_j⁰(v)∂v

∂α_i(λ, α) =F_j⁰(v)F_i⁰(u), v=u+λw+

m

X

i=1

α_iF_i⁰(u).

si bien que ^∂g_∂α^j

i(0,0) =F_j⁰(u)F_i⁰(u). Puisque les contraintes sont régulières, alors la matrice D_αg(0,0)est inversible. En résumé la fonctiongestC¹,g(0,0) = 0, la dérivée par rapport à la seconde varaible est inversible. Alors il existeε1etε2et une fonctionα:]−ε1, ε1[→R^m tels que pour(λ, α)∈]−ε1, ε1[×Bε2,

g(λ, α) = 0 ⇐⇒ α =α(λ), de plusα⁰(0) =−(Dαg(0,0))⁻¹D_λg(0,0).

Calculons

D_λg(0,0) = (D_λg1(0,0), . . . , D_λgm(0,0)) = (F₁⁰(u)w, . . . , F_m⁰ (u)w) = 0.

Doncα⁰(0) = 0. Soit maintenantεnune suite décroissante tendant vers 0. Pour toutλ=εn, définissons

v_n=u+ε_nw+

m

X

i=1

α_i(ε_n)F_i⁰(u).

Par construction,F(vn) =g(εn, α(εn)) = 0pournassez grand, doncv∈K. D’autre part puisqueα(0) = 0,v_n→upourn→ ∞. Pour finir

v_n−u

kv_n−uk = εnw+Pm

i=1αi(εn)F_i⁰(u) kε_nw+Pm

i=1α_i(ε_n)F_i⁰(u)k = w+Pm i=1

αi(εn) εn F_i⁰(u) kw+Pm

i=1 αi(εn)

εn F_i⁰(u)k

Pour tout i, ^αi_ε^(εn)

n →α⁰_i(0) = 0, et donc v_n−u

kv_n−uk → w kwk.

Tout ceci montre bien quew∈K(u)et le lemme est démontré.

Nous en déduisons l’existence demultiplicateurs de Lagrange:

Théorème 2.8 Siu∈K,urégulier, est minimum local pourJ, il existe m réelsp₁, .., p_mtels que J⁰(u) +

m

X

i=1

p_iF_i⁰(u) = 0. (2.13)

PROOF[of the theorem] Par le théorème 2.7, nous savons queJ⁰(u) ∈ K(u)^∗, c’est-à-dire que pour tout w dans K(u), (J⁰(u), w) > 0. Par le lemme précédent, K(u) est en fait un espace vectoriel : si w ∈ K(u), −w ∈ K(u). Donc pour tout w dans K(u),(J⁰(u), w) = 0 :J⁰(u) est dans l’othogonal de K(u) qui est lui m^eme l’orthogonal de vec(F₁⁰(u), . . . , F_m⁰ (u)). Donc

J⁰(u)∈vec(F₁⁰(u), . . . , F_m⁰ (u)).

Remarque 2.3 . SiK etJ sont convexes, alors c’est une condition nécessaire et suffisante.

Théorème 2.9 Supposons queJest convexe différentiable et les fonctionsF_isont convexes. Alors u∈K,urégulier, est minimum local pourJ, si et seulement si il existe m réelsp1, .., pmtels que

J⁰(u) +

m

X

i=1

piF_i⁰(u) = 0. (2.14)

PROOF Il ne nous reste plus qu’à prouver le seulement si : siJ⁰(u) ∈ vec(F₁⁰(u), . . . , F_m⁰ (u)), alorsuest minimum local. Puisque lesF_isont convexes, Kest convexe : sivetwsont dansK, cela signifie que pour touti,F_i(v) =F_i(w) = 0. Alors

Fi(θv+ (1−θ)w) =θFi(v) + (1_θ)Fi(w) = 0, etθv+ (1−θ)w∈K.

Remarquons comme une évidence que pour toutvdansK,w=v−u ∈K(u). Donc par le lemme 2.1,west orthogonal aux vecteursF_i⁰(u), et donc àJ⁰(u). On a donc,

∀v∈K, J⁰(u)·(v−u) = 0, Ce qui est plus fort que l’inéquation d’Euler dans le théorème 2.3.

Introduisons le lagrangien défini surV ×R^mà valeurs dansRpar L(v, q) :=J(v) +

m

X

i=1

q_iF_i(v), (2.15)

alors

D_vL(v, q) =J⁰(v) +Pm

i=1q_iF_i⁰(v)

DqL(v, q) =F(v) (2.16)

et

u∈K ⇐⇒ ∀q ∈R^m, DvL(u, q) = 0

uminimum local ⇐⇒ ∃p∈R^m, D_qL(u, p) = 0. (2.17) ps’appelle la variable duale deu.

2.3.2 Contraintes inégalités

K={v∈V, F(v)≤0} (2.18)

oùF est une fonctionC¹ deV dansR^m, ses coordonnées sontF1, .., Fm.

Définition 2.2 Pour u ∈ K, on appelle I(u) l’ensemble des contraintes actives ou saturées, i.e.F_i(u) = 0sii∈I(u),F_i(u)<0sinon. Les contraintes sont dites qualifiées enusi

∃w¯ ∈V,∀i∈I(u),(F_i⁰(u),w)¯ <0 (≤0siF_i est affine). (2.19) Remarque 2.4 SI toutes les contraintes sont affines, alorsw¯ = 0convient : les contraintes sont qualifiées en tout point.

On peut encore caractériser le c^one des directions admissibles : Lemme 2.2 Si les contraintes sont qualifiées enu∈K, alors

K(u) ={w∈V,∀i∈I(u), F_i⁰(u).w ≤0} (2.20) PROOF NotonsK(u) =˜ {w∈V,∀i∈I(u), F_i⁰(u).w ≤0}.

K(u)⊂K(u)˜ Soitw∈K(u),unune suite d’éléments deKconvergeant versu. Soiti∈I(u).

AlorsFi(u) = 0etFi(un) ≤0. Ecrivons la formule de Taylor -Young à l’ordre 1 pourFi

au voisinage deu:

F_i(u_n) =F_i(u)

| {z }

0

+F_i⁰(u)·(u_n−u) +(u_n−u)ku_n−uk ≤0

On divise maintenant parkun−uk: F_i⁰(u)· u_n−u

kun−uk+(u_n−u) ≤0 et on passe à la limite, ce qui donneF_i⁰(u)·w≤0. Doncw∈K(u).˜

K(u)˜ ⊂K(u) Soitw∈K˜(u). Nous allons montrer que pour toutδ>0,w+δw¯ ∈K(u).

∗ Siw+δw¯= 0, puisque0∈K(u), c’est vrai.

∗ Siw+δw¯6= 0, pourεnune suite décroissante tendant vers 0, posons un=u+εn(w+δw).¯

Il est clair queu_n→u. Montrons queu_n∈K.

Soiti∈I(u), doncFi(u) = 0.

o SiFiest affine, alors la formule de Taylor à l’ordre 1 est exacte Fi(un) =Fi(u) +εnF_i⁰(u)(w+δw) =¯ εnF_i⁰(u)(w+δw)¯ ≤0.

o SiFin’est pas affine,

Fi(un) =Fi(u) +εn(F_i⁰(u)(w+δw) +¯ (εn)kw+δw¯k)

IciF_i⁰(u)(w+δw)¯ <0, et donc pournassez grand le terme en facteur deεn

est≤0.

Donc pouri∈I(u),F_i(u_n)≤0pournsuffisamment grand.

Soiti 6∈I(u), alorsFi(u) < 0. Par la formule de Taylor ci-dessus,Fi(un) ≤ 0 pournsuffisamment grand.

Nous avons donc montré queun∈K pournassez grand.

Maintenant

u_n−u

kun−uk = w+δw¯ kw+δw¯k

Tous ces éléments montrent quew+δw¯∈K(u). En faisant tendreδvers 0, puisqueK(u) est fermé, nous obtenons quew∈K(u).

Le lemme de Farkas permet alors d’établir l’existence de multiplicateurs de Lagrange : Théorème 2.10 Siu ∈K, où les contraintes sont qualifiées, est minimum local pourJ, il existe m réelsp1, .., pm >0tels que

J⁰(u) +

m

X

i=1

piF_i⁰(u) = 0

m

X

i=1

piFi(u) = 0ou encoreFi(u)<0 =⇒ pi= 0.

(2.21)

PROOF D’après le théorème 2.7, pour tout vdansK,J(u) ∈ K(u)^∗. D’après le lemme de Farkas,

J⁰(u) =− X

i∈I(u)

λiF_i⁰(u), λi>0.

ce qui est équivalent à (2.21).

Remarque 2.5 . Le lagrangien est maintenant défini surV ×R^m₊, et l’on peut écrire u∈Ksolution optimale ⇒ ∃p∈R^m+,

L⁰v(u, p) =L⁰q(u, p).p= 0. (2.22) Attention, contrairement au cas des contraintes égalités, on n’a qu’une condition nécessaire. Le développement d’une condition nécéssaire et suffisante est l’objet du chapitre suivant.

Chapitre 3

Lagrangien et point selle

Sommaire

3.1 Point selle . . . . 27 3.2 Théorie de Kuhn et Tucker . . . . 29

3.1 Point selle

SoientV etM deux espaces de Hilbert,U une partie de V etP une partie deM. On définit le lagrangien comme une application deU×P dansRet on le noteL.

Exemple 3.1 au problème d’optimisation du chapitre précédent, ( u∈K,

J(u) = inf

v∈K J(v) (3.1)

nous avons associé de façon naturelle un lagrangien dans les cas suivants : K ={v, F(v)≤0}; L:K×R^m+ →R

K ={v, F(v) = 0}; L:K×R^m →R (3.2) oùF :V →R^m, et

L(v, q) =J(v) + (F(v), q) (3.3)

(.,.) désigne le produit scalaire dansR^m.

Lemme 3.1

sup

q∈P

inf

v∈U L(v, q)≤inf

v∈U

sup

q∈P L(v, q) (3.4)

Remarquons que l’on n’interdit pas les valeurs+∞et−∞. PROOF Pour tout(u, p)∈U ×P,

G(p) := inf

v∈UL(v, p) ≤ L(u, p) ≤ sup

q∈PL(u, q) :=J(u). (3.5) Oublions le terme du milieu, et écrivons,

∀u∈U,∀p∈P, G(p)≤ J(u).

ce qui implique que

∀u∈U,sup

p∈P

G(p)≤ J(u), puis que

sup

p∈P

G(p)≤ inf

u∈UJ(u),

Reportons ensuite les définitions deGetJ dans les formules pour obtenir (3.4). Attention il est très important de mettre toutes ces définitions dans le bon ordre.

Définition 3.1 (u, p)est point selle du lagrangien si

sup

q∈P L(u, q) =L(u, p) = inf

v∈U L(v, p) (3.6)

Lemme 3.2 Si(u, p)est point selle du lagrangien, alors

sup

q∈P

inf

v∈U L(v, q) =L(u, p) = inf

v∈U

sup

q∈P L(v, q) (3.7)

PROOF Il est très facile d’obtenir à partir de la définition que inf

v∈U

sup

q∈PL(v, q) ≤ L(u, p) ≤ sup

q∈P

inf

v∈UL(v, q).

Le lemme 3.1 donne

sup

q∈P

inf

v∈UL(v, q) ≤ inf

v∈U

sup

q∈PL(v, q).

ce qui prouve l’égalité.

On associe maintenant au lagrangien un problème primal et un problème dual. On définit d’une partKetJ par

K ={v∈U,sup

q∈PL(v, q)<+∞}, et pourvdansK,

J(v) = sup

q∈PL(v, q).

Le problème primal associé s’écrit :

(P)Trouveru∈Ktel queJ(u) = inf

v∈KJ(v).

On définit également K^∗ et G par K^∗ = {q ∈ P,inf

v∈UL(v, q) > −∞}, et pour q dans K^∗, G(q) = inf

v∈UL(v, q). Le problème dual associé s’écrit :

(P^∗)Trouverp∈K^∗ tel queG(p) = sup

q∈K^∗

G(q)

Théorème 3.1 (u, p)est point selle du lagrangien si et seulement siuest solution de(P),pest solution de(P^∗), etJ(u) =G(p).

PROOF

=⇒ Introduisons les fonctionsJ etGdans la définition du point selle et le lemme 3.2 L(u, p) =J(u) =G(p),

L(u, p) = sup

q∈P

G(q) = inf

v∈UJ(v)

⇐= Réécrivons (3.5)

G(p) := inf

v∈UL(v, p) ≤ L(u, p) ≤ sup

q∈PL(u, q) :=J(u).

SiG(p) =J(u), alors on a l’égalité

v∈Uinf L(v, p) = L(u, p) = sup

q∈PL(u, q), ce qui est juste la définition du point selle.

3.2 Théorie de Kuhn et Tucker

On considère maintenant le problème de minimisation convexe avec contraintes inégalité :

K ={v∈V, F(v)≤0} (3.8)

oùF est une fonction convexeC¹deV dansR^m, ses coordonnées sontF1, .., Fm. On supposeJ convexe et on définit le lagrangien surV ×R^m+ par

L(v, q) =J(v) + (F(v), q) (3.9)

On a vu au chapitre précédent une condition nécessaire de minimum local, au moyen des multiplicateurs de Lagrange. On va maintenant établir une réciproque, avec une autre définition de la qualification des contraintes.

Définition 3.2 Les contraintes sont qualifiées si

∃v¯∈V,∀i,1≤i≤m, Fi(¯v)<0(resp.≤0siFiest affine). (3.10) Si les contraintes sont qualifiées en ce sens, elles sont qualifiées en tout point au sens de la défini- tion 2.2 du chapitre 2. En effet soitu∈K.

— Siu = ¯v, Pour toute contrainte saturée,Fi(u) = 0, soitFi(¯v) = 0, et doncFi est affine.

Toutes les contraintes saturées sont affines, etw¯= 0convient.

— Siu 6= ¯v, Pour toute contrainte saturée,Fi(u) = 0, et par la caractérisation des fonctions convexes au théorème 1.5, on peut écrire

Fi(¯v)>Fi(u)

| {z }

=0

+F_i⁰(u)·(¯v−u).

— SiF_i(¯v)<0, cela implique queF_i⁰(u)·(¯v−u)<0.

— SiFi(¯v) = 0, donc siFiest affine, cela implique queF_i⁰(u)·(¯v−u)≤0.

Doncw¯ = ¯v−uconvient.

Remarque 3.1 . Si aucune desF_i n’est affine, la définition 3.2 se résume à

◦

K 6=∅. Si toutes les Fisont affines, elle signifie queK 6=∅.

Théorème 3.2 Sous les hypothèses de qualification de la définition 3.2, siuest solution de(P), il existepdansR^m+ tel que(u, p)soit point selle du lagrangien.

PROOF Si les contraintes sont qualifiées au sens de la définition 3.2, elles le sont au sens de la définition 2.2, et on peut appliquer le théorème 2.10. Il existeu∈V etp∈Pr^m₊ tel que

(F(u), p) = 0 =L⁰q(u, p)·p, J⁰(u) +

m

X

i=1

λ_iF_i⁰(u) = 0 =L⁰v(u, p).

Nous devons maintenant montrer que(u, p)est point selle du Lagrangien.

La fonction v 7→ L(v, p) est convexe sur V, appliquons lui la caractérisation par le plan tangent :

∀v∈K,L(v, p) >L(u, p) +L⁰v(u, p)

| {z }

=0

·(v−u).

et doncL(u, p) = infv∈KL(v, p).

La fonctionq7→ L(u, q)est affine surR^m+, donc

∀q∈R^m₊,L(u, q) = L(u, p) +L⁰q(u, p)·(q−p),

= L(u, p) +L⁰q(u, p)·q,

= L(u, p) + (F(u), q)

| {z }

≤0

,

et doncL(u, p) = sup_q∈R^m

+ L(u, q), ce qui est la définition du point selle.

Doncdans le cas convexe, avec l’hypothèse dequalification des contraintes de la définition 3.2, on a le schéma suivant :

usolution optimale^(Th

= ⇒















J⁰(u) +

m

X

i=1

piF_i⁰(u) = 0

m

X

i=1

p_iF_i(u) = 0

(Th 3.2)

= ⇒

= ⇒

La forme opérationnelle est la suivante.