H U P IN Maxime – 3 janvier 2010

(1)

H U P IN Maxime – 3 janvier 2010

1 RAPPELS DE CALCUL DIFFÉRENTIEL

Optimisation différentiable

Cours AO 201 – ENSTA ParisTech

Fiches–Résumé 1 Rappels de calcul différentiel

On considère ici E et F deux espaces normésmunie des normesk·kE etk·kF. On désigne par f une application définie sur une partieΩdeEà valeurs dansF. On supposera queΩest ouvert.

1.1 Dérivées directionnelle et au sens de G

^ÂTEAUX

Définition :

Dérivées directionnelle On dit que f a une dérivée directionnelle en x ∈Ω (ici Ω n’est pas forcément ouvert) dans la directionh∈Esi, pourt>0 suffisamment petit, x+th∈Ωet si la limite

f⁰(x;h) =lim

t→0t>0

1

t f(x+th)−f(x) existe.

Remarque :Pour les fonctions à valeurs dansR, il arrivera que l’on admette des dérivées directionnelles valant±∞, c’est-à-dire de prendre la limite dansR.

Définition :

Gâteaux différentiabilité On dit qu’une fonction f est GÂTEAUX-différentiableen x ∈Ω si elle admet une dérivée directionnelle en x suivant toutes les directionsh∈Eet si l’application

h∈E7−→ f⁰(x;h)∈F est linéaire continue. On note f⁰(x)cet opérateur. On a alors

∀h∈E, f⁰(x)·h= f⁰(x;h)

1.2 Dérivée au sens de F

RÉCHET

Définition :

Fréchet différentiabilité On dit que f est FRÉCHET-différentiableen x ∈Ω s’il existe un opéra- teur linéaire continu LdeEdansF tel que

khklimE→0 khkE>0

1 khkE

f(x+h)− f(x)−Lh

=0.

L’opérateur Lest appelédérivéede f enx.

Remarque :La notion de FRÉCHET-différentiabilité est plus forte que celle de GÂTEAUX-différentiabilité.

Propriété :

Si f :Ω−→F est F-différentiable en x ∈Ωavec une dérivéeL, alors f estG-différentiable en x et L= f⁰(x).

•

1

(2)

H U P IN Maxime – 3 janvier 2010

3 ANALYSE CONVEXE

2 Définition d’un problème d’optimisation

Soit X un ensemble et f une fonction définie sur X à valeur dans R. On cherche à resoudre le problème

(P_X) =

¨ inff(x) x∈X

SiX 6=;, on dit que(P_X)est réalisable. On adopte les conventions suivantes : infx∈;f(x) = +∞ sup

x∈;

f(x) =−∞.

2.1 Existence de solution

Définition : Fonction semie-continue inférieurement

Une fonction f est semi-continue inférieurement (s.c.i.) sur X si ∀x ∈ X, pour toute suite (x_k)k7−→x,

f(x)¶ lim

k→∞inf

i¾kf(x_i) Remarque :On dit aussi que f est fermée, son épigraph est fermé

epif = (x,α)

f(x)¶α .

Théorème : Weierstrass

Si f est fermée surX et siX est compact et non vide, alors(PX)a (au moins une solution.

Remarque : En dimension finie, X compact est équivalalent à X fermé borné. On peut alors (en dimension finie) remplacer l’hypothèseX compact parX fermé et lim

x∈X kxkE→∞

f(x) = +∞.

2.2 Unicité de la solution

Théorème : Unicité de la solution

SiX estconvexeet si f eststrictement-convexesurX, alorsP_X)a au plus une solution.

3 Analyse convexe

On considère dans cette sectionX un convexe inclu dansEet f :X −→R∪ {+∞}différentiable.

• •

2

(3)

H U P IN Maxime – 3 janvier 2010

3.1 Caractérisation de la convexité 3 ANALYSE CONVEXE

3.1 Caractérisation de la convexité

Théorème :

f est convexe si et seulement si Ê

∀x 6= y∈X, f(x)−f(y)¾ f⁰(x)·(y−x) Ë

∀x6= y ∈X, (f⁰(y)−f⁰(x))·(y−x)¾0 Ì ^si f est deux fois dérivable (X ouvert),

∀x∈X, ∀h∈E, f⁰⁰(x)·h²= f⁰⁰(x)·(h,h)¾0 Pour lastrict convexité, les inégalités ci-dessus sont strictes.

3.1.1 Projection sur un ensemble convexe

On appelleprojectiondex sur une partieC deE, toute solution éventuelle du problème

¨ min¹₂ y−x

2

y∈C

Propriété : Caractérisation de la projection

Soit C un convexe non vide de E. Un point x ∈ C est une projection de x ∈ E sur C si et seulement si l’une des conditions équivalentes suivantes est vérifiée :

Ê

∀y ∈C,

y−x, x−x

¾0, Ë

∀y∈C,

y−x, y−x

¾0.

3.1.2 Séparation de convexes

On suppose queEest dedimension finie, muni du produit scalaire noté〈·,·〉. La séparation des deux convexes se fait géométriquement dans Een utilisant unhyperplan affine H

H:={x ∈E/〈ξ, x〉=t},

oùξ∈Enon nul. On dit que cet hyperplanséparedeux convexesC₁etC₂ si l’on a

∀x₁∈C₁, ∀c₂∈C₂, ξ, x₁

¶t ¶ ξ, x₂

.

Théorème : Séparation stricte de convexes

On peut séparer strictement deux convexes fermés non vides disjoins C₁ et C₂ d’un espace euclidienEdans chacun des cas suivants :

Ê C₁−C₂est fermé ; Ë ^C1ouC₂est compact.

• • •

3

(4)

H U P IN Maxime – 3 janvier 2010

3.2 Cône 4 CONDITIONS D’OPTIMALITÉ

3.2 Cône

Définition : Cône

Une partieKd’un espace vectorielEest un cône si t K⊂Kavec t¾0.

Définition : Cône dual

Soient E un espace vectoriel euclidien, dont le produit scalaire est noté〈·,·〉, et Pune partie deE. On appellecône dualdeP l’ensembleP⁺ défini par

P⁺:= x ∈E

∀y ∈P, 〈x, y〉¾0 . Propriété : Cône

Ê ^P⁺est un convexe fermé non vide.

Ë Pest un convexe fermé non vide si et seulement si P⁺⁺=P.

Théorème : Lemme de Farkas

Soient E et F deux espaces euclidiens, A: E −→ F une application linéaire et K un cône convexe fermé non vide deE. On noteA^∗l’application adjointe deAetK⁺le cône dual deK.

Alors

¦y∈FÀ

A^∗y ∈K⁺©₊

={Ax/x ∈K}

4 Conditions d’optimalité

Définition : Vecteur tangent

Soient X ⊂ E et x ∈E. On dit que le vecteurd ∈E esttangent àX en x s’il existe une suite {d_k} ⊂Eet une suite{t_k} ⊂R₊₊telles que

d_k→d, t_k→0, t>0, x+t_kd_k∈X

On note T_xX l’ensemble des vecteurs tangents àX enx et on l’appelle lecône tangent.

Une définition plus pratique est de dire que d ∈ E est tangent à X en x s’il existe une suite {x_k} ⊂Eet une suite{t_k} ⊂R₊₊telles que

{x_k} ⊂X, t_k→0, t>0, x_k−x t_k →d

Propriété :

T_xX est un cône fermé.

• • • •

4

(5)

H U P IN Maxime – 3 janvier 2010

4.1 Problème sans contrainte 4 CONDITIONS D’OPTIMALITÉ

Théorème : CN1

Si x_∗est un minimum local de(PX)et si f est dérivable enx_∗, on a

∀d ∈T_xX, f⁰(x_∗)·d¾0.

Ceci s’écrit aussi

∇f(x_∗)∈(Tx_∗X)⁺

où ∇ est le gradient pour le produit scalaire de E et (·)⁺ désigne le dual pour ce même produit scalaire.

Propriété : CN1 et CS1 en présence de convexité

Supposons queX soit convexe et que f ait des dérivées directionnelles en un point x_∗∈X. Si x_∗est un minimu local de(P_x), on a

∀x ∈X, f⁰(x_∗;x−x_∗)¾0.

Inversement, si f est convexe sur le convexe X et si l’équation ci-dessus est vérifiée, alors x_∗ est un minimum globalde(PX).

4.1 Problème sans contrainte

On considère le problème sans contrainte

minx∈E f(x)

avec, iciX =Econvexe. La condition CN1 et CS1 devient alors : Propriété : Corrolaire CN1, CS1, sans contrainte

Supposons f :E−→Rsoit dérivable enx_∗∈E. Si f a un minimum local enx_∗alors f⁰(x_∗) =0 ou ∇f(x_∗) =0.

Inversement, si f est convexe et si f⁰(x_∗) =0 alorsx_∗est un minimum global de f sur E.

Propriété : CN2–CS2

Ê Supposons que x_∗ soit un minimum local de f sur E et que f soit dérivable dans un voisinage dex_∗et deux fois dérivable en x_∗. Alors

∇f(x_∗) =0 et ∇²f(x_∗)est semie-définie positive.

Ë ^Si ^f est dérivable dans un voisinage dex_∗et deux fois dérivable enx_∗et si

∇f(x_∗) =0 et ∇²f(x_∗)est définie positive, alorsx_∗est un minimum local strict de f.

• • • • •

5

(6)

H U P IN Maxime – 3 janvier 2010

4.2 Problèmes avec contraintes d’égalité 4 CONDITIONS D’OPTIMALITÉ

4.2 Problèmes avec contraintes d’égalité

On se place dans cette section dans le cas d’un problème d’optimisation dans lequel l’ensemble admissible n’est pas Etout entier mais une partie de celui-ci définie par :

X :={x ∈E/c(x) =0}.

cest une fonction deEdansF respectivement de dimensionnetm. Le problème d’optimisation est alors noté

(P_E) =

¨ minf(x) c(x) =0 , où f deEdansRen est le critère.

4.2.1 Conditions de LAGRANGE

Propriété : Conditions de Lagrange

Supposons quec:E−→F soit dérivable en x∈X. Alors T_xX ⊂ker(c⁰(x)).

Si, de plus,c⁰(x) est surjective et si c est C¹ dans un voisinage de x, alors il y a égalité des deux ensembles.

Définition : Contrainte qualifiée

On dit que la contrainte de(PE)estqualifiéeenx ∈X sicest dérivable enx et si T_xX =ker(c⁰(x)).

Propriété : CN1

Soit x_∗ une solution locale de (P_E). Supposons que f et c soient dérivables en x_∗ et que la contrainte soit qualifiée enx_∗. Alors, il existe un vecteurλ_∗∈F tel que

∇f(x_∗) +c⁰(x_∗)^∗λ_∗=0,

où∇f(x_∗)est le gradient def enx_∗etc⁰(x_∗)^∗:F−→Eest l’opérateur adjoint de la jacobienne c⁰(x_∗)pour les produits scalaires donnés surEet surF.

Le vecteur λ_∗ est unique si c⁰(x_∗) est surjective. Ce vecteur s’appelle le multiplicateur deLA-

GRANGE.

On appelle point stationnaire du problème (P_E) un point x_∗ vérifiant ses conditions nécessaires d’optimalité du premier ordre :

¨ ∇f(x_∗) +c⁰(x_∗)^∗λ_∗=0 c(x_∗) =0,

pour un certain multiplicateurλ_∗∈F. Définition : Lagrangien

On introduit lelagrangienqui est la fonction

`:E×F−→R définie par

`(x,λ) = f(x) +〈λ,c(x)〉.

• • • • • •

6

(7)

H U P IN Maxime – 3 janvier 2010

4.2 Problèmes avec contraintes d’égalité 4 CONDITIONS D’OPTIMALITÉ

Propriété : CS1

Supposons que le problème(P_E)soit convexe et quex_∗∈Evérifie la contrainte de(P_E), que f soit dérivable enx_∗et qu’il existe un multiplicateurλ_∗∈F tel que (x_∗,λ_∗)vérifie

¨ ∇x`(x_∗,λ_∗) =0 c(x_∗) =0 . Alorsx_∗est un minimum global de(PE).

4.2.2 Conditions du second ordre

Lemme :

Soitx_∗∈Eun minimum local de(P_E)et supposons que f etc soient dérivables dans un voisinage dex_∗et deux fois dérivable enx_∗. On noteL_∗=∇²_{x x}`(x_∗,λ_∗). S’il existe un multiplicateur λ_∗∈F tel que

∇x`(x_∗,λ_∗) =0, alors

∀d∈T_x

∗X,

L_∗d, d

¾0.

Propriété : CN2

Soitx_∗un minimum local de(P_E)et supposons que f etc soient dérivables dans un voisinage dex_∗ et deux fois dérivable en x_∗et que la contrainte csoit qualifiée en x_∗. Alors, ilexisteun multiplicateurλ_∗∈F tel que l’on ait

∇x`(x_∗,λ_∗) =0.

De plus L_∗est semie-définie positive sur ker(c⁰(x_∗)), c’est-à-dire

∀d∈ker(c⁰(x_∗)),

L_∗d,d

¾0.

Propriété : CS2

Supposons que f et c soient dérivables dans un voisinage de x_∗et deux fois dérivable en x_∗. Supposons quec(x_∗) =0 et qu’il existeλ_∗∈F tel que l’on ait

∇x`(x_∗,λ_∗) =0 et

∀d∈T_x

∗X\{0},

L_∗d,d

>0.

Alorsx_∗est un minimum local strict de(P_E).

• • • • • • •

7