Optimisation et optimisation numérique Chapitre 1 : Premiers éléments d’optimisation

(1)

Optimisation et optimisation numérique Chapitre 1 : Premiers éléments d’optimisation

Lucie Le Briquer 16 janvier 2018

Table des matières

1 Introduction 2

2 Théorème de projection 2

3 Quelques structures intéressantes 3

3.1 Fonctions convexes . . . 4 3.2 Ellipcité . . . 5 3.3 Fonctions semi-continue inférieurement (s.c.i.) . . . 5

4 Conditions d’optimalité 7

(2)

1 Introduction

De manière assez simple, l’optimisation consiste à minimiserJ(u)avecu∈K⊂X oùX est un espace topologique.J:X −→R,]−∞,+∞]est appelée fonctionnelle. On s’intéresse à l’existence, l’unicité et au calcul des solutions.

On peut par exemple s’intéresser à :

• J linéaire (J(x) = Bx) surK =∩(CiX 6bi), ce qui se ramène à de la programmation linéaire.

• J quadratique :

J(x) = 1

2hAx, xi+hb, xi+c

• J convexe (SMV Support Vector Machine)

• J non linéaire Quelques références :

1. Ph. Ciailet,Introduction à l’analyse numérique matricielle et à l’optimisation

2. J.F. Bonnans, J.C. Gilbert, C. Lemaréchal et C.A. Sagistizabal,Numerical Optimization 3. J. Nocedal et S. Wright, Numerical Optimization

4. D.P. Bertseka,sNon linear programming

5. M. Nikola,Optimization, Application in image processing (cours MVA)

2 Théorème de projection

Un sous-ensembleC⊂E e.v. estconvexe si∀x, y∈C, ∀t∈[0,1]:tx+ (1−t)y∈C.

Définition 1(convexe)

×v

Cconvexe fermé

× w

×p_C(w)

SoitV un Hilbert etC unconvexe fermé deV. Alors pour toutw∈V, il existe un unique p_C(w)∈C tel que :

|w−p_C(w)|_V = inf

v∈C|w−v|_V De plus,∀v∈Con a :

hw−pC(w), v−pC(w)iV 60 Théorème 1(de projection sur les convexes fermés)

(3)

Preuve.

Égalité du parallélogramme :

2|a|²+ 2|b|²=|a−b|²+|a+b|² Soit(v_n)une suite minimisante. Soitε >0,∃n>0∀p>0:

|w−v_n+p|²6d²+ε oùd= inf_v∈C|w−v|. Par l’égalité du parallélogramme :

2|w−v_n+p|²+ 2|w−v_n|²=|v_n+p−v_n|²+ 4

w−v_n+v_n+p 2

2

Par suite :

|v_n+p−v_n|²64d²+ 4ε−4

w−v_n+v_n+p 2

| {z }

∈C

2

64d²+ 4ε−4d²= 4ε

Par suite (vn)est de Cauchy,V est complet. Si pC(w) = limvn on apC(w)∈C puisqueC est fermé et|w−pC(w)|²6d². L’unicité est laissée en exercice.

Enfin,

p_C(w) +t(v−p_C(w))∈C siv∈Cet t∈[0,1]

d’où :

|w−pC(w)|²6|w−pC(w) +t(v−pC(w))|

| {z }

γ(t)

2

Par un développement de Taylor ent= 0et γ(γ⁰(0)>0), on obtient l’inégalité.

3 Quelques structures intéressantes

Soitf:X →]− ∞,+∞],

dom(f) ={x∈X |f(x)<+∞}= (f <+∞) epi(f) ={(x, y)∈X×R| y>f(x)}

Définition 2(domaine d’épigraphe)

(4)

3.1 Fonctions convexes

Soitf:C⊂E→RoùC est un convexe etE un e.v. On dit quef estconvexe si :

∀x, y∈C, ∀t∈[0,1], f(tx+ (1−t)y)6tf(x) + (1−t)f(y) On dit quef est strictement convexe si :

∀x6=y∈C, ∀t∈]0,1[, f(tx+ (1−t)y)< tf(x) + (1−t)f(y) Définition 3(fonction convexe et strictement convexe)

Exemple.Sif(x) = ¹₂hAx, xiavecAsymétrique positive,f est convexe. SiAest définie positive, f est strictement convexe. (à faire en exercice)

Remarque.Si f: C→Rest convexe, on peut considérerf˜:E→]− ∞,+∞]définie par : f˜(x) =

ß f(x) six∈C +∞ sinon

dom( ˜f) =Cetf˜est convexe au sens étendu (conventiona+ (+∞) = +∞sia∈]− ∞,+∞]).

f:U ⊂E→R,U ouvert, et dérivable en tout point d’un convexeC. Alors : f est convexe ⇔ f(y)>f(x) +f⁰(x)(y−x)∀x, y∈C f est strictement convexe ⇔ f(y)> f(x) +f⁰(x)(y−x)∀x6=y∈C Propriété 1(condition de convexité)

−2 −1 1 2 3

5 10 15

Preuve.Voir TD

Exercice. SoitEun e.v.

1. Vérifier que f:E →]− ∞,+∞] est convexe ssi epi(f) est convexe (en particulier dom(f) est convexe).

2. Si(f)_i∈I est une famille de fonctions convexes alorssup f est convexe.

(5)

3.2 Ellipcité

Une fonctionf:V →RoùV est un Hilbert est dite elliptique sif estC¹et s’il existeα >0 tel que∀x, y∈V on a :

h∇f(y)

| {z }

∈V

− ∇f(x), y−xiV >α|x−y|²_V Définition 4(fonction elliptique)

Notation. h∇f(x), hi=f⁰(x)h=df(x)h.df(x) =f⁰(x)∈ L(V,R) =V⁰ le dual topologique.

Sif estC² alorsf est elliptique ssi f⁰⁰(x)(v, v)>α|v|²_V Propriété 2(CNS d’ellipticité au 2eme ordre)

Notation. f⁰⁰(x) =d²f(x)∈ L(V,L(V,R))≡ L(V ⊗V,R) Preuve.

γ(t) =f(x+tv), x, v∈V

γ⁰(t)−γ⁰(0) =df(x+tv)v−df(x)v

= (f⁰(x+tv

| {z }

y

)−f⁰(x))v t(γ⁰(t)−γ⁰(0)) =h∇f(y)− ∇f(x), x−y

| {z }

tv

i

>αt²|v|²_V d’où

γ⁰(t)−γ⁰(0)

t >α|v|²_V Puis passage à la limitet→0,t6= 0. Autre sens en exercice.

3.3 Fonctions semi-continue inférieurement (s.c.i.)

On dit quef:E →]− ∞,+∞] est s.c.i. enx∈E si ∀ε >0, ∃U (x∈U) tel que infUf >

f(x)−ε.

Définition 5

Soitf:E→]− ∞,+∞]. Sont équivalents : 1. f est s.c.i.

2. ∀λ∈R, (f 6λ)est fermé.

3. epi(f)est fermé.

Propriété 3

(6)

Si(fi)i∈I est une famille de fonctions s.c.i. deE→]− ∞,+∞],sup_Ifi est s.c.i.

Corollaire 1

Preuve.

epi(sup

I

fi) =\

i∈I

epi(fi)

| {z }

fermé

Sif:E→]− ∞,+∞]est s.c.i. alors dom(f)est fermé.

Propriété 4

Preuve.En exercice.

Sif:E→]− ∞,+∞]est s.c.i. etK⊂Ecompacte, alors l’infimimum def surKest atteint i.e.∃xK ∈K tel quef(x_K) = inf_Kf.

Théorème 2

Preuve.

Soit(xn)n>0une suite minimisante, on en extrait une sous-suite convergente(xn_k)k>0. SixK = limk→+∞xn_k∈K alorsf(xK)6limf(xn_k) = infKf etinfKf 6f(xK).

Remarque.Marge de progression utile en dimension infinie.

Soitf: V →]− ∞,+∞]avec V un Hilbert. Alors f est convexe s.c.i. ssi f est l’enveloppe supérieure de ses minorantes affines, i.e. :

f(x) = sup

(l,a)∈V⁰×R, l+a6f

l(x) +a Théorème 3

Contre-exemple.

−1 −0.5 0.5 1

2 4 6

et+∞en dehors de[−1,1]. Cette fonction n’est pas s.c.i., on ne peut pas l’approcher par des droites aux points−1et 1.

(7)

Preuve.

Si epi(f) = ∅ i.e. f = +∞ : ok. Sinon, soit x∈ dom(f) alors ∀λ < f(x), (x, λ) ∈/ epi(f). Or epi(f)est un convexe fermé (f est convexe et s.c.i) d’où (projection sur les convexes fermés) il existe(l, a)∈V⁰×Rtel que ∀y∈dom(f):

l(x) +aλ < l(y) +af(y)

Or poury=x, on a aλ < af(x), d’où a >0. Par suite, quitte à diviser para, on peut supposer quea= 1, ainsi :

l(x) +λ < l(y) +f(y)i.e.f(y)> l(x−y) +λ Vrai poury∈dom(f)mais aussi poury /∈dom(f).

f >−l+l(x) +λ

| {z }

=λenx

Commeλest arbitraire, on a le résultat pour x∈dom(f).

Si x /∈ dom(f), alors comme dom(f) est un convexe fermé, on note x_C =p_C(x)et λ < f(x_C).

(xC, λ)∩epi(f) =∅. D’où il existe(l, a)∈V⁰×Rtel que :

l(xC) +aλ < l(y) +af(y)∀y∈dom(f) De même en prenanty=xC on aa >0et donc on se ramène à :

l(xC) +λ < l(y) +f(y)∀y∈V De plus commehx−xC, y−xCi60∀y∈dom(f) =C, on a

gt(y) =l(xC−y) +λ+thx−xC, y−xCi

| {z }

60

qui est une minorante affine affine def. Donc :

gt(x) =l(xC−x) +λ+t|x−xC|²−−−−→

t→+∞ +∞

4 Conditions d’optimalité

J:X −→R,X espace topologique.

• x∈X est un minimum local deJ si∃V un voisinage deX tel que J(x) = inf_V J

• x∈X est un minimum local strict deJ si∃V un voisinage deX tel que : J(x)< J(y)∀y∈V\{x}

• x∈X est un minimum local deJ par rapport àU ⊂X si∃V un voisinage deX tel queJ(x) = infV∩UJ

Définition 6(minimum local)

SoitU un ouvert de E e.v. etJ: U −→Rune fonction. Siu∈U est un minimum local de J et J dérivable en ualorsJ⁰(u) = 0.

Théorème 4(équation d’Euler)

(8)

Preuve.Immédiat en considérantγ(t) =J(u+tv)avecv∈E.γ⁰(0) =J⁰(u)v= 0∀v∈E.

Si de plusJ est deux fois dérivable enualorsJ⁰⁰(u)(v, v)>0∀v∈E.

Théorème 5(CN2)

Preuve.Idem.

J:U −→RavecU ouvert deE e.v.n. On suppose queJ est dérivable enuet J⁰(u) = 0.

1. SiJ⁰⁰(x) existe et il existeα > 0 tel que J⁰⁰(x)(u, u)> α|v|² ∀v ∈ E alorsx est un minimum local strict.

2. S’il existeBun ouvert contenantxtel que∀y∈B J⁰⁰(y)existe etJ⁰⁰(y)(v, v)>0∀v∈ E alorsxest un minimum local deJ.

Théorème 6(CS2)

Preuve.cf. TD

SoitJ:C−→RavecC un convexe deE et soit :

S={x∈C |J(x) = infJ}

l’ensemble des minima globaux surC. On suppose qu’il existex_∗∈Cminimum local.

1. SiJ est convexe alorsS est convexe etx_∗∈S (i.e. un minimum local est global).

2. SiJ est strictement convexe, alors S={x_∗}.

Théorème 7

Preuve.cf. TD