Semaine 9, Optimisation sans contrainte

Semaine 9, Optimisation sans contrainte

Objectif :

f ∈ C (

). On s’int´ eresse aux 3 questions suivantes

Existence de x ¯ ∈

tel que f (¯ x ) ≤ f (x) pour tout x ∈

.

(On dit alors que x ∈

f .)

2.

Unicit´ e de x ¯ ∈

tel que f (¯ x) ≤ f (x) pour tout x ∈

. (Si il y a existence et unicit´ e, on dit alors que x =

f .)

Comment calculer ce point x ¯ (minimisant f ).

Plus g´ en´ eralement, on peut se poser les mˆ emes questions en

rempla¸ cant

par E , espace vectoriel norm´ e.

Point critique

On suppose que f ∈ C

(

).

Soit x ∈

. Le point x est un point critique de f si ∇f (x) = 0 Proposition

Soit x ¯ ∈

.

(f (¯ x) ≤ f (x) pour tout x ∈

) = ⇒ ∇f (¯ x) = 0.

Pour trouver un point minimisant

on peut donc commencer par chercher un point annulant

.

Noter que ∇f ∈ C (

). On est ainsi ramen´ e ` a la recherche d’un point annulant une fonction de

dans

.

Attention : La r´ eciproque est fausse !

Exemples :

(x) =

,

(x) =

D´ emonstration de la proposition

Hypoth`ese : ¯x∈Rⁿ, f(¯x)≤f(x)pour toutx ∈Rⁿ. Soity ∈Rⁿ.

Pourt ∈R, on pose ϕ(t) =f(¯x+ty), de sorte queϕ∈C¹(R,R).

L’hypoth`ese donne

ϕ(0) =f(¯x)≤ϕ(t)pour toutt∈R. On en d´eduitϕ⁰(0) = 0.

Orϕ⁰(t) =Pn

i=1∂_if(¯x+ty)y_i =∇f(¯x+ty)·y.

On a doncϕ⁰(0) =∇f(¯x)·y = 0pour touty ∈Rⁿet donc∇f(¯x) = 0.

Convexit´ e

Definition

Soit f ∈ C (

).

1.

La fonction f est convexe si

f (tx + (1 − t)y) ≤ tf (x) + (1 − t)f (y) Pour tout t ∈]0, 1[, x, y ∈

.

2.

La fonction f est strictement convexe si

f (tx + (1 − t)y)

tf (x) + (1 − t)f (y) Pour tout t ∈]0, 1[, x, y ∈

.

Figure:Fonction convexe

Premi` ere caract´ erisation de la convexit´ e

Proposition

Soit f ∈ C

(R

1.

La fonction f est convexe si et seulement si

f (y) ≥ f (x) + ∇f (x) · (y − x) Pour tout x, y ∈

.

La fonction f est strictement convexe si et seulement si

f (y)

f (x) + ∇f (x) · (y − x) Pour tout x, y ∈

, x 6= y.

La fonction f est au dessus de sa tangente.

D´ emonstration de la 1ere caract´ erisation (⇒)

On supposef convexe. Soit x,y ∈Rⁿ ett∈]0,1[. Par convexit´e f(ty+ (1−t)x)≤tf(y) + (1−t)f(x),

et donc

f(x+t(y−x))−f(x)

t ≤f(y)−f(x).

ou encore, en posant,ϕ(t) =f(x+t(y−x)), ϕ(t)−ϕ(0)

t ≤f(y)−f(x).

Quandt→0, ceci donneϕ⁰(0)≤f(y)−f(x). Enfin, ϕ⁰(t) =∇f(x+t(y−x))·(y−x)et donc

∇f(x)·(y−x)≤f(y)−f(x).

Sif est strictement convexe, la mˆeme preuve donne

f(^x+y₂ )≥f(x) +∇f(x)·^y−x₂ . Puis, on utilise ¹₂(f(x) +f(y))>f(^x+y₂ ) (x 6=y).

D´ emonstration de la 1ere caract´ erisation (⇐)

On supposef au dessus de sa tangente en tout point. Soitx,y∈Rⁿ et t∈]0,1[. On pose z =tx+ (1−t)y. Commef est au dessus de sa tangente au pointz,

f(x)≥f(z) +∇f(z)·(x−z),

f(y)≥f(z) +∇f(z)·(y−z).

On multiplie la 1er ´equation part, la seconde par(1−t)et on additionne,

tf(x) + (1−t)f(y)≥f(z)(t+ 1−t) +∇f(z)·(tx+ (1−t)y−z) =f(z).

Sif est strictement au dessus de sa tangente, les in´egalit´es sont strictes et on obtient quef est strictement convexe

Deuxi` eme caract´ erisation de la convexit´ e

Proposition

Soit f ∈ C

(R

1.

La fonction f est convexe si et seulement si H

(x) est sym´ etrique positive pour tout x ∈

(H

(x) positive signifie H

(x )y · y ≥ 0 pour tout y ∈

).

2.

La fonction f est strictement convexe si H

(x) est s.d.p pour tout x ∈

.

Attention :

strictement convexe n’implique pas

(x) s.d.p pour tout

.

Exemple : n = 1, f (x) = x

.

Lemme liminaire

f ∈C²(Rⁿ,R),x,y∈Rⁿ. On va montrer f(y) =f(x) +∇f(x)·(y−x) +

Z 1

0

Hf(x+t(y−x))(y−x)·(y−x)(1−t)dt.

En effet, pour toutt ∈R, on poseϕ(t) =f(x+t(y−x))de sorte que ϕ∈C²(R,R)et

ϕ⁰(t) =

n

X

i=1

∂_if(x+t(y−x))(y_i−x_i) =∇f(x+t(y−x))·(y−x),

ϕ⁰⁰(t) =

n

X

j=1 n

X

i=1

∂j∂if(x+t(y−x))(yi−xi)(yj−xj)

=Hf(x+t(y−x))(y−x)·(y−x).

ϕ(1)−ϕ(0) = Z 1

0

ϕ⁰(t)dt= Z 1

0

ϕ⁰⁰(t)(1−t)dt+ϕ⁰(0).

f(y)−f(x) =∇f(x)·(y−x)+

Z 1

0

Hf(x+t(y−x))(y−x)·(y−x)(1−t)dt.

D´ emonstration de la 2eme caract´ erisation (⇒)

On supposef convexe. Soit x,y ∈Rⁿ. La 1er caract´etisation donne f(y)≥f(x) +∇f(x)·(y−x),

et donc par le lemme liminaire Z 1

0

Hf(x+t(y−x))(y−x)·(y−x)(1−t)dt ≥0.

Avecy=x+εz, on obtient Z 1

0

H_f(x+tεz)z·z(1−t)dt ≥0.

Quandε→0,Hf(x+tεz)→Hf(x)(uniform´ement pourt ∈[0,1]) et

donc 1

2Hf(x)z·z ≥0.

La matriceHf(x)est donc (sym´etrique) positive.

D´ emonstration de la 2eme caract´ erisation (⇐)

On supposeH_f(x)est sym´etrique positive pour toutx∈Rⁿ. On va montrer quef est au dessus de sa tangente.

Soitx,y ∈Rⁿ. Le lemme liminaire donne f(y)−f(x) =∇f(x)·(y−x)+

Z 1

0

Hf(x+t(y−x))(y−x)·(y−x)(1−t)dt, et donc, commeH_f(x+t(y−x))est positive,

f(y)−f(x)≥ ∇f(x)·(y−x) La fonction est donc au dessus de sa tangente.

SiHf(x) est s.d.p. pour toutx, l’in´egalit´e devient stricte (pourx 6=y) et f est strictement au dessus de sa tangente, on obtient quef est

strictement convexe

Caract´ erisation de x ¯ si f est convexe

Soit f ∈ C

(

). On suppose f convexe. Soit x ¯ ∈

. Alors

(f (¯ x ) ≤ f (x)

x ∈

) ⇐⇒ ∇f (¯ x) = 0.

D´emonstration :

On a d´ej`a vu le sens (⇒). La convexit´e def est ici inutile.

Pour le sens (⇐), La convexit´e def donne

f(x)≥f(¯x) +∇f(¯x)·(x−x)¯ pour toutx∈Rⁿ, et donc, comme∇f(¯x) = 0,f(x)≥f(¯x)pour toutx∈Rⁿ.

Existence de x ¯

Theorem

f ∈ C (R

f (x) → +∞ quand kxk → +∞. Alors, il existe x ¯ tel que f (¯ x) ≤ f (x) pour tout x ∈

.

D´emonstration : Il existeR>0tel que

kxk>R =⇒ f(x)>f(0).

On poseBR ={x ∈Rⁿ,kxk ≤R}.

CommeBR est compact etf est continue, il existex¯∈BR tel que f(¯x)≤f(x)pour toutx ∈BR.

En particulier,f(¯x)≤f(0)et donc

f(¯x)≤f(x)pour toutx∈Rⁿ.

Exemple de non unicit´ef(x) =x²(x−1)²

Unicit´ e de x ¯

Theorem

f ∈ C (

). On suppose f strictement convexe. Alors, il existe au plus un point x ¯ tel que f (¯ x) ≤ f (x) pour tout x ∈

.

D´emonstration : Soientx¯ et¯¯x tels quef(¯x)≤f(x)pour toutx∈Rⁿ et f(¯x))¯ ≤f(x)pour toutx∈Rⁿ.

On a doncf(¯x) =f(¯x)¯ et si x¯6= ¯¯x, par strict convexit´e def f(x¯+ ¯x¯

2 )< 1

2(f(¯x) +f(¯x¯)) =f(¯x), ce qui est impossible. Doncx¯= ¯x.¯

Exemple de non existencef(x) =e^x

Existence et unicit´ e de x ¯

Theorem

f ∈ C (

). On suppose f (x) → +∞ quand kxk → +∞ et que f est strictement convexe. Alors, il existe un unique x ¯ ∈

tel que f (¯ x) ≤ f (x) pour tout x ∈

.

G´ en´ eralisation : Le mˆ eme th´ eor` eme est vrai si

(E

) et

est un espace de Hilbert (ou un espace de Banach r´ eflexif) Difficult´ e suppl´ ementaire pour l’existence si dim(E ) = +∞ : La boule

=

n’est plus compacte. Il faut utiliser la convexit´ e de

et le fait que

est “s´ equentiellement compacte” pour une topologie dite “faible”. Ce r´ esultat est par exemple d´ ecrit dans ce cours : https://www.i2m.univ-

amu.fr/perso/thierry.gallouet/licence.d/CDO.pdf

Exemple d’application (´ enonc´ e)

Proposition

Soit f ∈ C

(

). On suppose qu’il existe

0 tel que

(∇f (x) − ∇f (y )) · (x − y) ≥

− yk

pour tout x, y ∈

Alors f (x) → +∞ quand kxk → +∞ et f est strictement convexe.

(et donc, il existe un unique x ¯ ∈

tel que f (¯ x) ≤ f (x) pour tout

x ∈

et il est caract´ eris´ e par ∇f (¯ x) = 0.)

Exemple d’application (d´ emonstration)

Soientx,y∈Rⁿ. En posantϕ(t) =f(x+t(y−x)), f(y)−f(x) =ϕ(1)−ϕ(0) =

Z 1

0

ϕ⁰(t)dt= Z 1

0

∇f(x+t(y−x))·(y−x)dt,

et donc

f(y)−f(x)−∇f(x)·(y−x) = Z 1

0

(∇f(x+t(y−x))−∇f(x))·t(y−x)1 tdt

≥ Z 1

0

αtky−xk²dt= α

2ky−xk². Ceci montre quef est strictement convexe (1ere caract´erisation) Puis, en prenantx= 0,

f(y)≥f(0)− ∇f(0)·(y) +α 2kyk²

≥f(0)− |∇f(0)||y|+α

2kyk²→+∞quand kyk →+∞

Fonctionelle quadratique

Soient A ∈ M

(

) et b ∈

. On suppose que A est s.d.p.. On pose, pour x ∈

.

f (x ) = 1

2 Ax · x − b · x.

Un calcul simple montre que ∇f (x) = Ax − b car

(x +

(x) +

+

Comme A est s.d.p, il existe

0 tel que

(∇f (x) − ∇f (y)) · (x − y ) = A(x − y) · (x − y) ≥

− y|

Nous sommes dans le cadre de l’exemple pr´ ec´ edent. Il existe un unique x ¯ ∈

tel que f (¯ x) ≤ f (x) pour tout x ∈

et il est caract´ eris´ e par ∇f (¯ x) = 0, c’est-` a-dire

A¯ x = b

Chercher ¯

minimisant

est ´ equivalent ` a r´ esoudre

=