1 D´ eriv´ ee seconde et convexit´ e

(1)

Plan Dérivée seconde et convexité Existence de solution Condition nécessaire, condition suffisante Algorithmes

Cours 4: Existence de solution Condition n´ ecessaire, condition suffisante

Algorithmes

Joseph Gergaud

3 janvier 2006

(2)

1 D´ eriv´ ee seconde et convexit´ e

2 Existence de solution

Probl` eme avec contraintes Probl` eme sans contraintes

3 Condition n´ ecessaire, condition suffisante Condition n´ ecessaire

Probl` eme convexe

4 Algorithmes

algorithme de Newton

Probl` eme de datation du Carbone 14

Algorithme de Gauss-Newton

(3)

D´ eriv´ ee seconde et convexit´ e: th´ eor` eme

D´ efinition (Forme quadratique d´ efinie positive)

La forme quadratique q(x) = (Ax /x) est semi-d´ efinie positive si et seulement si:

∀x ∈ R ⁿ q(x) ≥ 0

La forme quadratique q(x) = (Ax /x) est d´ efinie positive si et seulement si elle est semi-d´ efinie positive et:

∀x ∈ R ⁿ x 6= ~ 0 ⇒ q (x) > 0 Th´ eor` eme

La forme quadratique q(x) = (Ax /x), o` u A est sym´ etrique est

semi-positive (resp. d´ efinie positive), si et seulement si toutes ses

valeurs propres sont positives ou nulles (resp. strictement positive).

(4)

D´ eriv´ ee seconde et convexit´ e: exemple

Th´ eor` eme

Soit f une fonctionnelle deux fois d´ erivable sur R ⁿ . f est convexe si et seulement si ∇ ² f (x) est semi-d´ efinie positive pour tout x . Exemple

Prenons le cas du probl` eme aux moindres carr´ ees lin´ eaire. Alors

∇ ² f (β) = ^t XX . Posons A = ^t XX . A est alors sym´ etrique. La forme quadratique q(β) = (Aβ/β) est alors ´ egale a

q(β) = (X β/X β) = kX βk ² ≥ 0.

Par suite f (β) = ¹ ₂ ||y − X β|| ² est convexe.

(5)

Probl`eme avec contraintes Probl`eme sans contraintes

Existence: probl` eme avec contraintes

Th´ eor` eme

Soit (P ) un probl` eme d’optimisation avec contraintes C ⊂ R ⁿ . Si

la fonctionnelle f est continue et C est un compact (i.e. un ferm´ e

born´ e), alors le probl` eme (P ) admet une solution.

(6)

Exemples

(P)

Min f (x) x ∈ [0,1]

o` u f est la fonction suivante:

f : [0,1] −→ R 0 7−→ 1

x 7−→ x

⁰ ^0.2 ^0.4 ^0.6 ^0.8 ¹

0 0.2 0.4 0.6 0.8 1

(7)

Exemples

Exemple

(P)

Min f (x) = ¹ _x x ∈ [1,5]

f est continue;

[1,5] est un ferm´ e et born´ e, donc un compact de R.

Par suite ce probl` eme admet une solution.

Exemple

(P)

Min f (x) = ¹ _x x ∈]1,5]

Ce probl` eme a une solution, mais les hypoth` ese du th´ eor` eme ne

sont pas v´ erifi´ ees.

(8)

Exemples

Exemple

Consid´ erons le probl` eme suivant:

(P)

Min f (x) = ¹ _x x ∈ [1,5[

Ce probl` eme n’admet pas de solution, C = [1,5[ n’est pas ferm´ e.

(9)

Existence: probl` eme sans contraintes

Th´ eor` eme

Soit (P ) un probl` eme d’optimisation sans contraine. Si f , continue, poss` ede la propri´ et´ e suivante

f (x ) −→ +∞ quand kxk −→ +∞ (1)

Alors le probl` eme admet une solution

(10)

Condition n´ecessaire Probl`eme convexe

Minimum local

D´ efinition (Optimum global, optimum local)

Soit (P ) un probl` eme d’optimisation sans contraintes.

1

x ^∗ est un minimum global ⇐⇒ x ^∗ est la solution de (P )

2

x ^∗ est un minimum local ⇐⇒ il existe ε > 0 tel que x ^∗ est la solution de (P ⁰ ) o` u

(P ⁰ )

Min f (x)

kx − x ^∗ k < ε

(11)

Minimum local

Dans le cas o` u n = 1 kx − x ^∗ k devient |x − x ^∗ | et par suite nous avons

kx − x ^∗ k < ε ⇐⇒ |x − x ^∗ | < ε ⇐⇒ x ^∗ − ε < x < x ^∗ + ε .

x2−eps x2 x2+eps x1

−6

−5

−4

−3

−2

−1 0

Fig. : x

²

est un minimum local, x

¹

est un minimum global

(12)

Remarques

Remarque

On dit que x ^∗ est un minimum alors que c’est f (x ^∗ ) qui est un minimum. Il s’agit d’un abus de langage que nous emploierons syst´ ematiquement.

Un probl` eme de maximisation se ram` ene tr` es facilement ` a un probl` eme de minimisation:

Max f (x ) ⇐⇒ Min(−f (x))

(13)

Condition n´ ecessaire du 1er ordre

Th´ eor` eme (Condition n´ ecessaire du premier ordre)

Soit f : IR ⁿ −→ IR d´ erivable. Si x est est un minimum local du ¯ probl` eme d’optimisation suivant:

(P )

Minf (x) x ∈ R ⁿ alors x v´ ¯ erifie l’´ equation d’Euler f ⁰ (x) = 0.

Remarque

f ⁰ (x) = 0 dans le th´ eor` eme pr´ ec´ edent est un syst` eme d’´ equations ` a

n inconnues et ` a n ´ equations.

(14)

Condition du deuxi` eme ordre

Th´ eor` eme (Condition n´ ecessaire du deuxi` eme ordre)

On suppose f deux fois d´ erivables en ¯ x . Si x est un minimum local ¯ alors f ⁰ (¯ x) = 0 et f ⁰⁰ (¯ x) est semi-d´ efinie positive.

Th´ eor` eme (Condition suffisante du deuxi` eme ordre)

Si f ⁰ (¯ x) = 0 et si f ⁰⁰ (¯ x) est d´ efinie positive alors ¯ x est un minimum

local.

(15)

Probl` eme convexe

On rappelle qu’un probl` eme d’optimisation sans contraintes est convexe si et seulement si la fonctionnelle f est convexe.

Th´ eor` eme

Soit (P ) un probl` eme d’optimisation convexe. x ^∗ est un minimum global si et seulement si x ^∗ est un minimum local.

Th´ eor` eme

Soit (P ) un probl` eme d’optimisation convexe o` u f est d´ erivable en x ^∗ . x ^∗ est un minimum global si et seulement si

∇f (x ^∗ ) = 0

(16)

Probl` eme aux moindres carr´ es lin´ eaires

Consid´ erons le probl` eme aux moindres carr´ es lin´ eaires (P )

Min f (β) = ¹ ₂ ||y − X β|| ² β ∈ R ^p

Nous avons

∇f (β) = ^t XX β − ^t Xy et ∇ ² f (β) = ^t XX

Par suite f est convexe (∇ ² f (β) est semi-d´ efinie positive pour tout β). Donc r´ esoudre (P ) est ´ equivalent ` a r´ esoudre le syst` eme lin´ eaire

t t

(17)

algorithme de Newton

Probl`eme de datation du Carbone 14 Algorithme de Gauss-Newton Mod`ele de Kaplan

Newton

−1 −0.5 0 0.5 1 1.5 2

−1 0 1 2 3 4 0 2 4 6 8 10 12 14

x₁ x₂

f(x)

−1 −0.5 0 0.5 1 1.5 2

−1

−0.5 0 0.5 1 1.5 2 2.5 3 3.5 4

x₁ x2

Fig. : f (x ) = 0.5((x

₁²

− x

₂

)

²

+ (1 − x

₁

)

²

)

(18)

Algorithme de Newton

−1 −0.5 0 0.5 1 1.5 2

−1

−0.5 0 0.5 1 1.5 2 2.5 3 3.5 4

x₁ x2

o point de départ o

−(∇ ²f(x⁰))⁻¹∇ f(x⁰)

o

o o

o oo

(19)

Donn´ ees et mod` ele

0 1000 2000 3000 4000 5000 6000 7000

0 2 4 6 8 10 12 14 16

Mod` ele

A(t) = A 0 e ^−λt

(20)

Fonction ` a minimiser

8 10 12 14 16 18 20

0 1 2 3 4

x 10⁻⁴ 0 50 100 150 200 250 300

A₀ λ

f(A0,λ

Min f (β) = ¹ ||r (β)|| ² = ¹ P n

(A − A e ^−λt ) ²

(21)

It´ eration 1

0 1000 2000 3000 4000 5000 6000 7000

0 2 4 6 8 10 12 14 16

9 10 11 12 13 14 15 16 17 18 19 20

0 1 2 x 10⁻⁴

A0

λ

o point de départ

Fig. : Algorithme de Newton pour le carbone 14 β

⁰

= (10,0.0001)

(22)

It´ eration 2

0 1000 2000 3000 4000 5000 6000 7000

0 2 4 6 8 10 12 14 16

9 10 11 12 13 14 15 16 17 18 19 20

0 1 2 x 10⁻⁴

A0

λ

o point de départ

o

Fig. : Algorithme de Newton pour le carbone 14 β

⁰

= (10,0.0001)

(23)

It´ eration 3

0 1000 2000 3000 4000 5000 6000 7000

0 2 4 6 8 10 12 14 16

9 10 11 12 13 14 15 16 17 18 19 20

0 1 2 x 10⁻⁴

A0

λ

o point de départ

o

Fig. : Algorithme de Newton pour le carbone 14 β

⁰

= (10,0.0001)

(24)

It´ eration 4

0 1000 2000 3000 4000 5000 6000 7000

0 2 4 6 8 10 12 14 16

9 10 11 12 13 14 15 16 17 18 19 20

0 1 2 x 10⁻⁴

A0

λ

o point de départ

o o o

Fig. : Algorithme de Newton pour le carbone 14 β

⁰

= (10,0.0001)

(25)

It´ erations

0 1000 2000 3000 4000 5000 6000 7000

0 2 4 6 8 10 12 14 16

Fig. : Algorithme de Newton pour le carbone 14 β

⁰

= (10,0.0005)

(26)

It´ eration 1

0 1000 2000 3000 4000 5000 6000 7000

0 2 4 6 8 10 12 14 16

9 10 11 12 13 14 15 16 17 18 19 20

0 1 2

x 10⁻⁴

A₀

λ

o point de départ o

Fig. : Algorithme de Gauss-Newton pour le carbone 14 β

⁰

= (10,0.0001)

(27)

It´ eration 2

0 1000 2000 3000 4000 5000 6000 7000

0 2 4 6 8 10 12 14 16

9 10 11 12 13 14 15 16 17 18 19 20

0 1 2

x 10⁻⁴

A₀

λ

o point de départ oo

Fig. : Algorithme de Gauss-Newton pour le carbone 14 β

⁰

= (10,0.0001)

(28)

It´ eration 3

0 1000 2000 3000 4000 5000 6000 7000

0 2 4 6 8 10 12 14 16

9 10 11 12 13 14 15 16 17 18 19 20

0 1 2

x 10⁻⁴

A₀

λ

o point de départ ooo

Fig. : Algorithme de Gauss-Newton pour le carbone 14 β

⁰

= (10,0.0001)

(29)

It´ eration 4

0 1000 2000 3000 4000 5000 6000 7000

0 2 4 6 8 10 12 14 16

9 10 11 12 13 14 15 16 17 18 19 20

0 1 2

x 10⁻⁴

A₀

λ

o point de départ oooo

Fig. : Algorithme de Gauss-Newton pour le carbone 14 β

⁰

= (10,0.0001)

(30)

Mod` ele ` a compartiments

Sang y 1 (t) Organe y 2 (t )

-

?

k 1

k ₃

k ₂

(31)

Donn´ ees

Les concentrations dans le sang sont mesur´ ees ` a diff´ erents instants:

t _i y _i1 t _i y _i1

0.25 215.6 3.00 101.2

0.50 189.2 4.00 88.0

0.75 176.0 6.00 61.6

1.00 162.8 12.00 22.0

1.50 138.6 24.00 4.4

2.00 121.0 48.00 0.0

(32)

Mod` ele Math´ ematique

Le syst` eme d’´ equations diff´ erentielles d´ ecrivant le mod` ele est le suivant:

(EDO)



 

 

 

  dy ₁

dt = ˙ y 1 (t) = −(k ₁ + k 2 )y 1 (t) + k 3 y 2 (t ) dy ₂

dt = ˙ y ₂ (t) = k ₁ y ₁ (t) − k ₃ y ₂ (t) y 1 (0) = c 0

y 2 (0) = 0

(33)

Probl` eme aux moindres carr´ ees

0 5 10 15 20 25 30 35 40 45 50

0 50 100 150 200 250

t y1(t)

← r₁

← r₂

← r₃

← r₄

← r← r← r56← r78← r9

← r₁₀ ← r11 ← r12

0 5 10 15 20 25 30 35 40 45 50

0 20 40 60 80

t y2(t)

Fig. : Donn´ ees, courbe pour β = (0.5,0.55,0.5,240) et r´ esidus

(P )

Min f (β) = ¹ ₂ P n

i=1 (y _i1 − y ₁ (t _i ; β )) ² = ¹ ₂ ||r (β)|| ²

β = ^t (c 0 ,k 1 ,k 2 ,k 3 ) ∈ R ⁴

(34)

Solution

0 5 10 15 20 25 30 35 40 45 50

0 50 100 150 200 250

t y1(t)

← r₁

← r2

← r← r3₄

← r₅

← r← r6← r7₈

← r9

← r10 ← r11 ← r₁₂

0 5 10 15 20 25 30 35 40 45 50

0 20 40 60 80

t y2(t)

1 D´ eriv´ ee seconde et convexit´ e

Cours 4: Existence de solution Condition n´ ecessaire, condition suffisante

Algorithmes

Joseph Gergaud

3 janvier 2006

1 D´ eriv´ ee seconde et convexit´ e

2 Existence de solution

Probl` eme avec contraintes Probl` eme sans contraintes

3 Condition n´ ecessaire, condition suffisante Condition n´ ecessaire

Probl` eme convexe

4 Algorithmes

algorithme de Newton

Probl` eme de datation du Carbone 14

Algorithme de Gauss-Newton

D´ eriv´ ee seconde et convexit´ e: th´ eor` eme

D´ efinition (Forme quadratique d´ efinie positive)

La forme quadratique q(x) = (Ax /x) est semi-d´ efinie positive si et seulement si:

∀x ∈ R n q(x) ≥ 0

La forme quadratique q(x) = (Ax /x) est d´ efinie positive si et seulement si elle est semi-d´ efinie positive et:

∀x ∈ R n x 6= ~ 0 ⇒ q (x) > 0 Th´ eor` eme

La forme quadratique q(x) = (Ax /x), o` u A est sym´ etrique est

semi-positive (resp. d´ efinie positive), si et seulement si toutes ses

valeurs propres sont positives ou nulles (resp. strictement positive).

D´ eriv´ ee seconde et convexit´ e: exemple

Th´ eor` eme

Soit f une fonctionnelle deux fois d´ erivable sur R n . f est convexe si et seulement si ∇ 2 f (x) est semi-d´ efinie positive pour tout x . Exemple

Prenons le cas du probl` eme aux moindres carr´ ees lin´ eaire. Alors

∇ 2 f (β) = t XX . Posons A = t XX . A est alors sym´ etrique. La forme quadratique q(β) = (Aβ/β) est alors ´ egale a

q(β) = (X β/X β) = kX βk 2 ≥ 0.

Par suite f (β) = 1 2 ||y − X β|| 2 est convexe.

Existence: probl` eme avec contraintes

Th´ eor` eme

Soit (P ) un probl` eme d’optimisation avec contraintes C ⊂ R n . Si

la fonctionnelle f est continue et C est un compact (i.e. un ferm´ e

born´ e), alors le probl` eme (P ) admet une solution.

Exemples

(P)

Min f (x) x ∈ [0,1]

o` u f est la fonction suivante:

f : [0,1] −→ R 0 7−→ 1

x 7−→ x

Exemples

Exemple

(P)

Min f (x) = 1 x x ∈ [1,5]

f est continue;

[1,5] est un ferm´ e et born´ e, donc un compact de R.

Par suite ce probl` eme admet une solution.

Exemple

(P)

Min f (x) = 1 x x ∈]1,5]

Ce probl` eme a une solution, mais les hypoth` ese du th´ eor` eme ne

sont pas v´ erifi´ ees.

Exemples

Exemple

Consid´ erons le probl` eme suivant:

(P)

Min f (x) = 1 x x ∈ [1,5[

Ce probl` eme n’admet pas de solution, C = [1,5[ n’est pas ferm´ e.

Existence: probl` eme sans contraintes

Th´ eor` eme

Soit (P ) un probl` eme d’optimisation sans contraine. Si f , continue, poss` ede la propri´ et´ e suivante

f (x ) −→ +∞ quand kxk −→ +∞ (1)

Alors le probl` eme admet une solution

Minimum local

D´ efinition (Optimum global, optimum local)

Soit (P ) un probl` eme d’optimisation sans contraintes.

x ∗ est un minimum global ⇐⇒ x ∗ est la solution de (P )

x ∗ est un minimum local ⇐⇒ il existe ε > 0 tel que x ∗ est la solution de (P 0 ) o` u

(P 0 )

Min f (x)

kx − x ∗ k < ε

Minimum local

Dans le cas o` u n = 1 kx − x ∗ k devient |x − x ∗ | et par suite nous avons

kx − x ∗ k < ε ⇐⇒ |x − x ∗ | < ε ⇐⇒ x ∗ − ε < x < x ∗ + ε .

Fig. : x

est un minimum local, x

est un minimum global

Remarques

Remarque

∀x ∈ R ⁿ q(x) ≥ 0

∀x ∈ R ⁿ x 6= ~ 0 ⇒ q (x) > 0 Th´ eor` eme

Soit f une fonctionnelle deux fois d´ erivable sur R ⁿ . f est convexe si et seulement si ∇ ² f (x) est semi-d´ efinie positive pour tout x . Exemple

∇ ² f (β) = ^t XX . Posons A = ^t XX . A est alors sym´ etrique. La forme quadratique q(β) = (Aβ/β) est alors ´ egale a

q(β) = (X β/X β) = kX βk ² ≥ 0.

Par suite f (β) = ¹ ₂ ||y − X β|| ² est convexe.

Soit (P ) un probl` eme d’optimisation avec contraintes C ⊂ R ⁿ . Si

Min f (x) = ¹ _x x ∈ [1,5]

Min f (x) = ¹ _x x ∈]1,5]

Min f (x) = ¹ _x x ∈ [1,5[

x ^∗ est un minimum global ⇐⇒ x ^∗ est la solution de (P )

x ^∗ est un minimum local ⇐⇒ il existe ε > 0 tel que x ^∗ est la solution de (P ⁰ ) o` u

(P ⁰ )

kx − x ^∗ k < ε

Dans le cas o` u n = 1 kx − x ^∗ k devient |x − x ^∗ | et par suite nous avons

kx − x ^∗ k < ε ⇐⇒ |x − x ^∗ | < ε ⇐⇒ x ^∗ − ε < x < x ^∗ + ε .

On dit que x ^∗ est un minimum alors que c’est f (x ^∗ ) qui est un minimum. Il s’agit d’un abus de langage que nous emploierons syst´ ematiquement.

Soit f : IR ⁿ −→ IR d´ erivable. Si x est est un minimum local du ¯ probl` eme d’optimisation suivant:

Minf (x) x ∈ R ⁿ alors x v´ ¯ erifie l’´ equation d’Euler f ⁰ (x) = 0.

f ⁰ (x) = 0 dans le th´ eor` eme pr´ ec´ edent est un syst` eme d’´ equations ` a

On suppose f deux fois d´ erivables en ¯ x . Si x est un minimum local ¯ alors f ⁰ (¯ x) = 0 et f ⁰⁰ (¯ x) est semi-d´ efinie positive.

Si f ⁰ (¯ x) = 0 et si f ⁰⁰ (¯ x) est d´ efinie positive alors ¯ x est un minimum

Soit (P ) un probl` eme d’optimisation convexe. x ^∗ est un minimum global si et seulement si x ^∗ est un minimum local.

Soit (P ) un probl` eme d’optimisation convexe o` u f est d´ erivable en x ^∗ . x ^∗ est un minimum global si et seulement si

∇f (x ^∗ ) = 0

Min f (β) = ¹ ₂ ||y − X β|| ² β ∈ R ^p

∇f (β) = ^t XX β − ^t Xy et ∇ ² f (β) = ^t XX

Par suite f est convexe (∇ ² f (β) est semi-d´ efinie positive pour tout β). Donc r´ esoudre (P ) est ´ equivalent ` a r´ esoudre le syst` eme lin´ eaire

A(t) = A 0 e ^−λt

Min f (β) = ¹ ||r (β)|| ² = ¹ P n

(A − A e ^−λt ) ²