Newton locale

Méthode de Newton locale pour l’optimisation

Michel Bierlaire

[email protected]

EPFL - Laboratoire Transport et Mobilit ´e - ENAC

Newton locale

• Conditions nécessaires d’optimalité

∇f(x) = 0

• Il s’agit d’un système d’équations non linéaires

• Appliquons la méthode de Newton

• Rappel : pour résoudre F(x) = 0, F : R^{n →} Rⁿ, 1. Résoudre ∇F(x^k)d^k+1 = −F(x^k)

2. Définir xk+1 = xk + dk+1.

Algorithme : Newton locale

Objectif

Trouver une approximation de la solution du système

∇f(x) = 0.

Input

• Le gradient de la fonction ∇f : R^{n →} Rⁿ;

• Le hessien de la fonction ∇²f : R^{n →} R^n×n;

• Une première approximation de la solution x0 ∈ Rⁿ;

• La précision demandée ε ∈ R, ε > 0.

Algorithme : Newton locale

Output

Une approximation de la solution x^∗ ∈ Rⁿ

Initialisation

k = 0

Algorithme : Newton locale

It ´erations

1. Calculer dk+1 solution de ∇²f(xk)dk+1 = −∇f(xk), 2. xk+1 = xk + dk+1,

3. k = k + 1.

Crit `ere d’arr ˆet

Si k∇f(x^k)k ≤ ε, alors x^∗ = x^k.

Newton locale

Mêmes propriétés que pour les équations

1. convergence q-quadratique dans les conditions favorables

2. divergence possible si le point de départ est trop éloigné de la solution,

3. méthode non définie si ∇²f(x^k) n’est pas inversible.

Inconvénient supplémentaire :

incapacité à distinguer minimum, maximum et point de selle

Newton locale

minf(x1, x2) = 1

2x²₁ + x1 cosx2,

-1 -1.5 0 -0.5

1 0.5

1.5 ^x1

-6 -4

-2 0

2 4

6 x2

-10123

Newton locale

minf(x1, x2) = 1

2x²₁ + x1 cosx2,

-1.5 -1 -0.5 0 0.5 1 1.5

-6 -4 -2 0 2 4 6

x^∗−2

x^∗−1

x^∗0

x^∗1 x^∗2

¯ x⁰

¯ x¹

¯ x⁻¹

¯ x⁻² x1

x2

Point de départ x0 = (1 1)^T. Convergence rapide.

Newton locale

Solution:

x^∗ = 0

π 2

!

∇f(x^∗) = 0 0

!

∇²f(x^∗) = 1 −1

−1 0

!

-2 -1.5 -1 -0.5 0 0.5 1 1.5 2 -6 -4 -2 0 2 4 6

x0

x^∗

x1

x2

Newton locale

Solution:

x^∗ = 0

π 2

!

∇f(x^∗) = 0 0

!

∇²f(x^∗) = 1 −1

−1 0

!

-0.4 -0.2 0 0.2 0.4 0.6 0.8 1

1 1.2 1.4 1.6 1.8 2

x0

x^∗

x1

x2

Newton locale

• Méthode rapide mais peu fiable

• Interprétation géométrique

• Equations : modèle linéaire à chaque itération

• Optimisation : modèle quadratique

Newton locale

Modèle quadratique d’une fonction

Soit f : R^{n →} R une fonction deux fois différentiable. Le modèle quadra- tique de f en b^x est une fonction m_bx : R^{n →} R définie par

m_bx(x) = f(^xb^{) + (x −} b^x)T∇f(xb^{) + 1}₂^{(x − x}b^)T∇2f(xb^{)(x − x}b^),

où ∇f(b^x) est le gradient de f ^{en x}b ^{et ∇2f(x)}b est la matrice hessienne de

f en ^xb. En posant d = x − b^x, on obtient la formulation équivalente:

m_bx(b^{x + d) = f(x}b^{) + dT∇f(x}b^{) + 1}₂^dT∇2f(xb^)d.

Newton locale

minx m_bx(x) = f(^xb^{) + (x −} b^x)T∇f(xb^{) + 1}₂^{(x − x}b^)T∇2f(xb^{)(x − x}b⁾

Condition suffisante d’optimalité (premier ordre)

∇mx_b(^xb^{+ d) = ∇f(x}b^{) + ∇2f(x}b^{)d = 0} c’est-à-dire

d = −∇²f(b^x)−1∇f(xb^), ou encore

x = ^xb ^{− ∇2f(x}b^)−1∇f(b^x),

Newton locale

Condition suffisante d’optimalité (second ordre)

∇²f(^xb⁾ définie positive

Lorsque la matrice hessienne de la fonction est définie positive en x^k, une itération de la méthode de Newton locale revient à

minimiser le modèle quadratique de la fonction en x^k, et ainsi définir

x^k+1 = argminx∈Rⁿ m^x_k(x).

Algorithme : Modèle quadratique

Objectif

Trouver une approximation de la solution du système

∇f(x) = 0. ⁽¹⁾

Input

• Le gradient de la fonction ∇f : R^{n →} Rⁿ;

• Le hessien de la fonction ∇²f : R^{n →} R^n×n;

• Une première approximation de la solution x0 ∈ Rⁿ;

• La précision demandée ε ∈ R, ε > 0.

Algorithme : Modèle quadratique

Output

Une approximation de la solution x^∗ ∈ Rⁿ

Initialisation

k = 0

Algorithme : Modèle quadratique

It ´erations

1. Construire le modèle quadratique

m_bx(^xb ^{+ d) = f(x}b^{) + dT∇f(}b^{x) + 1}₂^dT∇2f(xb^)d, 2. Calculer

dk+1 = argmind mx_b(^xb ^{+ d)} 3. x^k+1 = x^k + d^k+1,

4. k = k + 1.

Crit `ere d’arr ˆet

Si k∇f(xk)k ≤ ε, alors x^∗ = xk.

Algorithme : Modèle quadratique

Attention : si ∇²f(xk) n’est pas définie positive, le modèle n’est par borné inférieurement

-2 -4 2 0

6 4 ^x1

-4-2

0 2

4 6 x2

-20 0 20 40

f(x1, x2)

Algorithme : Modèle quadratique

Attention : si ∇²f(xk) n’est pas définie positive, le modèle n’est par borné inférieurement

-2 -4 2 0

6 4 ^x1

-4-2

0 2

4 6 x2

-20 0 20 40

mx₀(x1, x2)

Modèle quadratique

f(x) = −x⁴ + 12x³ − 47x² + 60x.

xk = 3

m3(x) = 7x² − 48x + 81

-15 -10 -5 0 5 10 15 20 25

• • f(xk)f(x^k+1)

f(x) m3(x)

Modèle quadratique

f(x) = −x⁴ + 12x³ − 47x² + 60x.

xk = 3

m3(x) = 7x² − 48x + 81

-1 0 1 2 3 4 5

•

• f(xk)

f(xk+1)

f(x) m3(x)

Modèle quadratique

f(x) = −x⁴ + 12x³ − 47x² + 60x.

xk = 4

m4(x) = x² − 4x

-15 -10 -5 0 5 10 15 20 25

•

•

f(xk) f(xk+1)

f(x) m4(x)

Modèle quadratique

f(x) = −x⁴ + 12x³ − 47x² + 60x.

xk = 4

m4(x) = x² − 4x

-2 0 2 4 6 8 10 12 14

•

•

f(x^k)

f(x^k+1) f(x)

m4(x)

Modèle quadratique

f(x) = −x⁴ + 12x³ − 47x² + 60x.

xk = 5

m5(x) = −17x² + 160x − 375.

-15 -10 -5 0 5 10 15 20 25

• •

f(xk) f(x^k+1) f(x)

m5(x)

Modèle quadratique

f(x) = −x⁴ + 12x³ − 47x² + 60x.

xk = 5

m5(x) = −17x² + 160x − 375.

-10 -8 -6 -4 -2 0 2

•

•

f(x^k)

f(xk+1) f(x) m5(x)

Modèle quadratique

Point de Newton

Soit f : R^{n →} R une fonction deux fois différentiable, et soit xk ∈ R^{n. Le}

point de Newton de f en x^k est le point

x^N = x^k + d^N

où d^N est solution du système d’équations

∇²f(xk)dN = −∇f(xk).

Ce système est souvent appelé équations de Newton.

Résumé

• Conditions nécessaires d’optimalité = système d’équations.

• Méthode de Newton locale.

• Rapide ... sous conditions.

• Pas de distinctions entre minima, maxima et point de selle.