Analyse Numérique Problèmes Pratiques

(1)

Analyse Numérique

Problèmes Pratiques

Optimisation

Introduction ^1/2

❚ Optimisation = trouver le minimum (/maximum) d'une fonction

minimum global

maximum global

maximum locaux minimum locaux la fonction est

unimodale sur I J

(2)

Ph. Leray Analyse Numérique 2

Introduction ^2/2

❚ Comment trouver le minimum de f ?

❙ résolution de f'(x)=0

➨ résolution d'un système d'équations …

❙ méthodes "spéciales" de minimisation

Newton pour la minimisation ^1/2

❚ Newton "de base" : résolution de g(x)=0

❙ on construit une suite avecx_k₊₁ =x_k +h ∇g

( )

xk h=−g

( )

xk

( )

( ) ( ) ( )

( )

( ) ( )_^^















∂

∂ ∂

∂

=

∇

x x x g

x g x x g

x x x g

x x g x g

x g

n n 1

n 1 2

1 1

1

Λ Λ

Μ Ο Μ

Μ Ο

Λ

(3)

Newton pour la minimisation ^2/2

❚ on veut résoudre f'(x)=0 g=f'

❙ on construit une suite avecx_k₊₁ =x_k +h H

( )

xk .h=−f'

( )

xk













∂

=

2 n 2

1 n 2

2 2 2

1 2 2

n 1

2

2 1

2 2 1 2

x f x

x f

x f x x

f

x x

f x

x f x

f

Λ Κ

Μ Ο Μ

Μ Λ

H 













∂

=

n 1

x f x f '

f Μ

Hessien de f Gradient de f calculs !

Autres méthodes ^1/2

❚ On se restreint facilement aux fonctions f : R

ⁿ

→ R

❚ exemple :

❙ f : R³→ R³

❙ on peut construire g : R³→ R

et min(g)= min(f)







+ + + +

=

y xz

e z

) z sin(

y x ) z , y , x (

f ³ ^x

2

(

^x ^y² ^sin(^z⁾

) (

² ^z³ ^e^x

)

²

(

^xz ^y

)

²

) z , y , x (

g = + + + + + +

(4)

Autres méthodes ^2/2

❚ Comme dans le cas de la résolution de f(x)=0 :

❙ méthodes utilisant le calcul des dérivées

❘ avantage : rapidité

❘ inconvénient : calcul de la dérivée ! dimension 1 : Gradient (steepest descent) dimension n : Gradient

❙ méthodes utilisant seulement la fonction

❘ avantage : pas de calcul de dérivée

❘ inconvénient : moins rapides dimension 1 : Golden search dimension n : Random search, ...

Golden search ^1/8

❚ Principe = réduire l'intervalle [a,b]

Combien faut-il choisir de points ?

a b

f(a) f(b)

(5)

Golden search ^2/8

❚ Principe (suite)

si on prend c=milieu[a,b], peut-on savoir de quel côté de c est le minimum ?

a b

f(a) f(b)

f(c)

c

Golden search ^3/8

❚ Principe (suite)

si on prend c=milieu[a,b], peut-on savoir de quel côté de c est le minimum ?

Non !

➨ il faut 2 points

a b

f(a) f(b)

f(c)

c

(6)

Golden search ^4/8

❚ Principe (suite)

comment choisir les 2 points ?

a b

f(a) f(b)

f(c)

c f(d)

d

ac=A ad=B ab=1

A/B=B/1 A=B² (1-B)/(1-A)=(1-A)/1 … B²+B-1=0 nombre d'or

r 1 2 A

1 r 5

B= = − = −

Golden search ^5/8

❚ Algorithme

❙ f fonction unimodale sur [a,b]

❙ a₁=a ; b₁=b ; k=1

❙ répéter

❘ c_k=a_k+(1-r)(b_k-a_k) d_k=a_k+r(b_k-a_k)

❘ si f(c_k)<=f(d_k)

a_k+1=a_k ; b_k+1=d_k ; (d_k+1=c_k) sinon

a_k+1=c_k ; b_k+1=b_k ; (c_k+1=d_k)

❙ jusqu'à une certaine précision

convergence linéaire

(7)

Golden search ^6/8

❚ Exemple f(x) = x

²

- sin(x) sur [0,1]

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

-0.25 -0.2 -0.15 -0.1 -0.05 0 0.05 0.1 0.15 0.2

a b c d

0.0000 0.3820 0.6180 1.0000 f(b) f(c)

-0.2268 -0.1975

0.0000 0.2360 0.3820 0.6180

Golden search ^7/8

❚ Exemple f(x) = x

²

- sin(x) sur [0,1]

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

-0.25 -0.2 -0.15 -0.1 -0.05 0 0.05 0.1 0.15 0.2

a b c d

0.0000 0.3820 0.6180 1.0000 0.0000 0.2360 0.3820 0.6180

f(b) f(c) -0.1781 -0.2268

0.2360 0.3820 0.4721 0.6180

(8)

Golden search ^8/8

❚ Exemple f(x) = x

²

- sin(x) sur [0,1]

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

-0.25 -0.2 -0.15 -0.1 -0.05 0 0.05 0.1 0.15 0.2

a b c d

0.0000 0.3820 0.6180 1.0000 0.0000 0.2361 0.3820 0.6180 0.2361 0.3820 0.4721 0.6180 0.3820 0.4721 0.5279 0.6180 ...

0.4501 0.4502 0.4503 0.4504 0.4501 0.4502 0.4502 0.4503 0.4501 0.4502 0.4502 0.4502 0.4502 0.4502 0.4502 0.4502

Gradient (Steepest Descent) ^1/8

❚ Principe

si on prend c n'importe où, peut-on savoir de quel côté de c est le minimum ?

c

(9)

Gradient (Steepest Descent) ^2/8

❚ Principe

si on prend c n'importe où, peut-on savoir de quel côté de c est le minimum ?

Oui ! ➨ grâce au signe de -f'(c)

c S= - f'(c) / |f'(c)|

Le gradient est orthogonal aux

lignes "iso"

+

Minimum de f

Lignes "iso" : f(x₁,x₂)= constante

Direction de descente - f’(c)

x₁ x₂

Gradient (Steepest Descent) ^3/8

❚ n=2

(10)

Gradient (Steepest Descent) ^4/8

❚ Principe (en dimension n)

❙ c∈ Rⁿ f(c)∈ R

❙

❘ avec = direction de descente

❘ α = pas de descente

d c

cρ_k₊₁ = ρ_k +αρ

) c ( f

) c ( d f

k k

′

− ′ ρ=

Gradient (Steepest Descent) ^5/8

❚ Principe (en dimension n)

❙ choix du pas de descente α ?

❘ α constant : facile à calculer !

❘ α qui minimise : lourd à calculer

❘ α variable

ex : si f(c_k+1) < f(c) (si on est dans la bonne direction) alors α ← 1.1*α (alors on accélère un peu) sinon α ← α/2 (sinon on freine beaucoup)

) c ( f

) c ( c f

k k

k ′

−α ′

(11)

Gradient (Steepest Descent) ^6/8

❚ Algorithme ( α variable)

❙ initialisation de c₁ et de α_k

❙ répéter

❘ d=-f'(c_k)/norm[f'(c_k)]

❘ c_k+1=c_k+ α_k d

❘ si f(c_k+1)<f(c_k) α_k+1= 1.1*α_k sinon

α_k+1= α_k/ 2

❙ jusqu'à une certaine précision

Gradient (Steepest Descent) ^7/8

❚ Exemple

^{f(x) = (x}¹⁴^{- 16 x}¹²^{+ 5 x}¹^{)/2 + (x}²⁴^{- 16 x}²²^{+ 5 x}²^)/2

(12)

-4 -3 -2 -1 0 1 2 3 4

x 1

x2

Gradient (Steepest Descent) ^8/8

❚ Lignes "iso"

Sujet de TD

❚ Golden search

❙ Implémentation en Matlab

❙ Test sur f(x) = x² - sin(x)

❚ Gradient

❙ Implémentation en Matlab (pas constant et variable)

❙ Test sur f(x) = (x₁⁴ -16 x₁² +5 x₁)/2 + (x₂⁴ -16 x₂² +5 x₂)/2

(13)

Conclusion

❚ Méthodes issues de g(x)=0 avec g=f'

❚ Méthodes utilisant seulement f(x)

❙ fonctions à 1 variable : golden search

❙ fonctions à n variables : discret + simplex

❚ Méthodes utilisant f(x) et f'(x) : gradient

❙ problème = choix du α

❘ compromis calculs supplémentaires/ vitesse de convergence

❚ Méthodes utilisant les dérivées d'ordre 2 :

❙ gradient conjugué

Analyse Numérique Problèmes Pratiques