1 Ezeckie

(1)

Ezeckiel

&

Nico Avril2005

(2)

1 Méthode de plusforte pente 3

2 Algorithmede Fletcher-Reeves 4

3 Algorithmede Polak Ribière 5

4 Algorithmede Newtonsans recherche linéaire 5

5 Algorithmede Newtonavec recherche linéaire 6

6 AlgorithmeDFP 7

7 AlgorithmeBFGS 7

(3)

OnrechercheleminimumdelafonctiondeRosenbrock:

f (x) = 50(x ² 1 − x 2 ) ² + (x ¹ − 1) ²

−2 −1.5 −1 −0.5 0 0.5 1 1.5 2

−1

−0.5 0 0.5 1 1.5 2 2.5 3

Dans tous les algorithmes de recherche du minimum, on commencera au

point(6,5)et oncherchera laconvergenceà

10 ⁻ ⁵

^près.^Le^minimum^théorique

sesitueen(1,1)carf(1,1) =0,etfestpositive.

1 Méthode de plus forte pente

La courbe étudiée aune forme de "vallée",ceci n'est pas adapté àl'algo-

rithmedelaplusfortepente.Eneet,cetalgorithmeutilisantdesdirectionsde

descente orthogonaleslesunes parrapport auxautres, lepas d'itérationn'est

pasperformant.Onobtientainsiuneconvergenceen761itérations.

Ontracelenombred'itérationsen fonctiondulogdel'erreursur lanorme

dugradient(critèred'arret):

(4)

10 ⁻¹⁰ 10 ⁻⁸ 10 ⁻⁶ 10 ⁻⁴ 10 ⁻² 10 ⁰ 550

600 650 700 750 800 850 900

2 Algorithme de Fletcher-Reeves

Cetteméthodedonnedetrèsbonsrésultats(113itérations)

dugradient:

10 ⁻¹⁰ 10 ⁻⁸ 10 ⁻⁶ 10 ⁻⁴ 10 ⁻² 10 ⁰

0 1000

2000

3000

4000

5000

6000

7000

8000

9000

10000

(5)

CetteméthodedonnedemeilleursrésultatsqueFletcherReevescommees-

compté(45itérationspour1E-5d'erreur),maisnemarcheplussiondemande

uneconvergenceà1E-6près(précisionmachinedépasséeempechantlaconver-

gence).

dugradient:

10 ⁻¹⁰ 10 ⁻⁸ 10 ⁻⁶ 10 ⁻⁴ 10 ⁻² 10 ⁰

0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000

4 Algorithme de Newton sans recherche linéaire

Cetalgorithmeconvergeen5à3itérations(de1E-10à1E-1).Ils'agitdonc

d'untrès bonalgorithme pour ce type defonction. Parcontre, cetalgorithme

peutconvergerversunmaximumlocalcarilnecherchequ'àsatisfairelacondi-

tiondedérivéenulle(ici,onabienobtenuleminimumsouhaité).

dugradient:

(6)

10 ⁻¹⁰ 10 ⁻⁸ 10 ⁻⁶ 10 ⁻⁴ 10 ⁻² 10 ⁰ 3

3.2 3.4 3.6 3.8 4 4.2 4.4 4.6 4.8 5

5 Algorithme de Newton avec recherche linéaire

On obtient une convergence rapide (44 itérations) mais moins bonne que

Newtonsansrecherchelinéaire.

dugradient:

35

40

45

50

55

60

(7)

approchedonclasolutionen

O (n ⁻ ² ^. ⁴⁴ )

^.

6 Algorithme DFP

La convergence est mauvaise jusqu'à une condition d'arret de 1E-2, puis

l'algorithmeconvergeen34itérationspouruntestd'arretde1E-1

dugradient:

10 ⁻¹⁰ 10 ⁻⁸ 10 ⁻⁶ 10 ⁻⁴ 10 ⁻² 10 ⁰

0 500 1000 1500 2000 2500

7 Algorithme BFGS

Onobtientuneconvergenceaprès9itérations.Camontre quec'est uneex-

cellenteméthode.

dugradient:

(8)

10 ⁻¹⁰ 10 ⁻⁸ 10 ⁻⁶ 10 ⁻⁴ 10 ⁻² 10 ⁰ 13

14 15 16 17 18 19 20 21

Entracantl'erreursurlasolution,onobtientaussiunedroitedepente-1.3:

laméthodeestimelasolutionen

O (n ⁻ ¹ ^. ³ )

^,^mais^reste^plus^rapide^que^Newton

avecrecherchelinéaire.

Conclusion

Lesmeilleursalgorithmespourapprocherleminimumdecetypedefonction

(polynomededegré4,nonconvexe)sontlesalgorithmesdeNewtonetBFGS.

1 Ezeckie

&

f (x) = 50(x 2 1 − x 2 ) 2 + (x 1 − 1) 2

−2 −1.5 −1 −0.5 0 0.5 1 1.5 2

−1

−0.5 0 0.5 1 1.5 2 2.5 3

10 − 5

10 −10 10 −8 10 −6 10 −4 10 −2 10 0 550

600 650 700 750 800 850 900

10 −10 10 −8 10 −6 10 −4 10 −2 10 0

0

1000

2000

3000

4000

5000

6000

7000

8000

9000

10000

10 −10 10 −8 10 −6 10 −4 10 −2 10 0

0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000

10 −10 10 −8 10 −6 10 −4 10 −2 10 0 3

3.2 3.4 3.6 3.8 4 4.2 4.4 4.6 4.8 5

35

40

45

50

55

60

O (n − 2 . 44 )

10 −10 10 −8 10 −6 10 −4 10 −2 10 0

0 500 1000 1500 2000 2500

10 −10 10 −8 10 −6 10 −4 10 −2 10 0 13

14 15 16 17 18 19 20 21

O (n − 1 . 3 )

f (x) = 50(x ² 1 − x 2 ) ² + (x ¹ − 1) ²

10 ⁻ ⁵

10 ⁻¹⁰ 10 ⁻⁸ 10 ⁻⁶ 10 ⁻⁴ 10 ⁻² 10 ⁰ 550

10 ⁻¹⁰ 10 ⁻⁸ 10 ⁻⁶ 10 ⁻⁴ 10 ⁻² 10 ⁰

10 ⁻¹⁰ 10 ⁻⁸ 10 ⁻⁶ 10 ⁻⁴ 10 ⁻² 10 ⁰

10 ⁻¹⁰ 10 ⁻⁸ 10 ⁻⁶ 10 ⁻⁴ 10 ⁻² 10 ⁰ 3

O (n ⁻ ² ^. ⁴⁴ )

10 ⁻¹⁰ 10 ⁻⁸ 10 ⁻⁶ 10 ⁻⁴ 10 ⁻² 10 ⁰

10 ⁻¹⁰ 10 ⁻⁸ 10 ⁻⁶ 10 ⁻⁴ 10 ⁻² 10 ⁰ 13

O (n ⁻ ¹ ^. ³ )