EEDA : A New Robust Estimation of Distribution Algorithms

HAL Id: inria-00070802

https://hal.inria.fr/inria-00070802

Submitted on 19 May 2006

HAL is a multi-disciplinary open access archive for the deposit and dissemination of sci- entific research documents, whether they are pub- lished or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers.

L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.

EEDA : A New Robust Estimation of Distribution Algorithms

Michael Wagner, Anne Auger, Marc Schoenauer

To cite this version:

Michael Wagner, Anne Auger, Marc Schoenauer. EEDA : A New Robust Estimation of Distribution Algorithms. [Research Report] RR-5190, INRIA. 2004, pp.16. �inria-00070802�

ISRN INRIA/RR--5190--FR+ENG

a p p o r t

d e r e c h e r c h e

Thème COG

INSTITUT NATIONAL DE RECHERCHE EN INFORMATIQUE ET EN AUTOMATIQUE

EEDA: A New Robust Estimation of Distribution Algorithms

Michael Wagner — Anne Auger — Marc Schoenauer

N° 5190

May 2004

Unité de recherche INRIA Futurs

0/!1#(*23

∗

46587:9<;>=@?AB;DCFE*=HG

† ^{I<J E*EK= JL CF=@G} ‡ ^I 4M;>G7ON)7:9*P=@E<;

L

=@G §

QRTSVUXW.Y[Z \^]`_badcfegSUXWcihVjlklmonpeqnprsc

tvugjlwxW!eiQKyzZ

{i|l}T}Dj@ufei~bWuqWh2RoWVu2h2RTWm>€<T‚ƒl„]`…|†a‡ˆ„@„ˆ‰]$‚Š‹}o|ˆk@Wc

Œ-KŽV:‘T’ll“[” m eqRTn•cuqWV}>jluge–—W˜|@~T~buqWcqc|icg™Tšbeq›œWvšo™ben•UX}Dj@ufe2|ˆmHe)›•nœUXnœeq|:eqnœj@m rjl™TmD~nœm eqRTW˜›•nœegWVu2|:eq™TuqW

rj@u ž˜cxeqnœUŸ|ˆegn•jlm jˆr¡zn¢cxequgn•šT™beqnœj@mOyz›œk@jluqnpeqRTUŸcŸ£ž˜¡zyzc2¤+¥#cgaHUXUXW!equgn¢h¦nœmTnœegn¢|ˆ›•n•§|:eqnœj@moc jˆr—egRTWXž˜¡zyzc

|lugj@™Tmo~¨egRoW©j@}begn•UŸ|ˆ›ªcgjl›•™beqnœj@m«­¬OW®rjbh!™ocjl™oucfeg™o~ba¯jlmegRTW©}DWufrj@ugUŸ|ˆmDh!W®jlrhVWVugeq|lnœm°ž˜¡zyzc

£sž˜…®±ªyi²q³´qµV¶q³[|ˆmo~·t˜¸ ”x¹)º ¤egRo|ˆe‹|lugW-|@cfadUXUXW!equgn¢hV|l›œ›•a©n•mTnœegn¢|ˆ›•nœ§W~ rs|lu.ruqjlUeqRTW-j@}begn•U.™TU«O¬©W

cgRTj:–|ˆmo~¨W!»b}T›¢|ˆn•m¼eqRTWrs|ˆn•›•™TugW½jlrzeqRTWcgW½ž˜¡iyªcŸ™Tmo~bWuŸegRoWcgW®h!jlmD~bnpeqnœj@moc«&QRoWcgW½jlšocgWVuq¾:|:egn•jlmDc

›•W|@~-™Dc¿egjŸ~bWV¾@WV›•jl},|¦moWV–Mž˜¡iy^šo|@cfWÀ~-j@m|ˆm,WVn•klWmocg}o|lhVWÁ|lmo|ˆ›•abcfn¢cVÂd–[RTn¢h2R–—W ~bWmTjˆeqWšHa-žvž˜¡iy

£sžvn•klWVmDcf}o|@h!W#ž—¡iyª¤!«¬©W‹h!jlmDh!›•™o~bW.šda½|ˆmD|ˆ›•aH§nœmokŸegRTn¢cªmTWV–­ž—¡iyÃ|lmo~½šdacfRTj:–[n•mTkÄnœeqc cfeguqWVmTklegRoc

–[RoWVmh!jlUX}o|lugWÀ~-–[nœegRž˜…±zyi²q³´gµ¶g³|ˆmo~,t˜¸ ”x¹)º –[RTWm,egRTWj@}begn•UŸ|ˆ›cgjl›•™begn•jlm,n•ci™TmTÅdmTj:–[m«

ƽÇHÈFÉqÊ.Ë :ÌKŽl“ Zª}Tegn•U‹n•§|ˆegn•jlmÂDyiugegnœÍDh!n¢|ˆ›žv¾@jl›•™begn•jlm)ÂT¡zn¢cxequgn•šT™beqnœj@moc

∗ Î)ÏxÐ8ÏfÑ2ÒsÓÕԟֆ׆ØÀÏfҝÙ8Ñ2Ú+Ïf×ÄÑqٗÑ2׆ئÐ8ֆÛÀÛlÜ+ҝÙÝÏf؟Þ!ß#Ù8ÔÀÏ[àá׆ÐÝÙÝâÙ8ÖÙãÑqÙ8âäÜ+×:Ñ2å>؆ÏzÎ)ÏxÓÕԆÏxÒsÓÕԆÏzÏx׋àá×ÀæœÜ+ÒÝçiÑqÙÝâäèVֆÏ[ÏéٗÏx×

ê

ÖÀÙÝÜ+çiÑqÙ8âäèVֆÏëœàãKÎà ê<ìÕí

ÎÜÓxèVֆÏx׆ÓxÜ+ֆÒsÙ í@î

Ò8Ñ2׆ÓxÏ+ï

† ^ð ÛlÏxÒÝÑqÙ8âäÜ+×ÀЯÎÏxÐ8ÏfÑ2ÒÝÓ8ÔñFÏf×!ÙÝÏfÒ íOò

Ñ2Ð8ÐÕÑ2Ó8ÔֆÐÝÏéÙÝÙÝЯàá׆ÐsÙ8âÙÝÖÀÙÝÏ°Ü2æ®óbÏxÓÕԆ׆Ü+åäÜ+ô2ß

í

ñÑ2ç—Þ†Òsâä؆ô+Ï

íò êöõ+÷Àøfù+úÀí

ç[âäÚ+ÏxûKüKç[âÙfïÏx؆Ö

‡ ã)Ügû¨ÑqÙ[ýoèֆâäۈÏzó

ê

ð¼þ àãÎ)à ê¨î

ÖÀÙÝֆÒÝÐ íFÿ

Îà

ÑqÙfï ú+õÀí

×Àâ!ÏfÒsÐ8âÙ z؆ÏTÑ2ÒsâäÐÖ†Ø íäø

õ

ð ÒsÐÕÑxßÄñFÏx؆Ï

í

î

Ò8Ñ2׆ÓxÏ

í

Ñ2׆׆Ï+ïÑ2ֆô+ÏxÒ8üKâä׆ÒsâÑÀïæ•Ò þ æœÜ+ÒÝç[ÏxÒsåßzÑqÙoÒÝÜÝÏéÙ

î

Ò8Ñ2ÓéÙ8Ñ2åäÏfÐ þ àãKÎà

ê

Î)ÜVÓxèֆÏx׆ÓxÜ+ֆҝÙ

§ ã)Ügû¨ÑqÙ[ýoèֆâäۈÏzó

ê

ð¼þ àãÎ)à ê¨î

ÖÀÙÝֆÒÝÐ íFÿ

Îà

ÑqÙfï ú+õÀí

×Àâ!ÏfÒsÐ8âÙ z؆ÏTÑ2ÒsâäÐÖ†Ø íäø

õ

ð ÒsÐÕÑxßÄñFÏx؆Ï

í

î

Ò8Ñ2׆ÓxÏ

í

Ñ2׆׆Ï+ïÑ2ֆô+ÏxÒ8üKâä׆ÒsâÑÀïæ•Ò þ æœÜ+ÒÝç[ÏxÒsåßzÑqÙoÒÝÜÝÏéÙ

î

Ò8Ñ2ÓéÙ8Ñ2åäÏfÐ þ àãKÎà

ê

Î)ÜVÓxèֆÏx׆ÓxÜ+ֆҝÙ

(K,

Ž “ mTW rs|lnœšT›•WcqcgWÁn•UX}Dj@ufe2|ˆmHegW }o|@cgcVW n•mo|ˆ}>WVu!™oW ~TW#h!WVugeq|lnœmDc[|ˆ›•kljluqnœegRTUXWc~Wcfegn•UŸ|:eqnœj@m

~TW ~Tn•cfeguqnœšo™begn•jlmoc£sž˜¡iyªcq¤WÀcxe[›•WV™Turu2|ˆk@nœ›•nœeÁ}o|ˆu[u2|ˆ}T}>jluge¦›nœmTnœegn¢|ˆ›•n¢cg|ˆegn•jlm~bW ›•|‹}TuqWVUXn•SVuqWÁ~bn¢cfeguqn

šo™begn•jlmÂcgjl™T¾@WVmHezh2RTj@n•cgnœW¦cfadU!equgnH™TW.WVeÁh!WmHeguVW.cg™Tuz›¢|-cgjl›•™beqnœj@m®h2RTWVu2h2RVW@«z±ij@™ociUXj@m@equgj@mocH™TW

›•jlu2c@™oWÁ›jlm,nœmTnœegn¢|ˆ›•n¢cfW}o|luiW!»bWU‹}o›œW›•Wc[|l›œk@jluqnpeqRTUXWcž˜…®±ªyi²q³´gµ¶g³W!eit˜¸ ”x¹)º ›•jln•m½~bW›¢|Ÿcfj@›œ™beqnœj@m

WVeX~TW-UŸ|ˆmTn•SVuqW|@cfadU!equgnH™TWlÂ*›•Wc‹}>WVugrjluqUX|lmoh!WÀc.~bW› |ˆ›•klj@ugnœegRoU‹W,h2Rd™begWm@eÀ«Oyz}TuqSc‹™TmTW,|ˆmo|l›œabcgW

~TWcu2|ˆn¢cfj@moc~bWÀc.h!WÀc!h2RoWhVcÂ)mojl™oc}ougj@}DjHcfj@moc žvž˜¡iy.™omTWľ:|ˆuqn•|lmHegWÄ~bWŸž˜…±zyi²q³´gµ¶g³¿šo|@c"WXcg™Tu

›|ˆmo|l›œabcgWÁ~bWÀc¿¾†|l›œW™Tu2c—}ougj@}TugWÀc~bW ›•|¦UŸ|:eguqn¢h!W~bWh!j:¾:|ˆuqn¢|ˆmohVWl«)ž˜mbÍomÂTmojl™ocUXjlmHequgj@moc˜WV»b}#ugn•UXWVm$

e2|ˆ›•WVUXWVmHe%H™TWŸh!WVe.|ˆ›•klj@ugnœegRTUXWXWcfe#W'&FWh!egn•¾lWU‹WmHe#}T›œ™Dc}DWufrj@ugUŸ|lm@eH™TWXž˜…®±ªyi²q³´gµ¶g³—W!e#t˜¸ ”x¹)º

~o|ˆmoc›•W-h|lc#~n•mTnpeqn•|l›œn¢cq|:egn•jlm |@cfadU!equgnH™TWŸmTjlm·hVWVmHegulÂ)egj@™be.WVm uqWcfeq|lmHeH™Tn•¾†|l›œWmHe¦~T|ˆmDc›œWhV|lc

cgadU!eguqn@™oWl«

( Ë ÀŽ É ’*) Ž“ Zª}beqnœUXn¢cg|ˆegn•jlmÂ$+v¾@jl›•™begn•jlmyiugegnœÍDhVnœW›œ›•WlÂo¡ªn¢cxequgn•šT™beqnœj@moc

"¦)(* ,˜!#"

QRoWÄh!›¢|lcqc jˆr[|ˆ›•kljluqnœegRTUŸc uqW!rWVuquqW~egj®|lc ž—cxeqnœUŸ|:eqnœj@m jˆr[¡zn¢cfeguqnœšT™Tegn•jlm yi›•klj@ugnœegRTUŸcÄ£sž˜¡iyªcq¤ –|lc

~TWV¾lW›œj@}DWÀ~ruqjlU cfeq|lmo~T|luq~.WV¾lj@›œ™Tegn•jlmo|luga|ˆ›•klj@ugnœegRoUXc†egRoW~Tn&FWVuqWVmohVWšDWnœmTkÁeqRo|:e˜|Á~bn¢cxequgn•šT™beqnœj@m¦j@m

eqRTWcf}D|lh!WÁjˆrKcfj@›œ™beqnœj@moc¿n•cW¾lj@›œ¾@W~Ä|@c—j@}T}>j@cgW~ŸeqjŸ|ˆm|@h+eq™o|ˆ›F}>jl}T™T›¢|:eqnœj@mjlrcgjl›•™begn•jlmoc«<QRTWÁrjbh!™oc

jlr˜eqRTn•c#ugW}Dj@ufen¢c#cxequgn¢h+eq›œa›œn•UXnpeqW~Oegjž˜¡zyzcÂKcg}DWÀh!nœÍDhV|l›œ›•a|cg™Tšbeg›•WŸ›•nœUXnœeq|:eqnœj@mOegRo|ˆe#n•c}ougW¾†|l›œWmHe

n•m eqRTW-›•npeqWVu2|:eq™TugW,h!j@moh!WugmTn•mTkeqRTWn•mTnœegn¢|ˆ›•nœ§À|:eqnœj@m jˆr[egRoWcgW,|l›œk@jluqnpeqRTUŸcV«½¬OW–[n•›•›¿cg}DWÀh!nœÍDhV|l›œ›•a šDW

|lmo|ˆ›•ad§Vn•mTkž˜¡iyªc.|ˆ}o}T›œn•W~Oeqj½jl}beqnœUXn•§Vn•mTkr™Tmoh!egn•jlmoc.jˆr¿egRTWÄexaH}>W

f : Rⁿ →R; egRTWÀcfWÄr™Tmoh+eqnœj@moc

–[n•›•›šDWuqW!rWuguqW~ÄegjŸ|lc¿ÍoegmTWÀcgcr™omoh+eqnœj@mocV«

QRTj@™TklRegRoW#cxeq™o~ba-jlrKž—¡iyzc[n¢c[uqWV›¢|:eqnœ¾@WV›•aŸmTWV–ÂbeqRTWVuqW#|ˆ›•uqW|l~TaŸW!»bn•cfeqc[|‹}T›•W!eqRTjlu2|‹jˆr<~bn&>WugWm@e

exad}>Wc‹jˆrªž˜¡iyzc«¼¬OW½cfRD|ˆ›•›¿›•n•U‹nœeŸjl™Tu2cgWV›•¾lWc#egjOUXWVmHegn•jlm¨jlmT›•a egRTW,exad}>Wc‹jˆrzž—¡iyzcŸcg}DWÀh!nœÍDhV|l›œ›•a

™Tegn•›œn•§VWÀ~¼n•m¯egRTn¢cXugW}Dj@ufeÀ«¯¸¿n•mo|ˆuqa |ˆmo~¯h!j@mHegn•mH™ojl™oc‹¾lWuqcgn•jlmoc‹jˆrÁt*jl}T™T›¢|:eqnœj@m$鸿|@cfWÀ~ ” mohVugWU‹WmHeq|ˆ›

¹

W|lugmTn•mTk6£st˜¸

”x¹

¤ž˜¡iyªc,Ro|†¾lW©šDWWVm ~TWcgnœk@mTW~|lmo~6|lmo|ˆ›•ad§VWÀ~&šHa¸|l›œ™:wf|œ‚#|ˆmo~6_bWVšo|lk¨|ˆmD~

¡ª™ohVjl™T›•jlU¦šTnœWu

8ˆuqWcg}>Wh+eqnœ¾@WV›•al«! ij:–¿WV¾lWuÂÀeqRTW[t˜¸

”x¹

|ˆ›•kljluqnœegRTUŸc*~bj mTjˆe<n•moh!›•™o~bW[|lmHa¦~bWV}>WVmo~TWVm$

hVnœWÀcKšDWVex–—WWVm.¾:|lugn¢|ˆšT›•Wccfn•mohVW˜eqRTW™Tmo~bWug›•adnœmTkÁ~bn¢cxequgn•šT™beqnœj@m¦cfeguq™oh+eq™TugW¿n¢c)eqRTW}Tuqjd~T™oh+e*jˆro™omTnœ¾:|lugn¢|:eqW

\ |l™ocqcfn¢|ˆmX~bn¢cxequgn•šT™beqnœj@mocV«*QRTW[ž˜cfegn•UŸ|:eqnœj@mŸjˆr…½™T›œegn•¾†|lugn¢|:eqWi±ij@ugUŸ|ˆ›Tyz›œk@jluqnpeqRTU £sž˜…®±ªyª¤vhV›•|@cgc*jlr

ž—¡iyzcÂd}TugWÀcfWmHegW~Xšda ¹ |lugu2|#"D|ˆk@| |lmo~ ¹ j@§|lmTj$‡%8Âd™beqnœ›•n•§VWc¿|U¦™T›peqnœ¾:|lugn¢|:eqWÁ\ |ˆ™Dcgcgn•|lmÄ~bn¢cxequgn•šT™beqnœj@m

cfeguq™oh!eg™TuqWª–[Ron•h2Rcf}>WhVnpÍ>hV|ˆ›•›•aÄ|ˆ›•›œj:–ic˜egRTWWV»b}T›œj@npe2|:eqnœj@m-jˆrnœmHegWu"é~bW}DWmo~bWVmDh!n•Wcš>W!ex–¿WVWVm¾:|ˆuqn•|lšT›œWÀcV«

Qj#}TuqWcgWVmHe|#h!j@moh!n¢cfWÁcxeq™o~ba@ÂH–¿WiRo|†¾@Wzh2RTjHcfWmXex–—j#uqWV}ougWÀcfWm@e2|:eqnœ¾@W[ž˜¡iyzc—ruqjlU egRoWcgWiex–¿j.h!›¢|lcqcfWÀcV¥

hVjlmHegn•md™Tjl™Dc—t—¸ ”x¹ £st˜¸ ”x¹)º ¤|ˆmo~,|Xcxe2|ˆmo~T|luq~ž˜…®±ªyž˜¡iy £sž˜…®±ªyi²q³´qµV¶q³¤+«

¬OWzRo|†¾@Wih2RTj@cgWVm‹eqRTWz¾:|ˆuqn¢|ˆmHevjˆrt˜¸ ”x¹)º –[RTn•h2R-}DWufrj@ugUXW~¦eqRTWzš>WcfeÂd|lhh!jlu2~bn•mTk egj#egRTWªugWÀcf™T›œeqc

n•m& Õ«*yªcv}TuqWV¾dn•jl™ocg›•a.UXWVmHegn•jlmoW~Â@egRTWª™Tmo~bWug›•adnœmok.cxequg™Dh+eg™ougWijlrt˜¸ ”x¹)º n¢c˜|U¦™T›œegn•¾†|lugn¢|:eqWimTj@ugUŸ|ˆ›

~Tn•cfeguqnœšo™begn•jlm¦–[RTn•h2R¦n•c)egRoW¿}ougjb~b™oh!eKjlr

n£egRTW~bn•U‹Wmocgnœj@m.jˆroegRTW¿}TuqjlšT›•WVUĤ)nœmo~TWV}>WVmo~bWmHe*™omTnœ¾:|lugn¢|:eqW mojluqUX|l›—~bn¢cfeguqnœšT™Tegn•jlmoc« ”m¨jˆeqRTWVu¦–—j@uq~TcÂ*t˜¸ ”x¹ º6WV¾lj@›œ¾@Wc#egRTW~bn¢cxequgn•šT™beqnœj@m Qn

i=1fi(xi)Âv–[RoWVuqW

fi(xi) |ˆuqW½k@|ˆ™Dcgcgn•|lm¯~TWVmocgnpeqnœWÀc®£jlr¾†|lugadn•mTk }o|ˆu2|ˆUXWVegWVu2c2¤¦|lmo~

x = (x1, . . . , xn) n•cŸegRTW®¾@Wh!egjlu j@}begn•UXnœ§À|:eqnœj@m,¾:|lugn¢|ˆšT›•Wl«—y¿ezW|@h2RnœegWuq|ˆegn•jlm

kÂTeqRTW#UXW|lm½|ˆmo~cfeq|ˆmD~T|ˆu2~~bW¾dn•|ˆegn•jlmjˆr<W|@h2Rjlr*egRTW

™omTnœ¾:|lugn¢|:eqWz~bn¢cxequgn•šT™beqnœj@moc—|lugWª™T}F~T|:eqW~Än•mŸeqRTWzrj@›œ›•j:–[n•mTk#–|†adcÂl–[RoWVuqW

µ^|ˆmD~ σ |ˆuqWieqRTWz¾@Wh!egjlu2cvjlr UXWÀ|ˆmoc[|lmo~cfeq|lmo~T|luq~,~bWV¾dn¢|:eqnœj@mocVÂbuqWcg}>Wh+eqnœ¾@WV›•aF¥

µ^k+1= (1−α)µ^k+α(µ^kµ('*),+ +µ^{k-./ µ('*),+} −µ^{k0 ´213),+} ),

–[RTWugW

µ^{kµ4'*)3+ Â} µ^{k-./ µ4'*)3+ |lmo~} µ^{k0 ´213),+} |ˆuqW egRoW#¾:|ˆ›•™TWczjˆrKegRTW¦šDWÀcxeÀÂ>cgWhVjlmo~,š>Wcfeª|ˆmo~–¿jlu2cfeinœmo~Tn

¾dn¢~b™o|l›•cÁ£–[nœegR,ugWÀcf}>Wh!e—eqj.eqRTWÁÍTegmoWcqc˜r™omoh+eqnœj@mD¤¿|:enpeqWVu2|:egn•jlm

k«<Q¿RoWª™T}F~T|ˆegW ug™o›œWªrjlu¿W|@h2R-jˆr)egRTW cfeq|lmo~T|luq~~bWV¾dn¢|:egn•jlmDc

σi, i= 1, . . . , n^n•c

σ^k+1_i = (1−α)σi^k+α s PK

j=1(˜µ^j_i−µ˜i)²

K ,

–[RTWugW

˜

µ^j, j= 1, . . . , K |ˆuqWzeqRTW

K š>Wcfe[nœmD~bnœ¾dn¢~b™o|l›•c£s–[npeqR,uqWcg}>Wh+eegj‹eqRTWÁÍTegmTWÀcgc¿r™omoh+eqnœj@mD¤

|lmo~

˜

µn•c)egRoWVn•uUXW|lm«65ojlu)egRTW—ugWUX|lnœmD~bWVujˆrdegRTn¢cugW}Dj@ufeÀÂ

Kn•cKh2RTj@cgWVm eqjiš>W˜Ro|l›prTjlrbegRTW—}Dj@}T™T›¢|:egn•jlm cgn•§VWl«5ojlu[š>jˆegR™T}F~T|ˆegWuq™T›œWÀcVÂdeqRTW

α}o|luq|lUXW!egWun•c[uqW!rWuguqW~ÄegjÄ|@c˜eqRTW›•W|ˆuqmTn•mTkXuq|ˆegW@«

yªc[rjluzegRTW.ž˜…®±zy h!›¢|lcqc[jlr*ž—¡iyzcÂD–¿W#Ro|†¾@W#h2RTj@cgWVm,eqRTW.cgnœUX}T›•WcfeÂ>ž˜…®±ªyi²q³´qµV¶q³8ÂD–[RTn¢h2R®|ˆ›¢cgj

RD|lc¦kljdjb~·}Tu2|lh!egn¢hV|ˆ›¿}>WVugrjluqUX|lmoh!W@Âv|lc¦}TuqWcgWVmHegWÀ~ nœm7ä‡48«·QRoW,}DcfW™o~bj éh!jb~bW-jˆrieqRTn•cXž—¡iyn•cX|lc

rj@›œ›•j:–ic¥

‚l«[y¿e¦k@WVmTWuq|ˆegn•jlm·„TÂ*–¿W-|ˆuqWÄk@nœ¾@WVm·|½U¦™T›peqnœ¾:|lugn¢|:eqW\ |ˆ™ocqcgn•|lm·~bn•cfeguqn•šT™begn•jlm¼jˆriUXW|lm

µ^{0 |ˆmD~}

h!j:¾:|ˆuqn¢|ˆmohVWªUŸ|:equgnœ»

Σ⁰«˜\ÁWVmTWuq|ˆegW|‹}Dj@}T™T›¢|:egn•jlm,jˆr

N nœmo~Tnœ¾dn¢~b™o|ˆ›¢c«

‡b« 5Tj@u

k≥0^Â

£s|H¤y¿e klWmTWVu2|:eqnœj@m

k+ 1ÂcfW›œWÀh+eªegRTW‹šDWÀcxe

M < N nœmD~bnœ¾dn¢~b™o|l›•cX£–[nœegR©ugWÀcf}>Wh!ezeqjÄÍTeqmTWcqc r™omoh+eqnœj@mD¤—rugj@Uk@WVmTWuq|ˆegn•jlm

kc}>jl}T™o›•|ˆegn•jlm«

£š>¤5ojluqU'|ÄmTW– U¦™T›peqnœ¾:|lugn¢|:eqW‹\ |ˆ™Dcgcgn•|lm~bn¢cxequgn•šT™beqnœj@m™ocgn•mTk-eqRTWŸhV|l›•hV™T›•|ˆegWÀ~½UXW|ˆm

µ^k+1

|lmo~,h!j:¾:|ˆuqn•|lmoh!WÁUŸ|:equgnœ»

Σ^{k+1 jlreqRTW} M cgWV›•Wh!egWÀ~-n•mo~bn•¾dn•~b™D|ˆ›¢cV«

£shÀ¤,\ÁWmTWVu2|:eqW|¦moWV–M}Dj@}T™T›¢|:egn•jlm,jˆr

N nœmo~Tnœ¾dn¢~b™o|ˆ›¢c«

QRTWXuqWcfeÁjlrvegRon•c uqWV}>jlugeÁn¢cÁjluqk@|lmTnœ§W~®|@cªrjl›•›œj:–ic¥in•m _dWÀh+eqnœj@m ‡-–—WX~bn¢cghV™ocqcªn•UX}Dj@ufe2|ˆmHe ›œn•UXn

e2|:eqnœj@moc¿rjl™TmD~n•m,egRTW›•nœegWVu2|:eq™TuqWbn•m½_bWh+eqnœj@m

–¿W#cgRTj:–°egRD|:e[egRoWcgW›œn•UXnpe2|:egn•jlmDcihV|l™ocfWÁeqRTW}TuqWV¾dn

j@™ocg›œa,UXWVmHegn•jlmTWÀ~½ž˜¡iyªcªegjÄrs|lnœ›FnœmO_dWh!egn•jlm®‰–—W.~TWV¾lW›œj@}½jl™TuÁmTW–ž˜¡iy#ÂFžvž—¡iyFn•m©_dWh!egn•jlm©

–¿W}TuqWcgWVmHez|Xuqnœk@jluqjl™och!j@UX}T™beq|ˆegn•jlmo|l›h!j@U‹}D|ˆuqn•cgjlm,jˆr*ž˜…®±ªy ²q³´qµV¶q³Âot˜¸

”x¹

º |ˆmo~,žvž˜¡zy#ÂFcfRTj:–

n•mTk½eqRTWcfeguqWVmokˆegRDcjˆregRoW-›¢|:efeqWVu<nœm¯_dWh!egn•jlm·Š½–¿WÄ}TuqWcgWVmHe¦hVjlUX}T™be2|:egn•jlmD|ˆ›˜cfeg™o~TnœWÀc#jˆriž˜ž˜¡iyc

š>WVRD|†¾Hn•jlu[|@c[h!WVugeq|lnœm,}o|luq|lU‹WVegWuqc|ˆuqWÁ¾†|lugn•W~,|ˆmD~-–¿W#h!j@moh!›•™o~bW n•m½_bWh+eqnœj@mb«

/!  V2 K!#",

¬OWiRo|†¾@W¿rjl™Tmo~ŸegRo|ˆevegRTWzž˜¡iy°›•npeqWVu2|:eq™TugWihVjlmHeq|lnœmDcvh!j@U‹}o™beq|ˆegn•jlmo|l›ocxeq™o~bn•WcvegRo|ˆe˜›•|@h2Ŧ|hVjlUX}T›•W!egW

~TWcqh!uqnœ}beqnœj@m«

”

m}o|lufeqn•hV™T›•|luÂdeqRTWuqW!rWVuqWVmDh!Wc[hVnpeqW~n•m,egRTn¢c[uqWV}>jlugez~bjXmTjˆeª~TW!eq|lnœ›egRTWn•mTnœegn¢|ˆ›)~bn¢cfeguqn

šo™begn•jlmocv™ocfWÀ~XnœmXeqRTWVn•u—hVjlUX}T™be2|:eqnœj@mo|ˆ›Tcfeg™o~TnœWÀcV« ” mŸjl™ouvj:–[mŸcxeq™o~bn•WcˆegRoWcgWiž˜¡iyªc˜cg™ohVhVWVW~TW~‹jlmT›•a

–[RoWVm eqRTW-n•mTnœegn¢|ˆ›~bn•cfeguqn•šT™begn•jlmDc.–¿WVuqWÄn•mTnpeqn•|l›œn•§VWÀ~·cgaHUXUXW!equgn¢hV|l›œ›•a |ˆuqjl™Tmo~OeqRTW,jl}beqnœUŸ|ˆ›¿cfj@›œ™Tegn•jlm«

5ojlu#WV»T|ˆUX}T›•WlÂKnpregRoW-jl}Tegn•UX|l›˜cgjl›•™begn•jlm –¿WVuqWŸ|:e#eqRTWħVWugj½¾@Wh!egjluÀÂ|®}DjHcgcgnœšo›œWÄcgadU‹UXWVeguqn•hŸn•mTnœegn¢|ˆ›

~Tn•cfeguqnœšo™begn•jlm½–¿jl™T›¢~,šDW¦|X™TmTnœrjluqU~bn¢cfeguqnœšT™Tegn•jlm½j:¾lWuegRTW.™TmTnœezšo|ˆ›•›—£sjˆrv|ˆ}o}Tugj@}Tuqn•|ˆegW~bn•U‹Wmocgnœj@mD¤+Â

hVWVmHegWugWÀ~.|ˆeKeqRTW[§VWugjÁ¾lWÀh+eqjluÀ«)¬OW¿RD|†¾lW¿nœmHegWmHegn•jlmo|l›œ›•a.cgÅlWV–¿W~.jl™Tu<n•mTnœegn¢|ˆ›T~bn¢cfeguqnœšT™Tegn•jlm¦egj }TuqWh!›•™o~bW

eqRTn¢cicfn•UX}T›•npÍDh|:eqnœj@m¥*rjlueqRTWW!»T|ˆUX}T›•WjˆrKegRoW§VWVuqj‹¾lWh!egj@u[šDWnœmTkŸj@}begn•UŸ|ˆ›8ÂT–¿WÁ–¿jl™o›•~nœmonpeqn•|l›œn•§VWj@m

|¦™TmTnœe[šo|ˆ›•›h!Wm@eqWVuqW~|:e[|.}>jln•mHe—rs|lu—ruqjlUBeqRTW jluqnœk@nœm)« ”e[–[n•›œ›š>WÁcgWVWmÄeqRo|:ei|lcgadUXU‹WVeguqn•h|ˆ›>nœmonpeqn•|l›

n•§|ˆegn•jlmoc[h|ˆ™ocgWÁ–—W›œ›ÅdmTj:–[m,ž˜¡iyªcegj‹rs|lnœ›8«

yzmTjˆeqRTWVu[£›•WcqcKcfWugn•jl™oc2¤›•n•U‹nœeq|ˆegn•jlm¦–—W—Ro|†¾lW—mTjˆeqn•hVW~#n¢c)egRo|ˆeeqRTW—UŸ|ˆwxjluqnpexa jˆroegRTW—egWÀcxeKr™Tmoh!egn•jlmoc

n•m eqRTW-ž˜¡zy›•npeqWVu2|:eg™ougWÄRD|†¾lWŸeqRTW-§WVuqj®¾lWÀh+egj@u.|lc#egRTWjl}beqnœU¦™TU«y¿e.eqnœUXWÀcVÂ<nœe‹h|ˆm·š>W-™TmDh!›•W|ˆu

–[RoW!egRoWVueqRTWvž˜¡zy·n•m%H™TWcfegn•jlm|lh!eg™o|l›œ›•a cfj@›œ¾@W~ªegRTW˜jl}beqnœUXn•§|:eqnœj@m}TuqjlšT›•WVUMjluj@mT›•a˜wx™ocfehVjlmd¾lWugk@W~

eqjegRTWŸ§WVuqj¾lWh!egj@uÄ£›•W|l~TnœmTkeqj®|,rs|ˆ›¢cfWŸ}>j@cgnœegn•¾lWŸuq™TmD¤+«Q)j½W›œn•UXnœmo|ˆegWŸeqRTn¢c}DjHcgcgn•šTnœ›•nœexalÂ)–¿WŸRo|†¾@W

UXjb~bnœÍoW~&hVjlUXUXjlm¯egWÀcxeŸr™TmDh+egn•jlmDcÄcf™Dh2R¨eqRo|:eŸeqRTW®cgjl›•™begn•jlm&n¢cŸmTj:– |ˆe-|OmTjlmT§WVuqj ¾†|l›œ™oWl«6QRTW

r™omoh+eqnœj@mocegRD|:e[–—W#cgRo|l›œ›WU‹}o›œj:aÄn•m,jl™TuihVjlUX}T™be2|:egn•jlmD|ˆ›cfeg™o~bn•Wcz|ˆuqWl¥

ê

f1(x) = 100 10⁻⁵+Pn

i=1|yi|, ^–[RTWugW yi = (xi−i+ 1) +yi−1(y1=x1) f2(x) =

Xn

i=1

(xi−i+ 1)²

f3(x) = 1 + Xn

i=1

(xi−i+ 1)²− Yn

i=1

cos(xi−i+ 1)

√i+ 1 .

¬OW½UŸ|:»bnœUXn•§VW

f1(x) |lmo~¼UXn•mTnœUXn•§VW

f2(x) ^|ˆmo~ f3(x)«&QRTWj@}begn•U.™TU jˆrÁ|l›œ›eqRTuqWVWjˆrªegRTW

|lšDj:¾@W r™Tmoh!egn•jlmocªjbhVh!™ouqcª|:e

x^∗ = (0,1, . . . , n−1)«zQRTW.j@}begn•UŸ|ˆ›K¾:|ˆ›•™TWczjˆr<egRoWcgW#r™Tmoh!egn•jlmocÁ|ˆuqW

f1(x^∗) = 10^7 f2(x^∗) = 0^|ˆmo~ f3(x^∗) = 0^«

¬OW¦|@~T~buqWcqc[egRoWcgW#n•cqcg™TWcª~b™TW#eqjÄeqRTW#rs|@h+ezeqRo|:eÁnœm}Tuq|@h+eqn•hVWlÂTeqRTWcgW¦|@cgcg™TUX}beqnœj@mocz|lmo~½cfn•UX}T›•n

Í>hV|:eqnœj@moci–¿jl™o›•~mTjleªRTj@›•~n•m®k@WVmTWuq|l›Ý«iQRTW.UX|lnœmU‹jlegn•¾:|:egn•jlm½jlr<egRTn¢cªugW}Dj@ufezn¢c[eqRo|:eÁ–—W.–[n•cgR½egj

k@W!ei|‹ugWÀ|ˆ›•n•cfegn¢hÁ¾dnœW–6jˆrKegRoW}DWufrj@ugUŸ|ˆmDh!WÁjˆr*ž˜¡iyzcz|ˆmo~,|†¾lj@n•~Ärs|ˆ›¢cfWRTj@}DW@«

3, #!/!(* #%¨

)Ë K‘)

#"

¬OW#Ro|†¾@W egWÀcxeqW~,ex–¿jŸž˜¡iyzcÂ>ž˜…®±zyz²g³´qµV¶q³K|lmo~t˜¸ ”x¹)º £Ý~bW!e2|ˆn•›œWÀ~nœmO_dWh!egn•jlm ‚À¤!ÂD™TmD~bWVu[eqRTW.k@WVm$

Wuq|l›œn•§|ˆegn•jlmoc—–¿WªRo|†¾@WzUXWVmHeqnœj@mTW~«<¬°Ronœ›•WÁegRTW mTj@mT§VWugj¦jl}beqnœUŸ|ˆ›cgjl›•™beqnœj@m~bn¢~bm ez|ˆ}T}>W|lu˜eqjŸ| &FWh+e

eqRTWÄh!j@md¾lWVuqklWmoh!W@ÂFegRTWÄ|@cfadUXUXW!equgn¢hV|l›<nœmTnœegn¢|ˆ›•n•§|:eqnœj@m ugWÀcf™T›œegWÀ~n•m |}TuqWVUŸ|:eq™TugWŸhVjlmd¾lWugk@WVmohVW.eqj|

mojlm$Õjl}beqnœUŸ|l›i¾:|ˆ›•™TWl« mo~TWVu| cg›•nœk@R@eÄ}>WVugeg™ougšo|ˆegn•jlm&jˆr eqRTW®n•mTnpeqn•|l›œn•§|ˆegn•jlmž˜…±zy

²q³´gµ¶g³ rs|ˆn•›•W~«

¬°Ronœ›•WªUXj@ugWªugj@šT™ocfeÂHt˜¸ ”x¹ º|l›•cgj#rs|lnœ›•W~ęTmo~bWu|.UXjluqWz}TuqjlmTj@™TmohVW~ŸcgRTnpráe[n•mŸegRoWªn•mTnœegn¢|ˆ›~bn¢cxequgn•šT™$

eqnœj@m«<tv›•W|@cfWcgWVWÁegRTW#|l}T}>WVmo~bnœ»Ärj@uegRTW¾:|ˆ›•n¢~T|:eqnœj@mjlrKj@™TunœUX}T›•WVUXWVmHe2|:egn•jlmDcjˆr*ž˜…®±zy ²g³´qµV¶q³ |ˆmD~

t—¸ ”x¹ º<«

¬OWÍDuqcfeWV»b|lUXnœmTWž˜…®±zyz²g³´qµV¶q³Õ«Ã¬OWš>jluqugj:–ruqjlU ä‡4ªeqRTWO}o|ˆu2|ˆUXW!eqWVu2cXegRD|:eugWÀcf™T›œegWÀ~°n•m

cg™ohh!Wcqc.|lmo~ UXjb~bnœÍoW~ eqRTW,nœmTnœegn¢|ˆ›~bn¢cxequgn•šT™beqnœj@m« QRTW-}o|luq|lUXW!egWuqcegRo|ˆe‹–¿WVuqWÄmTjle‹h2Ro|lmTklWÀ~ |ˆuqW

eqRTW.~bn•UXWVmocgn•jlm

n= 10Âo}>jl}T™o›•|ˆegn•jlm½cfn•§VW

N = 2000ÂTcq|ˆUX}T›•W.cfn•§VW

M = 1000Âo|ˆmD~™TmHegu2|ˆmocg›•|ˆegWÀ~

¾@WVu2cfn•jlmDc*jˆrr™Tmoh!egn•jlmoc

f1(x)^ f2(x)^Âb|ˆmD~ f3(x) £–[RTWugW[eqRTWzj@}begn•U.™oU jbhh!™Tu2cv|:e—egRTWª§VWugj¾@Wh+eqjlu+¤+Â

–[Ron•h2R½–¿W¦~bWmTjˆeqW.šda

f˜1(x)^ f˜2(x)^Â|ˆmo~ f˜3(x)«Á¬©W¦nœmHequgjb~b™ohVW~½|lm|lcgadU‹UXWVeguqn•h|ˆ›n•mTnœegn¢|ˆ›•nœ§À|:egn•jlm

šdah2RTjdj@cgnœmok

µ⁰= (2, . . . ,2) ^|ˆmo~ Σ⁰ =I, egRTW¦n•~bWmHegnœexa,UŸ|ˆeguqnp»«zQRTW#egWVuqUXnœmD|:egn•jlm©h!uqnpeqWVuqn•|X–|lc cgW!eeqj :Šo„@„l„-r™Tmoh+eqnœj@m WV¾:|ˆ›•™o|:eqnœj@moc«Ä¬©W-}TugWÀcfWmHeÁeqRTWÄUXW~Tn•|lm |lmo~ cxe2|ˆmo~o|ˆu2~©~bW¾dn•|ˆegn•jlmOjˆregRTW

ÍDmo|ˆ›*¾:|ˆ›•™TWXjˆr—egRTW‹ÍTeqmTWcqcÁr™Tmoh!egn•jlmOnœm |ˆmOjlu2~bWVuqW~®}o|ˆn•uÁrjluqUX|ˆeX£sUXW~bn¢|ˆmÂcxe2|ˆmo~T|luq~©~bWV¾dn¢|:eqnœj@mD¤+Â

–[Ron•h2R|ˆuqWhV|ˆ›¢h!™o›•|ˆegW~-ruqjlU ‡l„¦uq™Tmoc«*tv›•W|lcgWcfWWQ|lšT›œWŸ‚@«

n= 10 f˜1(x) f˜2(x) f˜3(x)

ž˜…±zy ²q³´gµ¶g³ £f‚l«‰o‚À‡TÂb„T«„@‡

Š@¤ £x‚†b«ƒlŠ@ŠTÂb„T«

„@¤ £x‚ d«„l„

Âd„T«ŠlŠ@‡@¤

QK|ˆšo›œW‚@¥)t*WVugrjluqUŸ|ˆmohVW|lmo|ˆ›•abcfn¢crjluvž—…®±zyz²g³´qµV¶q³o™Tmo~TWVu˜|lmX|@cfadUXUXW!equgn¢hV|l›bnœmTnœegn¢|ˆ›•n•§|:eqnœj@mÂl~bWUXjlm$

cfegu2|:eqnœmok.rs|lnœ›•™TuqWl«

¬OWmojˆegn¢h!WÄegRo|ˆe¦eqRTW-uqWcg™T›œeqcrj@u¦ž—…®±zyz²g³´qµV¶q³¿|lugWÄmojˆe¦j@}begn•UŸ|ˆ›8«¬°RTn•›•WcgjlUXW-UXn•klRHe¦|ˆuqkl™oW

eqRo|:e¦›œj@mTklWuug™TmDc-£–[nœegR uqWcg}>Wh+e.egj®|½›¢|ˆuqklWumH™oU.š>WVu#jlrW¾:|ˆ›•™o|:eqnœj@moc#|ˆ›•›•j:–—WÀ~o¤ªU‹n•klRHe.uqWcg™T›œe.n•m

|¨jl}Tegn•UX|l›cfj@›œ™beqnœj@mª|lmda¯}ougj@›œj@mTk@|ˆegn•jlmjlr#egRTW cfeg™o~bn•WcuqWcg™T›œegWÀ~n•m6md™TUXWVuqn•h|ˆ› WVuquqjlu2c-~b™TW©egj

eqRTWXh!j:¾:|ˆuqn•|lmoh!W¦UŸ|:eguqnœ»½|l}T}Tuqj@|@h2RTnœmokŸegRTWX§WVuqj-UŸ|:equgnœ»« 5T™TugegRoWVuqU‹j@ugW@Â>egRTW‹ugW›•|ˆegn•¾lW¦UX|lklmTnœeg™D~bWc

jlriegRoWeqWVuqUXnœmo|ˆegn•jlm¨¾†|l›œ™oWjlriegRTW,ÍTeqmTWcqc¦r™Tmoh!egn•jlm&h!jlUX}o|lugWÀ~ –[nœegR·eqRTW,egWugUXn•mo|:eqnœj@m¨cfeq|ˆmD~T|ˆu2~

~TWV¾dn•|ˆegn•jlm·jlr[egRTWÀcfW,¾:|ˆ›•™TWc¦}Tuqj:¾dn•~bWWV¾dn¢~bWVmohVWÄeqRo|:e‹egRTW,jl}Tegn•UX|l›[cfj@›œ™beqnœj@m·–[n•›œ›mTjle¦š>WuqW|@h2RTW~«

ZªmoWÄugWÀ|lcgjlmOrjlu#egRTW}TugWUŸ|:eg™ougW-hVjlmd¾lWugk@WVmohVW¦jlriž˜…®±ªy ²q³´qµV¶q³ n•c#egRo|ˆe¦nœe¦–|lc#cgnœUX}T›•aOmTjˆeXh!›•j@cgW

WmTjl™oklR,egj-hVjlmd¾lWugk@Wl¥*nœrvž˜…®±zy ²g³´qµV¶q³ cfeq|lufe2cicf™ŸhVnœWmHeg›•a-rs|luz|†–¿|†aÄrugj@UegRoW.cfj@›œ™Tegn•jlmÂDW|lh2R½cfegW}

eqj:–¿|luq~egRoWcgjl›•™begn•jlm uqWcg™T›pe2c#n•m·|®~bn¢cxequgn•šT™beqnœj@m –[npeqR·›•Wcqc#¾:|ˆuqn•|lmoh!W½£Ýcfn•moh!W-egRTW~bn•cfeguqn•šT™begn•jlmDc.|:e

WÀ|lh2R½nœegWuq|ˆegn•jlm|lugWrj@ugUXWÀ~rugj@U |ŸÍomTnœegWXcq|ˆUX}T›•WÀ¤ n•mbrj@ugUŸ|:eqnœj@m½n•cÁ›•j@cfeÁ|ˆeªW|@h2R®nœegWVu2|:eqnœj@m«ªQRon•c

ž—¡iy­cgnœUX}T›•aWV»bRo|ˆ™ocfeqcinpe2c[nœmTrjluqUX|ˆegn•jlm £n8«Wl«•ÂTegRoW.h!j:¾:|ˆuqn¢|ˆmohVWÁUŸ|ˆeguqnp»,}TugWUŸ|:eg™ougW›œa-hVjlmd¾lWugk@Wc—egj

eqRTW§VWugj‹UŸ|:equgnœ»o¤—|lmo~r™TugegRTWu[}Tugj@kluqWcqc˜n¢c[n•UX}DjHcgcgnœšo›œW@«

¬OW©moW!»dehVjlmocgn¢~bWVu,|¼cgnœUXn•›•|lu}>WVugeg™Tuqšo|ˆegn•jlm&egj¯t˜¸ ”x¹)º |ˆmo~6cfRTj:–0eqRo|:e,npe½|ˆ›¢cgj rs|ˆn•›•c«B¬©W

moj:– š>jluqugj:– rugj@U

vegRoWÄ}o|ˆu2|ˆUXWVegWVu2cªegRo|ˆe#ugWÀcf™o›peqW~Onœm·cg™ohh!Wcqc|ˆmD~O|lk@|lnœmOUXjd~TnpraegRTWÄn•mTnœegn¢|ˆ›

~Tn•cfeguqnœšo™begn•jlm«¯¬OW½ugWVeq|ˆn•mTWÀ~·eqRTW½~bnœUXWmocfn•jlm

n = 100˜}Dj@}T™T›¢|:egn•jlm&cgnœ§W

N = 50—cq|ˆUX}T›•W,cgnœ§W

K = 25Â<|ˆmD~ ›œWÀ|ˆuqmTnœmok®uq|ˆegW

α = 0.01«½¬OW,nœmHeguqjb~b™ohVW~ |®UXjb~bnœÍoW~·nœmTnœegn¢|ˆ›~bn¢cxequgn•šT™beqnœj@m –[npeqR UXWÀ|ˆm

µ⁰ = (25, . . . ,25) |ˆmo~cfeq|lmo~T|luq~&~bW¾Hn¢|:eqnœj@moc

σ_i⁰ = 1, ∀i«­Q)j·š>W©|lšocgjl›•™begW›œa¯cf™TuqW®jlr eqRTWrs|ˆn•›œ™TuqW-jlrit˜¸ ”x¹ ºM|ˆmo~·WV›•nœUXn•mo|:eqW-eqRTW-}>j@cqcfn•šTn•›œnœexa egRD|:e¦–¿W~bn•~¼mTjˆe‹›œWVe¦eqRTW|ˆ›•kljluqnœegRTUug™om

rj@u[|‹cg™Äh!n•WVmHeq›œaě•jlmok.eqnœUXWlÂo–—WÁRo|†¾lWÁW!»deqWVmo~bWÀ~ÄeqRTW egWugUXn•mo|:eqnœj@mhVugnœegWugn¢|#eqj‚l„l„l„o„@„l„Ár™TmDh+egn•jlm

W¾:|ˆ›•™o|:eqnœj@mocV«KyikH|ˆn•mˆ–¿W¿}ougWÀcfWm@e*eqRTW[UXW~bn¢|ˆmX|ˆmo~‹cfeq|ˆmD~T|ˆu2~¦~TWV¾dn•|ˆegn•jlm‹nœmŸ|lm¦j@uq~bWugWÀ~#}o|lnœu*rj@ugUŸ|ˆe

£sUXW~bn¢|ˆmÂ@cxe2|ˆmo~T|luq~.~bWV¾dn¢|:egn•jlm>¤+ˆ–[RTn¢h2R¦|lugW¿hV|l›•hV™T›•|ˆegWÀ~ruqjlU zug™TmDcV«K¬©W[|l›•cgjz}TuqWcgWVmHe<h!j@U‹}D|ˆu2|ˆšT›•W

uqWcg™T›œeqcÂdugWVeq|ˆn•mTn•mTk¦egRTW UŸ|:wxj@ugnœexaXjˆr)eqRTW|ˆš>j:¾lWª}o|ˆu2|ˆUXW!eqWVu2c—|lmo~jlmT›•aÄh2Ro|ˆmokln•mTk#eqRTW ›œWÀ|ˆuqmTnœmok¦u2|:eqW

eqj α = 0.1^« 5ojluXeqRTn•cŸh|lcgWl—–—W›•j:–—Wu.eqRTWegWugUXn•mo|:eqnœj@m¨h!uqnœegWVuqn¢|®eqj¼‡ˆ„l„o„@„l„½W¾:|ˆ›•™o|:eqnœj@mocX|ˆmo~

}ougWÀcfWm@eeqRTW#cxe2|:eqn•cfegn¢hVc¿rj@uz.uq™Tmoc«*tv›•W|lcgW#cgWVWQ|lšT›•W‡T«

n= 100 f˜1(x) f˜2(x) f˜3(x)

t—¸ ”x¹º £

α= 0.01^{¤ £Ý„T«„l„l‰ Âb„o«„@„l„T‚†¤} £‰l‰HŠˆ‰D«œ‚ dÂ>‚

«o‚À‡@¤ £‰l‰dˆŠo«„@ƒTÂH‰l‰o«äl‡ ˆ¤

t˜¸ ”x¹ º&£

α= 0.1^{¤ £s„T«}„l„l‰oÂb„T«„l„@„ ¤ £ÝˆƒH‡ˆ„o«‰D‚lÂ>‚@T«ƒ ¤ £8o‚À‡b«ä‡  Šlƒo«„@„l„@¤

QK|ˆšo›œWª‡T¥t*Wufrj@ugUŸ|ˆmDh!Wz|lmo|ˆ›•abcfn¢c*rjlu—t˜¸ ”x¹ º™Tmo~bWu—|ˆm|lcgaHUXUXW!equgn¢hV|l›Tn•mTnpeqn•|l›œn•§|ˆegn•jlmÂd~bWU‹j@mocfegu2|:e"

n•mTk‹rs|ˆn•›•™TugW@«

¬OW[cfWW˜eqRo|:e*t˜¸ ”x¹ º,|ˆ›¢cfjªrs|ˆn•›•W~eqjÁhVjlmd¾lWugk@W<egjÁjl}Tegn•UX|l›œnœexa™Tmo~TWVu<cfn•UXnœ›¢|ˆuÀÂ:šT™be<UXjluqW˜WV»deguqWVUXWlÂ

n•mTnœegn¢|ˆ›vhVjlmo~bnœegn•jlmDczeqj,egRTjHcfW¦egRo|ˆe–—WX™ocgW~©nœmOn•mTnpeqn•|l›œn•§Vn•mTk,ž˜…®±ªyi²q³´qµV¶q³Õ«X\Án•¾lWmeqRTWX¾lWuga›•nœš>WVu2|ˆ›

eqWVuqUXnœmo|ˆegn•jlm#hVjlmo~bnœegn•jlm)ÂeqRTWVuqWvn¢cmTjÁ~bjl™ošbeegRD|:et—¸ ”x¹º Ro|@crs|ˆn•›•W~«*QRTW˜~bn&FWVuqWVmohVWcn•m#UŸ|ˆk@mTnœeg™o~bW

š>W!ex–¿WVWm egRTWvÍomo|ˆ›lÍTegmoWcqcFr™Tmoh!egn•jlm#¾:|ˆ›•™TW˜|lmo~ªegRTW¿h!j@uguqWcg}Dj@mo~bn•mTkcxe2|ˆmo~T|luq~ ~bW¾dn•|ˆegn•jlmoc|lugW*r™oufeqRTWVu

W¾dn•~bWmoh!WzegRo|ˆeicf™ohh!WÀcgc—n•c¿mTjle¿}>j@cqcgnœšT›•Wz™omo~bWVu¿eqRTWcgWªn•mTnœegn¢|ˆ›h!j@mo~bnœegn•jlmoc«*¬©W ~bj‹mTjˆeqWzeqRo|:et˜¸

”x¹)º

n¢cÁUXjluqW¦uqjlšT™DcxeÁegRo|lmž˜…±zyi²q³´gµ¶g³k@nœ¾@WVm½eqRTWXnœmTnœegn¢|ˆ›vhVjlmo~Tnpeqnœj@mocªegRo|ˆeh|ˆ™ocgW~ž˜…®±ªyi²q³´qµV¶q³*egj

rs|lnœ›8Â<t˜¸ ”x¹)º W|@cfn•›œa hVjlmd¾lWugk@W~©egj©egRTWjl}beqnœUŸ|l›cgjl›•™beqnœj@m«©y }T›¢|ˆ™ocgnœšo›œWugWÀ|lcgjlm rjlu¦egRon•c‹kluqW|ˆegWu

uqjlšo™ocxeqmTWcqc<n¢cveqRo|:e˜egRTWª™T}>~o|:egWªug™o›œWÀc<rjlu—t˜¸ ”x¹)º hVjlmHeq|lnœmŸUXWU‹j@ugaH–[RTn•›œWzegRTWimoWV–cq|ˆUX}T›•WiUXnœk@R@e

RD|†¾lWv›•npegeg›•W—¾:|lugn•W!exa@ÂVeqRTW—j:¾@WVu2|ˆ›•›ˆ¾:|ˆuqn•|lmoh!W˜n•cUŸ|ˆn•m@e2|ˆn•mTW~rugj@U eqRTW˜}ougW¾Hn•jl™DcklWmTWVu2|:eqnœj@m«)QRTW¿cfUŸ|l›œ›

¾:|l›œ™TW‹jˆr—egRTWX›•W|lugmTn•mTk,uq|ˆegW

α= 0.01r™TugegRTWu#|l~T~TcªeqjeqRTWXugj@šT™ocfegmTWÀcgc« zj:–—W¾lWVuÀÂ>egRTWX›•W|lugmTn•mTk

ê

u2|:eqWjlmT›•a¦~bW›•|†a@W~¦egRoW[}TugWUŸ|:eg™ougWihVjlmd¾lWugk@WVmohVW˜eqj#| mTjlm$Õjl}Tegn•UX|l›ocgjl›•™begn•jlm @–[RTn•›œWi¾:|lugadn•mTk

α^Â@egRTW

hVugnœegn¢hV|l›}o|ˆu2|ˆUXWVegWVu2c—jˆrKegRTWn•mTnœegn¢|ˆ›)~bn¢cfeguqnœšT™Tegn•jlmrjlurs|ˆn•›•™TugW uqWVUŸ|ˆn•mTWÀ~ÄeqRTW#cg|lUXWThˆ«rx«˜QK|ˆšT›•W#‡b«

y^cgnœUX}T›•Wcxe2|:egWUXWVmHe[™ocfWVr™T›Frjlu™TmD~bWVu2cxe2|ˆmo~TnœmTk¦egRoWcgWªrs|lnœ›•™TuqWc¿n¢c¿egRTWÁrjl›•›•j:–[nœmTkD¥

”

rKegRoWÁn•mTnœegn¢|ˆ›

~Tn•cfeguqnœšo™begn•jlmÄn¢ch!Wm@eqWVuqW~ŸUXj@ugWzegRo|lm-|rW–6cxe2|ˆmo~o|ˆu2~Ä~bWV¾dn¢|:eqnœj@mocvruqjlU eqRTWªj@}begn•UŸ|ˆ›Fcfj@›œ™Tegn•jlm£egRTW

md™TU¦šDWujˆrKcfeq|lmo~T|luq~Ä~TWV¾dn•|ˆegn•jlmoc¿¾:|ˆuqadnœmok.šdaИ¡iyÁ¤+Âbrs|lnœ›•™TuqWª–[n•›•›jdhh!™TuÀ«<QRTWVuqWÁn•c¿mTjXUXWh2Ro|lmTn¢cfU

rj@u)š>jdj@cfegn•mTkz¾:|ˆuqn¢|ˆmohVWl«¬OW¿~TjzmTjlegWlÂÀeqRo|:eKrjluKšDjlegR#ž—…®±zy ²g³´qµV¶q³ |lmo~t˜¸ ”x¹ ºvÂ:nœrT–—W—nœmTnœegn¢|ˆ›•n•§VW˜–[nœegR

|.~bn•cfeguqn•šT™begn•jlm-egRo|ˆe—Ro|@c—|.cf™ÄhVnœWm@eq›œaX›¢|ˆuqklWi¾:|lugn¢|ˆmohVWzh!j@UX}Dj@mTWVmHeÂ@egRoWcgWzž˜¡iyªc¿–[nœ›•›>cg™ohh!Wcqcfr™T›œ›•a

hVjlmd¾lWugk@Wl«¬OWªcgRo|l›œ›D}Tugj:¾dn¢~bWicgjlUXWzh!j@UX}T™beq|ˆegn•jlmo|l›TuqWcg™T›pe2c˜hVjlmohVWVuqmTnœmok™TmTWH™o|l›on•mTnœegn¢|ˆ›•nœ§À|:egn•jlmDcvn•m

j@™Tu˜hVjlUX}o|ˆu2|:eqnœ¾@Wicxeq™o~ba‹nœm,_dWh!egn•jlm-b« ”mŸ}Tu2|lh!egn¢h!W[eqRTWin¢cgcg™TWz|l›•cgj.|lugn¢cfWÀcvh!j@moh!WugmonœmTk eqRTWH™TWÀcxeqnœj@m

jlr<–[Ro|:ezn¢cz|-cf™ÄhVnœWm@e @™D|ˆmHegnœexa-jlr*¾:|lugn¢|ˆmohVW–[npeqR®–[RTn¢h2RegjÄn•mTnœegn¢|ˆ›•nœ§WegRoW#ž˜¡iy.« ”meqRTW.cgWH™TW›ÝÂ

–¿W –[nœ›•›)cgWVWÁegRD|:eijl™ou[mTWV– ž˜¡iy–[n•›œ›mojˆeiš>WWVmohV™TU.š>WVuqW~šda|ˆmdaÄcg™oh2R½~bWV›•n•šDWuq|ˆegn•jlmoc«

3, 6!1# [", — ½

yªcÁ–¿|@cz}TuqWV¾dn•jl™ocg›•a,UXWm@eqnœj@mTW~Â>ž—…®±zy ²g³´qµV¶q³ –[nœ›•›<h!jlmd¾@WVuqklW#}TuqWVUŸ|ˆeg™TuqWV›•anpr¿nœmTnœegn¢|ˆ›•n•§VW~–[npeqR©|lm

|@cfadUXUXW!equgn¢hV|l›D~bn¢cxequgn•šT™beqnœj@mĖ[nœegR-uqWcg}>Wh+e—egj.egRTWÁjl}beqnœU¦™TU« ij:–¿WV¾lWuÂH|:e|#kln•¾lWmÄnœegWVu2|:eqnœj@mXegRTWugW

n¢c[n•mbrjluqUŸ|:eqnœj@m-eqRo|:ezh|ˆm,šDW#WV»b}T›œj@npeqW~«vQRoWmo|:eq™TugWjlr)eqRTn•cznœmTrjluqUX|ˆegn•jlm,n•cišDWÀcxeiWV»d}o›•|lnœmTWÀ~-–[nœegR

|lmWV»T|ˆUX}T›•W |lmo~,npe2c[h!j@uguqWcg}Dj@mo~bn•mTk‹nœ›•›œ™Dcxequq|ˆegn•jlm 5Kn•kl™TuqWX‚l«

_d™o}T}DjHcfW–¿W–|ˆmHe‹egj UXnœmonœUXn•§VW,egRTW½cfeq|lmo~T|ˆu2~¼cg}TRTWugWr™Tmoh!egn•jlm

f˜2(x) n•m¼ex–¿jO~TnœUXWVmDcfn•jlmoc«

Y—j@mocgn•~bWuK|zU.™T›œegn•¾:|ˆuqn•|ˆegW¿mTjluqUŸ|ˆ›H~bn•cfeguqn•šT™begn•jlm‹h!Wm@eqWVuqW~#rs|ˆurugj@U^egRTW¿jl}beqnœUŸ|l›dcgjl›•™beqnœj@m :nœm 5Knœk@™TuqW

‚@ÂdegRTW j@}begn•U.™TUn•c[|ˆe£Ý„T„@¤¿|ˆmD~-–¿WÁhVjlmocgn¢~bWVu[|‹mTjluqUŸ|ˆ›~bn¢cxequgn•šT™beqnœj@m,hVWVmHegWugWÀ~-|ˆe£8‡bÂä‡l¤—–[nœegR,egRTW

n¢~bWm@eqnpexaŸUŸ|ˆeguqnp»Ä|lc—nœeqch!j:¾:|ˆuqn¢|ˆmohVW[UX|ˆeguqnp»«*¬OWÁhVugWÀ|:egWÁ|#}>jl}T™o›•|ˆegn•jlmŸruqjlUBeqRTn•c~bn¢cfeguqnœšT™Tegn•jlm£egRTW

–[RonpeqW|lmo~¨šT›•|@h2żh!n•u2h!›•Wc‹nœm¨egRoWÍokl™TuqWÀ¤¦|ˆmD~¨cgWV›•Wh!e‹eqRTW®cq|ˆUX}T›•WjlrzegRoW½šDWÀcxeÄn•mo~bn•¾dn•~b™D|ˆ›¢c¦–[nœegR

uqWcg}>Wh+eÁegjegRoW‹cg}TRTWugW¦ÍTegmoWcqczr™omoh+eqnœj@m¯£egRTWXšT›¢|lh2Žh!n•u2h!›•Wc2¤+«¬OW‹mojˆegn¢h!W¦egRD|:eÁegRTWŸcgRo|ˆ}>W¦jlrvegRon•c

cq|ˆUX}T›•Wzn¢ccfÅ@WV–¿W~ dnœe¿n¢c—egRTn¢c¿nœmTrjluqUX|ˆegn•jlmŸeqRo|:e–¿Wª–[n•›œ›FWV»d}o›œj@npeÀ«*±zjˆeqWzeqRTW ›œW¾lWV›FcgW!e[h!™Tuq¾lWÁ|lc—–—W›œ›

|@cÁnpe2c ›œn•mTW|lu|ˆ}T}Tuqj†»bnœUŸ|ˆegn•jlm½n•meqRTW‹Íokl™TuqWl« 5T™TugegRoWVu mTjˆeqW‹egRo|ˆeÁeqRTWŸcg|lUX}T›œW‹n¢c WV›•jlmTkH|:egWÀ~®|ˆ›•jlmok

eqRTWě•nœmoW|ˆu¦|ˆ}T}Tuqj†»bnœUŸ|ˆegn•jlmjlregRTWě•WV¾@WV›˜cgW!e‹h!™Tuq¾lW@«yzc.–—WÄ~Tj®mTjˆe#–|ˆmHeeqj½egu2|lhVWXegRTWě•WV¾@WV›˜cgW!e

|lmo~Ė¿WÁ–—j@™T›•~Äuq|ˆegRTWu~TWcqh!WVmD~-|ˆkH|ˆn•mocfe—nœeÂdegRoWÁ~bn•uqWh+eqnœj@m-n•m-eqRTW cg|lU‹}o›œWÁ–[RTWVuqWªegRTWugWÁn•c—eqRTWª›•W|@cxe

¾:|lugn¢|ˆmohVWÁhVjluqugWÀcf}>jlmD~Tc—egjXegRoW#~bnœuqWh!egn•jlm,}DWug}>WVmD~bn•hV™T›¢|ˆuegjXeqRTW›•WV¾lW›cfWVe -|‹~TWcqh!WVmHez~bn•uqWh+eqnœj@mjlr

hVj@cfei~bWhVugWÀ|lcgWlÂd–[RTn¢h2Rn•m,egRTn¢cihV|@cfW n¢c¿egRTWmoWVk@|ˆegn•¾lW jˆregRTWk@uq|@~bn•WVmHe¿jlreqRTW ÍTeqmTWcqc¿r™Tmoh!egn•jlm«

¬°RTn•›•WXegRTWX}TuqWhVW~bn•mTk,W!»T|ˆUX}T›•W¦–|lc |,cfn•UX}T›•npÍoWÀ~®ex–¿j~bnœUXWmocfn•jlmD|ˆ›<|ˆšocfegu2|lh!egn•jlmÂFeqRTWXn•~TW|n•c

™DcfWVr™T›Dn•m|lugšonpequq|luga‹~bnœUXWmocfn•jlm)« ”m~bnœUXWmocfn•jlm

nÂH–¿Wª|lk@|lnœmÄ|ˆefeq|lnœm|.cq|ˆUX}T›•Wz–[RTn¢h2RĖ¿WzW!»b}>Wh!e˜egj

š>W#cgÅlWV–¿W~n•meqRTW#cgWVmocgWÁegRo|ˆe[egRTWugWn¢c›œnœefeq›œW.¾†|lugn¢|ˆmDh!WÁnœm½|Ÿ~bn•ugWÀh+eqnœj@mjlr*hVj@cfe[~TWh!uqW|@cfW@«<ycfn•UX}T›œW

–|†aegjÍomo~O|ŸÍomTnœegWŸcgW!eÁjˆr—h|ˆmo~bn¢~T|ˆegWX~bnœuqWh!egn•jlmocª–[nœegR–[Ron•h2Regjh2RTjdj@cgW¦|-~TWcqh!WVmHe~bn•ugWÀh+egn•jlmn•c

eqj‹h|ˆ›¢h!™T›¢|:eqW|ˆm-Wnœk@WVmd¾:|ˆ›•™TW ~bWhVjlUX}DjHcfnœegn•jlmjˆregRTWh!j:¾:|lugn¢|ˆmohVWzUŸ|:equgnœ»ÄjˆregRTWcq|ˆUX}T›•W jˆreqRTWšDWÀcxe

M n•mo~bn•¾Hn¢~b™o|l›•c«<QRTWVm)Â@–¿WzcgnœUX}T›•a‹h2RojHjHcfW¿eqRTWzWnœk@WVmd¾lWÀh+egj@u<–[npeqRXegRTWªcfUŸ|ˆ›•›•Wcfe˜WVn•klWmH¾:|l›œ™TW #

% * % , %

ÂeqRTWÄWnœk@WVmd¾lWÀh+egj@u –[npeqR egRTWÄcgUŸ|ˆ›•›œWÀcxe#Wnœk@WVmd¾:|ˆ›•™TWŸ–[nœ›•›˜hVjluqugWÀcf}>jlmo~egj

eqRTW~TnœuqWh!egn•jlm n•m·egRoWcq|ˆUX}T›•WÄRo|†¾dnœmok½egRTW,›•W|lcfe.¾:|ˆuqn¢|ˆmohVWl«®¬OWh2RTjdjHcfWŸeqRTn¢c.Wnœk@WVmd¾lWÀh+egj@u#|lc¦jl™Tu

~TWcqh!WVmHei~bn•ugWÀh+eqnœj@m«

” mOegRoWŸklWVmoWVu2|ˆ›<cfWVefeqnœmTkDÂeqRTn•c.~bnœuqWh!egn•jlmOUXnœk@R@e#mojˆe#h!j@uguqWcg}Dj@mo~½eqjegRTWŸmoWVk@|ˆegn•¾lW‹klu2|l~bn•WVmHe#|lc

j@™TuzcgnœUX}T›•W.WV»T|ˆUX}T›•W.~bn¢~ oeqRTW¦~TnœuqWh!egn•jlmegRD|:ez–¿W#–[n•›œ›K™ocgW#–[nœ›•›Knœm½k@WVmTWuq|l›šDW‹~bn&>WugWm@ezegRo|lm½egRTW

moWVk@|ˆegn•¾lW jˆr*eqRTW#klu2|l~TnœWm@eÀ«¿_dn•UX}T›•W.h!j@U‹}o™beq|ˆegn•jlmo|l›)cxeq™o~bn•WczRo|†¾lWh!j@mbÍouqUXW~egRTn¢czcfeq|ˆegWU‹WmHe«¬©W

Direction of cost decrease

Level set curve

Linear approximation of the level set curve

= Selected individual

= Unselected individual fitness function = sphere function

Optimum = (0,0)

5Knœk@™TugWX‚@¥*y­‡ Õ~TnœUXWVmDcfn•jlmo|l›Fnœ›•›œ™Dcxequq|ˆegn•jlm,jˆrKegRTW#hVWVmHegu2|ˆ›Fn¢~bW|‹š>WVRTn•mo~žvž˜¡zy#«

RD|†¾lW.WV»T|ˆUXnœmoW~½žvž—¡iyBnœmO~bn•U‹Wmocgnœj@moc

n= 2 ^|lmo~ n= 10Âcfeq|ˆugegn•mTk-rugj@U

µ⁰ = (100, . . . ,100)

|lmo~

Σ⁰=I«*¬©WÁ}TuqWcgWVmHeveqRTWzUXW~Tn•|lmÂdU‹WÀ|ˆmÄ|lmo~XegRoWÁcfeq|lmo~T|ˆu2~X~bWV¾dn¢|:eqnœj@mÄjˆreqRTWª|lmTkl›•Wiš>W!ex–¿WVWVm eqRTWcgWvex–¿jª~TnœuqWh!egn•jlmoc†egRTWÀcfW¿cxe2|:eqn•cfegn¢hVcK|ˆuqWve2|ˆÅlWmruqjlU­‡ˆ„[uq™TmocÂ:W|@h2Rjˆro–[Ron•h2R.hVjlmocgn¢cxeqW~jlr‚„T„l„@„

r™omoh+eqnœj@m©W¾†|l›œ™D|:egn•jlmDcV«¦¬©WŸhV|l›•hV™T›¢|:egW¦egRoWX|lmTkl›•W‹šDWVex–—WWVm®eqRTWcgWX¾lWÀh+egj@uqcª™ocgnœmokeqRTWŸ~bW!ÍDmTnpeqnœj@m©jlr

eqRTWXžv™ohV›œn¢~bW|lm©n•mTmTWu }Tugjb~b™Dh+e¥

x·y =kxkkykcosθ, ^–[RTWVuqW θ n¢cÁegRTWŸ|ˆmokl›•W¦š>W!ex–¿WVWm¾lWÀh+eqjlu2c

x

|lmo~

y«<t˜›œWÀ|lcgW cgWVWQK|ˆšT›•W «

n= 2 n= 10

UXWÀ~bn•|lm T« l T‚@« „

UXWÀ|ˆm ‚l‚@«H @‡T«œ‚†‡ˆŠ

cxe2|ˆmo~T|luq~,~bW¾Hn¢|:eqnœj@m ‚À‡T«„l‰ ‡ˆŠo« ‰H

QK|ˆšo›œW ¥X_deq|:eqn•cfegn¢hVc#rjlu.egRTW,|ˆmTk@›œWŸš>W!ex–¿WVWm egRTW-WVn•klWVmDcf}o|@h!WŸWV»HeqWVmocgn•jlm·~bn•ugWÀh+eqnœj@m·|ˆmo~OeqRTWÄequg™TW

k@uq|@~bn•WVmHe«

¬OW mTjˆeqWªeqRo|:e¿egRoWÁ™omo~bWVuq›•aHn•mTk‹}TuqnœmohVnœ}o›œW jˆrjl™Tu[~bW¾lWV›•jl}oU‹WmHe¿n¢c—egRo|ˆe–¿WÁjlmT›•aŸmTWVWÀ~Äeqj.ÍDmo~|

~TnœuqWh!egn•jlmjˆr<h!jHcxez~bWÀh!uqW|@cfW bÍomo~bn•mTkXeqRTW#W!»T|@h+eiklu2|l~TnœWm@ei–¿jl™o›•~,™ocg™o|ˆ›•›•a-š>WegjdjÄh!jHcxeq›œajlu[n•UX}DjHc

cgn•šT›œW@«

"! $#%'&)(+*-,.#%*/012

ZªmDh!WÁ–—WÁRo|†¾lWzrjl™TmD~ÄeqRTW WVn•klWVmd¾@Wh+eqjlu—–[npeqR-eqRTW U‹n•mTn•U.™TUWVn•klWVmd¾:|ˆ›•™TW@ÂH–¿WÁW!»b}T›•jlnœe—eqRTn•cn•mbrj@ugUŸ|

eqnœj@m½šda,UXjb~bnœradnœmTk-ž˜…®±zyz²g³´qµV¶q³*nœm½j@uq~bWuieqj-h!uqW|ˆegWeqRTW.žvn•klWmocg}o|lhVWž˜¡iy£žvž˜¡zyª¤+«¬OW.uqW!e2|ˆn•m

eqRTW‹UX|ˆwxjluqnpexa,jˆr<eqRTWXcxequg™oh!eg™TuqW.jlr˜ž˜…®±ªy ²q³´gµ¶g³ šT™be UXjb~bnpra½nœe nœmegRTW¦rjl›•›œj:–[n•mTkĖ|†aF¥ Œ‹ Ç ‘T’43

ê

 Ç

:‘b

ËÊ.Ç

 Ç Ì

ÇKÇ

 3 Ç

ŽÀ‘ )Ç ’

Ë

‘b ‘ ’ Ç

·‘b  È

,

 3 ÇË



‘) ·‘

É



 3 Ç Ì  Ç

’l

Ë Ë

 3

ÇÄÇ

ÇDÇ

’ˆ

Ë

.’

Ë

†

Ç

Ž

Ë

Ì  Ë  3 Ç

Ž·‘ ))Ç

Ž

Ç Ç

‘)

Ç

Ç ’

’@‘))

È  3

Ç®Ç

Ç

‘)

Ç Ì Ç ’ Ë Ë Ž 

ËÊ.Ç

 Ç Ž Ç

X 3 Ç

Ç Ç

‘)

Ç

 Ë  3 Ç ‘) Ç½Ë  3 Ç ·‘ Ç

Ç ‘) ǗQRTW ÍDmo|ˆ›)~TWcqh!uqnœ}beqnœj@mjlrKž˜ž˜¡iyn¢c[}TuqWcgWVmHegWÀ~

n•m,egRTW rj@›œ›•j:–[n•mTk¦}DcfW™o~bj éh!jb~bW@¥

‚l«[y¿e¦k@WVmTWuq|ˆegn•jlm·„TÂ*–¿W-|ˆuqWÄk@nœ¾@WVm·|½U¦™T›peqnœ¾:|lugn¢|:eqW\ |ˆ™ocqcgn•|lm·~bn•cfeguqn•šT™begn•jlm¼jˆriUXW|lm

µ^{0 |ˆmD~}

h!j:¾:|ˆuqn¢|ˆmohVWª¾@Wh+eqjlu

Σ⁰«˜\ÁWmTWVu2|:eqW|¦}>jl}o™T›•|ˆegn•jlm,jˆr

N n•mo~bn•¾dn•~T™o|ˆ›¢cV«

‡b« 5Tj@u

k≥0^Â

£s|H¤y¿e klWmTWVu2|:eqnœj@m

k+ 1ÂcfW›œWÀh+eªegRTW‹šDWÀcxe

M < N nœmD~bnœ¾dn¢~b™o|l›•cX£–[nœegR©ugWÀcf}>Wh!ezeqjÄÍTeqmTWcqc r™omoh+eqnœj@mD¤—rugj@Uk@WVmTWuq|ˆegn•jlm

kc}>jl}T™o›•|ˆegn•jlm«

£š>¤Y¿|l›•hV™T›¢|:egWªegRoWU‹WÀ|ˆm

µ^k+1 |ˆmD~hVj:¾†|lugn¢|ˆmDh!WzUŸ|ˆeguqnp»

Σ^{k+1 jˆr)eqRTW} M cgWV›•Wh!egW~n•mo~bn•¾Hn¢~

™D|ˆ›¢cV«

£shÀ¤

‘)ݒ*)s‘b

Ç ‘

½Ç

Ç

‘) Ç Ì Ç ’ Ë Ë Ž 

Ë-Ë

 3 Ç ’

Ë

‘b ‘ ’ Ç

¼‘bV “

Σ^k+1= VΛV^T

£s~D¤ªÇ



ÕË

 ‘

Ç 

Ç

Ž

Ë

‘TŽ[Ì

ÇKÇ Ì,‘b

Ë>Ç

“

Σ^k+1=VΛV^T+(λmax−λmin)vminv_min^T

£W†¤,\ÁWmTWVu2|:eqW|¦moWV–M}Dj@}T™T›¢|:egn•jlm,jˆr

N nœmo~Tnœ¾dn¢~b™o|ˆ›¢c«

¬OWŸhV|ˆ›•›egRTWXmTW– cxeqWV}oc |lmWVn•klWmocg}o|lhVW#W!»degWmocgnœj@m©|ˆmD~½egRoW‹|l›œk@jluqnpeqRTUegRTWXžvn•klWmocf}D|lh!W¦ž˜¡iy

£sžvž˜¡iyÁ¤+«ˆyz›•cgjo†šdaªuqWcgW!egegn•mTkieqRTW˜UXn•mTn•U.™TU^WVn•klWmd¾†|l›œ™oW<egjzegRTW—¾†|l›œ™oW˜jˆrbeqRTW˜UŸ|ˆ»dn•U.™oUMWnœk@WVmd¾:|ˆ›•™TWlÂ

–¿Wcxeqnœ›•›Ro|†¾@WÁ|¦ru2|ˆUXWV–¿jluqÅXrjluihVjlmd¾lWugk@WVmohVWl«

¦ ,(* ! #

#"

¬OW‹mTj:–­}TuqWcgWVmHeÁ|lm©hVjlUX}T™be2|:egn•jlmD|ˆ›*h!jlUX}o|luq|ˆegn•¾lW.cfeg™D~ba½jˆr˜ž˜ž˜¡iy#Â)t˜¸ ”x¹)º Â|lmo~®ž˜…±zyi²q³´gµ¶g³Õ«

¬OW~bW!ÍomoW,j@™Tu¦egWVuqUXnœmD|:egn•jlm¯h!j@mo~bnœegn•jlm¨|@c

10,000 r™TmDh+egn•jlm¯WV¾:|l›œ™o|ˆegn•jlmoc« 5Tj@u‹WÀ|lh2R·ž—¡iy0|ˆmo~

cgW!eijlrK}D|ˆu2|ˆUXW!eqWVu2cVÂb–¿WRo|†¾lWÁeqRTW#~T|:e2|‹rjluª‡l„‹nœmo~TWV}>WVmo~bWmHezug™omocV«˜¬©W#}ougWÀcfWm@eeqRTW ¾:|l›œ™TW

jlregRTW-ÍTegmTWÀcgc.r™Tmoh!egn•jlm·j:¾@WVu eqRTW,‡l„½ug™omoc.|ˆe#egRTW-egWugUXn•mo|:eqnœj@m jˆr[egRoW-h!j@U‹}o™beq|ˆegn•jlm¼|@c–—W›œ›|lc

eqRTWh!jluquqWcg}Dj@mo~bn•mTkcfeq|ˆmD~T|ˆu2~ ~bWV¾dn¢|:eqnœj@m·nœm¼egRTW,rj@ugU jˆrÁ|ˆm·j@uq~bWugWÀ~ }o|ˆn•uÀ¥£UXW~Tn•|lm˜cfeq|ˆmD~T|ˆu2~

~TWV¾dn•|ˆegn•jlmD¤!«v¬OW.h2RTjdj@cgWÁegRTW#}>jl}o™T›•|ˆegn•jlm½cgnœ§W

N = 40^$ |ˆmD~,cq|ˆUX}T›•W#cgnœ§Wc

K=M = 20«v¬OW.cgW!e eqRTW¦~TnœUXWVmDcfn•jlm

n= 10«zQRTW‹n•mTnpeqn•|l›KhVj:¾:|ˆuqn•|lmoh!WUŸ|:equgnœ»

Σ⁰ rj@uªž˜ž˜¡iy |ˆmo~½ž—…®±zy ²g³´qµV¶q³ n¢cªegRTW n¢~bWm@eqnpexa UŸ|:equgnœ»

I ^{|lmo~ t˜¸ ”x¹ º} c¦nœmonpeqn•|l›¿~bn¢cfeguqnœšT™Tegn•jlmoc.Ro|†¾lWęomTnpe‹¾:|ˆuqn•|lmoh!W@«®t˜¸ ”x¹ º c¦›œWÀ|ˆuqmTnœmok u2|:eqW

αn¢c˜Ío»dWÀ~-|ˆe

0.1«*¬OWª¾:|ˆuqa‹egRTWªÍTeqmTWcqc—r™Tmoh+eqnœj@m|@c˜–¿WV›•›>|@c—egRTWÁnœmonpeqn•|l›>UXWÀ|ˆm

µ⁰«*tv›•W|lcgWªcgWVW QK|ˆšo›œWÀc‰X|lmo~ beqRTW šDWÀcxeiuqWcg™T›œeqc[|ˆuqW nœmš>jl›¢~«

yzm F cg™T}>WVu2cghVugn•}be®~bWVmojˆegWÀc½uqWcg™T›pe2c½h!j@m@e2|ˆUXn•mo|:eqW~ šHa md™TUXWVuqn•h|ˆ›}TuqjlšT›•WVUŸc.eqRTWcgW }Tuqjlš$

›•WVUŸc‹jbhVhV™TuguqW~·W!»Th!›•™ocgnœ¾@WV›•a©rj@u¦ž—…®±zy ²g³´qµV¶q³«·QRoW,uqW|@cfj@m rjlu‹egRoWcgWmd™TUXWVuqn¢hV|ˆ›¿WVuquqjlu2c#n¢c.eqRo|:e

%

Ü+ç[Ï¿ç[âäô+ÔV٘Ñ2Òsô+ֆÏ[Ù8ԆÑqÙý ò ã

ê&(')(*,+('

ÒsÏfèVֆâäÒsÏxÐÑÁåÑ2Òsô+ÏxҗۈÜ+ۆֆåÑqÙÝâäÜ+צÙÝÜ æœÖ†×†ÓéÙ8âäÜ+צۆÒsÜ+ÛlÏxÒsåß!ï.-ÜfûÏ!ÏxÒ

í

ÙÝԆâäÐ

Ü+Þ sÏfÓéÙÝâäÜ+×âäÐKç[ÜVÜ2Ù

í

Ñ2ÐûÏvÔ:Ñ!Ï¿Ñ2åäÒÝÏfÑ2ØÀßÐÝԆÜgû)× ÙÝԆÏvæ¢Ñ2âäåäֆÒsÏvÜ2æý ò ã

ê&(')(*,+('

û)âÙ8Ô#Ñ[åÑ2Òsô+ϗۈÜ+ۆֆåÑqÙÝâäÜ+×ֆ׆ØÀÏfÒKåäÏfÐÝÐ

Ï VÙÝÒÝÏxç[Ï<âä׆âÙÝâÑ2åHÓxÜ+׆؆âÙÝâäÜ+׆Ð0/:Ó+ïæÝïTÙÝԆÏ<Ð8ÏxÓéÙ8âäÜ+×ÁÏf×!ÙÝâÙ8åäÏxØ21só)ÔÀÏ

î

Ñ2âäåäֆÒÝÏ<Ü2æDý

ò ã ê &(')(*,+('

Ñ2×†Ø à ÿ43

ï5

µ⁰= (10, . . . ,10) f1(x) f2(x) f3(x)

žvž˜¡zy £lŠT«

ƒ@ŠTÂ>‚l‚À„T«„

H¤ oÇ@É DÇ@É

t˜¸ ”x¹)º £s„T«„l„@„T‚@ b«ˆ‰@ŠlW'é„@l¤ £s„o«„@„l„@‡TÂHƒo«„@„lƒlW'é„@l¤

ž˜…±zy ²q³´gµ¶g³ £s„o«‡lƒ@TÂd„o«„@„lŠH¤

F ^{£ ‚V‰D«„ ŠTÂ>‚À‡ T«ä‡ˆ„o‚À¤ £Ý‡ @T«}„o‚V‰oÂ>‚ÀlƒT«ˆ‡@‡l¤

QK|ˆšo›œWÁ‰o¥<t*WVugrjluqUŸ|ˆmohVWª|lmo|ˆ›•abcfn¢c—rjlužvž˜¡iy.Âot˜¸ ”x¹º |lmo~Ğ—…®±zyz²g³´qµV¶q³nœm½~bn•UXWVmocgn•jlm‚À„‹™Tmo~bWu|

cg›•nœk@R@ei|@cfadUXUXW!eguqn¢hV|ˆ›Fn•mTnœegn¢|ˆ›•nœ§À|:egn•jlm)«

µ⁰= (100, . . . ,100) f1(x) f2(x) f3(x)

žvž—¡iy DÇ@ÉoÇ@É DÇ@É

t˜¸ ”x¹)º £s„T«„@‡ˆ‰oÂb„T«„l„@„ ¤ £Ý  d«dÂ>‚À‡lƒ@‡b«ä‡l¤ £8l‡ o«ŠoÂD‚À„lƒ@ŠT«äl¤

ž—…®±zy ²g³´qµV¶q³ £Ý„T«„T‚ TÂ

«ä‡ l:W'é„@@¤

F ^{£lƒ@ƒ T«}‰oÂH‰l‰@ƒ@„@‡T«H¤ £s„TÂb‰dˆ„l‰o‚l«@¤

F

QK|ˆšo›œWb¥<t*WVugrjluqUŸ|ˆmohVWª|lmo|ˆ›•abcfn¢c—rjlužvž˜¡iy.Âot˜¸ ”x¹ ºO|lmo~Ğ—…®±zy ²g³´qµV¶q³ nœm½~bn•UXWVmocgn•jlm‚À„‹™Tmo~bWu|

}ougj@mTjl™TmDh!W~|lcgadU‹UXWVeguqn•h|ˆ›n•mTnpeqn•|l›œn•§|ˆegn•jlm«

ž—…®±zy ²g³´qµV¶q³ch!j:¾:|ˆuqn¢|ˆmohVW#UŸ|:eguqnœ»®}TugWUŸ|:eg™ougW›œa®hVjlmd¾lWugk@W~,egj,§VWugjDÂ|ˆmo~®egRTWŸcg™TšocgWH™TWm@e nœegWVu2|

eqnœj@moc#Wmoh!j@™TmHegWugWÀ~©Wuguqjlu2c«,QRTWÀcfW-WVuqugj@uqc|lugWŸn•mocgnœk@mTnpÍ>hV|ˆmHe¦cgn•moh!WŸeqRTWVa j@mT›œaOuqWcg™T›peqW~ |ˆráegWVu.egRTW

ž—¡iyh!j@mH¾@WVuqklWÀ~ŸegjŸ|‹mTj@m$8j@}begn•UŸ|ˆ›cgjl›•™begn•jlm)«

¬OW#mTj:– W!»b}T›•jluqWªeqRTW.~bW}DWmo~bWmoh!Wj@m~TnœUXWVmDcfn•jlmÂošHaugW}DWÀ|:eqnœmTk‹eqRTW.|ˆš>j:¾lW WV»d}>WVuqn•U‹WmHe–[nœegR

|ÁrW–°UXnœmTj@u˜h2Ro|lmTklWÀcV¥–—W[WmT›•|lugk@WegRTWiegWVuqUXnœmD|:egn•jlmÄhVugnœegWugn¢|ªegj

50,000r™Tmoh!egn•jlmŸWV¾:|l›œ™o|ˆegn•jlmoc˜|ˆmo~

WmT›¢|ˆuqklWegRoWª~bn•UXWVmocgnœj@mXegj

n= 30«K¬©Wª|ˆ›¢cfj#WmT›¢|ˆugk@WegRTWª}Dj@}T™T›¢|:eqnœj@mÄcfn•§VW[eqj

N = 80|ˆmo~Ÿcq|ˆUX}T›•W cgn•§VWcªeqj

K =M = 40«#yz›œ›<jlegRTWu }o|ˆu2|ˆUXW!eqWVu2czuqWVUŸ|lnœmegRTWŸcq|ˆUXWl«#t˜›œWÀ|lcgW‹cgWVWXQ|lšT›•Wc Š|lmo~

|lk@|lnœmÂHeqRTWšDWÀcxeiuqWcg™T›œeqc[|lugW n•m,š>jl›¢~«

µ⁰= (10, . . . ,10) f1(x) f2(x) f3(x)

žvž—¡iy £‰o«„l„HbÂF‚l«•‚@Š@¤ £Ý„T«„l„@„@lTÂH„o«„@„T‚ÀŠ@¤ £Ý„T«„l„o‚À‡bÂb„o«„@„@‡ˆ„H¤

t˜¸ ”x¹ º >ÇlÉ !>Ç@É" # HÇ@É oÇ@É"

ž—…®±zyz²g³´qµV¶q³ £s„o«„ ˆbÂb„o«„@„l„

¤

F £Ý‡lŠlŠ@ƒT«•‚

Âb‡ˆŠo«„o‚ŠH¤

F ^{£Ý‡lŠ@‡ T«dÂF‚ƒo«„Hl¤}F

QK|ˆšo›œW ŠT¥<t*WVugrjluqUŸ|ˆmohVWª|lmo|ˆ›•abcfn¢c—rjlužvž˜¡iy.Âot˜¸ ”x¹º |lmo~Ğ—…®±zyz²g³´qµV¶q³nœm½~bn•UXWVmocgn•jlm „‹™Tmo~bWu|

cg›•nœk@R@ei|@cfadUXUXW!eguqn¢hV|ˆ›Fn•mTnœegn¢|ˆ›•nœ§À|:egn•jlm)«

$$ ,%'&"(& #)*&)+*-,/.$#%,.#+ ,0% (+*&.1%#&

¬OWXšDWkln•m©šda®|lmo|ˆ›•ad§Vn•mTk-eqRTWXugWÀcf™o›pe2czrj@u#~bn•U‹Wmocgnœj@m¼‚„o«.žv¾@WVmO–[RTWVm©egRoW‹n•mTnœegn¢|ˆ›v~bn¢cfeguqnœšT™Tegn•jlmOn•c

hVWVmHegWugWÀ~ |:e.mTWÀ|ˆuq›œa®egRTWjl}beqnœUŸ|ˆ›—cfj@›œ™beqnœj@m°£

µ0 = (10, . . . ,10)¤!ž˜ž˜¡iy}>WVugrjluqUXW~ –¿WV›•›ÝÂKš>WVn•mTk j@™beg}>WVugrjluqUXW~jlmT›•a-šdaÄt—¸ ”x¹º jlm

f1(x)«Zªm,egRTWjlegRTWu[ex–¿j¦r™omoh+eqnœj@mocVÂožvž˜¡iy kluqW|:eq›œaŸj@™beg}>WVu rj@ugUXWÀ~,egRTW‹jˆeqRTWVuzex–—jĞ—¡iyzc«ª¬°Ronœ›•W#eqRTW¦j@}begn•UŸ|ˆ›Kcfj@›œ™beqnœj@m®–|lcz|ˆefe2|ˆn•mTW~ £s–[npeqRTnœmO|Ämd™TUXWVuqn¢hV|ˆ›

ê