HAL Id: hal-00937736
https://hal-enac.archives-ouvertes.fr/hal-00937736
Submitted on 25 Apr 2014
HAL is a multi-disciplinary open access archive for the deposit and dissemination of sci- entific research documents, whether they are pub- lished or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers.
L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.
A combined nelder-mead simplex and genetic algorithm
Nicolas Durand, Jean-Marc Alliot
To cite this version:
Nicolas Durand, Jean-Marc Alliot. A combined nelder-mead simplex and genetic algorithm. GECCO 1999, Genetic and Evolutionary Computation Conference, Jul 1999, Orlando, United States. pp xxxx.
�hal-00937736�
✗✘✙✚✛✜✢ ✣✤✥✜✦✧
★✩✪✫✬✩✭✫✮✬✯✰✱✲✳✭✮✴✮✵✩✭✮✫✶ ✷✸✫✪✩✸✯
✹✯✶✭✬✯ ✰✱✺✭✻✰✯✵ ✰✯ ✸✩ ✼✩✽✮✾✩✭✮✫✶ ✿✯✬✮✯✶❀ ✶✯
❁❂✩✽ ✺✰✫✻✩✬✰ ❃✯✸✮✶
❄❅❆❇❇ ❈✫✻✸✫✻✵✯
✹
✯✰✯❉ ❊✬✩✶❋✯
✰✻✬✩✶✰●✬✯❋❍✯✬❋❍✯■✯✶✩
❋■❏✬
✭✯✸❑ ▲❄❄▼❇◆❖ ❅❁P❆ ❇P
◗❘✜✦❙❚✜✥✙ ❯✛✛✘✚❱
★✩✪✫✬✩✭✫✮✬✯✰✱✲✳✭✮✴✮✵✩✭✮✫✶ ✷✸✫✪✩✸✯
✹✯✶✭✬✯ ✰✱✺✭✻✰✯✵ ✰✯ ✸✩ ✼✩✽✮✾✩✭✮✫✶ ✿✯✬✮✯✶❀ ✶✯
❁❂✩✽ ✺✰✫✻✩✬✰ ❃✯✸✮✶
❄❅❆❇❇ ❈✫✻✸✫✻✵✯
✹
✯✰✯❉ ❊✬✩✶❋✯
✩✸✸✮✫✭●✬✯❋❍✯✬❋❍✯■✯✶✩
❋■❏✬
✭✯✸❑ ▲❄❄▼❇◆❖ ❅❁P❅ ❖P
❲❳❨❩❬❭❪❩
❫✭ ✮✵ ✻✵✻✩✸✸❴ ✵✩✮✰ ✭❍✩✭ ✾✯✶✯✭✮❋ ✩✸✾✫✬✮✭❍✴
✵❍✫✻✸✰ ✪✯ ✻✵✯✰ ❵❍✯✶ ✶✫✭❍✮✶✾ ✯✸✵✯ ❵✫✬❛✵■ ❫✶
✳✬✩❋✭✮❋✯❂ ✾✯✶✯✭✮❋ ✩✸✾✫✬✮✭❍✴ ✩✬✯ ✽✯✬❴ ✫
❏✭✯✶
✻✵✯✰
❏✫
✬✸✩✬✾✯✵✮❜✯✰✾✸✫✪✩✸✫✳✭✮✴✮❜✩✭✮✫✶ ✳✬✫✪❝
✸✯✴✵❂ ✪✻✭ ✩✬✯ ✶✫✭ ✽✯✬❴ ✯❞❋✮✯✶✭ ❏✫✬ ✸✫❋✩✸ ✫✳❝
✭✮✴✮❜✩✭✮✫✶ ✳✬✫✪✸✯✴✵■
❈
❍✯ ✼✯✸✰✯✬❝❡✯✩✰ ✵✮✴❝
✳✸✯❉ ✩✸✾✫✬✮✭❍✴ ❍✩✵ ✵✫✴✯ ❋✫✴✴✫✶ ❋❍✩✬✩❋✭✯✬❝
✮✵✭✮❋✵ ❵✮✭❍ ✾✯✶✯✭✮❋ ✩✸✾✫✬✮✭❍✴❂✪✻✭ ✮✭ ❋✩✶ ✫✶✸❴
❢✶✰ ✩ ✸✫❋✩✸ ✫✳✭✮✴✻✴ ❋✸✫✵✯ ✭✫ ✭❍✯ ✵✭✩✬✭✮✶✾
✳✫✮✶✭■ ❫✶ ✭❍✮✵ ✩✬✭✮❋✸✯❂ ✩ ❋✫✴✪✮✶✯✰ ✼✯✸✰✯✬❝
❡✯✩✰ ❣✮✴✳✸✯❉ ✩✶✰ ✷✯✶✯✭✮❋ ✩✸✾✫✬✮✭❍✴ ✮✵ ✮✶❝
✭✬✫✰✻❋✯✰ ✩✶✰ ✭✯✵✭✯✰ ✫✶ ❋✸✩✵✵✮❋✩✸ ✭✯✵✭ ❏✻✶❋❝
✭✮✫✶✵✫✶ ❵❍✮❋❍ ✪✫✭❍ ✾✯✶✯✭✮❋ ✩✸✾✫✬✮✭❍✴ ✫✬ ✸✫❝
❋✩✸ ✫✳✭✮✴✮❜✩✭✮✫✶ ✭✯❋❍✶✮❤✻✯✵ ✩✬✯ ✶✫✭ ✯❞❋✮✯✶✭
❵❍✯✶ ✵✯✳✩✬✩✭✯✸❴ ✻✵✯✰■
✐❥❩❬❦❧♠❪❩♥❦❥
✷✯✶✯✭✮❋ ✩✸✾✫✬✮✭❍✴ ✩✬✯ ✶✫✭ ✽✯✬❴ ❏✩✵✭ ✭✫ ✵✫✸✽✯ ✸✫❋✩✸ ✫✳❝
✭✮✴✮❜✩✭✮✫✶ ✳✬✫✪✸✯✴✵ ✪✻✭ ❋✩✶ ✪✯ ✽✯✬❴ ✳✫❵✯✬❏✻✸ ✭✫ ❢✶✰
✩ ✾✸✫✪✩✸ ✫✳✭✮✴✻✴ ✩✬✯✩■ ♦✫❵✯✽✯✬❂✮✭ ✮✵ ✵✫✴✯✭✮✴✯✵ ✽✯✬❴
✰✮❞❋✻✸✭✭✫ ❢✶✰ ✭❍✯✴✮✶✮✴✻✴ ✫❏✩ ❏✻✶❋✭✮✫✶ ✻✵✮✶✾ ✩ ✾✯❝
✶✯✭✮❋✩✸✾✫✬✮✭❍✴ ✪✯❋✩✻✵✯✪✩✰✵✫✸✻✭✮✫✶✵❋✩✶✪✯✽✯✬❴✶✯✩✬
✭✫ ✭❍✯ ✾✸✫✪✩✸ ✫✳✭✮✴✻✴ ✵✫ ✭❍✩✭ ❵❍✯✶ ✭❍✯ ✾✯✶✯✭✮❋✩✸✾✫❝
✬✮✭❍✴ ✮✵ ✻✶✸✻❋❛❴ ✮✭ ✴✩❴ ❍✩✽✯ ✵✫✴✯ ✳✬✫✪✸✯✴✵ ✭✫
❢✶
✰
✩✶✰ ✬✯✴✩✮✶ ✮✶ ✾✫✫✰ ✩✬✯✩✵■ ★✫❋✩✸ ✫✳✭✮✴✮❜✩✭✮✫✶ ✭✯❋❍❝
✶✮❤✻✯✵ ✵✻❋❍ ✩✵ ✭❍✯ ✼✯✸✰✯✬❝❡✯✩✰ ❣✮✴✳✸✯❉ ❍✩✽✯ ✵✫✴✯
❋✫✴✴✫✶❋❍✩✬✩❋✭✯✬✮✵✭✮❋✵❵✮✭❍✾✯✶✯✭✮❋✩✸✾✫✬✮✭❍✴ ✩✵✭❍✯❴
✰✫ ✶✫✭ ✻✵✯ ✭❍✯ ✵✻❋❋✯✵✵✮✽✯ ✰✯✬✮✽✩✭✮✽✯✵ ✫❏ ✭❍✯ ❏✻✶❋✭✮✫✶
✩✶✰ ✰✯✩✸✵ ❵✮✭❍ ✩ ✳✫✳✻✸✩✭✮✫✶ ✫❏✳✫✮✶✭✵✮✶✵✭✯✩✰ ✫❏✩ ✵✮✶❝
✾✸✯ ✳✫✮✶✭■ ❊ ✻✬✭❍✯✬✴✫✬✯❂✭❍✯❴✩✬✯❤✻✮✭✯✯❞❋✮✯✶✭ ✭✫ ❢✶✰
✩ ✸✫❋✩✸ ✫✳✭✮✴✻✴ ✽✯✬❴ ❤✻✮❋❛✸❴■ ❫✶ ✭❍✮✵ ✩✬✭✮❋✸✯ ✩ ✭✯❋❍❝
✶✮❤✻✯✭❍✩✭❋✫✴✪✮✶✯✵✭❍✯✼✯✸✰✯✬❝❡✯✩✰❣✮✴✳✸✯❉✩✶✰✷✯❝
✶✯✭✮❋ ✩✸✾✫✬✮✭❍✴ ✮✵ ✰✯❢✶✯✰ ✩✶✰ ✭✯✵✭✯✰ ✫✶ ❋✸✩✵✵✮❋✩✸ ✭✯✵✭
❏✻✶❋✭✮✫✶✵✫✶❵❍✮❋❍✾✯✶✯✭✮❋✩✸✾✫✬✮✭❍✴ ✫✬✸✫❋✩✸✫✳✭✮✴✮❜✩❝
✭✮✫✶ ✭✯❋❍✶✮❤✻✯✵ ✩✬✯ ✶✫✭ ✯❞❋✮✯✶✭■
-1 -0.5 0 0.5 1 1.5
-20 -10 0 10 20
x
❊✮✾✻✬✯ ❅❑ ♣▲
q
▼ ▲
r s
❅❂
q t ✉✈
❖❆✇❖❆①▼■
②✯❵✮✸✸❢✬✵✭❋✫✶✵✮✰✯✬✷✬✮✯❵✩✶❛✱✵❋✸✩✵✵✮❋✩✸✭✯✵✭❏✻✶❋✭✮✫✶
▲❫✶✾✪✯✬ ✩✶✰ ③✫✵✯✶ ❅④④❖⑤▼ ❑
⑥▲
q⑦
✇⑧⑧⑧✇
q⑦⑨
▼
s
❅
P
❆❆❆
⑦⑨
⑩
❶❷
⑦ q❸
❶
✈
⑦⑨
❹
❶❷
⑦
❋✫✵▲ q
❶
❺❻
▼
❼
❻
t ✉
❅✇❅❆①✇
q
❶ t ✉✈
❅❆❆❆✇❅❆❆❆①
★✯✭✱✵ ✾✯✶✯✬✩✸✮❜✯ ✭❍✮✵
❏✻✶❋✭✮✫✶
✭✫ ✩✶❴ ✰✮✴✯✶✵✮✫✶ ✪❴
✰✯❢✶✮✶✾ ❑
♣▲
q⑦
✇⑧⑧⑧✇
q❽
▼
s
❅
P❆❆
r
❽
⑩
❶❷
⑦ q❸
❶
✈
❽
❹
❶❷
⑦
❋✫✵▲
q
❶
❺❻
▼
❼
❻
t ✉
❅✇
r
①✇
q
❶ t ✉✈
❅❆❆❆✇❅❆❆❆①
✬✯✳✬✯✵✯✶✭✯✰ ✫✶ ❢✾✻✬✯ ❅❏✫✬
rs
❅✩✶✰
q t ✉✈
❖❆✇❖❆①■
✿ ✸✫❋✩✸✫✳✭✮✴✮❜✩✭✮✫✶ ✴✯✭❍✫✰ ✴✩❴ ❢✶✰ ✭❍✯✾✸✫✪✩✸ ✴✮✶❝
✮✴✻✴ ✫❏ ✭❍✯ ❏✻✶❋✭✮✫✶ ▲ ❆▼❂ ✫✶✸❴ ✮❏ ✭❍✯ ✵✭✩✬✭✮✶✾
✳✫✮✶✭
q⑨
✪✯✸✫✶✾✵✭✫ ①
✈❾
✇
❾✉
■ ❫❏
r ❿
❅❂✭❍✯✾✸✫✪✩✸ ✴✮✶❝
✮✴✻✴ ✴✩❴ ✪✯ ❏✫✻✶✰ ✫✶✸❴✮❏ ✭❍✯ ✵✭✩✬✭✮✶✾ ✳✫✮✶✭ ✪✯✸✫✶✾✵
✭✫ ➀
❶➁➂
⑦➃❽➄
①
✈
❺❻
❾
✇
❺❻
❾✉
■
✷✯✶✯✭✮❋ ✩✸✾✫✬✮✭❍✴❂ ✫✶ ✭❍✯ ❋✫✶✭✬✩✬❴ ✴✩❴ ✯✩✵✮✸❴
❢✶
✰
✳✫✮✶✭✵ ✮✶ ✭❍✮✵ ✩✬✯✩❂ ✪✻✭ ✭❍✯
❢
✭✶✯✵✵
✫❏
✭❍✯✵✯ ✯✸✯✴✯✶✭✵
❋✩✶ ✪✯ ❍✮✾❍ ✩✶✰ ✭❍✯❴ ✴✩❴ ✰✮✵✩✳✳✯✩✬ ❵✮✭❍ ✭❍✯ ✵✯✸✯❋❝
✭✮✫✶ ✳✬✫❋✯✵✵■
❈❍✮✵ ✳✬✫✪✩✪✸❴ ✯❉✳✸✩✮✶✵ ❵❍❴ ✷✿✵ ❏✩✮✸ ✫✶ ✭❍✮✵ ✳✬✫✪✸✯✴
❵❍✯✶
r
✯❉❋✯✯✰✵
❄❆
▲➅✻✬✩✶✰ ✩✶✰ ✿✸✸✮✫✭
❅④④➆▼
■
❫✶✭❍✮✵✩✬✭✮❋✸✯❂✷✿✵✻✵✯✩✼✯✸✰✯✬❝❡✯✩✰✵✮✴✳✸✯❉✯✵✳✫✳✻❝
✸✩✭✮✫✶✭✫✭✩❛✯✩✰✽✩✶✭✩✾✯✫❏✭❍✯✾✫✫✰✳✬✫✳✯✬✭✮✯✵✫❏✵✻❋❍
✸✫❋✩✸✫✳✭✮✴✮❜✩✭✮✫✶✴✯✭❍✫✰✵■
❈
❍✯✩✮✴ ✫❏✭❍✯✾✯✶✯✭✮❋✩✸❝
✾✫✬✮✭❍✴ ✮✵✭✫❢✶✰✾✫✫✰✩✬✯✩✵❏✫✬✭❍✯✵✮✴✳✸✯❉✩✸✾✫✬✮✭❍✴
❵❍✯✬✯✩✵✭❍✯ ✸✩✭✭✯✬ ❵✮✸✸ ❢✶✰ ✭❍✯ ✸✫❋✩✸ ✴✮✶✮✴✻✴ ✮✶ ✭❍✮✵
✩✬✯✩■
❫✶✭❍✯❢✬✵✭✳✩✬✭❂✭❍✯✼✯✸✰✯✬❝❡✯✩✰✵✮✴✳✸✯❉✩✸✾✫✬✮✭❍✴ ✮✵
✳✬✯✵✯✶✭✯✰■ ➇✩✬✭❖ ✰✯✵❋✬✮✪✯✵❍✫❵ ✭❍✯✾✯✶✯✭✮❋ ✩✸✾✫✬✮✭❍✴
✩✶✰✭❍✯✼✯✸✰✯✬❝❡✯✩✰✵✮✴✳✸✯❉✩✸✾✫✬✮✭❍✴ ✩✬✯❋✫✴✪✮✶✯✰■
❫✶ ✳✩✬✭ ❄ ✭❍✯ ✩✸✾✫✬✮✭❍✴ ✮✵ ✭✯✵✭✯✰ ✫✶ ✭❍✯ ✷✬✮✯❵✩✶❛✱✵
❏✻✶
❋✭✮✫✶■ ③✯✵✻✸✭✵ ✫✶
✹✫
✬✩✶✩✱✵
❏✻✶
❋✭✮✫✶ ✩✬✯ ✩✸✵✫ ✾✮✽✯✶■
➈ ➉➊➋ ➌
➋➍❧➋❬➎➏
➋
❭❧ ❭
➍➐
❦❬♥❩➊
➑
★✯✭✱✵ ✩✵✵✻✴✯✭❍✩✭ ✭❍✯ ✳✬✫✪✸✯✴ ✭✫ ✪✯ ✵✫✸✽✯✰ ✮✵ ✭❍✯❏✫✸❝
✸✫❵✮✶✾ ❑
➒
❻
r ➓
▲
➔
▼
➔ t→
❽
❊ ✫✬❏✻✶❋✭✮✫✶✵✫✽✯✬
→
❽
❂✭❍✯ ✼✯✸✰✯✬❝❡✯✩✰✴✯✭❍✫✰ ✫✳✯✬❝
✩✭✯✵ ❵✮✭❍ ✩ ✵✮✴✳✸✯❉ ➣ ✮✶
→
❽
❂ ❵❍✮❋❍ ✮✵ ✵✳✯❋✮❢✯✰ ✪❴ ✮✭✵
▲
r ↔
❅▼ ✽✯✬✭✮❋✯✵❑ ▲
➔⑨
✇
➔⑦
✇⑧⑧⑧✇
➔❽
▼■ ❈❍✯ ✪✯✵✭ ✽✯✬✭✯❉
➔⑨
✮✵ ✰✯✵✮✾✶✩✭✯✰ ✭✫ ✪✯✭❍✯ ✽✯✬✭✯❉ ❏✫✬ ❵❍✮❋❍
➓
▲
➔⑨
▼ ↕
➓
▲
➔➙
▼
❏✫✬ ➛
s
❅✇⑧⑧⑧✇
r
■ ★✯✭✱✵ ✰✯✵❋✬✮✪✯ ✩ ❋✫✴✳✸✯✭✯ ✮✭✯✬✩✭✮✫✶
❏✬✫✴ ✵✮✴✳✸✯❉ ➣➜ ✭✫ ✵✮✴✳✸✯❉ ➣➜➝
⑦
❑
❊✮✬✵✭
➔⑦
✇⑧⑧⑧✇
➔❽
✩✬✯ ✬✯➞✯❋✭✯✰ ✭❍✬✫✻✾❍ ✭❍✯ ✪✯✵✭ ✽✯✬✭✯❉
➔⑨
■ ❊✮✾✻✬✯❖✵❍✫❵✵✩✶✯❉✩✴✳✸✯❏✫✬
rs
❖■ ❈❍✯✬✯➞✯❋✭✯✰
✽✯✬✭✮❋✯✵ ✩✬✯ ✸✩✪✯✸✯✰ ➟
⑦
✇⑧⑧⑧✇➟
❽
■
➠
❫❏ ✩ ✬✯➞✯❋✭✯✰ ✽✯✬✭✯❉ ✾✮✽✯✵ ✩ ✪✯✭✭✯✬ ❏✻✶❋✭✮✫✶ ✽✩✸✻✯
✭❍✩✶
➔⑨
❂✭❍✯✶ ✭❍✯ ➡➢➤➢➥➦➧➨➩ ✵✭✯✳ ✮✵ ✵✻❋❋✯✵✵❏✻✸ ✩✶✰
✭❍✯ ✩✸✾✫✬✮✭❍✴ ✭✬✮✯✵ ✩✶ ➢➫➭➯➩➲➧➨➩ ✵✭✯✳■
❈
❍✯ ➢ ➫➳
➭➯➩➲➧➨➩ ✵✭✯✳ ❋✫✶✵✮✵✭✵ ✫❏ ✯❉✳✩✶✰✮✶✾ ✯✩❋❍ ✬✯➞✯❋✭✯✰
✯✰✾✯ ▲➟
➙ ✈➔⑨
▼ ✭✫ ✭❵✮❋✯ ✮✭✵ ✸✯✶✾✭❍ ✭✫ ✾✮✽✯ ✩ ✶✯❵
✯❉✳✩✶✵✮✫✶ ✽✯✬✭✯❉➵
➙
■
➸
❫❏✭❍✯ ➢ ➫➭➯➩➲➧➨➩ ✵✭✯✳ ✮✵ ✵✻❋❋✯✵✵❏✻✸❑
➺➛
t ✉
❅✇
r
①✇
➓
▲➵
➙
▼ ➻
➓
▲
➔⑨
▼
✭❍✯✶ ➣➜➝
⑦ s
➣➼➟➽▲
➔⑨
✇➵
⑦
✇⑧⑧⑧✇➵
❽
▼ ❵❍✯✬✯ ➣➼➟➽
✵✫✬✭✵ ✽✯✬✭✮❋✯✵ ✩❋❋✫✬✰✮✶✾ ✭✫ ✭❍✯✮✬ ✮✶❋✬✯✩✵✮✶✾
e1
e2
r2 r1
v0 c1 v1
c2
v2
❊✮✾✻✬✯ ❖❑ ❈❍✯ ❄ ✳✫✵✵✮✪✸✯ ✵✭✯✳✵ ✾✮✽✯✶ ✭❍✯ ✵✮✴✳✸✯❉ ➣
❵✮✭❍ ✽✯✬✭✮❋✯✵ ▲
➔⑨
✇
➔⑦
✇
➔
❸
▼■
➸
❫❏✭❍✯ ➢ ➫➭➯➩➲➧➨➩✭✯✵✭ ✮✵ ✶✫✭ ✵✻❋❋✯✵✵❏✻✸❑
❼➛
t ✉
❅✇
r
①✇
➓
▲
➔⑨
▼ ↕
➓
▲ ➵
➙
▼
✭❍✯✶ ➣➜➝
⑦ s
➣➼➟➽▲
➔⑨
✇
➟
⑦
✇⑧⑧⑧✇
➟
❽
▼
■
➠
❫❏
✭❍✯
➡➢➤
➢➥➦➧➨➩ ✵✭✯✳ ✮✵ ✶✫✭ ✵✻
❋❋✯✵✵❏✻✸
❑
❼➛
t ✉
❅✇
r
①✇
➓
▲
➔⑨
▼ ↕
➓
▲➟
➙
▼
✭❍✯✶ ➣➜➝
⑦ s
➣➼➟➽▲
➔⑨
✇➾
⑦
✇⑧⑧⑧✇➾
❽
▼ ❵❍✯✬✯ ✭❍✯ ❋✫✶❝
✭✬✩❋✭✯✰ ✽✯✬✭✯❉ ➾
➙
✮✵ ✭❍✯ ✴✮✰✰✸✯ ✫❏
➔⑨
✩✶✰
➔➙
❏✫✬
➛
s
❅✇⑧⑧⑧✇
r
■
❈❍✯✩✸✾✫✬✮✭❍✴ ✮✵✵✭✫✳✳✯✰❵❍✯✶✭❍✯✵✮❜✯✫❏➣➜✮✵✵✴✩✸✸✯✬
✭❍✩✶ ✭❍✯✬✯❤✻✮✬✯✰ ✳✬✯❋✮✵✮✫✶ ➚❑
➒➪q ➶
▲
➔
❶
✇
➔➙
▼↕➚
▲
❻
✇➛▼
t ✉
❅✇
r
①
❸
❵❍✯✬✯
➶
▲
q
✇➹▼ ✮✵ ✩ ✰✮✵✭✩✶❋✯ ✴✯✩✵✻✬✯ ✪✯✭❵✯✯✶
q
✩✶✰ ➹■
✹✫✶✽✯✬✾✯✶❋✯✫❏✭❍✯ ✩✸✾✫✬✮✭❍✴ ❋✩✶ ✪✯❏✫✻✶✰ ✮✶ ▲✼✯✸✰✯✬
✩✶✰ ❡✯✩✰ ❅④◆❇❂❡❋➘✮✶✶✫✶ ❅④④◆▼■
➴ ➷
❦
➑
❳♥❥❭❩♥❦❥ ➬♥❩➊
➐➋
❥➋❩♥❪ ❭
➍➐
❦❬♥❩➊
➑
❫✶ ✭❍✮✵ ✳✩✳✯✬❂ ❋✸✩✵✵✮❋✩✸ ✷✯✶✯✭✮❋ ✿✸✾✫✬✮✭❍✴✵ ✩✶✰ ✺✽✫❝
✸✻✭✮✫✶✩✬❴ ✹✫✴✳✻✭✩✭✮✫✶ ✳✬✮✶❋✮✳✸✯✵ ✵✻❋❍ ✩✵✰✯✵❋✬✮✪✯✰✮✶
✿✳✫✳✻✸✩✭✮✫✶✯✸✯✴✯✶✭✫❏✩❋✸✩✵✵✮❋✩✸✾✯✶✯✭✮❋✩✸✾✫✬✮✭❍✴ ✮✵
✾✯✶✯✬✩✸✸❴ ❋✫✰✯✰ ✪❴ ✭❍✯ ✽✩✬✮✩✪✸✯✵ ✫❏ ✭❍✯ ✳✬✫✪✸✯✴■ ❊ ✫✬
✯❉✩✴✳✸✯❂ ✫✶ ✭❍✯ ✷✬✮✯❵✩✶❛✱✵
❏✻✶❋✭✮✫✶
✭❍✯ ✳✫✳✻✸✩✭✮✫✶
✯✸✯✴✯✶✭✵ ✪✯✸✫✶✾ ✭✫
✉✈
❅❆❆❆✇❅❆❆❆①
❽
■ ♦✯✬✯❂ ✩ ✳✫✳✻✸✩❝
✭✮✫✶ ✯✸✯✴✯✶✭ ✮✵ ✰
✯❢
✶✯✰ ✩✵ ✩ ✵✮✴✳✸✯❉ ➣
✫❏
✵✮❜✯➮ ❵❍✯✬✯
➮ ↕
r↔
❅■ ❈❍✯ ✾✯✶✯✭✮❋ ✩✸✾✫✬✮✭❍✴ ✵✯✸✯❋✭✵❂✬✯✳✬✫✰✻❋✯✵❂
❋✬✫✵✵✯✵❂ ✩✶✰ ✴✻✭✩✭✯✵ ✾✫✫✰ ✵✮✴✳✸✯❉✯✵■ ❫✶ ✩✰✰✮✭✮✫✶❂ ✩
❏✯❵
✵✭✯✳✵
✫❏
✭❍✯ ✼✯✸✰✯✬❝❡✯✩✰ ✩✸✾✫✬✮✭❍✴ ✩✬✯ ✯❉✯❋✻✭✯✰
✩✭ ✯✩❋❍ ✾✯✶✯✬✩✭✮✫✶ ✭✫ ✮✴✳✬✫✽✯✭❍✯ ✸✫❋✩✸ ✵✯✩✬❋❍■
➅✫✮✶✾ ✴✩✶❴ ✵✭✯✳✵ ✫❏ ✭❍✯ ✼✯✸✰✯✬❝❡✯✩✰ ✩✸✾✫✬✮✭❍✴ ✩✭
✾✯✶✯✬✩✭✮✫✶
❆
✮✵✫❏✸✫❵ ✮✶✭✯✬✯✵✭ ✪✯❋✩✻✵✯✭❍✯✳✬✫✪✩✪✮✸✮✭❴
✭✫ ❢✶✰ ✩✸✫❋✩✸✫✳✭✮✴✻✴ ✮✵✭❍✯✶✽✯✬❴❍✮✾❍✩✶✰❵❍✯✶✭❍✯
✼✯✸✰✯✬❝❡✯✩✰ ✩✸✾✫✬✮✭❍✴ ❍✩✵ ❋✫✶✽✯✬✾✯✰❂✭❍✯ ✵✮✴✳✸✯❉ ✮✵
❋✫✶✭✬✩❋✭✯✰ ✩✶✰ ❋✫✶✭✩✮✶✵➮ ✭✮✴✯✵✭❍✯✵✩✴✯✮✶❏✫✬✴✩✭✮✫✶■
❊ ✻✬✭❍✯✬✴✫✬✯❂❏✫✬✸✩✬✾✯✳✬✫✪✸✯✴✵❂✸✩✬✾✯✳✫✳✻✸✩✭✮✫✶✵✩✬✯
✾✯✶✯✬✩✸✸❴✬✯❤✻✮✬✯✰❂✭❍✯❋✫✴✳✻✭✮✶✾ ✭✮✴✯❋✩✶ ✬✩✳✮✰✸❴✮✶❝
❋✬✯✩✵✯■
➱✃❐ ❒✚✧✘✦❮
✿ ✳✫✳✻✸✩✭✮✫✶ ✯✸✯✴✯✶✭ ✮✵ ❍✯✬✯
✰✯❢
✶✯✰ ✪❴ ➮ ✳✫✮✶✭✵❂
❵❍✯✬✯ ➮ ✮✵ ✭❍✯ ✵✮✴✳✸✯❉ ✵✮❜✯ ❋❍✫✵✯✶■ ❫✶ ✭❍✯ ✼✯✸✰✯✬❝
❡✯✩✰ ✩✸✾✫✬✮✭❍✴❂
✮❏
✭❍✯ ✳✬✫✪✸✯✴ ✮✵
✫❏
✵✮❜✯
r
✩ ✵✮✴✳✸✯❉
✫❏
✵✮❜✯
r↔
❅ ✮✵ ✾✯✶✯✬✩✸✸❴ ✻✵✯✰ ✭✫ ✾✻✩✬✩✶✭✯✯ ✭❍✯ ❋✫✶❝
✽✯✬✾✯✶❋✯ ✭✫ ✭❍✯ ✸✫❋✩✸ ✴✮✶✮✴✻✴■ ❈❍✯ ✻✵✯ ✫
❏
✩ ✵✴✩✸✸✯✬
✵✮✴✳✸✯❉ ✵✮❜✯ ❋✩✶ ✸✯✩✰ ✭✫ ✩ ✳✬✯✴✩✭✻✬✯ ❋✫✶✽✯✬✾✯✶❋✯ ✫❏
✭❍✯ ✵✮✴✳✸✯❉■ ❫✶ ✭❍✯ ✳✬✯✵✯✶✭ ❵✫✬❛❂ ✳✬✯✴✩✭✻✬✯ ❋✫✶✽✯✬❝
✾✯✶❋✯ ✮✵ ✸✯✵✵ ✮✴✳✫✬✭✩✶✭ ✩✵ ✵✮✴✳✸✯❉✯✵ ✩✬✯ ✬✯❋✫✴✪✮✶✯✰
✩✭ ✯✩❋❍ ✾✯✶✯✬✩✭✮✫✶ ✪❴ ✭❍✯ ✾✯✶✯✭✮❋✩✸✾✫✬✮✭❍✴■ ❊ ✻✬✭❍✯✬❝
✴✫✬✯❵✮✭❍ ✸✩✬✾✯✵✮❜✯✳✬✫✪✸✯✴❂✭❍✯❋✫✴✳✻✭✮✶✾ ✭✮✴✯❋✩✶
✪✯❋✫✴✯ ✭❍✯ ✵✮✶✯❵✵ ✫❏ ❵✩✬ ✩✶✰ ✮✭ ✴✩❴ ✶✫✭ ✪✯ ✳✫✵✵✮✪✸✯
✭✫ ✻✵✯✵✮✴✳✸✯❉✯✵✫❏✵✮❜✯
r↔
❅■ ❫✶✳✬✩❋✭✮❋✯❂✩ ✳✫✳✻✸✩✭✮✫✶
✯✸✯✴✯✶✭ ✮✵ ❋✫✰✯✰ ✪❴ ✩ ▲➮ ❰
r
▼ ✴✩✭✬✮❉ ▲✯✩❋❍ ✸✮✶✯ ❋✫✰✯✵
✩ ✵✮✴✳✸✯❉ ✽✯✬✭✯❉▼■ ✹❍✫✫✵✮✶✾ ✭❍✯ ✾✫✫✰ ✵✮✴✳✸✯❉ ✵✮❜✯ ✮✵
✶✫✭ ✰✮✵❋✻✵✵✯✰ ✮✶ ✭❍✮✵ ✩✬✭✮❋✸✯■
➱✃➱ Ï✘❱✦❘✢✢ Ð✤✦✙❱✘✚✦
❈❍✯✽✩✸✻✯✫❏✩✳✫✳✻✸✩✭✮✫✶ ✯✸✯✴✯✶✭ ▲✩ ✵✮✴✳✸✯❉ ➣▼✮✵✭❍✯
✯✽✩✸✻✩✭✮✫✶ ✫❏ ✭❍✯✪✯✵✭ ✽✯✬✭✯❉ ✫❏ ➣■
➱✃ Ñ ❒✥✚✢✢✚Ò❘✥
❫✭✮✵✩✸✸✭❍✯✴✫✬✯✮✴✳✫✬✭✩✶✭✭✫ ❛✯✯✳✭❍✯✰✮✽✯✬✵✮✭❴
✫❏
✭❍✯
✳✫✳✻✸✩✭✮✫✶✪✯❋✩✻✵✯✭❍✯✵✮✴✳✸✯❉ ✩✸✾✫✬✮✭❍✴ ✮✵✰✯✭✯✬✴✮✶❝
✮✵✭✮❋ ✩✶✰ ❋✫✶✽✯✬✾✯✵✭✫ ✩ ✸✫❋✩✸ ✫✳✭✮✴✻✴■
❈
❍✮✵ ❏✻✶❋✭✮✫✶
✮✵ ✯✶✵✻✬✯✰ ✪❴✭❍✯ ❋✬✫✵✵✫✽✯✬✩✶✰ ✴✻✭✩✭✮✫✶ ✫✳✯✬✩✭✫✬✵■
➅✮Ó✯✬✯✶✭ ❋✬✫✵✵✫✽✯✬ ✫✳✯✬✩✭✫✬✵ ❋✩✶ ✪✯ ✮✴✩✾✮✶✯✰■
❈
❍✯
❋✬✫✵✵✫✽✯✬ ✭❍✩✭ ❵✩✵ ❋❍✫✵✯✶ ✮✶ ✭❍✯ ✩✳✳✸✮❋✩✭✮✫✶ ✮✵ ✳✬✯❝
✵✯✶✭✯✰ ✫✶ ❢✾✻✬✯✵❄ ✩✶✰ P■
✿ ✴✮❉✮✶✾❋✬✫✵✵✫✽✯✬✫✳✯✬✩✭✫✬▲✵✯✯❢✾✻✬✯❄▼✮✵✩✳✳✸✮✯✰✫✶
✭❍✯ ❢✬✵✭ ❍✩✸❏ ✫❏ ✭❍✯ ❋✬✫✵✵✯✰ ✳✫✳✻✸✩✭✮✫✶❑ ✯✸✯✴✯✶✭ ▲
❻
✇➛▼
❻
vertex 1 vertex 1
vertex 1 vertex 1
vertex 2
vertex p
vertex 2
vertex p vertex p
vertex 2 vertex p vertex 2 parent 1
child 1 child 2
parent 2
n variables n variables
n variables n variables
❊✮✾✻✬✯ ❄❑ ❡✮❉✮✶✾ ❋✬✫✵✵✫✽✯✬ ✫✳✯✬✩✭✫✬ ✩✳✳✸✮✯✰ ✫✶ ❍✩✸❏
✭❍✯ ❋✬✫✵✵✯✰ ✳✫✳✻✸✩✭✮✫✶■
vertex 1 vertex 1
vertex 1 vertex 1
vertex 2
vertex p
vertex 2
vertex p vertex p
vertex 2 vertex p vertex 2 parent 1
child 1 child 2
parent 2
n variables n variables
n variables n variables
α (1−α) (1−α) α
❊✮✾✻✬✯ P❑ ✿✬✮✭❍✴✯✭✮❋ ❋✬✫✵✵✫✽✯✬ ✫✳✯✬✩✭✫✬ ✩✳✳✸✮✯✰ ✫✶
❍✩✸❏✭❍✯ ❋✬✫✵✵✯✰ ✳✫✳✻✸✩✭✮✫✶■
✳✩✬✯✶✭ ❖ ❵✮✭❍ ✳✬✫✪✩✪✮✸✮✭❴
⑦
❸
■ ✿✶ ✩✬✮✭❍✴✯✭✮❋ ❋✬✫✵✵✫✽✯✬
✮✵ ✩✳✳✸✮✯✰ ✫✶ ✭❍✯ ✵✯❋✫✶✰
❍✩✸❏ ✫❏
✭❍✯ ❋✬✫✵✵✯✰ ✳✫✳✻✸✩❝
✭✮✫✶❑ ✯✸✯✴✯✶✭ ▲
❻
✇➛▼
✫❏
❋❍✮✸✰ ❅ ✮✵ ✩ ✸✮✶✯✩✬ ❋✫✴✪✮✶✩✭✮✫✶
✫❏
✯✸✯✴✯✶✭✵ ▲
❻
✇➛▼ ✫
❏
✳✩✬✯✶✭ ❅ ✩✶✰ ✳✩✬✯✶✭ ❖ ▲ ✵✯✯
❢
✾✻✬✯
P▼❑
Ô▲
❻
✇➛▼
s ÕÖ⑦
▲
❻
✇➛▼
↔
▲❅
✈Õ
▼
Ö
❸
▲
❻
✇➛▼
Õ t ✉✈
❆⑧ ❇✇❅⑧ ❇①
➱✃×
❚✤❱✜❱✘✚✦
✿✵❏✫✬✭❍✯❋✬✫✵✵✫✽✯✬✫✳✯✬✩✭✫✬✭❍✯✬✯✩✬✯✩✸✵✫✴✩✶❴❵✩❴✵
✭✫ ✰✯❢✶✯✩✴✻✭✩✭✮✫✶ ✫✳✯✬✩✭✫✬■ ✲✶✯✫❏✭❍✯✴ ▲✵✯✯❢✾✻✬✯
Ø Ø Ø Ø
Ø Ø Ø Ø
Ø Ø Ø Ø
Ø Ø Ø Ø
Ø Ø Ø Ø
Ø Ø Ø Ø
Ù Ù Ù Ù Ù Ù Ù Ù Ù Ù Ù Ù Ù Ù Ù Ù Ù Ù
n variables
parent child
n variables
vertex 0 vertex 0
add a noise
❊✮✾✻✬✯
❇
❑ ❡✻✭✩✭✮✫✶ ✫✳✯✬✩✭✫✬■
✩✶✰ ✭✫ ✩✰✰ ✩ ✷✩✻✵✵✮✩✶ ✶✫✮✵✯✭✫ ✮✭ ▲✮✶ ✭❍✯ ✩✳✳✸✮❋✩✭✮✫✶❑
Ú s
❆⑧❅▼■
Û Ü➋
❨♠➍❩❨ ❦❥ Ý❬♥➋➬❭❥Þß❨ à♠❥❪❩♥❦❥
❈❵✫ ✭✯✵✭✵ ✩✬✯ ✬✯✳✯✩✭✯✰ ✩ ❍✻✶✰✬✯✰ ✭✮✴✯✵
❏✫
✬
✰✮❏❝
❏✯✬✯✶✭
✵✮❜✯ ✳✬✫✪✸✯✴✵■ ❈❍✯
❢
✬✵✭ ❍✻✶✰✬✯✰ ✬✻✶✵ ✻✵✯✵
✭❍✯ ❋✫✴✪✮✶✯✰ ❣✮✴✳✸✯❉ ✷✯✶✯✭✮❋ ✿✸✾✫✬✮✭❍✴
❏✫
✬
r s
❅❆✇❖❆✇⑧⑧⑧❅❆❆■ ❈❍✯ ✵✯❋✫✶✰ ❍✻✶✰✬✯✰ ✬✻✶✵✻✵✯✵ ✩ ❋✸✩✵✵✮❝
❋✩✸ ✷✯✶✯✭✮❋✿✸✾✫✬✮✭❍✴ ❏✫✬
r s
❅❆✇❖❆✇❄❆
■ ❫✶ ✪✫✭❍ ✭✯✵✭✵
✭❍✯❏✫✸✸✫❵✮✶✾ ✳✩✬✩✴✯✭✯✬✵✩✬✯ ✻✵✯✰❑
➠
❋✬✫✵✵✫✽✯✬✳✬✫✪✩✪✮✸✮✭❴❑ ❆⑧❇á
➠
✴✻✭✩✭✮✫✶ ✳✬✫✪✩✪✮✸✮✭❴❑
❆⑧❅á
➠
✵✭✫❋❍✩✵✭✮❋ ✬✯✴✮✶✰✯✬ ❵✮✭❍✫✻✭ ✬✯✳✸✩❋✯✴✯✶✭ ✩✵ ✰✯❝
✵❋✬✮✪✯✰ ✮✶▲ ✷✫✸✰✪✯✬✾
❅④➆④▼
✮✵ ✻✵✯✰ ❏✫✬ ✵✯✸✯❋✭✮✫✶
á
➠
✩ ❋✸✻✵✭✯✬✯✰ ✵❍✩✬✮✶✾ ✳✬✫❋✯✵✵ ✩✵ ✰✯✵❋✬✮✪✯✰ ✮✶ ▲â✮✶
✩✶✰ ✷✯✬✴✩❴ ❅④④❄▼ ✮✵ ✻✵✯✰ ❵✮✭❍
➶➒➪q s
❅ ✩✶✰
➶➒
❻
r s ãäåæ
ç
á ✭❍✯ ✰✮✵✭✩✶❋✯ ✪✯✭❵✯✯✶ ✭❵✫ ✵✮✴❝
✳✸✯❉✯✵ ➣
⑦
✩✶✰ ➣
❸
▲ ➣
⑦
✩✶✰ ➣
❸
✩✬✯ ✴✩✭✬✮❋✯✵
✫❏
✵✮❜✯
➮ ❰
r
▼✮✵
✰✯❢✶
✯✰✪❴✭❍✯ ✰✮✵✭✩✶❋✯✪✯✭❵✯✯✶✭❍✯ ✪✯✵✭
✽✯✬✭✯❉ ✫❏ ➣
⑦
▲ ➣
⑦
▲❆
▼▼
✩✶✰ ✭❍✯ ✪✯✵✭ ✽✯✬✭✯❉ ✫❏ ➣
❸
▲➣
❸
▲❆▼▼❑
➶
▲ ➣
⑦
✇➣
❸
▼
s
❅
r
❽
⑩
➙
❷
⑦è
➣
⑦
▲❆✇➛▼
✈
➣
❸
▲❆✇➛▼
è
❊✫✬ ✭❍✯ ❋✸✩✵✵✮❋✩✸ ✾✯✶✯✭✮❋ ✩✸✾✫✬✮✭❍✴❂ ✭❍✯ ✰✮✵✭✩✶❋✯
✪✯✭❵✯✯✶ ✭❵✫ ✯✸✯✴✯✶✭✵ é
⑦
✩✶✰ é
❸
▲é
⑦
✩✶✰ é
❸
✩✬✯
✽✯❋✭✫✬✵✫❏ ✵✮❜✯
r
▼✮✵❑
➶
▲é
⑦
✇é
❸
▼
s
❅
r
❽
⑩
➙
❷
⑦è é
⑦
▲➛▼
✈ é
❸
▲➛▼
è
➠
✯✸✮✭✮✵✴ ✮✵ ✻✵✯✰❑ ✪✯✵✭ ✯✸✯✴✯✶✭✵ ✫❏ ✯✩❋❍ ❋✸✻✵✭✯✬ ✩✬✯
✳✬✫✭✯❋✭✯✰■
➠
✿✵✾✯✶✯✭✮❋✩✸✾✫✬✮✭❍✴ ✻✵✻✩✸✸❴✵✯✩✬❋❍✭❍✯✴✩❉✮✴✻✴
✫❏✩✳✫✵✮✭✮✽✯❏✻✶❋✭✮✫✶❂✭❍✯❢✭✶✯✵✵✫❏✩✽✯✬✭✯❉
➔
❵✮✸✸
✪✯ ✵✯✭ ✭✫ ❖❇❆❆ ♣▲ ▼ ✮✶✵✭✯✩✰ ✫❏ ♣▲ ▼á
0 2e+06 4e+06 6e+06 8e+06 1e+07 1.2e+07 1.4e+07 1.6e+07 1.8e+07 2e+07
0 20 40 60 80 100
maximum function evaluations mean function evaluations minimum function evaluations standard deviation
❊✮✾✻✬✯ ◆❑ ✷✬✮✯❵✩✶❛
❏✻✶
❋✭✮✫✶❑
❏✻
✶❋✭✮✫✶ ✯✽✩✸✻✩✭✮✫✶✵✬✯❝
❤✻✮✬✯✰ ê ✰✮✴✯✶✵✮✫✶■
➠
✭❍✯ ✩✸✾✫✬✮✭❍✴ ✮✵ ✵✭✫✳✳✯✰ ❵❍✯✶ ✭❍✯ ✪✯✵✭ ✽✯✬✭✯❉
q
✫✬ ✭❍✯ ✪✯✵✭ ✯✸✯✴✯✶✭
q
✵✩✭✮✵❢✯✵❑
❼
❻
t ✉
❅✇
r
①✇
è q
❶
è
➻❆⑧❅
❊ ✫✬✭❍✯❋✫✴✪✮✶✯✰✩✸✾✫✬✮✭❍✴❂➮
s r↔
❅✩✶✰✭❍✯✳✫✳✻✸✩❝
✭✮✫✶ ✵✮❜✯✮✵✵✯✭✭✫
❇❆
✯✸✯✴✯✶✭✵ ▲✭❍✯✳✫✳✻✸✩✭✮✫✶ ❋✫✶✭✩✮✶✵
❇❆
❰ ▲
r ↔
❅▼
✽✯❋✭✫✬✵ ✩✭ ✯✩❋❍ ✾✯✶✯✬✩✭✮✫✶▼■
❅❆❆
✵✮✴❝
✳✸✯❉ ✮✭✯✬✩✭✮✫✶✵ ✩✬✯ ✳✯✬❏✫✬✴✯✰ ✩✭✯✩❋❍ ✾✯✶✯✬✩✭✮✫✶■
❈
❍✯
✵✮✴✳✸✯❉ ✩✸✾✫✬✮✭❍✴ ✮✵✵✭✫✳✳✯✰ ❵❍✯✶ ✭❍✯ ✵✮✴✳✸✯❉ ✵✮❜✯ ✮✵
✵✴✩✸✸✯✬✭❍✩✶
❆
⑧❅■
❊✮✾✻✬✯◆ ✾✮✽✯✵✭❍✯✴✮✶✮✴✻✴❂✭❍✯✴✯✩✶❂✭❍✯✴✩❉✮✴✻✴❂
✩✶✰✵✭✩✶✰✩✬✰✰✯✽✮✩✭✮✫✶ ✫❏✭❍✯ ✶✻✴✪✯✬✫❏❢✭✶✯✵✵✯✽✩✸✻❝
✩✭✮✫✶✵✬✯❤✻✮✬✯✰✮✶✭❍✯✹✫✴✪✮✶✯✰❣✮✴✳✸✯❉✷✯✶✯✭✮❋✩✸✾✫❝
✬✮✭❍✴ ✵✮✴✻✸✩✭✮✫✶■ ❈❍✯✴✯✩✶❂✴✮✶✮✴✻✴ ✩✶✰✴✩❉✮✴✻✴
✾✯✶✯✬✩✭✮✫✶✵✬✯❤✻✮✬✯✰✩✶✰✭❍✯✹➇ë ❋✫✴✳✻✭✮✶✾✭✮✴✯ ▲✫✶
✩ ✳✯✶✭✮✻✴ ❫❫P❇❆▼ ✩✬✯ ✾✮✽✯✶ ✫✶
❢
✾✻✬✯ ❁■
❈❍✯ ✵✭✩✶✰✩✬✰ ✰✯✽✮✩✭✮✫✶ ✽✩✸✻✯ ✮✶❋✬✯✩✵✯✵ ✴✻❋❍ ✴✫✬✯
✬✩✳✮✰✸❴✭❍✩✶✭❍✯✴✯✩✶ ✽✩✸✻✯■
❈
❍✮✵✮✵✪✯❋✩✻✵✯✭❍✯✳✫✳❝
✻✸✩✭✮✫✶ ✵✮❜✯ ▲❇❆ ✯✸✯✴✯✶✭✵▼✪✯❋✫✴✯✵ ✭✫✫ ✵✴✩✸✸ ❏✫✬ ✸✩✬✾✯
✰✮✴✯✶✵✮✫✶✵❑ ❵❍✯✶✭❍✯ ✩✸✾✫✬✮✭❍✴ ✮✵ ì➩íì➥îï✮✭✵✳✯✶✰✵✩
✸✫✭ ✫❏ ✭✮✴✯ ✮✶ ✪✩✰ ✩✬✯✩✵ ✪✯❏✫✬✯✭❍✯ ❋✬✫✵✵✫✽✯✬ ✩✶✰ ✴✻❝
✭✩✭✮✫✶ ✫✳✯✬✩✭✫✬✵ ❢✶✰✵ ✭❍✯ ✾✫✫✰ ✩✬✯✩■ ❈❍✯ ✵✭✩✶✰✩✬✰
✰✯✽✮✩✭✮✫✶ ❋✩✶✪✯✬✯✰✻❋✯✰✪❴✮✶❋✬✯✩✵✮✶✾✭❍✯✳✫✳✻✸✩✭✮✫✶
✵✮❜✯❂✩✵ ✵❍✫❵✶ ✫✶ ✭✩✪✸✯ ❅■
❊ ✫✬✭❍✯❋✸✩✵✵✮❋✩✸✾✯✶✯✭✮❋✩✸✾✫✬✮✭❍✴❂✭❍✯✳✫✳✻✸✩✭✮✫✶✵✮❜✯
✮✵ ✵✯✭ ✭✫ ❇❆❆ ✯✸✯✴✯✶✭✵■
0 200 400 600 800 1000 1200 1400 1600 1800 2000
0 20 40 60 80 100
maximum generations (100 runs) mean generations (100 runs) minimum generations (100 runs) standard deviation
❊✮✾✻✬✯ ❁❑ ✷✬✮✯❵✩✶❛ ❏✻✶❋✭✮✫✶❑ ✶✻✴✪✯✬ ✫❏ ✾✯✶✯✬✩✭✮✫✶✵
✬✯❤✻✮✬✯✰ ê ✰✮✴✯✶✵✮✫✶■
✰✮✴✯✶✵✮✫✶ ❅❆❆ ❅❆❆
✳✫✳✻✸✩✭✮✫✶ ✵✮❜✯
❇❆ ❅❆❆
✴✯✩✶
❢✭
✯✽✩✸ ❅◆❁❆❆➆④ ❖❆❄❅④➆❖
✴✮✶
❢✭
✯✽✩✸ ❁❆❄P❁❇ ❅❆❄❆P❇④
✴✩❉
❢✭
✯✽✩✸ ❅❁◆◆P❅❇P ❁❆❖PP④◆
Ú
❢✭
✯✽✩✸ ❖❄❇❄④❅P ❅P❅❇④❁④
✴✯✩✶ ✾✯✶✵ ❅❇P ➆❁
✴✮✶ ✾✯✶✵ ❇④ ❇P
✴✩❉ ✾✯✶✵ ❅➆❖❖ ❄❅❄
Ú
✾✯✶✵ ❖❄❁ ❇➆
✴✯✩✶ ✭✮✴✯ ❅PP
④ ❖❅❆➆
❈✩✪✸✯ ❅❑
✹✫
✶✽✯✬✾✯✶❋✯ ❵✮✭❍ ✭❍✯ ❋✫✴✪✮✶✯✰ ✵✮✴✳✸✯❉❝
✾✯✶✯✭✮❋✩✸✾✫✬✮✭❍✴ ▲✳✫✳✻✸✩✭✮✫✶ ✵✮❜✯❑ ❇❆ ✩✶✰ ❅❆❆▼
✴✯✩✶ ❢✭ ✯✽✩✸ ◆◆❄❇④ P❇P❄➆◆ ❅❖◆④❆❖④
✴✮✶ ❢✭ ✯✽✩✸ ❇P➆❄❇ ❅❆❆❇◆◆ ❅◆➆❆❅❅
✴✩❉ ❢✭ ✯✽✩✸ ❁◆❇P④ ❄❆❄❄④❄❆ ◆➆➆④④❖❄
Ú
❢✭ ✯✽✩✸ P❅④❄ ❇❖④❆PP ❅❇◆➆❅❖❖
✴✯✩✶ ✾✯✶✵ ❖❆❆ ❅❄❁④ ❄➆④◆
✴✮✶ ✾✯✶✵
❅◆❇ ❄❆
P
❇❆④
✴✩❉ ✾✯✶✵
❖❄❅ ④❖❖❆ ❖
❅P➆
❖
Ú
✾✯✶✵ ❅❄ ❅◆❆➆ P➆◆◆
✴✯✩✶ ✭✮✴✯ ❅❖❄ ➆❖❅ ❖❖④❄
❈✩✪✸✯❖❑ ✹✫✶✽✯✬✾✯✶❋✯❏✫✬✷✬✮✯❵✩✶❛✱✵❏✻✶❋✭✮✫✶❵✮✭❍✭❍✯
❋✸✩✵✵✮❋✩✸ ✷✿ ❝ ✳✫✳✻✸✩✭✮✫✶ ✵✮❜✯
s
❇❇❆
❈✩✪✸✯
❖
✾✮✽✯✵✭❍✯✴✯✩✶❂✴✩❉✮✴✻✴❂✩✶✰✵✭✩✶✰✩✬✰✰✯✽✮❝
✩✭✮✫✶ ✫❏ ✭❍✯ ✶✻✴✪✯✬ ✫❏ ❢✭✶✯✵✵ ✯✽✩✸✻✩✭✮✫✶✵ ✬✯❤✻✮✬✯✰ ✮✶
✭❍✯ ❋✸✩✵✵✮❋✩✸ ✾✯✶✯✭✮❋ ✩✸✾✫✬✮✭❍✴ ✵✮✴✻✸✩✭✮✫✶■ ❊ ✫✬
r ❿
❄❆
✭❍✯ ❋✫✴✳✻✭✩✭✮✫✶ ✭✮✴✯ ✪✯❋✫✴✯✵ ✭✫✫ ✸✫✶✾❑ ✭❍✯ ✮✶❋✬✯✩✵❝
✮✶✾ ✵✮❜✯ ✫❏ ✭❍✯ ✳✫✳✻✸✩✭✮✫✶ ✵✸✫❵✵ ✰✫❵✶ ✭❍✯ ✯✽✩✸✻✩✭✮✫✶
✳✬✫❋✯✵✵ ✩✶✰ ✭❍✯ ✵❍✩✬✮✶✾ ✳✬✫❋✯✵✵✮✵✭✮✴✯ ❋✫✶✵✻✴✮✶✾■
❈❍✯✴✯✩✶✶✻✴✪✯✬✵✫❏❏✻✶❋✭✮✫✶✯✽✩✸✻✩✭✮✫✶✵❏✫✬✭❍✯❋✸✩✵❝
✵✮❋✩✸✷✿ ✩✶✰✭❍✯❋✫✴✪✮✶✯✰✩✸✾✫✬✮✭❍✴ ✩✬✯❋✫✴✳✩✬✯✰✫✶
❢✾
✻✬✯➆■ ❈❍✯ ✴✯✩✶ ❋✫✴✳✻✭✮✶✾ ✭✮✴✯✵ ✩✬✯❋✫✴✳✩✬✯✰ ✫✶
❢✾
✻✬✯④■
❊ ✫✬ ✰✮✴✯✶✵✮✫✶
❅❆
❂ ✭❍✯ ❋✸✩✵✵✮❋✩✸ ✾✯✶✯✭✮❋ ✩✸✾✫✬✮✭❍✴ ✬✯❝
❤✻✮✬✯✵✸✯✵✵ ❏✻✶❋✭✮✫✶ ✯✽✩✸✻✩✭✮✫✶✵ ✭❍✩✶ ✭❍✯❋✫✴✪✮✶✯✰ ✩✸❝
✾✫✬✮✭❍✴■ ♦✫❵✯✽✯✬❂✮✭✮✵
❄❇
✭✮✴✯✵✴✫✬✯✭✮✴✯❝❋✫✶✵✻✴✮✶✾■
❈
❍✮✵ ✮✵ ✪✯❋✩✻✵✯✭❍✯✵❍✩✬✮✶✾ ✳✬✫❋✯✵✵ ✮✵ ✴✻❋❍ ✸✫✶✾✯✬ ✫✶
✩ ❇❆❆ ✯✸✯✴✯✶✭✵ ✳✫✳✻✸✩✭✮✫✶ ✵✮❜✯✭❍✩✶ ✫✶ ✩ ❇❆ ✯✸✯✴✯✶✭✵
✳✫✳✻✸✩✭✮✫✶ ✵✮❜✯■
❊ ✫✬ ✰✮✴✯✶✵✮✫✶ ❖❆❂ ✭❍✯ ❋✫✴✪✮✶✯✰ ✩✸✾✫✬✮✭❍✴ ✪✯❋✫✴✯✵
✴✫✬✯ ✯❞❋✮✯✶✭ ✭❍✩✶ ✭❍✯ ✾✯✶✯✭✮❋ ✩✸✾✫✬✮✭❍✴ ✮✶ ✭✯✬✴✵ ✫❏
✶✻✴✪✯✬ ✫❏ ❏✻✶❋✭✮✫✶ ✯✽✩✸✻✩✭✮✫✶✵ ✩✶✰ ❋✫✴✳✻✭✮✶✾ ✭✮✴✯■
❈❍✯ ❋✫✴✪✮✶✯✰ ✩✸✾✫✬✮✭❍✴ ✬✯❤✻✮✬✯✵ ❍✩✸❏ ✭❍✯ ✶✻✴✪✯✬ ✫❏
❏✻✶❋✭✮✫✶ ✯✽✩✸✻✩✭✮✫✶✵ ✫❏ ✭❍✯ ❋✸✩✵✵✮❋✩✸ ✩✸✾✫✬✮✭❍✴ ✩✶✰ ✮✵
❅❆❆ ✭✮✴✯✵ ❤✻✮❋❛✯✬■
❫✭ ❵✩✵ ✳✫✵✵✮✪✸✯ ✭✫ ✾✫ ✭✫ ✰✮✴✯✶✵✮✫✶ ❅❆❆ ❵✮✭❍ ✭❍✯ ❋✫✴❝
✪✮✶✯✰ ✩✸✾✫✬✮✭❍✴ ✮✶ ✸✯✵✵✭✮✴✯ ✭❍✩✶ ✬✯❤✻✮✬✯✰
❏✫
✬ ✰✮✴✯✶❝
✵✮✫✶
❄❆
❵✮✭❍ ✭❍✯❋✸✩✵✵✮❋✩✸ ❋✬✫✵✵✫✽✯✬■
Ñ✃❐ ❒✚✥✜✦✜ð✢ Ð✤✦✙❱✘✚✦
❈❍✮✵ ❏✻✶❋✭✮✫✶ ✮✵ ✳✬✯✵✯✶✭✯✰ ✮✶ ▲✹✫✬✩✶✩ ➢➦ ➯íñ ❅④➆❁▼■
②✯ ✻✵✯❍✯✬✯ ✭❍✯ ✬✯✵✭✬✮❋✭✮✫✶ ✻✵✯✰ ✪❴ ❫✶✾✪✯✬ ✮✶ ✮✭✵ ✩✬✭✮❝
❋✸✯ ▲❫✶✾✪✯✬ ✩✶✰ ③✫✵✯✶ ❅④④❖➯▼■ ❈❍✯
❏✻✶
❋✭✮✫✶ ✴✻✵✭ ✪✯
✫✳✭✮✴✮❜✯✰ ✫✶
✉✈
❅❆❆❆❆✇❅❆❆❆❆①ò■ ❫✭ ✮✵
✰✯❢✶✯✰
✪❴ ❑
➓⑨
▲
q
▼
s
ò
⑩
⑦ ó
❆⑧❅❇
➶
❶
▲❆⑧❆❇➣▲ ô
❶
▼
↔ ô
❶
▼
❸
❏✫
✬
è q
❶
✈ ô
❶
è
➻ ❆⑧❆❇
➶
❶ q❸
❶
✫✭❍✯✬❵✮✵✯ õ
0 200000 400000 600000 800000 1e+06 1.2e+06 1.4e+06 1.6e+06
10 20 30 40 50 60 70 80 90 100
classical algorithm (function evaluations) combined algorithm (function evaluations)
❊✮✾✻✬✯ ➆❑ ✷✬✮✯❵✩✶❛ ❏✻✶❋✭✮✫✶❑ ✴✯✩✶ ❏✻✶❋✭✮✫✶ ✯✽✩✸✻✩❝
✭✮✫✶✵ ê ✰✮✴✯✶✵✮✫✶■
0 500 1000 1500 2000 2500
10 20 30 40 50 60 70 80 90 100
classical algorithm (computing time) combined algorithm (computing time)
❊✮✾✻✬✯ ④❑ ✷✬✮✯❵✩✶❛ ❏✻✶❋✭✮✫✶❑ ✴✯✩✶ ❋✫✴✳✻✭✮✶✾ ✭✮✴✯✵
ê ✰✮✴✯✶✵✮✫✶■
✵✮✴✳✸✯❉ ✵✮❜✯ ❇❅
✴✯✩✶ ❢✭ ✯✽✩✸ ❄❇❇❇❖P➆
✴✮✶ ❢✭ ✯✽✩✸ ❖④❁❁④➆➆
✴✩❉ ❢✭ ✯✽✩✸ P❆P❆➆❆❄
Ú
❢✭ ✯✽✩✸ ❖❆❅❇④❄
✴✯✩✶ ✾✯✶✵
❄
❁➆
✴✮✶ ✾✯✶✵
❄❖◆
✴✩❉ ✾✯✶✵ P❇④
Ú
✾✯✶✵ ❖❅
✴✯✩✶ ✭✮✴✯ ❁❖P
❈✩✪✸✯ ❄❑ ✹✫✬✩✶✩✱✵ ❏✻✶❋✭✮✫✶ ❵✮✭❍ ✭❍✯ ❋✫✴✪✮✶✯✰ ✩✸✾✫❝
✬✮✭❍✴ ❝ ✳✫✳✻✸✩✭✮✫✶ ✵✮❜✯
s
❇❆
ô
❶ s
❆⑧❖ö
è q
❶÷
❆⑧ ❖
è
↔
❆⑧P④④④④ø➣▲
q
❶
▼
➣▲ô
❶
▼
s ù
ú
û
❅
✮❏ ô
❶
❿
❆
❆
✮❏ ô
❶ s
❆
✈
❅
✮❏ ô
❶
➻❆
➶
❶üýþÿ s
❅⑧❆✇❅❆❆❆⑧❆✇❅❆⑧❆✇❅❆❆⑧❆✁
❈❍✮✵ ❏✻✶❋✭✮✫✶ ❍✩✵ ❅❆✂ò ✸✫❋✩✸ ✫✳✭✮✴✩ ✩✶✰ ✩✸✸ ✳✫✮✶✭✵ ✫❏
✉✈
❆⑧❆❇✇❆⑧❆❇①ò ✩✬✯ ✾✸✫✪✩✸ ✫✳✭✮✴✩■ ❫✶✾✪✯✬ ✳✬✯✵✯✶✭✵✭❍✮✵
❏✻✶❋✭✮✫✶✩✵✩✶ ✯❉❋✯✸✸✯✶✭✭✯✵✭❏✫✬✩✸✸✾✸✫✪✩✸✫✳✭✮✴✮❜✩✭✮✫✶
✭✯❋❍✶✮❤✻✯✵❂ ✩✶✰ ✮✭ ✮✵ ✮✶✭✯✬✯✵✭✮✶✾ ✭✫ ✭✯✵✭ ✭❍✯ ❋✫✴✪✮✶✯✰
✩✸✾✫✬✮✭❍✴■
❃✫✭❍ ❋✸✩✵✵✮❋✩✸ ✷✿ ✩✶✰ ✄❊❣③
❏✩
✮✸ ✮✶
❢✶
✰✮✶✾ ✩✶ ✫✳❝
✭✮✴✻✴
❏✫✬
☎
❿
❖P ▲ ➅✻✬✩✶✰ ✩✶✰ ✿✸✸✮✫✭ ❅④④➆▼á ✭❍✯
❋✫✴✪✮✶✯✰ ✾✯✶✯✭✮❋ ✩✸✾✫✬✮✭❍✴ ❢✶✰✵ ✭❍✯✫✳✭✮✴✻✴ ✻✳ ❏✫✬
☎
s
❇❆
▲✵✯✯ ✭✩✪✸✯
❄▼
✩✶✰ ✸✩✬✾✯✬ ✵✮❜✯✵ ✩✬✯ ✵✭✮✸✸ ✪✯✮✶✾
✭✯✵✭✯✰■
➷
❦
❥
❪➍♠❨♥❦
❥
❈❍✯ ❋✫✴✴✫✶ ❋❍✩✬✩❋✭✯✬✮✵✭✮❋✵ ✫❏ ✭❍✯ ✼✯✸✰✯✬ ❡✯✩✰ ❣✮✴❝
✳✸✯❉ ✩✶✰ ✷✯✶✯✭✮❋ ✿✸✾✫✬✮✭❍✴ ▲✶✫ ✶✯✯✰ ✫❏ ✭❍✯ ❏✻✶❋✭✮✫✶
✰✯✬✮✽✩✭✮✽✯✵❂✻✵✯✫❏✳✫✳✻✸✩✭✮✫✶✵▼❵✩✵✩✭✭❍✯✫✬✮✾✮✶✫❏✭❍✮✵
✳✩✳✯✬■ ②❍✯✬✯✩✵✷✿✵✩✬✯✾✫✫✰✩✭ ✯❉✳✸✫✬✮✶✾✶✯❵ ✩✬✯✩✵❂
✭❍✯✼✯✸✰✯✬❝❡✯✩✰ ❣✮✴✳✸✯❉❋✩✶ ❤✻✮❋❛✸❴✸✯✩✰✭✫ ✭❍✯✶✯✩✬❝
✯✵✭ ✸✫❋✩✸ ✴✮✶✮✴✻✴■ ❈❍✯
✹✫
✴✪✮✶✯✰ ✼✯✸✰✯✬❝❡✯✩✰ ❣✮✴❝
✳✸✯❉✩✶✰✷✯✶✯✭✮❋✩✸✾✫✬✮✭❍✴ ✮✶✭✬✫✰✻❋✯✰❵✩✵
❢✬✵✭
✭✯✵✭✯✰
✫✶ ✷✬✮✯❵✩✶❛✱✵✭✯✵✭
❏✻
✶❋✭✮✫✶ ✩✶✰✬✯✵✻✸✭✵✵❍✫❵✯✰✭❍✩✭ ✮✭
❵✩✵ ✽✯✬❴ ✯❞❋✮✯✶✭ ✯✵✳✯❋✮✩✸✸❴ ❏✫✬ ✸✩✬✾✯ ✰✮✴✯✶✵✮✫✶✵■ ③✯❝
✵✻✸✭✵ ✫✶ ✹✫✬✩✶✩✱✵ ✭✯✵✭ ❏✻✶❋✭✮✫✶ ❋✫✶❢✬✴✯✰ ✭❍✮✵ ✬✯✵✻✸✭■
❈
❍✮✵✶✯❵ ✩✸✾✫✬✮✭❍✴ ✮✵ ✵✭✮✸✸ ✪✯✮✶✾✭✯✵✭✯✰✫✶✫✭❍✯✬✳✬✫✪❝
✸✯✴✵❂ ✪✻✭ ❵✯ ✩✸✬✯✩✰❴ ✵✭✬✫✶✾✸❴ ✪✯✸✮✯✽✯ ✭❍✩✭ ✮✭ ✵❍✫✻✸✰
✵✻❋❋✯✯✰ ✮✶ ✴✩✶❴ ❋✩✵✯✵■
✲✶✯✫❏✭❍✯ ❏✻✭✻✬✯❋❍✩✸✸✯✶✾✯✵❵✮✸✸ ✪✯ ✭✫ ✭✬❴ ✩✶✰ ✬✯✰✻❋✯
✭❍✯ ✶✻✴✪✯✬ ✫❏ ❏✻✶❋✭✮✫✶ ✯✽✩✸✻✩✭✮✫✶✵❑ ✮✶ ✭❍✯ ✳✬✯✵✯✶✭ ✩✸❝
✾✫✬✮✭❍✴❂ ✮✭ ❵✩✵ ✰✯❋✮✰✯✰ ✭❍✩✭ ➮
s r ↔
❅ ❵❍✯✬✯ ➮ ✮✵
✭❍✯ ✵✮✴✳✸✯❉ ✵✮❜✯ ✩✶✰ ✮✵ ✭❍✯ ✰✮✴✯✶✵✮✫✶ ✫❏ ✭❍✯ ✳✬✫✪❝
✮✶❋✬✯✩✵✯✵✸✮✶✯✩✬✸❴❵✮✭❍✭❍✯✵✮❜✯✫❏✭❍✯✳✬✫✪✸✯✴■ ➇✬✯✸✮✴❝
✮✶✩✬❴✭✯✵✭✵❍✩✽✯✵❍✫❵✶✭❍✩✭✮✭✮✵✳✫✵✵✮✪✸✯✭✫✬✯✰✻❋✯✭❍✯
✵✮❜✯
✫❏
✭❍✯ ✵✮✴✳✸✯❉ ✩✶✰ ✵✭✮✸✸ ❋✫✶✽✯✬✾✯✭✫ ✭❍✯ ✫✳✭✮✴✻✴■
Ü➋à➋❬➋❥❪➋❨
✹✫✬✩✶✩❂ ✿■❂ ❡■ ❡✩✬❋❍✯✵✮❂ ✹■ ❡✩✬✭✮✶✮ ✩✶✰ ❣■ ③✮✰✯✸✸✩
▲❅④➆❁▼■ ❡✮✶✮✴✮❜✮✶✾ ✴✻✸✭✮✴✫✰✩✸ ✻✶❋✭✮✫✶✵ ✫❏ ❋✫✶❝
✭✮✶✻✫✻✵ ✽✩✬✮✩✪✸✯✵❵✮✭❍ ✭❍✯ ✆✵✮✴✻✸✩✭✯✰ ✩✶✶✯✩✸✮✶✾✝
✩✸✾✫✬✮✭❍✴■ ❫✶❑ ✞➡➨➥➢➢✟➧➩✠➲ ➨✡ ➦☛➢ ☞✌✍ ✎➡➯➩➲➯➥➳
➦➧➨➩ ➯➩✟ ✍➯➦☛➢✏➯➦➧➥➯í ✑➨✡➦✒➯➡➢■ ✿✹❡■
➅✻✬✩✶✰❂ ✼✮❋✫✸✩✵ ✩✶✰ ✓■ ❡■ ✿✸✸✮✫✭ ▲❅④④➆▼■ ✷✯✶✯✭✮❋
❋✬✫✵✵✫✽✯✬ ✫✳✯✬✩✭✫✬
❏✫
✬ ✳✩✬✭✮✩✸✸❴ ✵✯✳✩✬✩✪✸✯
❏✻✶❋❝
✭✮✫✶✵■❫✶❑ ✔➢➩➢➦➧➥✞➡➨✠➡➯✏✏➧➩✠ ✕✖■
✷✫✸✰✪✯✬✾❂➅✩✽✮✰ ▲❅④➆
④▼
■ ✔➢➩➢➦➧➥☞í✠➨➡➧➦☛✏➲■✿✰✰✮✵✫✶
②✯✵✸✯❴■ ❫❣❃✼❑ ❆❝
❖❆
❅❝
❅❇
❁◆❁❝❇■
♦✫✸✸✩✶✰❂✓■♦ ▲❅④❁❇▼■ ☞✟➯➭➦➯➦➧➨➩ ➧➩ ✗➯➦ì➡➯í ➯➩✟ ☞➡➦➧➳
✘➥➧➯í ✑ï➲➦➢✏➲■ë✶✮✽✯✬✵✮✭❴ ✫❏ ❡✮❋❍✮✾✩✶ ✳✬✯✵✵■
❫✶✾✪✯✬❂ ★✯✵✭✯✬ ✩✶✰ ❃✬✻❋✯ ③✫✵✯✶ ▲❅④④❖➯▼■ ✷✯✶✯✭✮❋ ✩✸❝
✾✫✬✮✭❍✴ ✩✶✰ ✽✯✬❴ ❏✩✵✭ ✵✮✴✻✸✩✭✯✰ ✬✯✩✶✶✯✩✸✮✶✾❑ ✩
❋✫✴✳✩✬✮✵✫✶■✍➯➦☛➢✏➯➦➧➥➯í ➯➩✟ ✌➨✏➭ì➦➢➡ ✍➨✟➢í➳
➧➩✠ ❐✙▲❅▼❂ ➆❁✚❅❆❆■
❫✶✾✪✯✬❂ ★✯✵✭✯✬ ✩✶✰ ❃✬✻❋✯ ③✫✵✯✶ ▲❅④④❖⑤▼■ ✷✯✶✯✭✮❋ ✩✸❝
✾✫✬✮✭❍✴✵ ✩✶✰ ✽✯✬❴
❏✩
✵✭ ✵✮✴✻✸✩✭✯✰ ✬✯❝✩✶✶✯✩✸✮✶✾❑ ✩
❋✫✴✳✩✬✮✵✫✶■ ✍➯➦☛➢✏➯➦➧➥➯í ➯➩✟ ➥➨✏➭ì➦➢➡ ✏➨✟➢í➳
➧➩✠ ❐✙▲❅❅▼❂➆❁✚❅❆❆■
❡❋➘✮✶✶✫✶❂➘■❫■❡■ ▲❅④
④◆
▼■ ✹✫✶✽✯✬✾✯✶❋✯✫❏ ✭❍✯ ✶✯✸✰✯✬❝
✴✯✩✰✵✮✴✳✸✯❉✴✯✭❍✫✰✭✫ ✩✶✫✶❝✵✭✩✭✮✫✶✶✩✬❴✳✫✮✶✭■
❈✯❋❍✶✮❋✩✸ ✬✯✳✫✬✭■ ➅✯✳✩✬✭✴✯✶✭ ✫❏ ❡✩✭❍✯✴✩✭✮❋✵
✩✶✰ ❣✭✩✭✮✵✭✮❋✵❂ë✶✮✽✯✬✵✮✭❴✫❏ ✺✰✮✴✪✻✬✾❍■
✼✯✸✰✯✬❂ ✓■✿■ ✩✶✰ ③■ ❡✯✩✰ ▲❅④◆❇▼■✿ ✵✮✴✳✸✯❉ ✴✯✭❍✫✰
❏✫✬ ❏✻✶❋✭✮✫✶ ✴✮✶✮✴✮❜✩✭✮✫✶■ ✌➨✏➭ì➦➢➡ ✛➨ì➡➩➯í
✜❂❄❆➆✚❄❅❄■
â✮✶❂ ✢✮✩✫✰✫✶✾ ✩✶✰ ✼✫✯✸ ✷✯✬✴✩❴ ▲❅④④❄▼■ ✿ ❏✩✵✭ ✾✯❝
✶✯✭✮❋ ✩✸✾✫✬✮✭❍✴ ❵✮✭❍ ✵❍✩✬✮✶✾ ✵❋❍✯✴✯ ✻✵✮✶✾ ❋✸✻✵❝
✭✯✬ ✩✶✩✸❴✵✮✵ ✴✯✭❍✫✰✵ ✮✶ ✴✻✸✭✮✴✫✰✩✸ ❏✻✶❋✭✮✫✶
✫✳✭✮✴✮❜✩✭✮✫✶■ ❫✶❑ ✣➩ ➭➡➨➥➢➢✟➧➩✠➲
➨✡
➦☛➢ ☞
➡➦➧✘
➳
➥➧➯í ✗➢ì➡➯í✗➢➦➲ ➯➩✟ ✔➢➩➢➦➧➥☞í ✠➨➡➧➦☛✏ ✣➩➦➢➡➩➯➳
➦➧➨➩➯í
✌➨➩✡
➢➡➢➩➥➢✤ ✣➩➲⑤➡ì➥î☞ì➲➦➡➧➯
▲✹
■③■③✯✯✽✯✵
③■❊■✿✸✪✬✯❋❍✭ ✩✶✰ ✼
■✹
■ ❣✭✯✯✸✯❂ ✺✰✵■▼■ ❣✳✬✮✶✾✯✬❝
✄✯✬✸✩✾■
