HAL Id: inria-00377090
https://hal.inria.fr/inria-00377090
Submitted on 20 Apr 2009
HAL is a multi-disciplinary open access archive for the deposit and dissemination of sci- entific research documents, whether they are pub- lished or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers.
L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.
Benchmarking sep-CMA-ES on the BBOB-2009 Noisy Testbed
Raymond Ros
To cite this version:
Raymond Ros. Benchmarking sep-CMA-ES on the BBOB-2009 Noisy Testbed. GECCO, Jul 2009, Montréal, Canada. �inria-00377090�
Benchmarking sep-CMA-ES on the BBOB-2009 Noisy Testbed
Raymond Ros
Univ. Paris-Sud, LRI
UMR 8623 / INRIA Saclay, projet TAO F-91405 Orsay, France
raymond.ros@lri.fr
ABSTRACT
ApartlytimeandspaelinearCMA-ESisbenhmarkedon
theBBOB-2009noisyfuntiontestbed.Thisalgorithmwith
amultistartstrategywithinreasingpopulationsize solves
10funtionsoutof30in20-D.
Categories and Subject Descriptors
G.1.6 [Numerial Analysis℄: Optimization|globalopti-
mization, unonstrained optimization; F.2.1 [Analysis of
Algorithmsand Problem Complexity ℄: NumerialAl-
gorithmsandProblems
General Terms
Algorithms
Keywords
Benhmarking,Blak-box optimization,Evolutionaryom-
putation,Covarianematrixadaptation,Evolutionstrategy
1. INTRODUCTION
The sep-CMA-ES algorithm introdued in[7℄ is a vari-
antof the ovarianematrixadaptationevolution strategy
(CMA-ES)[5℄thatislinearintimeandspae.Thisproperty
ombinedwithafasterlearningratemakessep-CMA-ESap-
propriate for separable funtionand larger dimensions. A
mixedstrategyof usingsep-CMA-ESandCMA-ESis pro-
posedhereandbenhmarkedonanoisyfuntiontestbed.
2. ALGORITHM PRESENTATION
Initsdesign, thesep-CMA-ESdiersfrom theCMA-ES
by two aspets: rst, the ovarianematrixis onstrained
to be diagonal at eahof its update, seond, the learning
rate is inreased by a fator of n+3=2
3
, where n is the di-
mension ofthe searh spae 1
. These modiations result
1
Pleasenotethatthefatorforthelearning rateissmaller
thantheonein[7℄.
Permission to make digital or hard copies of all or part of this work for personal or classroom use is granted without fee provided that copies are not made or distributed for profit or commercial advantage and that copies bear this notice and the full citation on the first page. To copy otherwise, to republish, to post on servers or to redistribute to lists, requires prior specific permission and/or a fee.
GECCO’09, July 8–12, 2009, Montréal Québec, Canada.
Copyright 2009 ACM 978-1-60558-505-5/09/07 ...$5.00.
inanalgorithm that tradesmodelomplexitywith atime
andspaesalingthatisbetterthantheoriginalCMA-ES.
The(=
w
;)-sep-CMA-EShasbeenshowntooutperform
(=w;)-CMA-ESonseparablefuntions.
Weproposeherewhatwouldbethebestoftwoworlds: to
usesep-CMA-ESfortherstfewiterationsandthenswith
toCMA-ES.Atthetimeoftheswith,allparametersarere-
tainedexeptforthelearningratethatisdereasedbakto
itsdefaultvalue. Thisimplies thediagonal ovarianema-
trixaquired usingsep-CMA-ESis diretlyused byCMA-
ES. Thismixedstrategy istherefore expetedto befaster
than CMA-ES onseparable funtions. Ongoingwork has
also shownthat for some test funtionsthe rstiterations
usingsep-CMA-ESwouldnotdisadvantagethelatteruseof
CMA-ESinanyway.Inotherterms,theostofinitiallyus-
ing sep-CMA-ESwouldnotindueapenaltyintheostof
solvingthefuntionwithCMA-ESafterwards. Theauthor
admitssomefuntionsouldinduesuhapenalty.
Asforthemultistartstrategy,weusetheinreasingpop-
ulation sizeIPOP-CMA-ES[1℄. Thoughthis approahhas
shown itslimits [6℄, independent restart may improve the
probability of the algorithm reahing a given target fun-
tionvalue.
3. EXPERIMENTAL PROCEDURE
TheMatlabimplementationoftheCMA-ES(version3.23beta)
isused 2
. Weusethe(=
w
;)-IPOP-CMA-ESvariantwith
aninitialdefaultpopulationsize=4+b3ln(n)inreas-
ingtwieateahrestart. Exeptthelearningrate,allother
algorithm parameters are set to their default values. The
ovarianematrixisonstrainedtobediagonalonlyforthe
rst1+100n=
p
iterationsoftherststart. Amaximum
of8independentrestartsisonduted. Restartsourafter
100+300n p
n=iterationsorifanyofthedefaultstopping
riterionis met. Theinitial stepsizehas beensetto 2and
the starting point has been hosen uniformly in [ 4;4℄
n
.
The maximum number of funtion evaluations was set to
10 4
times the dimension. No parametertuning was done,
theCrE[3℄ isomputedtozero.
4. RESULTS
Resultsfromexperimentsaording to [3℄ onthe benh-
marks funtions given in [2, 4℄are presented in Figures 1
and2andinTables1and2. Fromtheresultsofthisalgo-
rithm,theuniformnoisemodelisthemostdiÆulttodeal
2
Latest version available here:http://www.lri.fr/
~hansen/maesintro.html
2 3 5 10 20 40 0
1 2 3
4 101 Sphere moderate Gauss
+1 +0 -1 -2 -3 -5
-8 02 3 5 10 20 40
1 2 3 4 5 6
7 104 Rosenbrock moderate Gauss
2 3 5 10 20 40
0 1 2 3 4 5 6 7
6 107 Sphere Gauss
2 3 5 10 20 40
0 1 2 3 4 5 6 7
14 1
110 Rosenbrock Gauss
2 3 5 10 20 40
0 1 2 3 4 5 6
7 113 Step-ellipsoid Gauss
2 3 5 10 20 40
0 1 2 3
4 102 Sphere moderate unif
2 3 5 10 20 40
0 1 2 3 4 5 6 7
14
105 Rosenbrock moderate unif
2 3 5 10 20 40
0 1 2 3 4 5 6 7 1
108 Sphere unif
2 3 5 10 20 40
0 1 2 3 4 5 6
7 111 Rosenbrock unif
2 3 5 10 20 40
0 1 2 3 4 5 6 7
7 4
114 Step-ellipsoid unif
2 3 5 10 20 40
0 1 2 3
4 103 Sphere moderate Cauchy
2 3 5 10 20 40
0 1 2 3 4 5
6106 Rosenbrock moderate Cauchy
2 3 5 10 20 40
0 1 2 3 4
5 109 Sphere Cauchy
2 3 5 10 20 40
0 1 2 3 4 5
6 112 Rosenbrock Cauchy 14
2 3 5 10 20 40
0 1 2 3 4 5 6 7
9 115 Step-ellipsoid Cauchy
2 3 5 10 20 40
0 1 2 3 4 5 6 7
13 10
116 Ellipsoid Gauss
2 3 5 10 20 40
0 1 2 3 4 5 6 7
2
119 Sum of different powers Gauss
2 3 5 10 20 40
0 1 2 3 4 5 6 7
14 6
122 Schaffer F7 Gauss
2 3 5 10 20 40
0 1 2 3 4 5 6 7
11
125 Griewank-Rosenbrock Gauss
2 3 5 10 20 40
0 1 2 3 4 5 6 7
14 11 9
1 128 Gallagher Gauss
2 3 5 10 20 40
0 1 2 3 4 5 6
7 117 Ellipsoid unif
2 3 5 10 20 40
0 1 2 3 4 5 6
7 120 Sum of different powers unif
2 3 5 10 20 40
0 1 2 3 4 5 6
7 123 Schaffer F7 unif
2 3 5 10 20 40
0 1 2 3 4 5 6
7 126 Griewank-Rosenbrock unif
2 3 5 10 20 40
0 1 2 3 4 5 6 7 5
129 Gallagher unif
2 3 5 10 20 40
0 1 2 3 4 5
6 118 Ellipsoid Cauchy
2 3 5 10 20 40
0 1 2 3 4 5
6121 Sum of different powers Cauchy14
2 3 5 10 20 40
0 1 2 3 4 5 6 7
14 3
124 Schaffer F7 Cauchy
2 3 5 10 20 40
0 1 2 3 4 5 6 7
13 8
127 Griewank-Rosenbrock Cauchy
2 3 5 10 20 40
0 1 2 3 4 5 6 7
14 12 10 10 7
3 130 Gallagher Cauchy
+1 +0 -1 -2 -3 -5 -8
Figure1: ExpetedRunningTime(ERT,)toreahf
opt
+f andmediannumberoffuntionevaluationsof
suessfultrials (+),shownforf=10;1;10 1
;10 2
;10 3
;10 5
;10 8
(theexponentisgiveninthelegendoff101
andf
130
) versusdimension in log-logpresentation. The ERT(f)equals to#FEs (f)divided by the number
ofsuessful trials, whereatrial is suessfulif f
opt
+f wassurpassed during the trial. The #FEs (f) are
thetotalnumberoffuntionevaluationswhilefopt+f wasnotsurpassedduringthetrialfromallrespetive
trials(suessfulandunsuessful),andf
opt
denotestheoptimalfuntionvalue. Crosses()indiatethetotal
number offuntion evaluations #FEs ( 1). Numbers above ERT-symbolsindiatethe numberof suessful
trials. Annotated numbers on the ordinate are deimal logarithms. Additional grid lines show linear and
101 101
f # ERT 10% 90% RT
su
# ERT 10% 90% RT
su
10 15 4:6e1 3:7e1 5:6e 1 4:6e1 15 3:2e2 3:1e2 3:4e 2 3:2e2
1 15 1:1e2 1:0e2 1:2e 2 1:1e2 15 5:8e2 5:6e2 6:0e 2 5:8e2
1e 1 15 1:8e2 1:7e2 1:9e 2 1:8e2 15 8:0e2 7:8e2 8:2e 2 8:0e2
1e 3 15 3:2e2 3:1e2 3:3e 2 3:2e2 15 1:3e3 1:2e3 1:3e 3 1:3e3
1e 5 15 4:4e2 4:3e2 4:5e 2 4:4e2 15 1:7e3 1:7e3 1:8e 3 1:7e3
1e 8 15 6:4e2 6:2e2 6:6e 2 6:4e2 15 2:5e3 2:4e3 2:5e 3 2:5e3
102 102
f # ERT 10% 90% RT
su
# ERT 10% 90% RT
su
10 15 3:5e 1 2:9e 1 4:1e1 3:5e 1 15 3:6e 23:4e 2 3:8e 2 3:6e 2
1 15 1:0e 2 9:3e 1 1:1e2 1:0e 2 15 5:8e 25:6e 2 6:0e 2 5:8e 2
1e 1 15 1:6e 2 1:5e 2 1:7e2 1:6e 2 15 8:2e 27:9e 2 8:5e 2 8:2e 2
1e 3 15 3:0e 2 2:9e 2 3:1e2 3:0e 2 15 1:3e 31:3e 3 1:3e 3 1:3e 3
1e 5 15 4:3e 2 4:2e 2 4:4e2 4:3e 2 15 1:8e 31:7e 3 1:8e 3 1:8e 3
1e 8 15 6:3e 2 6:1e 2 6:5e2 6:3e 2 15 2:5e 32:5e 3 2:5e 3 2:5e 3
f
103
in5-D,N=15,mFE=1162 f
103
in20-D,N=15,mFE=3014
f # ERT 10% 90% RT
su
# ERT 10% 90% RT
su
10 15 3:8e 1 3:2e 14:4e1 3:8e 1 15 3:3e2 3:1e 2 3:4e 2 3:3e2
1 15 1:1e 2 9:9e 11:2e2 1:1e 2 15 5:7e2 5:5e 2 5:9e 2 5:7e2
1e 1 15 1:8e 2 1:7e 21:9e2 1:8e 2 15 7:9e2 7:7e 2 8:1e 2 7:9e2
1e 3 15 3:1e 2 3:0e 23:2e2 3:1e 2 15 1:3e3 1:3e 3 1:3e 3 1:3e3
1e 5 15 4:8e 2 4:6e 25:1e2 4:8e 2 15 1:9e3 1:9e 3 1:9e 3 1:9e3
1e 8 15 7:3e 2 6:9e 27:8e2 7:3e 2 15 2:8e3 2:8e 3 2:8e 3 2:8e3
f
104
in5-D,N=15,mFE=23542 f
104
in20-D,N=15,mFE=200022
f # ERT 10% 90% RT
su
# ERT 10% 90% RT
su
10 15 9:3e 2 2:3e21:6e3 9:3e 2 0 17e+0 15e+0 18e+0 1:3e5
1 15 1:1e 4 8:4e31:3e4 1:1e 4 : : : : :
1e 1 15 1:1e 4 9:0e31:3e4 1:1e 4 : : : : :
1e 3 15 1:2e 4 1:0e41:4e4 1:2e 4 : : : : :
1e 5 15 1:2e 4 1:0e41:5e4 1:2e 4 : : : : :
1e 8 15 1:3e 4 1:1e41:5e4 1:3e 4 : : : : :
f105in5-D,N=15,mFE=50008 f
105
in20-D,N=15,mFE=200022
f # ERT 10% 90% RT
su
# ERT 10% 90% RT
su
10 15 2:2e 22:1e2 2:3e2 2:2e 2 0 18e+0 14e+0 19e+0 1:3e5
1 14 2:5e 42:2e4 3:0e4 2:4e 4 : : : : :
1e 1 14 2:6e 42:2e4 3:0e4 2:4e 4 : : : : :
1e 3 14 2:7e 42:3e4 3:1e4 2:5e 4 : : : : :
1e 5 14 2:7e 42:3e4 3:1e4 2:5e 4 : : : : :
1e 8 14 2:7e 42:3e4 3:2e4 2:5e 4 : : : : :
f
106
in5-D,N=15,mFE=5292 f
106
in20-D,N=15,mFE=34994
f # ERT 10% 90% RT
su
# ERT 10% 90% RT
su
10 15 2:1e2 1:9e 2 2:2e 2 2:1e2 15 1:2e4 1:2e4 1:3e 4 1:2e 4
1 15 1:6e3 1:3e 3 1:9e 3 1:6e3 15 2:2e4 2:1e4 2:3e 4 2:2e 4
1e 1 15 2:2e3 1:9e 3 2:5e 3 2:2e3 15 2:4e4 2:3e4 2:5e 4 2:4e 4
1e 3 15 2:7e3 2:4e 3 2:9e 3 2:7e3 15 2:5e4 2:5e4 2:6e 4 2:5e 4
1e 5 15 2:9e3 2:6e 3 3:2e 3 2:9e3 15 2:6e4 2:6e4 2:7e 4 2:6e 4
1e 8 15 3:2e3 2:9e 3 3:4e 3 3:2e3 15 2:8e4 2:7e4 2:9e 4 2:8e 4
f107in5-D,N=15,mFE=23686 f
107
in20-D,N=15,mFE=200022
f # ERT 10% 90% RT
su
# ERT 10% 90% RT
su
10 15 2:2e29:1e1 3:6e 2 2:2e 2 13 2:1e 51:8e 5 2:5e5 1:8e 5
1 15 2:3e39:2e2 3:7e 3 2:3e 3 7 4:2e 53:3e 5 7:4e5 2:0e 5
1e 1 15 2:5e31:2e3 3:9e 3 2:5e 3 1 3:0e 61:5e 6 >3e6 2:0e 5
1e 3 15 1:0e47:8e3 1:3e 4 1:0e 4 0 11e{1 13 e{2 14e+0 2:0e 5
1e 5 15 1:3e41:0e4 1:6e 4 1:3e 4 : : : : :
1e 8 15 2:0e41:8e4 2:1e 4 2:0e 4 : : : : :
f
108
in5-D,N=15,mFE=50008 f
108
in20-D,N=15,mFE=200022
f # ERT 10% 90% RT
su
# ERT 10% 90% RT
su
10 15 9:0e 3 4:9e 3 1:4e4 9:0e3 0 72e+0 28e+0 11e+1 1:8e 5
1 13 3:5e 4 2:8e 4 4:1e4 3:0e4 : : : : :
1e 1 6 1:1e 5 7:5e 4 1:8e5 4:2e4 : : : : :
1e 3 0 20e{2 58e{4 23e{1 2:2e4 : : : : :
1e 5 : : : : : : : : : :
1e 8 : : : : : : : : : :
f
109
in5-D,N=15,mFE=1730 f
109
in20-D,N=15,mFE=6338
f # ERT 10% 90% RT
su
# ERT 10% 90% RT
su
10 15 4:5e 1 3:6e 15:5e1 4:5e 1 15 3:3e2 3:2e 2 3:5e 2 3:3e2
1 15 1:3e 2 1:2e 21:5e2 1:3e 2 15 6:3e2 6:1e 2 6:5e 2 6:3e2
1e 1 15 2:2e 2 2:0e 22:4e2 2:2e 2 15 1:1e3 1:1e 3 1:2e 3 1:1e3
1e 3 15 5:7e 2 5:2e 26:2e2 5:7e 2 15 2:3e3 2:2e 3 2:4e 3 2:3e3
1e 5 15 8:7e 2 8:1e 29:4e2 8:7e 2 15 3:6e3 3:5e 3 3:7e 3 3:6e3
1e 8 15 1:4e 3 1:3e 31:4e3 1:4e 3 15 5:6e3 5:5e 3 5:7e 3 5:6e3
f
110
in5-D,N=15,mFE=50008 f
110
in20-D,N=15,mFE=200022
f # ERT 10% 90% RT
su
# ERT 10% 90% RT
su
10 15 2:8e 3 3:3e25:2e3 2:8e 3 0 60e+0 39e+0 40e+1 1:8e5
1 3 2:1e 5 1:2e56:2e5 5:0e 4 : : : : :
1e 1 0 21e{1 70e{2 33e{1 1:1e 4 : : : : :
1e 3 : : : : : : : : : :
1e 5 : : : : : : : : : :
1e 8 : : : : : : : : : :
f111in5-D,N=15,mFE=50008 f
111
in20-D,N=15,mFE=200022
f # ERT 10% 90% RT
su
# ERT 10% 90% RT
su
10 12 3:4e42:6e4 4:2e 4 2:9e4 0 15 e+2 52e+1 93e+2 1:8e5
1 0 46e{1 19e{1 43e+0 2:8e4 : : : : :
1e 1 : : : : : : : : : :
1e 3 : : : : : : : : : :
1e 5 : : : : : : : : : :
1e 8 : : : : : : : : : :
f
112
in5-D,N=15,mFE=14628 f
112
in20-D,N=15,mFE=137776
f # ERT 10% 90% RT
su
# ERT 10% 90% RT
su
10 15 2:1e 2 1:9e 2 2:3e2 2:1e2 15 2:9e4 2:6e4 3:1e 4 2:9e 4
1 15 4:3e 3 3:1e 3 5:4e3 4:3e3 15 6:4e4 5:5e4 7:3e 4 6:4e 4
1e 1 15 5:7e 3 4:6e 3 6:8e3 5:7e3 15 7:0e4 6:1e4 7:9e 4 7:0e 4
1e 3 15 6:7e 3 5:6e 3 7:8e3 6:7e3 15 7:4e4 6:5e4 8:3e 4 7:4e 4
1e 5 15 7:3e 3 6:2e 3 8:5e3 7:3e3 15 7:6e4 6:7e4 8:5e 4 7:6e 4
1e 8 15 8:0e 3 6:9e 3 9:2e3 8:0e3 15 7:9e4 7:1e4 8:8e 4 7:9e 4
f113in5-D,N=15,mFE=37944 f
113
in20-D,N=15,mFE=200022
f # ERT 10% 90% RT
su
# ERT 10% 90% RT
su
10 15 2:2e38:0e2 3:5e 3 2:2e 3 5 5:9e 5 4:2e5 9:9e 5 2:0e5
1 15 1:3e48:6e3 1:7e 4 1:3e 4 0 21 e+0 47e{1 87e+0 1:8e5
1e 1 15 2:6e42:3e4 3:0e 4 2:6e 4 : : : : :
1e 3 15 3:1e42:8e4 3:4e 4 3:1e 4 : : : : :
1e 5 15 3:1e42:8e4 3:4e 4 3:1e 4 : : : : :
1e 8 15 3:2e42:8e4 3:4e 4 3:2e 4 : : : : :
f
114
in5-D,N=15,mFE=50008 f
114
in20-D,N=15,mFE=200022
f # ERT 10% 90% RT
su
# ERT 10% 90% RT
su
10 15 1:1e 4 7:8e 3 1:5e4 1:1e4 0 17e+1 92e+0 39e+1 1:8e 5
1 8 6:8e 4 5:0e 4 9:9e4 3:7e4 : : : : :
1e 1 1 7:0e 5 3:3e 5 >7e5 5:0e4 : : : : :
1e 3 0 99e{2 10e{2 38e{1 2:5e4 : : : : :
1e 5 : : : : : : : : : :
1e 8 : : : : : : : : : :
f
115
in5-D,N=15,mFE=7658 f
115
in20-D,N=15,mFE=200074
f # ERT 10% 90% RT
su
# ERT 10% 90% RT
su
10 15 9:1e 1 7:7e11:1e 2 9:1e 1 15 3:1e 3 2:3e 3 3:9e3 3:1e3
1 15 7:1e 2 5:9e28:3e 2 7:1e 2 15 3:0e 4 2:6e 4 3:4e4 3:0e4
1e 1 15 1:8e 3 1:4e32:3e 3 1:8e 3 9 1:7e 5 1:2e 5 2:6e5 9:2e4
1e 3 15 2:6e 3 2:1e33:1e 3 2:6e 3 9 1:8e 5 1:2e 5 2:7e5 9:7e4
1e 5 15 2:6e 3 2:1e33:0e 3 2:6e 3 9 1:8e 5 1:2e 5 2:8e5 9:7e4
1e 8 15 3:4e 3 2:8e34:0e 3 3:4e 3 9 1:8e 5 1:2e 5 2:8e5 9:8e4
f116in5-D,N=15,mFE=50008 f
116
in20-D,N=15,mFE=200022
f # ERT 10% 90% RT
su
# ERT 10% 90% RT
su
10 15 2:6e 4 2:2e 43:0e4 2:6e4 0 13e+2 45e+1 36e+2 1:8e5
1 14 3:6e 4 3:2e 44:1e4 3:3e4 : : : : :
1e 1 10 6:1e 4 4:9e 47:9e4 4:1e4 : : : : :
1e 3 10 6:2e 4 5:0e 48:0e4 4:2e4 : : : : :
1e 5 10 6:2e 4 5:1e 48:1e4 4:2e4 : : : : :
1e 8 10 6:3e 4 5:1e 48:2e4 4:3e4 : : : : :
f117in5-D,N=15,mFE=50008 f
117
in20-D,N=15,mFE=200022
f # ERT 10% 90% RT
su
# ERT 10% 90% RT
su
10 3 2:3e5 1:4e 5 7:0e 5 5:0e 4 0 99e+2 53e+2 25e+3 1:8e5
1 1 7:4e5 3:6e 5 >7e5 5:0e 4 : : : : :
1e 1 1 7:4e5 3:6e 5 >7e5 5:0e 4 : : : : :
1e 3 0 26e+0 39e{1 23e+1 3:5e 4 : : : : :
1e 5 : : : : : : : : : :
1e 8 : : : : : : : : : :
f
118
in5-D,N=15,mFE=5098 f
118
in20-D,N=15,mFE=46526
f # ERT 10% 90% RT
su
# ERT 10% 90% RT
su
10 15 1:6e3 1:4e 3 1:8e 3 1:6e3 15 1:5e4 1:4e4 1:6e 4 1:5e 4
1 15 2:4e3 2:2e 3 2:6e 3 2:4e3 15 2:2e4 2:1e4 2:3e 4 2:2e 4
1e 1 15 2:8e3 2:7e 3 3:0e 3 2:8e3 15 2:5e4 2:4e4 2:6e 4 2:5e 4
1e 3 15 3:3e3 3:2e 3 3:5e 3 3:3e3 15 3:0e4 2:9e4 3:2e 4 3:0e 4
1e 5 15 3:8e3 3:6e 3 3:9e 3 3:8e3 15 3:2e4 3:1e4 3:4e 4 3:2e 4
1e 8 15 4:5e3 4:3e 3 4:6e 3 4:5e3 15 3:5e4 3:3e4 3:6e 4 3:5e 4
f119in5-D,N=15,mFE=50008 f
119
in20-D,N=15,mFE=200022
f # ERT 10% 90% RT
su
# ERT 10% 90% RT
su
10 15 5:3e13:7e1 6:9e 1 5:3e 1 13 1:1e 58:3e 4 1:5e5 9:8e 4
1 15 6:9e33:9e3 1:0e 4 6:9e 3 5 5:9e 54:2e 5 1:0e6 2:0e 5
1e 1 15 9:6e35:8e3 1:4e 4 9:6e 3 1 3:0e 61:5e 6 >3e6 2:0e 5
1e 3 14 2:6e42:1e4 3:0e 4 2:6e 4 0 16e{1 51 e{2 10e+0 1:8e 5
1e 5 10 6:1e44:9e4 8:0e 4 4:1e 4 : : : : :
1e 8 2 3:7e51:9e5 >7e5 5:0e 4 : : : : :
f
120
in5-D,N=15,mFE=50008 f
120
in20-D,N=15,mFE=200022
f # ERT 10% 90% RT
su
# ERT 10% 90% RT
su
10 15 7:7e 2 3:6e 1 1:5e3 7:7e2 2 1:5e6 7:5e 5 >3e6 2:0e 5
1 12 3:1e 4 2:5e 4 3:9e4 2:8e4 0 17e+0 66e{1 25e+0 1:8e 5
1e 1 6 1:1e 5 7:8e 4 1:7e5 4:6e4 : : : : :
1e 3 0 30e{2 23e{3 31e{1 2:0e4 : : : : :
1e 5 : : : : : : : : : :
1e 8 : : : : : : : : : :
Table1: Shownare,for funtionsf
101 -f
120
and foragiventargetdierenetotheoptimalfuntionvaluef:
the numberof suessfultrials (#); the expetedrunning time tosurpassfopt+f (ERT,see Figure1); the
10%-tile and 90%-tile of the bootstrap distribution of ERT; the average number of funtion evaluations in
suessfultrials or, if nonewas suessful,aslast entrythe median numberoffuntion evaluationsto reah
the best funtion value (RTsu). If fopt+f was never reahed,gures in italis denote the best ahieved
f-value of the median trial and the 10% and 90%-tiletrial. Furthermore,N denotesthe numberof trials,
andmFEdenotesthemaximumofnumberoffuntionevaluationsexeutedinonetrial. SeeFigure1for the
namesoffuntions.
