Overview page

Table showing the aRT in number of function evaluations

Last dimension | Dimension = 2 | Next dimension

Δ fopt
f1, 2-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 4.4 (4)15 (15)39 (25)71 (20)100 (6)161 (50)209 (42)15/15
lmm-CMA-ES auger noiseless 3.7 (4)12 (7)20 (3)24 (6)30 (5)37 (6)49 (4)15/15
IPOPsaACM loshchilov noiseless 5.5 (4)20 (24)40 (30)62 (20)75 (18)91 (11)115 (10)15/15
DTS5-CMA 4.4 (4)10 (4)15 (4)20 (4)24 (3)33 (2)41 (2)30/30
lq-CMA-ES 2019-gecco-surr 2.4 (0.5)8.3 (4)12 (2)16 (2)20 (3)28 (5)33 (7)15/15
SLSQP+CMA 2019-gecco-surr 4.2 (3)6.6 (0)7.0 (0)★27.0 (0)★37.0 (0)★47.0 (0)★47.0 (0)★415/15

Δ fopt
f2, 2-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 152 (136)233 (67)274 (95)302 (73)332 (110)387 (80)445 (72)15/15
lmm-CMA-ES auger noiseless 49 (35)93 (13)113 (21)121 (14)126 (8)138 (15)153 (26)15/15
IPOPsaACM loshchilov noiseless 83 (34)109 (44)132 (22)144 (25)153 (10)172 (22)196 (30)15/15
DTS5-CMA 36 (14)47 (10)52 (8)57 (6)60 (6)69 (6)76 (8)30/30
lq-CMA-ES 2019-gecco-surr 27 (11)36 (16)46 (8)51 (7)57 (8)67 (8)79 (15)15/15
SLSQP+CMA 2019-gecco-surr 23 (6)26 (9)30 (10)★234 (12)★238 (10)★345 (14)★353 (15)★315/15

Δ fopt
f3, 2-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 38 (18)1014 (950)2783 (2803)2887 (1785)2975 (2939)3125 (1626)3259 (2333)15/15
lmm-CMA-ES auger noiseless 39 (11)497 (372)1360 (2443)1552 (1457)1866 (1666)1893 (3230)1920 (2148)9/15
IPOPsaACM loshchilov noiseless 46 (28)809 (658)2335 (3032)2839 (2202)3156 (1812)3283 (1244)3337 (7192)15/15
DTS5-CMA 39 (41)158 (90)571 (499)812 (830)820 (564)834 (664)852 (2370)14/30
lq-CMA-ES 2019-gecco-surr 23 (11)551 (944)1567 (501)1724 (1580)1822 (2746)1841 (958)1856 (2565)15/15
SLSQP+CMA 2019-gecco-surr 37 (12)631 (470)2395 (2362)2529 (2542)2616 (1852)2736 (2085)2869 (3227)15/15

Δ fopt
f4, 2-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 71 (29)1816 (3636)1.9e4 (2e4)4.8e4 (2e4)5.6e4 (4e4)6.1e4 (1e5)6.4e4 (9e4)15/15
lmm-CMA-ES auger noiseless 49 (30)1462 (2521)2.3e4 (2e4)2.3e4 (3e4)2.3e4 (1e4)2.3e4 (4e4)2.3e4 (2e4)1/15
IPOPsaACM loshchilov noiseless 55 (31)1563 (1386)3.2e4 (4e4)4.8e4 (3e4)1.5e5 (3e5)5.8e5 (8e5)6.4e5 (9e5)14/15
DTS5-CMA 32 (25)632 (852)7090 (2e4)7103 (4025)7112 (7052)7122 (1e4)7143 (2e4)2/30
lq-CMA-ES 2019-gecco-surr 37 (33)671 (1096)1.4e4 (2e4)6.1e4 (1e5)6.6e4 (2e5)7.3e4 (1e5)7.8e4 (1e5)14/15
SLSQP+CMA 2019-gecco-surr 45 (29)1924 (2393)2.0e4 (2e4)3.2e4 (5e4)3.6e4 (5e4)3.9e4 (6e4)4.2e4 (5e4)15/15

Δ fopt
f5, 2-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 13 (11)28 (19)31 (30)31 (26)31 (7)31 (5)31 (32)15/15
lmm-CMA-ES auger noiseless 14 (5)22 (10)23 (6)23 (14)23 (14)23 (7)23 (10)15/15
IPOPsaACM loshchilov noiseless 11 (9)27 (10)30 (25)30 (24)30 (23)30 (18)30 (10)15/15
DTS5-CMA 7.8 (3)14 (9)15 (9)15 (9)15 (7)15 (8)15 (6)30/30
lq-CMA-ES 2019-gecco-surr 7.1 (1)12 (4)12 (5)12 (6)12 (2)12 (3)12 (4)15/15
SLSQP+CMA 2019-gecco-surr 6.0 (0)14 (0)14 (0)14 (0)14 (0)14 (0)14 (0)15/15

Δ fopt
f6, 2-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 26 (17)76 (44)136 (60)188 (46)246 (38)359 (60)493 (63)15/15
lmm-CMA-ES auger noiseless 28 (28)58 (40)104 (30)142 (42)179 (64)255 (49)338 (112)15/15
IPOPsaACM loshchilov noiseless 33 (18)76 (84)173 (99)208 (93)257 (223)365 (194)483 (150)15/15
DTS5-CMA 22 (21)89 (42)133 (32)183 (168)233 (155)370 (148)670 (442)8/30
lq-CMA-ES 2019-gecco-surr 23 (23)49 (38)98 (28)152 (50)203 (50)288 (56)394 (38)15/15
SLSQP+CMA 2019-gecco-surr 66 (63)89 (82)102 (100)114 (32)142 (105)181 (90)247 (243)15/15

Δ fopt
f7, 2-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 9.1 (11)21 (24)147 (86)184 (154)201 (131)201 (131)229 (151)15/15
lmm-CMA-ES auger noiseless 11 (11)46 (40)76 (42)112 (181)130 (68)130 (144)145 (147)15/15
IPOPsaACM loshchilov noiseless 14 (22)108 (210)222 (183)281 (140)291 (177)291 (204)375 (196)15/15
DTS5-CMA 10 (4)47 (86)78 (60)90 (100)113 (107)113 (125)139 (126)30/30
lq-CMA-ES 2019-gecco-surr 4.8 (6)15 (5)74 (66)112 (261)147 (204)147 (201)185 (252)15/15
SLSQP+CMA 2019-gecco-surr 8.3 (11)41 (26)108 (20)147 (112)164 (116)164 (34)192 (18)15/15

Δ fopt
f8, 2-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 19 (16)67 (31)193 (307)286 (96)334 (92)390 (121)460 (236)15/15
lmm-CMA-ES auger noiseless 13 (8)45 (46)94 (23)125 (52)140 (64)157 (47)169 (53)15/15
IPOPsaACM loshchilov noiseless 31 (25)130 (162)237 (260)296 (185)326 (93)357 (187)379 (164)15/15
DTS5-CMA 16 (6)38 (28)67 (33)80 (27)89 (36)98 (30)106 (32)30/30
lq-CMA-ES 2019-gecco-surr 12 (10)41 (25)81 (53)119 (38)132 (30)145 (32)156 (87)15/15
SLSQP+CMA 2019-gecco-surr 16 (9)38 (36)72 (76)95 (74)104 (69)114 (82)119 (73)15/15

Δ fopt
f9, 2-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 1 (0)53 (63)185 (198)267 (197)316 (62)392 (155)446 (104)15/15
lmm-CMA-ES auger noiseless 1 (0)40 (15)83 (45)118 (62)133 (52)150 (45)162 (28)15/15
IPOPsaACM loshchilov noiseless 19 (17)113 (119)235 (207)280 (100)308 (127)339 (100)354 (138)15/15
DTS5-CMA 14 (11)33 (10)56 (23)72 (14)77 (31)90 (15)99 (42)30/30
lq-CMA-ES 2019-gecco-surr 1 (0)38 (99)82 (70)129 (58)143 (101)157 (88)169 (46)15/15
SLSQP+CMA 2019-gecco-surr 1 (0)9.0 (0)★19 (0)★243 (0)★253 (0)★365 (0)★269 (0)★415/15

Δ fopt
f10, 2-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 134 (101)205 (102)251 (50)291 (54)316 (53)374 (78)430 (53)15/15
lmm-CMA-ES auger noiseless 71 (41)88 (22)102 (55)118 (22)125 (14)139 (16)152 (26)15/15
IPOPsaACM loshchilov noiseless 98 (57)121 (70)154 (58)173 (54)185 (55)208 (32)230 (50)15/15
DTS5-CMA 30 (6)41 (13)50 (8)55 (8)60 (4)67 (6)76 (7)★30/30
lq-CMA-ES 2019-gecco-surr 29 (19)45 (15)52 (16)61 (10)66 (14)78 (19)110 (44)15/15
SLSQP+CMA 2019-gecco-surr 25 (6)30 (11)33 (11)★237 (13)★341 (10)★3126 (16)803 (2282)15/15

Δ fopt
f11, 2-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 119 (62)202 (86)249 (86)275 (85)319 (75)370 (82)430 (84)15/15
lmm-CMA-ES auger noiseless 71 (31)92 (55)112 (22)119 (18)122 (21)138 (30)153 (21)15/15
IPOPsaACM loshchilov noiseless 98 (68)130 (44)146 (64)156 (29)166 (58)182 (52)212 (44)15/15
DTS5-CMA 32 (6)46 (10)55 (6)59 (8)63 (14)71 (8)78 (4)★230/30
lq-CMA-ES 2019-gecco-surr 27 (9)43 (13)52 (17)59 (6)63 (12)73 (6)105 (19)15/15
SLSQP+CMA 2019-gecco-surr 23 (2)28 (4)★232 (11)★336 (5)★342 (17)★2693 (249)1878 (2186)15/15

Δ fopt
f12, 2-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 148 (96)196 (93)277 (72)376 (66)417 (79)579 (131)745 (840)15/15
lmm-CMA-ES auger noiseless 67 (62)166 (310)262 (264)315 (382)362 (319)496 (542)561 (440)14/15
IPOPsaACM loshchilov noiseless 181 (33)280 (526)356 (209)410 (1238)441 (20)516 (523)626 (180)15/15
DTS5-CMA 48 (32)76 (66)110 (132)137 (76)161 (123)218 (312)251 (160)22/30
lq-CMA-ES 2019-gecco-surr 36 (24)89 (186)152 (21)212 (240)241 (305)287 (513)345 (465)15/15
SLSQP+CMA 2019-gecco-surr 40 (18)46 (27)48 (25)49 (21)★50 (24)★357 (44)★3240 (299)15/15

Δ fopt
f13, 2-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 67 (36)117 (51)174 (78)245 (55)309 (62)420 (50)526 (53)15/15
lmm-CMA-ES auger noiseless 45 (72)110 (70)148 (41)176 (54)202 (50)276 (75)346 (55)15/15
IPOPsaACM loshchilov noiseless 66 (25)103 (45)152 (64)177 (55)201 (67)254 (55)310 (72)15/15
DTS5-CMA 27 (30)39 (22)51 (11)62 (11)74 (17)96 (19)119 (16)30/30
lq-CMA-ES 2019-gecco-surr 23 (13)39 (16)52 (27)68 (21)81 (18)121 (39)258 (54)15/15
SLSQP+CMA 2019-gecco-surr 21 (10)28 (10)38 (8)46 (8)★353 (10)★2135 (264)615 (1278)15/15

Δ fopt
f14, 2-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 3.3 (3)15 (13)51 (50)110 (43)156 (48)284 (77)417 (94)15/15
lmm-CMA-ES auger noiseless 1.3 (0)13 (8)30 (3)51 (21)80 (13)140 (19)211 (17)15/15
IPOPsaACM loshchilov noiseless 6.9 (5)35 (40)57 (41)94 (42)144 (22)207 (66)270 (50)15/15
DTS5-CMA 2.3 (2)12 (3)20 (6)31 (6)42 (9)69 (12)92 (14)★330/30
lq-CMA-ES 2019-gecco-surr 2.3 (2)11 (11)24 (7)39 (15)57 (15)85 (23)148 (24)15/15
SLSQP+CMA 2019-gecco-surr 3.8 (3)11 (8)21 (9)33 (6)43 (14)65 (14)342 (213)15/15

Δ fopt
f15, 2-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 40 (58)423 (354)2535 (3413)3361 (3162)3552 (3456)3722 (5508)3883 (5396)15/15
lmm-CMA-ES auger noiseless 28 (17)362 (281)747 (739)878 (1473)887 (1414)908 (1330)1003 (1188)12/15
IPOPsaACM loshchilov noiseless 48 (40)754 (1314)1452 (1007)1974 (1796)2009 (1375)2055 (2403)2109 (2604)15/15
DTS5-CMA 19 (6)101 (99)★450 (334)536 (1204)544 (435)558 (951)572 (986)18/30
lq-CMA-ES 2019-gecco-surr 26 (18)422 (520)1629 (1450)1841 (1158)1902 (1908)1922 (2147)1938 (2020)15/15
SLSQP+CMA 2019-gecco-surr 56 (44)739 (490)2101 (1323)2295 (1222)2358 (672)2502 (1160)2609 (257)15/15

Δ fopt
f16, 2-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 16 (15)242 (330)403 (638)452 (403)492 (652)573 (670)634 (593)15/15
lmm-CMA-ES auger noiseless 22 (13)121 (195)327 (911)498 (350)533 (521)571 (595)611 (715)14/15
IPOPsaACM loshchilov noiseless 34 (59)330 (817)755 (594)972 (490)1067 (918)1254 (782)1535 (1343)15/15
DTS5-CMA 28 (33)228 (377)453 (596)469 (308)492 (598)509 (406)529 (532)18/30
lq-CMA-ES 2019-gecco-surr 28 (35)199 (438)749 (784)871 (940)1021 (1494)1076 (1924)1155 (1108)15/15
SLSQP+CMA 2019-gecco-surr 114 (91)540 (762)828 (544)890 (555)937 (706)1191 (1404)1269 (1478)15/15

Δ fopt
f17, 2-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 4.9 (6)38 (14)137 (57)247 (85)487 (447)1245 (609)1659 (1326)15/15
lmm-CMA-ES auger noiseless 7.0 (13)54 (140)147 (81)228 (142)309 (177)1872 (1428)2221 (2126)8/15
IPOPsaACM loshchilov noiseless 11 (20)93 (39)270 (268)586 (427)812 (383)2161 (876)2743 (1319)15/15
DTS5-CMA 4.0 (6)334 (304)509 (426)688 (1126)1015 (696)1348 (752)1721 (3154)8/30
lq-CMA-ES 2019-gecco-surr 7.0 (9)50 (24)176 (90)370 (101)468 (781)1692 (2116)2350 (1314)15/15
SLSQP+CMA 2019-gecco-surr 20 (25)150 (288)227 (163)313 (196)460 (162)1643 (1652)2234 (999)15/15

Δ fopt
f18, 2-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 30 (18)328 (330)711 (307)978 (885)1289 (995)2428 (1499)2727 (1230)15/15
lmm-CMA-ES auger noiseless 35 (76)351 (534)730 (848)999 (674)1489 (942)2649 (3687)2759 (1418)8/15
IPOPsaACM loshchilov noiseless 37 (28)396 (355)913 (144)1128 (648)1423 (910)2611 (1669)3919 (3244)15/15
DTS5-CMA 16 (8)338 (374)791 (686)1063 (605)1771 (2513)3728 (5655)3758 (3519)2/30
lq-CMA-ES 2019-gecco-surr 23 (14)187 (72)501 (486)757 (784)1066 (850)2345 (2027)2932 (1822)15/15
SLSQP+CMA 2019-gecco-surr 100 (127)660 (394)879 (745)1174 (966)1374 (679)2418 (944)3229 (976)15/15

Δ fopt
f19, 2-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 1 (0)1 (0)323 (560)3595 (848)4049 (2520)4290 (4959)4516 (3994)15/15
lmm-CMA-ES auger noiseless 1 (0)1 (0)135 (82)1326 (1255)1513 (1150)1745 (5037)1988 (2916)8/15
IPOPsaACM loshchilov noiseless 4.7 (2)33 (21)206 (88)2047 (2416)2267 (2230)4185 (1969)4541 (3649)15/15
DTS5-CMA 4.4 (4)40 (12)248 (116)899 (1412)944 (935)1492 (1257)1522 (2162)8/30
lq-CMA-ES 2019-gecco-surr 1 (0)1 (0)161 (228)2107 (1785)2195 (2066)2744 (6140)2780 (2027)15/15
SLSQP+CMA 2019-gecco-surr 1 (0)1 (0)14 (0)★23202 (3791)3787 (6187)4466 (4985)4589 (6260)15/15

Δ fopt
f20, 2-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 9.1 (7)790 (732)1833 (1632)2667 (2924)2789 (3350)2967 (984)3089 (2427)15/15
lmm-CMA-ES auger noiseless 7.5 (5)835 (886)5243 (8894)5504 (3342)5538 (4195)5547 (5345)5558 (5685)4/15
IPOPsaACM loshchilov noiseless 10 (9)494 (497)2513 (2900)4457 (5118)4772 (4343)4864 (4861)4916 (5566)15/15
DTS5-CMA 5.8 (4)138 (43)524 (386)535 (713)545 (708)551 (1089)564 (441)18/30
lq-CMA-ES 2019-gecco-surr 4.3 (5)197 (124)2362 (4904)3024 (5959)3393 (4067)3434 (3744)3481 (2152)15/15
SLSQP+CMA 2019-gecco-surr 10 (0)1039 (721)2242 (3146)2694 (2597)2806 (1189)2950 (2659)3083 (1691)15/15

Δ fopt
f21, 2-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 2.1 (1)326 (605)485 (629)545 (592)576 (760)622 (384)662 (729)15/15
lmm-CMA-ES auger noiseless 1.7 (2)75 (17)475 (1163)496 (820)498 (1093)577 (857)588 (868)12/15
IPOPsaACM loshchilov noiseless 2.1 (2)342 (162)976 (1242)1112 (1476)2968 (1e4)3327 (561)3482 (9502)15/15
DTS5-CMA 2.2 (2)140 (293)313 (778)327 (788)383 (295)398 (500)427 (548)20/30
lq-CMA-ES 2019-gecco-surr 2.6 (8)178 (176)591 (742)627 (1226)830 (1082)884 (1750)917 (2649)15/15
SLSQP+CMA 2019-gecco-surr 5.0 (4)413 (403)765 (674)797 (1656)831 (1710)879 (1755)924 (583)15/15

Δ fopt
f22, 2-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 6.9 (8)185 (342)1491 (1968)3522 (4126)8249 (2116)3.1e4 (2866)4.8e4 (9e4)12/15
lmm-CMA-ES auger noiseless 7.5 (8)101 (128)427 (762)708 (281)763 (981)866 (386)890 (1863)12/15
IPOPsaACM loshchilov noiseless 7.5 (4)279 (428)509 (1014)640 (657)849 (1424)1807 (4860)4849 (995)15/15
DTS5-CMA 8.1 (14)155 (183)293 (304)408 (430)466 (217)678 (760)927 (788)12/30
lq-CMA-ES 2019-gecco-surr 5.1 (2)151 (85)464 (646)1051 (1206)1508 (2464)9097 (5e4)1.2e4 (1e4)13/15
SLSQP+CMA 2019-gecco-surr 11 (12)103 (164)1055 (2276)2901 (8113)2978 (1e4)1.4e4 (1199)1.4e4 (5e4)14/15

Δ fopt
f23, 2-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 15 (13)828 (362)1429 (1810)1517 (1020)1599 (1025)1754 (847)1889 (3288)15/15
lmm-CMA-ES auger noiseless 17 (13)570 (475)926 (671)959 (334)983 (461)1027 (724)1080 (909)12/15
IPOPsaACM loshchilov noiseless 17 (18)1426 (1586)2115 (1614)2496 (4436)2562 (3506)2947 (1078)3043 (2310)15/15
DTS5-CMA 12 (14)226 (330)★245 (156)★267 (382)★302 (431)★324 (372)★2344 (332)★222/30
lq-CMA-ES 2019-gecco-surr 12 (10)973 (854)2168 (4363)2280 (1036)2477 (4456)2609 (1547)2793 (3964)15/15
SLSQP+CMA 2019-gecco-surr 131 (116)1225 (2608)2382 (2440)2656 (2484)2741 (2051)2868 (2945)3075 (3079)15/15

Δ fopt
f24, 2-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 36 (27)5536 (9914)1.6e6 (2e6)∞∞∞∞6e50/15
lmm-CMA-ES auger noiseless 28 (35)1255 (1183)∞∞∞∞∞16110/15
IPOPsaACM loshchilov noiseless 32 (56)5.0e4 (8e4)2.2e6 (4e6)8.5e6 (1e7)1.4e7 (9e6)1.4e7 (1e7)1.4e7 (9e6)2/15
DTS5-CMA 16 (10)∞∞∞∞∞∞5020/30
lq-CMA-ES 2019-gecco-surr 24 (13)5.5e4 (1e5)6.6e5 (5e5)2.3e6 (3e6)2.3e6 (4e6)2.3e6 (5e6)2.3e6 (5e6)3/15
SLSQP+CMA 2019-gecco-surr 50 (35)8.4e4 (2e5)1.1e6 (1e6)1.6e6 (1e6)1.6e6 (2e6)1.6e6 (3e6)1.6e6 (2e6)4/15

Previous dimension | Dimension = 3 | Next dimension

Δ fopt
f1, 3-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 8.5 (13)39 (30)88 (17)127 (24)170 (32)254 (74)344 (48)15/15
lmm-CMA-ES auger noiseless 6.1 (4)19 (6)24 (6)33 (3)40 (7)49 (5)64 (4)15/15
IPOPsaACM loshchilov noiseless 12 (10)44 (15)75 (10)86 (10)97 (16)128 (10)149 (10)15/15
DTS5-CMA 8.7 (5)18 (7)25 (4)29 (4)37 (4)48 (6)61 (3)30/30
lq-CMA-ES 2019-gecco-surr 4.7 (4)15 (2)17 (3)24 (3)29 (5)39 (7)49 (8)15/15
SLSQP+CMA 2019-gecco-surr 6.6 (2)8.0 (0)★8.0 (0)★28.0 (0)★48.0 (0)★48.0 (0)★48.0 (0)★415/15

Δ fopt
f2, 3-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 267 (92)378 (120)435 (49)478 (80)531 (86)616 (119)710 (91)15/15
lmm-CMA-ES auger noiseless 121 (33)161 (34)178 (31)188 (23)195 (38)215 (23)236 (28)15/15
IPOPsaACM loshchilov noiseless 158 (32)181 (46)202 (40)217 (46)229 (54)262 (58)293 (39)15/15
DTS5-CMA 57 (14)71 (14)81 (13)87 (14)93 (13)106 (11)119 (18)30/30
lq-CMA-ES 2019-gecco-surr 44 (10)53 (17)62 (11)68 (12)73 (14)85 (14)94 (14)15/15
SLSQP+CMA 2019-gecco-surr 37 (7)45 (8)51 (12)58 (15)62 (11)74 (30)84 (25)15/15

Δ fopt
f3, 3-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 140 (124)3068 (4412)1.9e4 (3e4)5.5e4 (5e4)5.8e4 (6e4)6.0e4 (2e5)6.2e4 (3e5)15/15
lmm-CMA-ES auger noiseless 146 (200)1224 (1173)1.3e4 (2e4)1.3e4 (2e4)1.4e4 (9262)1.4e4 (1e4)1.4e4 (2e4)2/15
IPOPsaACM loshchilov noiseless 198 (306)2769 (3492)1.4e4 (1e4)4.8e4 (2e5)6.4e4 (2e4)6.5e4 (2e5)6.5e4 (6e4)15/15
DTS5-CMA 61 (71)922 (1641)5376 (5479)5396 (4608)5408 (3061)5435 (7033)5448 (7548)4/30
lq-CMA-ES 2019-gecco-surr 91 (66)2140 (2060)1.0e4 (3e4)1.8e4 (5e4)2.0e4 (7417)2.0e4 (5e4)2.0e4 (7116)15/15
SLSQP+CMA 2019-gecco-surr 150 (82)1765 (1526)2.1e4 (9e4)2.2e4 (4e4)4.0e4 (3960)4.2e4 (3398)4.4e4 (2370)15/15

Δ fopt
f4, 3-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 359 (635)4.7e5 (6e5)3.8e6 (5e6)3.8e6 (8e6)3.8e6 (7e6)3.8e6 (2e6)3.8e6 (3e6)2/15
lmm-CMA-ES auger noiseless 184 (318)2.8e4 (6e4)2.9e4 (3e4)2.9e4 (3e4)2.9e4 (3e4)2.9e4 (5e4)2.9e4 (4e4)1/15
IPOPsaACM loshchilov noiseless 346 (361)1.9e5 (3e5)1.4e7 (1e7)1.4e7 (1e7)1.4e7 (2e7)1.4e7 (1e7)1.4e7 (1e7)3/15
DTS5-CMA 167 (342)1750 (3030)1.1e4 (1e4)1.1e4 (1e4)1.1e4 (1e4)1.1e4 (5109)1.1e4 (1e4)2/30
lq-CMA-ES 2019-gecco-surr 178 (62)1.9e5 (3e5)3.2e6 (3e6)3.2e6 (4e6)3.2e6 (4e6)3.2e6 (2e6)3.2e6 (4e6)2/15
SLSQP+CMA 2019-gecco-surr 224 (355)6.3e5 (1e6)8.5e6 (1e7)∞∞∞∞6e50/15

Δ fopt
f5, 3-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 24 (9)41 (17)43 (15)45 (21)45 (15)45 (24)45 (17)15/15
lmm-CMA-ES auger noiseless 18 (5)28 (11)29 (9)29 (9)29 (10)29 (8)29 (11)15/15
IPOPsaACM loshchilov noiseless 27 (12)39 (11)41 (16)42 (17)42 (19)42 (17)42 (14)15/15
DTS5-CMA 12 (3)19 (8)22 (12)22 (7)23 (6)23 (3)23 (10)30/30
lq-CMA-ES 2019-gecco-surr 10 (4)17 (6)18 (7)18 (10)18 (8)18 (6)18 (6)15/15
SLSQP+CMA 2019-gecco-surr 7.0 (0)★222 (0)22 (0)22 (0)22 (0)22 (0)22 (0)15/15

Δ fopt
f6, 3-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 60 (46)165 (72)269 (50)357 (73)445 (72)615 (120)822 (160)15/15
lmm-CMA-ES auger noiseless 89 (104)181 (135)260 (111)391 (95)467 (333)712 (200)986 (360)15/15
IPOPsaACM loshchilov noiseless 95 (52)183 (116)264 (109)403 (73)499 (150)683 (267)964 (222)15/15
DTS5-CMA 80 (96)249 (126)363 (198)722 (418)1664 (1470)5462 (5436)1.1e4 (1e4)0/30
lq-CMA-ES 2019-gecco-surr 54 (12)115 (40)185 (78)256 (52)347 (39)497 (91)657 (80)15/15
SLSQP+CMA 2019-gecco-surr 161 (140)198 (141)235 (140)270 (122)335 (213)458 (114)725 (654)15/15

Δ fopt
f7, 3-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 26 (16)131 (336)235 (294)303 (319)345 (269)345 (330)368 (184)15/15
lmm-CMA-ES auger noiseless 17 (15)143 (56)387 (368)482 (388)532 (290)532 (501)544 (526)15/15
IPOPsaACM loshchilov noiseless 30 (30)149 (196)306 (270)435 (466)544 (417)544 (389)611 (302)15/15
DTS5-CMA 14 (7)51 (47)220 (211)299 (219)343 (332)343 (231)353 (419)28/30
lq-CMA-ES 2019-gecco-surr 13 (8)24 (15)★129 (62)157 (15)193 (202)193 (198)209 (241)15/15
SLSQP+CMA 2019-gecco-surr 40 (29)109 (28)294 (248)428 (285)452 (217)452 (242)469 (260)15/15

Δ fopt
f8, 3-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 63 (24)237 (169)449 (120)563 (157)629 (174)713 (105)810 (180)15/15
lmm-CMA-ES auger noiseless 45 (20)96 (27)173 (30)210 (58)229 (30)253 (39)267 (39)15/15
IPOPsaACM loshchilov noiseless 88 (62)262 (173)373 (150)425 (186)455 (220)484 (230)509 (225)15/15
DTS5-CMA 36 (14)72 (62)106 (22)126 (46)136 (56)149 (60)161 (51)30/30
lq-CMA-ES 2019-gecco-surr 37 (28)103 (54)152 (108)172 (90)184 (70)197 (87)207 (94)15/15
SLSQP+CMA 2019-gecco-surr 35 (9)100 (113)144 (74)165 (101)177 (45)188 (43)195 (70)15/15

Δ fopt
f9, 3-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 58 (31)259 (202)454 (236)574 (263)636 (168)729 (204)823 (296)15/15
lmm-CMA-ES auger noiseless 34 (14)106 (32)183 (60)220 (63)241 (35)265 (54)280 (59)15/15
IPOPsaACM loshchilov noiseless 83 (31)200 (110)331 (186)385 (134)416 (100)443 (172)472 (143)15/15
DTS5-CMA 33 (22)83 (84)123 (61)141 (32)151 (56)165 (30)179 (93)30/30
lq-CMA-ES 2019-gecco-surr 33 (22)85 (43)134 (26)157 (43)166 (40)178 (54)189 (44)15/15
SLSQP+CMA 2019-gecco-surr 10 (0)★10 (0)★456 (0)★472 (0)★487 (0)★497 (0)★4102 (0)★415/15

Δ fopt
f10, 3-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 246 (78)348 (55)413 (75)453 (83)508 (37)595 (42)677 (49)15/15
lmm-CMA-ES auger noiseless 118 (50)166 (32)181 (28)192 (14)207 (28)229 (30)248 (33)15/15
IPOPsaACM loshchilov noiseless 161 (22)200 (61)217 (28)233 (72)249 (52)277 (66)307 (59)15/15
DTS5-CMA 54 (6)75 (17)85 (16)90 (14)96 (13)110 (10)122 (11)30/30
lq-CMA-ES 2019-gecco-surr 47 (7)60 (14)67 (8)74 (14)79 (14)90 (16)129 (39)15/15
SLSQP+CMA 2019-gecco-surr 37 (7)43 (8)★249 (8)★355 (15)★261 (12)★2202 (444)1282 (1783)15/15

Δ fopt
f11, 3-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 271 (114)360 (162)413 (97)451 (136)496 (142)584 (111)679 (132)15/15
lmm-CMA-ES auger noiseless 94 (40)165 (40)199 (58)209 (64)220 (56)239 (36)258 (35)15/15
IPOPsaACM loshchilov noiseless 148 (50)186 (32)207 (41)220 (23)236 (30)271 (29)299 (35)15/15
DTS5-CMA 56 (11)75 (13)85 (13)90 (15)95 (13)110 (8)123 (15)30/30
lq-CMA-ES 2019-gecco-surr 46 (12)57 (9)64 (10)71 (8)76 (12)87 (10)131 (48)15/15
SLSQP+CMA 2019-gecco-surr 29 (12)★236 (15)★343 (12)★350 (11)★259 (27)★446 (194)2052 (2462)15/15

Δ fopt
f12, 3-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 442 (52)856 (1615)1343 (1658)1611 (2226)1776 (1792)2243 (2149)3240 (5002)15/15
lmm-CMA-ES auger noiseless 149 (34)272 (392)469 (162)568 (394)636 (935)804 (880)924 (497)13/15
IPOPsaACM loshchilov noiseless 285 (312)513 (384)700 (1096)880 (836)980 (951)1232 (1314)1445 (702)15/15
DTS5-CMA 116 (113)212 (214)291 (214)365 (218)415 (294)592 (670)696 (752)10/30
lq-CMA-ES 2019-gecco-surr 75 (112)136 (98)205 (346)265 (372)317 (420)517 (252)1227 (2473)15/15
SLSQP+CMA 2019-gecco-surr 151 (250)259 (356)352 (470)417 (463)456 (443)1560 (2717)3109 (1763)15/15

Δ fopt
f13, 3-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 137 (55)250 (79)359 (50)458 (71)574 (102)773 (87)962 (93)15/15
lmm-CMA-ES auger noiseless 68 (45)151 (77)193 (54)248 (56)282 (64)377 (80)491 (80)15/15
IPOPsaACM loshchilov noiseless 118 (84)151 (62)208 (76)253 (61)303 (66)398 (44)477 (27)15/15
DTS5-CMA 99 (160)139 (158)161 (102)176 (152)212 (106)267 (139)335 (180)★30/30
lq-CMA-ES 2019-gecco-surr 35 (5)54 (9)69 (14)★287 (9)★102 (10)★3188 (62)446 (116)15/15
SLSQP+CMA 2019-gecco-surr 44 (8)65 (7)85 (11)105 (10)764 (22)3287 (2335)4468 (1745)15/15

Δ fopt
f14, 3-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 3.3 (2)44 (19)98 (39)176 (45)255 (31)433 (75)628 (77)15/15
lmm-CMA-ES auger noiseless 3.7 (4)30 (15)46 (12)72 (20)130 (32)231 (46)333 (28)15/15
IPOPsaACM loshchilov noiseless 7.4 (9)42 (28)91 (18)132 (32)170 (24)263 (42)357 (64)15/15
DTS5-CMA 4.5 (5)21 (8)36 (7)48 (5)69 (12)117 (18)160 (10)★230/30
lq-CMA-ES 2019-gecco-surr 4.4 (4)20 (6)33 (12)45 (12)64 (13)99 (14)203 (66)15/15
SLSQP+CMA 2019-gecco-surr 5.1 (0)15 (10)23 (12)37 (10)52 (23)83 (25)1439 (290)15/15

Δ fopt
f15, 3-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 160 (555)1626 (1451)6240 (2244)6496 (7028)6715 (2352)6983 (2594)7319 (2292)15/15
lmm-CMA-ES auger noiseless 160 (252)1019 (734)4962 (5536)4989 (5123)5006 (4715)5038 (5814)5070 (5129)5/15
IPOPsaACM loshchilov noiseless 109 (72)1681 (1806)6110 (3230)6553 (3768)6620 (3279)6787 (5560)6903 (4244)15/15
DTS5-CMA 56 (10)★742 (860)2452 (1673)3278 (2661)3287 (4882)3305 (2845)3327 (3412)6/30
lq-CMA-ES 2019-gecco-surr 142 (261)1187 (1310)3635 (2131)3725 (3437)3791 (3065)3826 (2086)3854 (3169)15/15
SLSQP+CMA 2019-gecco-surr 183 (102)1486 (984)6656 (5429)6939 (4000)7078 (5176)7388 (5719)7641 (5821)15/15

Δ fopt
f16, 3-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 66 (35)754 (1540)2386 (2099)3038 (3697)3215 (3680)3407 (1923)3576 (4695)15/15
lmm-CMA-ES auger noiseless 59 (34)664 (422)1334 (2238)1601 (2854)1728 (1647)2203 (2716)2293 (1660)8/15
IPOPsaACM loshchilov noiseless 109 (34)1248 (743)1639 (1551)1853 (2580)2069 (1613)2601 (2414)2816 (1987)15/15
DTS5-CMA 71 (12)437 (220)749 (622)762 (943)778 (738)827 (675)858 (1107)18/30
lq-CMA-ES 2019-gecco-surr 45 (38)424 (620)1501 (1588)1897 (2402)1935 (2313)2170 (3118)2244 (2409)15/15
SLSQP+CMA 2019-gecco-surr 789 (221)1133 (1476)2406 (2279)3181 (2504)3286 (2449)3422 (2558)3587 (2548)15/15

Δ fopt
f17, 3-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 3.8 (6)118 (96)332 (363)623 (649)1292 (1456)2381 (1083)3344 (1308)15/15
lmm-CMA-ES auger noiseless 3.4 (4)120 (14)260 (398)533 (763)764 (1390)1222 (1318)1932 (1858)10/15
IPOPsaACM loshchilov noiseless 8.8 (16)92 (76)369 (443)787 (771)1472 (896)2550 (2607)3380 (989)15/15
DTS5-CMA 7.3 (8)112 (140)405 (530)716 (1290)1346 (974)5523 (5271)1.1e4 (9223)2/30
lq-CMA-ES 2019-gecco-surr 5.2 (7)96 (162)271 (359)400 (44)849 (514)1733 (610)2067 (546)15/15
SLSQP+CMA 2019-gecco-surr 11 (44)238 (391)420 (443)648 (793)1081 (578)2229 (828)2966 (1858)15/15

Δ fopt
f18, 3-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 103 (466)339 (385)1165 (992)1448 (1397)1636 (1458)2711 (996)3627 (2522)15/15
lmm-CMA-ES auger noiseless 30 (13)262 (323)1207 (1700)2289 (3008)2704 (4278)3033 (1046)5309 (3049)5/15
IPOPsaACM loshchilov noiseless 57 (49)576 (903)1614 (1185)2601 (2072)3197 (2023)5170 (2438)7064 (3052)15/15
DTS5-CMA 58 (137)341 (296)1496 (1190)3478 (3762)5430 (7721)∞∞7530/30
lq-CMA-ES 2019-gecco-surr 35 (37)487 (701)1211 (643)1731 (636)1921 (638)2769 (1038)3657 (2270)15/15
SLSQP+CMA 2019-gecco-surr 190 (136)554 (325)832 (654)2007 (2181)2407 (1304)3500 (2340)4450 (1794)15/15

Δ fopt
f19, 3-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 1 (0)1 (0)4549 (3576)1.9e4 (3e4)1.9e4 (3e4)1.9e4 (1e4)2.0e4 (3e4)15/15
lmm-CMA-ES auger noiseless 1 (0)1 (0)2987 (3957)9318 (8211)1.5e4 (1e4)1.5e4 (1e4)1.5e4 (2e4)2/15
IPOPsaACM loshchilov noiseless 8.1 (8)268 (311)1.5e4 (3e4)3.0e4 (5e4)3.9e4 (2e4)4.0e4 (4e4)4.1e4 (6e4)15/15
DTS5-CMA 8.4 (5)152 (207)1794 (1366)1.1e4 (1e4)∞∞∞7520/30
lq-CMA-ES 2019-gecco-surr 1 (0)1 (0)3870 (2545)1.5e4 (2e4)1.9e4 (2e4)1.9e4 (2e4)1.9e4 (2e4)15/15
SLSQP+CMA 2019-gecco-surr 1 (0)1 (0)15 (0)★41.1e4 (6993)1.9e4 (2e4)1.9e4 (3e4)2.0e4 (2e4)15/15

Δ fopt
f20, 3-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 5.8 (4)1473 (2130)9127 (5908)9736 (6766)9967 (1e4)1.0e4 (6844)1.1e4 (9640)15/15
lmm-CMA-ES auger noiseless 12 (6)3324 (4734)3.0e4 (3e4)3.0e4 (4e4)3.0e4 (2e4)3.0e4 (4e4)3.0e4 (2e4)1/15
IPOPsaACM loshchilov noiseless 18 (15)1171 (831)5443 (3944)6220 (4028)6356 (6715)6431 (3919)6508 (6937)15/15
DTS5-CMA 14 (10)545 (944)5094 (5084)5106 (8999)5114 (4523)5126 (2870)5146 (5271)4/30
lq-CMA-ES 2019-gecco-surr 10 (5)1191 (863)8095 (7028)8651 (4878)9209 (6978)9232 (7436)9290 (7630)15/15
SLSQP+CMA 2019-gecco-surr 11 (0)1923 (1426)1.3e4 (8964)1.4e4 (9508)1.4e4 (8887)1.5e4 (9495)1.5e4 (1e4)15/15

Δ fopt
f21, 3-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 9.1 (8)1304 (5734)5014 (1e4)5307 (1e4)5439 (1e4)5906 (1e4)6123 (1e4)15/15
lmm-CMA-ES auger noiseless 13 (12)381 (391)944 (1593)1138 (1663)1150 (3042)1207 (2000)1370 (1583)10/15
IPOPsaACM loshchilov noiseless 8.2 (7)559 (728)2837 (1544)1.0e4 (3e4)1.8e4 (4846)1.8e4 (3506)1.8e4 (6e4)15/15
DTS5-CMA 16 (60)609 (400)1258 (1012)1280 (1741)1300 (1183)1342 (1240)1395 (2017)12/30
lq-CMA-ES 2019-gecco-surr 10 (9)369 (487)803 (1334)857 (1371)924 (1834)986 (2124)1011 (1456)15/15
SLSQP+CMA 2019-gecco-surr 16 (14)900 (1408)4177 (8443)1.2e4 (6140)1.2e4 (9153)1.6e4 (2200)1.6e4 (9e4)15/15

Δ fopt
f22, 3-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 26 (28)843 (513)8659 (2e4)3.2e4 (8e4)6.1e4 (5e4)1.0e5 (1e5)1.0e5 (2e5)11/15
lmm-CMA-ES auger noiseless 23 (18)872 (1011)3682 (2567)4603 (5591)4647 (2517)4697 (9308)4731 (7373)5/15
IPOPsaACM loshchilov noiseless 25 (32)900 (1131)6133 (1e4)1.3e4 (3e4)3.9e4 (1e5)4.0e4 (8e4)4.1e4 (1e5)15/15
DTS5-CMA 116 (104)581 (476)2433 (3670)5237 (2468)5256 (5694)5330 (3805)5378 (1e4)4/30
lq-CMA-ES 2019-gecco-surr 46 (185)354 (495)2837 (1e4)1.2e4 (6e4)1.3e4 (2539)2.0e4 (6e4)2.0e4 (6e4)13/15
SLSQP+CMA 2019-gecco-surr 34 (51)773 (1072)3649 (8838)4550 (4658)2.1e4 (1e4)2.2e4 (5514)2.2e4 (2e4)14/15

Δ fopt
f23, 3-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 10 (17)2760 (3266)5125 (6220)5512 (4422)8030 (9608)8384 (8443)8724 (9522)15/15
lmm-CMA-ES auger noiseless 14 (11)1021 (2076)3383 (5331)4873 (6360)4921 (5553)5003 (3522)5088 (4515)5/15
IPOPsaACM loshchilov noiseless 15 (50)3048 (3778)9527 (8364)9757 (9308)9936 (7532)1.0e4 (8054)1.1e4 (8901)15/15
DTS5-CMA 11 (8)213 (74)★31524 (1432)1564 (1485)1588 (2822)1945 (2138)1981 (1411)8/30
lq-CMA-ES 2019-gecco-surr 10 (26)1868 (1987)4036 (2024)4219 (2110)4252 (2622)4488 (1625)4785 (1214)15/15
SLSQP+CMA 2019-gecco-surr 57 (79)2168 (1351)8896 (9690)9872 (9040)1.0e4 (7549)1.0e4 (8683)1.1e4 (9076)15/15

Δ fopt
f24, 3-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 154 (175)3.9e5 (2e4)1.1e7 (2e7)1.1e7 (2e7)1.1e7 (9e6)1.1e7 (1e7)1.1e7 (1e7)1/15
lmm-CMA-ES auger noiseless 150 (87)8766 (1e4)∞∞∞∞∞20100/15
IPOPsaACM loshchilov noiseless 224 (258)4.2e6 (8e6)4.4e7 (6e7)∞∞∞∞3e60/15
DTS5-CMA 116 (178)1.1e4 (1e4)∞∞∞∞∞7530/30
lq-CMA-ES 2019-gecco-surr 150 (116)1.0e7 (9e6)∞∞∞∞∞7e50/15
SLSQP+CMA 2019-gecco-surr 255 (166)6.5e5 (8e5)1.0e7 (1e7)1.0e7 (9e6)1.0e7 (1e7)1.0e7 (1e7)1.0e7 (1e7)1/15

Previous dimension | Dimension = 5 | Next dimension

Δ fopt
f1, 5-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 23 (21)88 (29)164 (18)223 (60)308 (56)447 (52)616 (53)15/15
lmm-CMA-ES auger noiseless 18 (10)35 (6)43 (6)53 (5)62 (7)82 (6)102 (6)15/15
IPOPsaACM loshchilov noiseless 33 (18)84 (16)106 (8)120 (13)143 (18)183 (14)221 (17)15/15
DTS5-CMA 21 (3)34 (2)43 (5)55 (4)67 (6)89 (5)114 (7)30/30
lq-CMA-ES 2019-gecco-surr 13 (8)21 (6)28 (5)34 (7)42 (3)56 (9)66 (5)15/15
SLSQP+CMA 2019-gecco-surr 10 (0)10 (0)★410 (0)★410 (0)★410 (0)★410 (0)★410 (0)★415/15

Δ fopt
f2, 5-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 620 (171)799 (216)912 (141)989 (155)1065 (140)1220 (148)1381 (135)15/15
lmm-CMA-ES auger noiseless 265 (59)344 (63)384 (86)410 (93)429 (82)461 (96)504 (98)15/15
IPOPsaACM loshchilov noiseless 295 (63)325 (73)361 (55)389 (57)411 (67)459 (58)501 (50)15/15
DTS5-CMA 117 (28)148 (26)171 (16)186 (20)197 (20)220 (16)245 (15)30/30
lq-CMA-ES 2019-gecco-surr 94 (28)109 (24)122 (19)133 (18)146 (21)166 (23)191 (30)15/15
SLSQP+CMA 2019-gecco-surr 92 (22)102 (30)115 (45)128 (28)142 (102)169 (53)194 (56)15/15

Δ fopt
f3, 5-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 1084 (974)1.1e5 (3e5)1.2e6 (2e6)1.2e6 (1e6)1.2e6 (2e6)1.2e6 (2e6)1.2e6 (1e6)6/15
lmm-CMA-ES auger noiseless 324 (28)8632 (1e4)∞∞∞∞∞28060/15
IPOPsaACM loshchilov noiseless 816 (596)4.8e4 (1e5)2.9e6 (2e6)2.9e6 (2e6)2.9e6 (3e6)2.9e6 (2e6)2.9e6 (3e6)12/15
DTS5-CMA 242 (416)5524 (5160)1.8e4 (2e4)1.8e4 (2e4)1.8e4 (3e4)1.8e4 (1e4)1.8e4 (4e4)2/30
lq-CMA-ES 2019-gecco-surr 356 (351)8.8e4 (2e5)1.3e6 (1e6)1.3e6 (1e6)1.3e6 (1e6)1.3e6 (9e5)1.3e6 (2e6)5/15
SLSQP+CMA 2019-gecco-surr 1215 (1099)1.5e4 (6511)1.5e6 (1e6)1.5e6 (2e6)1.5e6 (3e6)1.5e6 (4e6)1.5e6 (3e6)5/15

Δ fopt
f4, 5-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 626 (918)1.2e7 (2e7)∞∞∞∞∞8e50/15
lmm-CMA-ES auger noiseless 903 (994)∞∞∞∞∞∞28100/15
IPOPsaACM loshchilov noiseless 844 (719)7.0e7 (1e8)∞∞∞∞∞5e60/15
DTS5-CMA 1690 (2058)∞∞∞∞∞∞12560/30
lq-CMA-ES 2019-gecco-surr 1120 (1842)∞∞∞∞∞∞8e50/15
SLSQP+CMA 2019-gecco-surr 1493 (1058)∞∞∞∞∞∞8e50/15

Δ fopt
f5, 5-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 46 (16)62 (22)64 (22)65 (28)65 (19)65 (19)65 (14)15/15
lmm-CMA-ES auger noiseless 34 (8)48 (16)50 (14)50 (20)50 (16)50 (8)50 (7)15/15
IPOPsaACM loshchilov noiseless 43 (27)61 (32)62 (20)63 (18)63 (39)63 (30)63 (13)15/15
DTS5-CMA 24 (3)37 (8)42 (8)43 (17)43 (18)43 (18)43 (19)30/30
lq-CMA-ES 2019-gecco-surr 15 (5)22 (8)23 (10)★223 (6)★223 (9)★223 (4)★223 (10)★215/15
SLSQP+CMA 2019-gecco-surr 16 (0)23 (0)30 (0)30 (0)30 (0)30 (0)30 (0)15/15

Δ fopt
f6, 5-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 201 (71)355 (137)513 (93)668 (98)846 (202)1187 (205)1526 (213)15/15
lmm-CMA-ES auger noiseless 451 (538)923 (654)1269 (473)1580 (631)2791 (3154)5596 (4032)∞28040/15
IPOPsaACM loshchilov noiseless 262 (144)452 (141)721 (344)960 (443)1120 (383)1601 (510)2221 (1819)15/15
DTS5-CMA 254 (192)1641 (1414)4058 (2342)∞∞∞∞12510/30
lq-CMA-ES 2019-gecco-surr 171 (63)329 (86)464 (34)623 (79)814 (90)1117 (145)1444 (118)15/15
SLSQP+CMA 2019-gecco-surr 331 (202)413 (112)570 (232)663 (305)822 (492)1069 (280)1872 (1204)15/15

Δ fopt
f7, 5-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 59 (22)224 (49)550 (428)714 (483)919 (462)919 (451)1063 (948)15/15
lmm-CMA-ES auger noiseless 79 (18)297 (786)1100 (1295)1321 (923)1408 (912)1408 (851)1853 (714)13/15
IPOPsaACM loshchilov noiseless 88 (42)386 (98)791 (538)1018 (1350)1218 (612)1218 (1408)1442 (1574)15/15
DTS5-CMA 37 (5)244 (270)680 (423)919 (321)1064 (1271)1064 (1890)1357 (2366)16/30
lq-CMA-ES 2019-gecco-surr 37 (18)162 (247)530 (446)691 (514)732 (336)732 (406)816 (367)15/15
SLSQP+CMA 2019-gecco-surr 100 (72)279 (238)862 (486)991 (695)1028 (790)1028 (454)1063 (859)15/15

Δ fopt
f8, 5-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 185 (98)881 (924)1251 (371)1462 (904)1581 (1424)1760 (1248)1927 (421)15/15
lmm-CMA-ES auger noiseless 120 (28)475 (507)598 (305)668 (481)702 (241)739 (436)764 (470)15/15
IPOPsaACM loshchilov noiseless 165 (60)508 (661)667 (442)740 (139)782 (118)826 (444)867 (697)15/15
DTS5-CMA 87 (36)219 (185)284 (178)319 (172)338 (151)366 (36)389 (97)30/30
lq-CMA-ES 2019-gecco-surr 95 (46)318 (400)391 (453)428 (434)447 (412)466 (255)482 (310)15/15
SLSQP+CMA 2019-gecco-surr 98 (43)518 (702)658 (923)739 (1019)786 (978)842 (1032)884 (1112)15/15

Δ fopt
f9, 5-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 142 (51)938 (289)1310 (1371)1499 (608)1609 (490)1780 (1167)1928 (701)15/15
lmm-CMA-ES auger noiseless 94 (31)429 (452)556 (322)620 (304)652 (144)690 (288)715 (397)15/15
IPOPsaACM loshchilov noiseless 174 (82)396 (140)536 (233)603 (129)636 (173)683 (223)720 (159)15/15
DTS5-CMA 90 (18)260 (277)324 (128)357 (74)379 (104)403 (105)429 (315)30/30
lq-CMA-ES 2019-gecco-surr 87 (36)292 (37)363 (492)397 (290)417 (441)437 (226)452 (227)15/15
SLSQP+CMA 2019-gecco-surr 22 (0)★458 (0)★4115 (0)★4144 (0)★4158 (0)★4172 (0)★4186 (0)★415/15

Δ fopt
f10, 5-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 687 (207)800 (183)919 (165)1014 (130)1084 (156)1237 (80)1402 (146)15/15
lmm-CMA-ES auger noiseless 268 (92)333 (124)374 (82)395 (100)414 (52)452 (44)487 (74)15/15
IPOPsaACM loshchilov noiseless 268 (51)303 (51)329 (76)352 (41)375 (82)422 (44)467 (89)15/15
DTS5-CMA 143 (44)166 (29)180 (33)191 (16)204 (26)230 (18)252 (24)30/30
lq-CMA-ES 2019-gecco-surr 118 (27)133 (39)144 (30)153 (14)164 (34)184 (20)250 (58)15/15
SLSQP+CMA 2019-gecco-surr 88 (22)★101 (18)★111 (36)★121 (35)135 (42)791 (518)2509 (216)15/15

Δ fopt
f11, 5-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 542 (64)652 (45)757 (50)831 (70)904 (56)1060 (70)1192 (51)15/15
lmm-CMA-ES auger noiseless 275 (87)372 (115)413 (58)436 (60)450 (77)493 (82)533 (65)15/15
IPOPsaACM loshchilov noiseless 285 (32)327 (111)352 (42)377 (127)399 (62)442 (68)486 (74)15/15
DTS5-CMA 119 (46)152 (18)163 (32)177 (30)191 (15)215 (32)237 (51)30/30
lq-CMA-ES 2019-gecco-surr 97 (30)127 (24)144 (39)157 (26)166 (18)187 (28)248 (63)15/15
SLSQP+CMA 2019-gecco-surr 40 (18)★356 (17)★463 (33)★376 (18)★385 (54)★31669 (1840)3235 (2422)15/15

Δ fopt
f12, 5-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 694 (48)1219 (447)1913 (763)2322 (1036)2706 (2552)3532 (3150)4133 (3481)15/15
lmm-CMA-ES auger noiseless 163 (54)362 (405)523 (470)643 (490)799 (807)1196 (1772)1412 (752)13/15
IPOPsaACM loshchilov noiseless 409 (348)782 (133)1024 (896)1171 (1162)1299 (818)1622 (747)1837 (1892)15/15
DTS5-CMA 175 (98)320 (250)487 (227)632 (479)773 (765)946 (792)1164 (785)14/30
lq-CMA-ES 2019-gecco-surr 129 (87)240 (251)374 (450)471 (551)557 (570)984 (842)1636 (1252)15/15
SLSQP+CMA 2019-gecco-surr 305 (338)448 (610)577 (667)643 (698)711 (806)1486 (2879)4977 (4706)15/15

Δ fopt
f13, 5-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 303 (89)601 (362)817 (271)1041 (236)1325 (318)1798 (348)2187 (312)15/15
lmm-CMA-ES auger noiseless 173 (38)342 (146)415 (126)571 (208)650 (64)865 (146)1280 (802)14/15
IPOPsaACM loshchilov noiseless 160 (50)219 (22)295 (80)373 (91)427 (120)608 (139)744 (108)15/15
DTS5-CMA 214 (74)275 (84)300 (70)366 (140)480 (435)649 (165)829 (336)26/30
lq-CMA-ES 2019-gecco-surr 84 (5)124 (20)169 (32)208 (18)249 (35)★3530 (100)1022 (188)15/15
SLSQP+CMA 2019-gecco-surr 100 (16)144 (9)189 (13)234 (15)3394 (2948)6214 (256)6707 (292)15/15

Δ fopt
f14, 5-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 15 (30)92 (38)194 (22)324 (74)470 (78)815 (108)1198 (116)15/15
lmm-CMA-ES auger noiseless 6.1 (8)62 (23)96 (21)161 (40)262 (52)456 (46)674 (32)15/15
IPOPsaACM loshchilov noiseless 28 (46)100 (6)147 (64)218 (32)292 (50)457 (58)611 (53)15/15
DTS5-CMA 16 (12)45 (10)66 (15)102 (22)144 (34)227 (30)358 (14)★230/30
lq-CMA-ES 2019-gecco-surr 11 (16)45 (15)72 (14)99 (23)140 (23)214 (12)477 (106)15/15
SLSQP+CMA 2019-gecco-surr 8.9 (8)24 (10)★343 (14)★369 (15)★297 (21)★3149 (32)★42694 (2080)15/15

Δ fopt
f15, 5-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 684 (613)6307 (3650)1.5e4 (2e4)1.5e4 (6334)1.5e4 (2e4)1.6e4 (1e4)1.7e4 (2e4)15/15
lmm-CMA-ES auger noiseless 629 (554)1.0e4 (1e4)2.1e4 (4e4)4.2e4 (4e4)4.2e4 (5e4)4.2e4 (5e4)4.2e4 (3e4)1/15
IPOPsaACM loshchilov noiseless 795 (858)3907 (3949)1.4e4 (1e4)1.4e4 (2e4)1.4e4 (8635)1.4e4 (2e4)1.5e4 (1e4)15/15
DTS5-CMA 318 (285)∞∞∞∞∞∞12590/30
lq-CMA-ES 2019-gecco-surr 680 (186)5800 (2524)1.1e4 (1e4)1.1e4 (1e4)1.1e4 (1e4)1.1e4 (9511)1.1e4 (1e4)15/15
SLSQP+CMA 2019-gecco-surr 864 (1021)9243 (5412)2.2e4 (2e4)2.2e4 (2e4)2.3e4 (3e4)2.4e4 (3e4)2.5e4 (3e4)15/15

Δ fopt
f16, 5-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 276 (104)1103 (2352)4490 (3674)6187 (2265)7174 (7186)7554 (6594)7893 (7709)15/15
lmm-CMA-ES auger noiseless 246 (136)1289 (760)4774 (1e4)7093 (1e4)9584 (6922)1.3e4 (1e4)1.3e4 (2e4)3/15
IPOPsaACM loshchilov noiseless 371 (567)1466 (823)2663 (3342)5026 (3105)5417 (6724)6360 (6181)6620 (6661)15/15
DTS5-CMA 348 (466)2511 (2998)5705 (7845)8970 (7533)9008 (8783)1.8e4 (2e4)1.9e4 (1e4)2/30
lq-CMA-ES 2019-gecco-surr 237 (218)975 (1029)3181 (2410)4407 (3566)4942 (5245)5435 (5370)5628 (5802)15/15
SLSQP+CMA 2019-gecco-surr 835 (457)1689 (750)3669 (3593)9191 (9141)1.1e4 (4913)1.2e4 (5803)1.2e4 (1e4)15/15

Δ fopt
f17, 5-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 9.3 (8)155 (12)435 (162)1801 (1978)2760 (1438)5016 (3630)9346 (3177)15/15
lmm-CMA-ES auger noiseless 8.9 (14)110 (54)430 (154)1338 (1167)2399 (2721)7933 (8323)2.1e4 (2e4)1/15
IPOPsaACM loshchilov noiseless 25 (21)376 (1344)966 (253)2376 (1640)3136 (1862)7336 (3631)1.1e4 (5007)15/15
DTS5-CMA 17 (13)528 (657)3072 (1804)5887 (6576)∞∞∞12530/30
lq-CMA-ES 2019-gecco-surr 16 (9)1078 (81)2323 (5544)2719 (3564)3855 (3725)8412 (4962)9792 (4333)15/15
SLSQP+CMA 2019-gecco-surr 63 (85)560 (838)1132 (1514)1560 (1487)2195 (1555)6054 (3072)8299 (2921)15/15

Δ fopt
f18, 5-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 85 (38)292 (86)1434 (3537)4938 (5606)6171 (3932)8610 (6324)1.2e4 (8020)15/15
lmm-CMA-ES auger noiseless 54 (28)198 (72)★1510 (1147)3662 (5658)1.3e4 (1e4)4.2e4 (9e4)∞28050/15
IPOPsaACM loshchilov noiseless 288 (758)579 (792)2556 (1457)6706 (1e4)7902 (6696)1.1e4 (8301)1.3e4 (9979)15/15
DTS5-CMA 271 (316)1851 (2642)2348 (1918)∞∞∞∞12530/30
lq-CMA-ES 2019-gecco-surr 623 (2060)857 (4103)3182 (2639)5852 (2495)6806 (2988)8654 (2216)1.0e4 (556)15/15
SLSQP+CMA 2019-gecco-surr 220 (108)515 (174)3086 (3575)4425 (3451)6408 (5885)8435 (3635)1.1e4 (3021)15/15

Δ fopt
f19, 5-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 1 (0)1 (0)4.1e4 (4e4)1.1e5 (1e5)1.2e5 (7e4)1.3e5 (1e5)1.3e5 (2e5)15/15
lmm-CMA-ES auger noiseless 1 (0)1 (0)1.3e4 (9807)∞∞∞∞28050/15
IPOPsaACM loshchilov noiseless 19 (12)1931 (941)6.0e4 (6e4)1.2e5 (1e5)1.7e5 (1e5)1.7e5 (1e5)1.7e5 (1e5)15/15
DTS5-CMA 13 (9)203 (86)2563 (1708)1.8e4 (3e4)1.8e4 (3e4)1.9e4 (3e4)1.9e4 (2e4)2/30
lq-CMA-ES 2019-gecco-surr 1 (0)1 (0)1.7e4 (2e4)5.7e4 (5e4)6.6e4 (5e4)6.8e4 (6e4)6.9e4 (6e4)15/15
SLSQP+CMA 2019-gecco-surr 1 (0)1 (0)30 (0)★41.1e5 (9e4)1.2e5 (1e5)1.3e5 (9e4)1.3e5 (1e5)15/15

Δ fopt
f20, 5-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 28 (20)3700 (2457)7.3e4 (6e4)7.8e4 (7e4)8.0e4 (7e4)8.2e4 (7e4)8.5e4 (3e4)15/15
lmm-CMA-ES auger noiseless 29 (22)1.3e4 (2e4)∞∞∞∞∞28140/15
IPOPsaACM loshchilov noiseless 39 (31)3001 (2927)5.9e4 (4e4)6.3e4 (6e4)6.4e4 (6e4)6.4e4 (4e4)6.5e4 (6e4)15/15
DTS5-CMA 26 (6)1632 (2105)∞∞∞∞∞12530/30
lq-CMA-ES 2019-gecco-surr 22 (7)5158 (3278)5.2e4 (3e4)5.7e4 (5e4)5.7e4 (5e4)5.7e4 (5e4)5.7e4 (2e4)15/15
SLSQP+CMA 2019-gecco-surr 13 (0)6739 (8392)8.5e4 (5e4)1.0e5 (7e4)1.0e5 (6e4)1.1e5 (7e4)1.1e5 (7e4)15/15

Δ fopt
f21, 5-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 61 (50)9899 (5e4)2.5e4 (5e4)3.5e4 (9e4)3.6e4 (9e4)3.9e4 (6e4)4.1e4 (1e5)15/15
lmm-CMA-ES auger noiseless 87 (126)1528 (1345)2435 (2922)2477 (4332)2790 (4835)3214 (4218)3284 (2980)8/15
IPOPsaACM loshchilov noiseless 120 (198)1819 (1640)4.7e4 (1e5)4.8e4 (2574)4.8e4 (2e5)4.8e4 (3e4)4.8e4 (4944)15/15
DTS5-CMA 97 (143)3689 (2931)8426 (8961)8476 (6842)8496 (7244)8614 (9706)8723 (8125)4/30
lq-CMA-ES 2019-gecco-surr 61 (41)2341 (3359)1.7e4 (4008)1.8e4 (4992)1.8e4 (2968)1.9e4 (5e4)1.9e4 (9e4)14/15
SLSQP+CMA 2019-gecco-surr 54 (51)1.0e4 (3347)6.4e4 (6e4)6.4e4 (1e5)6.5e4 (2e5)6.6e4 (2e5)6.6e4 (1e5)13/15

Δ fopt
f22, 5-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 240 (706)3959 (5517)1.5e5 (1e5)3.3e5 (4e5)3.3e5 (4e5)3.3e5 (4e5)3.3e5 (6e5)8/15
lmm-CMA-ES auger noiseless 180 (448)1462 (1346)1.2e4 (2e4)1.2e4 (5653)1.2e4 (2e4)1.2e4 (1e4)1.2e4 (2e4)3/15
IPOPsaACM loshchilov noiseless 240 (301)4655 (1727)8.0e4 (2e5)1.1e5 (3256)1.2e5 (3e5)1.2e5 (3e5)1.2e5 (3e5)15/15
DTS5-CMA 254 (302)2311 (4102)5646 (3146)5678 (7632)5734 (9096)5783 (4352)8802 (7412)4/30
lq-CMA-ES 2019-gecco-surr 259 (30)2691 (2429)7.1e4 (2e5)1.7e5 (2e5)1.7e5 (5e5)1.7e5 (3e5)1.7e5 (2e5)8/15
SLSQP+CMA 2019-gecco-surr 101 (87)2877 (3531)3.1e5 (3e5)3.1e5 (3e5)3.1e5 (4e5)3.1e5 (9e5)3.1e5 (3e5)8/15

Δ fopt
f23, 5-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 8.7 (11)3293 (3053)2.8e4 (3e4)3.1e4 (4e4)3.2e4 (3e4)3.3e4 (4e4)3.4e4 (2e4)15/15
lmm-CMA-ES auger noiseless 5.7 (4)5116 (9282)4.1e4 (5e4)4.1e4 (4e4)4.1e4 (5e4)4.1e4 (5e4)4.2e4 (3e4)1/15
IPOPsaACM loshchilov noiseless 6.4 (7)6740 (5311)1.3e5 (3e4)2.1e5 (3e5)2.1e5 (7e5)2.1e5 (3e4)2.1e5 (3e5)15/15
DTS5-CMA 4.0 (2)1252 (1066)9247 (8726)9304 (7512)1.9e4 (2e4)1.9e4 (2e4)∞12520/30
lq-CMA-ES 2019-gecco-surr 5.3 (10)1723 (970)2.2e5 (8e4)2.2e5 (8e5)2.2e5 (2e5)3.2e5 (8e5)3.2e5 (1e5)13/15
SLSQP+CMA 2019-gecco-surr 288 (1596)6174 (9244)3.3e4 (4e4)3.4e4 (9106)3.5e4 (5e4)3.6e4 (2e4)3.7e4 (5e4)15/15

Δ fopt
f24, 5-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 1960 (2588)2.0e6 (3e6)1.8e7 (1e7)∞∞∞∞1e60/15
lmm-CMA-ES auger noiseless 1428 (2788)∞∞∞∞∞∞28060/15
IPOPsaACM loshchilov noiseless 3089 (1947)9.1e6 (1e7)7.0e7 (1e8)∞∞∞∞5e60/15
DTS5-CMA 542 (335)∞∞∞∞∞∞12530/30
lq-CMA-ES 2019-gecco-surr 1943 (1477)2.4e7 (2e7)2.4e7 (3e7)2.4e7 (2e7)2.4e7 (5e7)2.4e7 (2e7)2.4e7 (3e7)1/15
SLSQP+CMA 2019-gecco-surr 2357 (1623)2.7e6 (6e6)9.0e6 (1e7)1.9e7 (2e7)1.9e7 (2e7)1.9e7 (2e7)1.9e7 (3e7)1/15

Previous dimension | Dimension = 10 | Next dimension

Δ fopt
f1, 10-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 80 (39)227 (61)390 (53)539 (88)693 (70)995 (55)1294 (92)15/15
lmm-CMA-ES auger noiseless 71 (6)91 (2)105 (4)120 (7)132 (10)163 (6)194 (11)15/15
IPOPsaACM loshchilov noiseless 101 (26)140 (5)169 (14)208 (17)245 (25)313 (22)397 (20)15/15
DTS5-CMA 60 (11)89 (12)121 (14)149 (15)180 (12)238 (13)301 (18)30/30
lq-CMA-ES 2019-gecco-surr 34 (4)40 (6)48 (11)57 (8)68 (8)84 (7)103 (5)15/15
SLSQP+CMA 2019-gecco-surr 15 (0)★215 (0)★415 (0)★415 (0)★415 (0)★415 (0)★415 (0)★415/15

Δ fopt
f2, 10-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 2317 (472)2818 (336)3018 (322)3201 (369)3376 (275)3682 (266)3995 (193)15/15
lmm-CMA-ES auger noiseless 905 (294)1044 (207)1145 (202)1211 (110)1259 (116)1359 (139)1461 (158)15/15
IPOPsaACM loshchilov noiseless 759 (116)838 (59)898 (94)957 (105)1014 (80)1104 (135)1195 (123)15/15
DTS5-CMA 544 (115)646 (73)709 (61)749 (49)780 (40)839 (44)901 (48)30/30
lq-CMA-ES 2019-gecco-surr 313 (88)353 (50)402 (96)438 (53)474 (117)541 (109)618 (85)15/15
SLSQP+CMA 2019-gecco-surr 279 (56)304 (56)326 (65)354 (78)371 (66)★415 (108)★2472 (115)★215/15

Δ fopt
f3, 10-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 6494 (5613)3.9e6 (2e6)5.7e6 (9e6)5.7e6 (5e6)5.7e6 (7e6)5.7e6 (7e6)5.7e6 (7e6)3/15
lmm-CMA-ES auger noiseless 3412 (1904)∞∞∞∞∞∞48080/15
IPOPsaACM loshchilov noiseless 3991 (1304)6.3e5 (9e5)2.8e7 (3e7)2.8e7 (4e7)2.8e7 (4e7)2.8e7 (6e7)2.8e7 (3e7)4/14
DTS5-CMA 3334 (3172)∞∞∞∞∞∞25060/30
lq-CMA-ES 2019-gecco-surr 2218 (3016)1.6e7 (2e7)∞∞∞∞∞1e60/15
SLSQP+CMA 2019-gecco-surr 6531 (2201)9.4e6 (6e6)∞∞∞∞∞1e60/15

Δ fopt
f4, 10-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 1.5e4 (2e4)∞∞∞∞∞∞1e60/15
lmm-CMA-ES auger noiseless 2.2e4 (3e4)∞∞∞∞∞∞48130/15
IPOPsaACM loshchilov noiseless 1.3e4 (2e4)∞∞∞∞∞∞1e70/5
DTS5-CMA ∞∞∞∞∞∞∞25050/30
lq-CMA-ES 2019-gecco-surr 1.0e4 (6619)∞∞∞∞∞∞1e60/15
SLSQP+CMA 2019-gecco-surr 1.0e4 (5322)∞∞∞∞∞∞1e60/15

Δ fopt
f5, 10-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 99 (34)126 (27)130 (49)134 (32)134 (46)134 (54)134 (66)15/15
lmm-CMA-ES auger noiseless 103 (16)124 (43)129 (32)129 (30)129 (45)129 (35)129 (58)15/15
IPOPsaACM loshchilov noiseless 101 (22)124 (17)125 (16)126 (17)126 (16)126 (25)126 (16)15/15
DTS5-CMA 85 (40)154 (41)196 (38)200 (42)200 (41)200 (38)200 (36)30/30
lq-CMA-ES 2019-gecco-surr 33 (8)42 (12)44 (20)44 (16)44 (9)44 (16)44 (15)15/15
SLSQP+CMA 2019-gecco-surr 26 (0)50 (0)50 (0)50 (0)50 (0)50 (0)50 (0)15/15

Δ fopt
f6, 10-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 686 (255)1007 (212)1384 (183)1748 (260)2156 (272)2884 (224)3684 (230)15/15
lmm-CMA-ES auger noiseless 2249 (1099)1.1e4 (1e4)∞∞∞∞∞48040/15
IPOPsaACM loshchilov noiseless 706 (246)1145 (278)1561 (364)1965 (633)2368 (914)3237 (1667)4236 (2004)15/15
DTS5-CMA 8646 (7020)∞∞∞∞∞∞25010/30
lq-CMA-ES 2019-gecco-surr 594 (167)965 (132)1358 (152)1730 (234)2116 (147)2871 (527)3534 (456)15/15
SLSQP+CMA 2019-gecco-surr 1002 (342)1340 (467)1939 (570)2448 (657)3504 (1850)5408 (1808)7687 (138)15/15

Δ fopt
f7, 10-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 283 (88)1001 (849)2478 (1916)3243 (1729)3603 (1506)3603 (1940)3895 (2190)15/15
lmm-CMA-ES auger noiseless 183 (60)2735 (2073)1.2e4 (7203)2.2e4 (2e4)2.2e4 (2e4)2.2e4 (1e4)2.2e4 (2e4)2/15
IPOPsaACM loshchilov noiseless 312 (66)1607 (776)2925 (1787)3482 (1655)3566 (1926)3566 (1593)3887 (1838)15/15
DTS5-CMA 118 (23)★1292 (990)3950 (1039)7019 (4927)7062 (3843)7062 (6396)7111 (6873)6/30
lq-CMA-ES 2019-gecco-surr 263 (447)1153 (670)1898 (959)2758 (1225)2794 (1206)2794 (1186)2910 (1066)15/15
SLSQP+CMA 2019-gecco-surr 348 (109)1782 (1164)3849 (1445)4377 (2983)4417 (3012)4417 (3080)4696 (1638)15/15

Δ fopt
f8, 10-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 622 (184)3162 (568)3959 (592)4367 (365)4593 (149)4908 (384)5208 (642)15/15
lmm-CMA-ES auger noiseless 381 (36)1343 (212)1616 (324)1755 (295)1830 (260)1920 (145)1986 (148)15/15
IPOPsaACM loshchilov noiseless 440 (251)1854 (728)2119 (722)2260 (1418)2328 (1369)2417 (1485)2497 (944)15/15
DTS5-CMA 306 (140)1132 (166)1297 (183)1389 (740)1440 (699)1521 (736)1583 (734)28/30
lq-CMA-ES 2019-gecco-surr 366 (197)1652 (141)1830 (1442)1916 (1361)1966 (1725)2026 (1351)2069 (3098)15/15
SLSQP+CMA 2019-gecco-surr 454 (274)1300 (1132)1487 (2252)1591 (540)1644 (1480)1706 (1469)1766 (330)15/15

Δ fopt
f9, 10-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 562 (103)3369 (558)4205 (650)4586 (490)4846 (855)5212 (1976)5507 (646)15/15
lmm-CMA-ES auger noiseless 325 (44)1344 (287)1625 (1781)1883 (236)1954 (243)2049 (249)2107 (248)14/15
IPOPsaACM loshchilov noiseless 314 (89)1267 (196)1527 (447)1658 (182)1729 (118)1818 (136)1899 (152)15/15
DTS5-CMA 295 (143)1292 (1963)1462 (1292)1554 (823)1608 (150)1679 (782)1754 (744)26/30
lq-CMA-ES 2019-gecco-surr 317 (66)1288 (601)1454 (643)1540 (1144)1587 (1257)1650 (193)1690 (608)15/15
SLSQP+CMA 2019-gecco-surr 165 (0)★4251 (0)★4336 (0)★4384 (0)★4420 (0)★4444 (0)★4468 (0)★415/15

Δ fopt
f10, 10-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 2193 (176)2621 (283)2951 (224)3139 (188)3320 (274)3631 (223)3930 (190)15/15
lmm-CMA-ES auger noiseless 898 (238)1082 (218)1190 (83)1264 (134)1311 (106)1422 (100)1517 (82)15/15
IPOPsaACM loshchilov noiseless 750 (214)859 (182)924 (165)976 (148)1020 (166)1115 (164)1201 (34)15/15
DTS5-CMA 557 (122)700 (107)759 (46)795 (80)833 (57)895 (63)955 (86)30/30
lq-CMA-ES 2019-gecco-surr 389 (46)454 (52)508 (32)548 (232)582 (143)650 (134)852 (176)★15/15
SLSQP+CMA 2019-gecco-surr 287 (69)★320 (117)★350 (129)★374 (83)★2405 (127)★2489 (136)4602 (3647)15/15

Δ fopt
f11, 10-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 1506 (284)1764 (167)1964 (210)2147 (150)2321 (149)2631 (203)2940 (158)15/15
lmm-CMA-ES auger noiseless 776 (106)885 (119)991 (66)1063 (85)1110 (56)1222 (68)1326 (96)15/15
IPOPsaACM loshchilov noiseless 735 (81)795 (64)850 (84)895 (73)935 (62)1026 (77)1117 (80)15/15
DTS5-CMA 458 (76)533 (36)585 (38)624 (65)661 (49)725 (54)793 (49)30/30
lq-CMA-ES 2019-gecco-surr 431 (40)479 (89)527 (82)563 (100)591 (80)661 (90)833 (147)15/15
SLSQP+CMA 2019-gecco-surr 67 (34)★493 (27)★4116 (24)★4137 (36)★4168 (96)★41646 (3004)4868 (1862)15/15

Δ fopt
f12, 10-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 1502 (1046)3354 (2224)5090 (3275)5935 (3760)6797 (1980)8610 (3078)9832 (4798)15/15
lmm-CMA-ES auger noiseless 441 (39)928 (527)1666 (1152)2039 (1758)2618 (1519)4013 (2518)5441 (4756)10/15
IPOPsaACM loshchilov noiseless 499 (116)915 (482)1423 (894)1752 (1690)2168 (1250)3001 (1875)3581 (436)15/15
DTS5-CMA 527 (91)1102 (881)1668 (847)1904 (998)2409 (2178)3987 (1984)6971 (6354)6/30
lq-CMA-ES 2019-gecco-surr 407 (64)965 (559)1383 (1100)1583 (1081)1850 (729)3013 (1833)4237 (1992)15/15
SLSQP+CMA 2019-gecco-surr 955 (564)1381 (497)1693 (976)1839 (1052)1990 (996)4619 (2064)9198 (4798)15/15

Δ fopt
f13, 10-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 847 (732)1622 (663)2806 (920)3412 (979)3820 (966)5841 (762)7408 (2641)15/15
lmm-CMA-ES auger noiseless 417 (79)760 (229)1122 (86)1267 (320)1460 (244)1963 (311)2491 (380)14/15
IPOPsaACM loshchilov noiseless 371 (80)839 (723)1054 (724)1278 (401)1463 (440)1927 (1046)2413 (754)15/15
DTS5-CMA 284 (137)725 (487)956 (647)1047 (707)1300 (754)3927 (3874)8557 (9232)6/30
lq-CMA-ES 2019-gecco-surr 316 (77)528 (98)800 (265)939 (174)1220 (336)2605 (898)4092 (1548)15/15
SLSQP+CMA 2019-gecco-surr 252 (20)384 (17)495 (21)★2615 (18)★35887 (4349)1.0e4 (2015)1.3e4 (3242)15/15

Δ fopt
f14, 10-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 39 (19)262 (103)482 (89)759 (117)1145 (157)2142 (225)3226 (366)15/15
lmm-CMA-ES auger noiseless 34 (25)187 (34)279 (53)439 (52)685 (84)1193 (106)1712 (179)15/15
IPOPsaACM loshchilov noiseless 81 (42)223 (48)321 (66)450 (90)618 (74)998 (44)1350 (140)15/15
DTS5-CMA 49 (20)131 (24)184 (24)287 (46)448 (50)786 (88)1241 (116)★22/30
lq-CMA-ES 2019-gecco-surr 78 (45)167 (27)258 (52)380 (49)500 (42)743 (74)1532 (264)15/15
SLSQP+CMA 2019-gecco-surr 24 (6)57 (16)★493 (25)★4152 (14)★4219 (27)★4369 (40)★45988 (2828)15/15

Δ fopt
f15, 10-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 6263 (4414)3.9e4 (1428)6.0e4 (3e4)6.1e4 (2e4)6.2e4 (2e4)6.5e4 (2e4)6.7e4 (3e4)15/15
lmm-CMA-ES auger noiseless 2259 (1239)∞∞∞∞∞∞48170/15
IPOPsaACM loshchilov noiseless 4290 (1808)2.8e4 (8774)5.6e4 (7e4)5.6e4 (1e4)5.6e4 (5e4)5.7e4 (1e4)5.8e4 (3e4)15/15
DTS5-CMA 1737 (1449)∞∞∞∞∞∞25060/30
lq-CMA-ES 2019-gecco-surr 3723 (3274)3.1e4 (2e4)4.2e4 (2e4)4.2e4 (2e4)4.3e4 (2e4)4.3e4 (3e4)4.3e4 (1e4)15/15
SLSQP+CMA 2019-gecco-surr 5754 (1654)3.9e4 (3e4)7.0e4 (2e4)7.1e4 (5e4)7.3e4 (2e4)7.6e4 (9e4)7.8e4 (5e4)15/15

Δ fopt
f16, 10-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 1269 (3046)5458 (9732)1.6e4 (2e4)3.3e4 (1e4)4.0e4 (9387)5.2e4 (7e4)5.4e4 (5e4)15/15
lmm-CMA-ES auger noiseless 566 (357)3716 (4576)1.3e4 (1e4)7.2e4 (7e4)∞∞∞48050/15
IPOPsaACM loshchilov noiseless 1045 (446)4719 (3947)1.1e4 (9320)1.8e4 (7091)2.2e4 (1e4)2.3e4 (7347)2.5e4 (9626)15/15
DTS5-CMA 157 (31)★52964 (5466)∞∞∞∞∞25030/30
lq-CMA-ES 2019-gecco-surr 699 (104)7161 (6988)1.6e4 (2e4)2.2e4 (2e4)3.9e4 (5e4)4.1e4 (3e4)4.2e4 (4e4)15/15
SLSQP+CMA 2019-gecco-surr 1928 (321)6463 (3306)1.6e4 (5638)2.1e4 (2e4)2.1e4 (2e4)2.2e4 (3e4)2.3e4 (1e4)15/15

Δ fopt
f17, 10-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 23 (30)443 (158)1800 (1815)4136 (1730)1.1e4 (5038)2.1e4 (3809)3.2e4 (1e4)15/15
lmm-CMA-ES auger noiseless 17 (15)323 (106)1220 (3431)★5226 (6113)6.8e4 (7e4)∞∞48100/15
IPOPsaACM loshchilov noiseless 63 (54)458 (111)2509 (5061)6434 (4004)1.2e4 (5494)2.4e4 (1e4)3.7e4 (2e4)15/15
DTS5-CMA 39 (19)810 (943)1.1e4 (1e4)3.7e4 (3e4)∞∞∞25020/30
lq-CMA-ES 2019-gecco-surr 37 (42)1293 (3421)5528 (4819)8495 (5325)1.2e4 (7304)2.3e4 (1e4)3.0e4 (1e4)15/15
SLSQP+CMA 2019-gecco-surr 206 (226)960 (294)2789 (3117)5885 (3405)8353 (5800)1.8e4 (5872)2.8e4 (1e4)15/15

Δ fopt
f18, 10-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 202 (78)792 (176)3284 (3198)1.2e4 (3760)1.5e4 (5427)2.7e4 (2e4)3.3e4 (1e4)15/15
lmm-CMA-ES auger noiseless 167 (32)525 (133)6009 (4804)6.9e4 (6e4)∞∞∞48080/15
IPOPsaACM loshchilov noiseless 311 (136)995 (231)1.1e4 (6255)1.5e4 (6008)2.1e4 (2e4)3.8e4 (1e4)5.5e4 (2e4)15/15
DTS5-CMA 223 (46)3939 (3263)∞∞∞∞∞25020/30
lq-CMA-ES 2019-gecco-surr 206 (54)2489 (2938)8904 (5888)1.7e4 (7111)2.6e4 (1e4)3.1e4 (1e4)3.9e4 (1e4)15/15
SLSQP+CMA 2019-gecco-surr 745 (282)1334 (232)6838 (6988)1.4e4 (6762)1.8e4 (7026)2.7e4 (8323)3.3e4 (1e4)15/15

Δ fopt
f19, 10-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 1 (0)1 (0)1.2e5 (8e4)4.5e5 (3e5)6.0e5 (2e5)6.1e5 (4e5)6.2e5 (3e5)15/15
lmm-CMA-ES auger noiseless 1 (0)1 (0)∞∞∞∞∞48050/15
IPOPsaACM loshchilov noiseless 60 (37)1.8e4 (5215)9.9e4 (6e4)5.4e5 (2e5)6.8e5 (6e5)6.8e5 (5e5)6.8e5 (3e5)15/15
DTS5-CMA 43 (10)755 (390)3.6e4 (5e4)∞∞∞∞25020/30
lq-CMA-ES 2019-gecco-surr 1 (0)1 (0)9.5e4 (7e4)5.2e5 (2e5)7.0e5 (3e5)7.1e5 (3e5)7.2e5 (3e5)15/15
SLSQP+CMA 2019-gecco-surr 1 (0)1 (0)73 (0.5)★45.1e5 (1e5)5.8e5 (1e5)5.9e5 (2e5)5.9e5 (2e5)15/15

Δ fopt
f20, 10-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 111 (39)3.8e4 (1e4)4.1e5 (2e5)4.3e5 (2e5)4.4e5 (3e5)4.5e5 (2e5)4.6e5 (1e5)15/15
lmm-CMA-ES auger noiseless 106 (11)∞∞∞∞∞∞48170/15
IPOPsaACM loshchilov noiseless 136 (18)1.3e4 (6417)4.1e5 (2e5)4.3e5 (3e5)4.3e5 (3e5)4.3e5 (2e5)4.3e5 (2e5)15/15
DTS5-CMA 73 (11)3.6e4 (4e4)∞∞∞∞∞25030/30
lq-CMA-ES 2019-gecco-surr 53 (22)1.8e4 (1e4)3.4e5 (2e5)3.6e5 (3e5)3.6e5 (2e5)3.6e5 (3e5)3.6e5 (2e5)15/15
SLSQP+CMA 2019-gecco-surr 32 (0)★43.1e4 (2e4)4.4e5 (1e5)4.5e5 (2e5)4.6e5 (2e5)4.7e5 (2e5)4.8e5 (3e5)15/15

Δ fopt
f21, 10-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 536 (1622)2653 (4832)2.6e4 (6460)2.8e4 (4813)2.9e4 (9e4)3.0e4 (9e4)3.1e4 (7e4)15/15
lmm-CMA-ES auger noiseless 419 (824)4725 (3311)5987 (7686)6133 (3724)6235 (8335)6422 (5736)7522 (9629)7/15
IPOPsaACM loshchilov noiseless 325 (49)3.3e4 (3e4)2.1e5 (3e5)2.1e5 (1e5)2.1e5 (3e5)2.1e5 (5e5)2.1e5 (2e5)15/15
DTS5-CMA 427 (17)1.0e4 (1e4)∞∞∞∞∞25110/30
lq-CMA-ES 2019-gecco-surr 1017 (1990)2.6e4 (7e4)3.2e4 (7e4)3.3e4 (1e4)3.3e4 (3e4)3.3e4 (3e4)3.3e4 (3e4)14/15
SLSQP+CMA 2019-gecco-surr 568 (808)6.8e4 (1e4)7.6e4 (2e5)7.6e4 (2e5)7.7e4 (7e4)7.8e4 (2e5)7.9e4 (1e5)14/15

Δ fopt
f22, 10-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 2970 (6235)5.3e5 (9e5)1.6e6 (2e6)1.6e6 (2e6)1.6e6 (2e6)1.6e6 (9e5)1.6e6 (2e6)4/15
lmm-CMA-ES auger noiseless 248 (274)4673 (4108)6.8e4 (1e5)6.8e4 (1e5)6.8e4 (1e5)6.9e4 (7e4)6.9e4 (1e5)1/15
IPOPsaACM loshchilov noiseless 1.2e4 (8e4)5.0e5 (6e5)1.0e7 (8e6)1.0e7 (7e6)1.0e7 (2e7)1.0e7 (2e7)1.0e7 (2e7)9/15
DTS5-CMA 1015 (3148)1.6e4 (2e4)3.5e4 (4e4)3.5e4 (6e4)3.5e4 (5e4)3.6e4 (5e4)3.6e4 (6e4)2/30
lq-CMA-ES 2019-gecco-surr 626 (1201)1.3e5 (2e5)5.9e5 (8e5)5.9e5 (1e6)5.9e5 (4e5)5.9e5 (6e5)5.9e5 (8e5)4/15
SLSQP+CMA 2019-gecco-surr 3720 (1640)4.2e5 (1e6)∞∞∞∞∞6e50/15

Δ fopt
f23, 10-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 6.5 (6)3.0e4 (2e4)3.5e5 (3e5)5.8e6 (7e6)5.8e6 (6e6)5.8e6 (1e7)5.9e6 (1e7)5/15
lmm-CMA-ES auger noiseless 5.1 (3)3.5e4 (7e4)∞∞∞∞∞48090/15
IPOPsaACM loshchilov noiseless 6.9 (12)1.8e5 (1e5)7.0e6 (1e7)2.3e7 (3e7)2.3e7 (2e7)2.3e7 (5e7)2.3e7 (3e7)5/15
DTS5-CMA 5.7 (6)866 (795)★3∞∞∞∞∞25020/30
lq-CMA-ES 2019-gecco-surr 10 (16)1.8e4 (7e4)2.7e5 (2e5)4.6e6 (3e6)4.6e6 (6e6)4.6e6 (2e6)4.6e6 (4e6)6/15
SLSQP+CMA 2019-gecco-surr 31 (28)1.4e4 (1e4)1.8e5 (2e5)3.4e6 (4e6)3.4e6 (6e6)3.4e6 (3e6)3.4e6 (4e6)7/15

Δ fopt
f24, 10-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 5.6e6 (1e7)1.0e7 (3e7)∞∞∞∞∞4e60/15
lmm-CMA-ES auger noiseless 6.9e4 (5e4)∞∞∞∞∞∞48050/15
IPOPsaACM loshchilov noiseless 7.1e6 (1e7)1.8e7 (2e7)∞∞∞∞∞1e70/15
DTS5-CMA 1.1e4 (1e4)∞∞∞∞∞∞25040/30
lq-CMA-ES 2019-gecco-surr 4.0e6 (4e6)2.3e7 (4e7)∞∞∞∞∞3e60/15
SLSQP+CMA 2019-gecco-surr 5.6e6 (6e6)1.0e7 (1e7)5.1e7 (3e7)5.1e7 (8e7)5.1e7 (7e7)5.1e7 (1e8)5.1e7 (1e8)1/15

Previous dimension | Dimension = 20 | Next dimension

Δ fopt
f1, 20-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 267 (36)553 (52)821 (54)1069 (146)1362 (116)1898 (126)2482 (219)15/15
lmm-CMA-ES auger noiseless 243 (10)270 (3)291 (8)313 (2)334 (10)381 (8)426 (9)15/15
IPOPsaACM loshchilov noiseless 166 (4)214 (15)281 (16)336 (31)406 (30)547 (17)683 (64)15/15
DTS5-CMA 141 (11)223 (14)301 (7)388 (19)479 (28)644 (26)822 (18)30/30
lq-CMA-ES 2019-gecco-surr 64 (0.2)73 (12)93 (10)102 (4)116 (4)139 (3)160 (3)15/15
SLSQP+CMA 2019-gecco-surr 25 (0)★425 (0)★425 (0)★425 (0)★425 (0)★425 (0)★425 (0)★415/15

Δ fopt
f2, 20-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 8493 (1171)1.0e4 (1531)1.1e4 (1426)1.2e4 (1086)1.2e4 (710)1.3e4 (668)1.3e4 (1016)15/15
lmm-CMA-ES auger noiseless 3234 (541)4163 (850)4637 (627)4849 (670)4998 (894)5364 (899)5730 (649)15/15
IPOPsaACM loshchilov noiseless 2795 (272)3202 (516)3439 (549)3569 (762)3703 (397)3916 (686)4085 (382)15/15
DTS5-CMA 2681 (495)3244 (417)3566 (391)3777 (308)3875 (280)4071 (136)4263 (138)30/30
lq-CMA-ES 2019-gecco-surr 1105 (324)1374 (329)1541 (569)1669 (406)1788 (582)2007 (670)2375 (629)15/15
SLSQP+CMA 2019-gecco-surr 934 (248)997 (192)★1077 (179)★1136 (168)★21199 (308)★21321 (163)★31464 (262)★315/15

Δ fopt
f3, 20-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 7.4e4 (3e4)∞∞∞∞∞∞3e60/15
lmm-CMA-ES auger noiseless ∞∞∞∞∞∞∞88040/15
IPOPsaACM loshchilov noiseless 5.3e4 (8e4)∞∞∞∞∞∞2e70/5
DTS5-CMA ∞∞∞∞∞∞∞50060/30
lq-CMA-ES 2019-gecco-surr 5.7e4 (8e4)∞∞∞∞∞∞2e60/15
SLSQP+CMA 2019-gecco-surr 5.6e4 (4e4)∞∞∞∞∞∞3e60/15

Δ fopt
f4, 20-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr ∞∞∞∞∞∞∞2e60/15
lmm-CMA-ES auger noiseless ∞∞∞∞∞∞∞88130/15
IPOPsaACM loshchilov noiseless 9.1e7 (1e8)∞∞∞∞∞∞2e70/5
DTS5-CMA ∞∞∞∞∞∞∞50030/30
lq-CMA-ES 2019-gecco-surr ∞∞∞∞∞∞∞2e60/15
SLSQP+CMA 2019-gecco-surr ∞∞∞∞∞∞∞2e60/15

Δ fopt
f5, 20-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 209 (44)249 (49)262 (32)262 (28)262 (44)262 (39)262 (26)15/15
lmm-CMA-ES auger noiseless 203 (26)244 (27)248 (30)248 (42)248 (38)248 (46)248 (42)15/15
IPOPsaACM loshchilov noiseless 183 (39)205 (18)211 (25)213 (48)213 (52)213 (48)213 (20)15/15
DTS5-CMA 330 (154)563 (174)745 (228)854 (254)855 (654)855 (482)855 (652)30/30
lq-CMA-ES 2019-gecco-surr 81 (30)96 (27)97 (31)97 (27)97 (18)97 (37)97 (33)15/15
SLSQP+CMA 2019-gecco-surr 68 (0)90 (0)90 (0)90 (0)90 (0)90 (0)90 (0)15/15

Δ fopt
f6, 20-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 1948 (367)2792 (261)3670 (293)4575 (435)5399 (318)7201 (697)9130 (1004)15/15
lmm-CMA-ES auger noiseless 2.4e4 (2e4)1.3e5 (2e5)∞∞∞∞∞88040/15
IPOPsaACM loshchilov noiseless 1960 (426)2815 (386)3662 (892)4694 (613)5777 (1023)7839 (1152)1.1e4 (1302)15/15
DTS5-CMA ∞∞∞∞∞∞∞50020/30
lq-CMA-ES 2019-gecco-surr 1816 (378)2758 (438)3646 (271)4551 (610)5604 (872)7742 (1066)9716 (1204)15/15
SLSQP+CMA 2019-gecco-surr 4103 (1281)6059 (2490)9249 (2515)1.1e4 (1986)1.3e4 (752)1.4e4 (1189)1.6e4 (1042)15/15

Δ fopt
f7, 20-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 1860 (958)9840 (3732)1.4e4 (5377)1.5e4 (3260)1.5e4 (3485)1.5e4 (1118)1.5e4 (3523)15/15
lmm-CMA-ES auger noiseless 651 (148)∞∞∞∞∞∞88190/15
IPOPsaACM loshchilov noiseless 1413 (1203)7033 (2388)8717 (2472)1.1e4 (2642)1.1e4 (5120)1.1e4 (5945)1.1e4 (2904)15/15
DTS5-CMA 3142 (1638)7.4e4 (1e5)7.4e4 (7e4)∞∞∞∞50030/30
lq-CMA-ES 2019-gecco-surr 1410 (1180)6763 (2617)9403 (4624)1.2e4 (3761)1.2e4 (4889)1.2e4 (4847)1.2e4 (4330)15/15
SLSQP+CMA 2019-gecco-surr 1243 (182)1.0e4 (3261)1.5e4 (6789)1.7e4 (6249)1.7e4 (3124)1.7e4 (5738)1.7e4 (3784)15/15

Δ fopt
f8, 20-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 6801 (1663)1.5e4 (6182)1.7e4 (6450)1.8e4 (1e4)1.8e4 (6468)1.9e4 (6371)1.9e4 (1570)15/15
lmm-CMA-ES auger noiseless 3498 (584)8214 (5604)8882 (4451)9251 (2118)9484 (9533)9792 (1225)9977 (1e4)12/15
IPOPsaACM loshchilov noiseless 2873 (347)5082 (416)5618 (334)5898 (406)6043 (336)6238 (480)6402 (612)15/15
DTS5-CMA 2493 (738)4794 (2722)8526 (8925)1.2e4 (6744)1.8e4 (7502)2.4e4 (3e4)2.4e4 (2e4)4/30
lq-CMA-ES 2019-gecco-surr 2867 (951)5465 (2658)5913 (241)6181 (4710)6334 (2358)6544 (4920)6692 (532)15/15
SLSQP+CMA 2019-gecco-surr 1607 (162)★33598 (2616)★4056 (4107)★4252 (6068)★4365 (8054)★4507 (8196)★4639 (697)★15/15

Δ fopt
f9, 20-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 6226 (955)1.2e4 (1071)1.4e4 (1043)1.5e4 (1116)1.5e4 (964)1.6e4 (1082)1.6e4 (1057)15/15
lmm-CMA-ES auger noiseless 3621 (592)6401 (715)7053 (713)7422 (566)8196 (625)8489 (633)1.0e4 (4614)12/15
IPOPsaACM loshchilov noiseless 2686 (926)5707 (2279)6237 (4378)6513 (3912)6654 (498)6839 (214)7013 (406)15/15
DTS5-CMA 2442 (562)4623 (2574)6428 (3474)1.0e4 (2596)2.5e4 (4e4)2.5e4 (1e4)7.5e4 (9e4)0/30
lq-CMA-ES 2019-gecco-surr 2606 (531)4747 (3804)5211 (267)5474 (2095)5643 (489)5837 (353)5990 (341)15/15
SLSQP+CMA 2019-gecco-surr 593 (0)★4859 (0)★41036 (0)★41192 (0)★41248 (10)★41292 (10)★41336 (10)★415/15

Δ fopt
f10, 20-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 8077 (1168)9671 (613)1.1e4 (1166)1.1e4 (766)1.2e4 (313)1.3e4 (352)1.3e4 (467)15/15
lmm-CMA-ES auger noiseless 3377 (468)4082 (372)4448 (600)4665 (310)4856 (554)5212 (530)5580 (570)15/15
IPOPsaACM loshchilov noiseless 2618 (355)3082 (622)3353 (312)3496 (445)3623 (356)3827 (405)4024 (420)15/15
DTS5-CMA 2660 (469)3230 (557)3538 (526)3765 (296)3856 (462)4063 (250)4244 (341)30/30
lq-CMA-ES 2019-gecco-surr 1535 (182)1849 (244)2031 (256)2145 (268)2259 (154)2504 (345)3009 (260)★215/15
SLSQP+CMA 2019-gecco-surr 967 (143)★31034 (136)★41113 (168)★41170 (156)★41229 (112)★42244 (100)★21.5e4 (497)15/15

Δ fopt
f11, 20-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 4346 (248)4930 (168)5349 (240)5742 (236)6099 (211)6739 (186)7328 (172)15/15
lmm-CMA-ES auger noiseless 2143 (71)2423 (116)2673 (153)2830 (1068)3043 (1010)3398 (133)3779 (1014)15/15
IPOPsaACM loshchilov noiseless 2542 (464)2695 (280)2810 (618)2916 (751)3042 (312)3239 (247)3424 (791)15/15
DTS5-CMA 1624 (206)1952 (167)2144 (423)2326 (384)2489 (478)2741 (397)2987 (580)30/30
lq-CMA-ES 2019-gecco-surr 1396 (109)1558 (197)1714 (108)1842 (114)1931 (150)2180 (230)2563 (171)★315/15
SLSQP+CMA 2019-gecco-surr 148 (118)★4191 (55)★4227 (76)★4266 (55)★4314 (61)★42490 (5679)8960 (474)15/15

Δ fopt
f12, 20-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 3011 (2230)7395 (5390)1.1e4 (7444)1.3e4 (6142)1.4e4 (7053)1.8e4 (6726)2.1e4 (9004)15/15
lmm-CMA-ES auger noiseless 1179 (134)2115 (688)3595 (1852)4529 (2597)7097 (3902)1.1e4 (1e4)3.1e4 (1e4)4/15
IPOPsaACM loshchilov noiseless 695 (96)★31702 (1607)2906 (1810)3938 (2298)4979 (1596)6902 (1966)8266 (3190)15/15
DTS5-CMA 1280 (303)2325 (1848)4716 (3275)5460 (5342)7824 (4371)2.4e4 (3e4)7.5e4 (2e5)2/30
lq-CMA-ES 2019-gecco-surr 1124 (656)2715 (1209)4213 (1586)4963 (2468)5994 (2430)9215 (1711)1.2e4 (1653)15/15
SLSQP+CMA 2019-gecco-surr 2953 (1464)4043 (2540)5324 (2302)7643 (1e4)8314 (1e4)1.6e4 (1e4)2.8e4 (7788)15/15

Δ fopt
f13, 20-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 1902 (883)5747 (2790)1.2e4 (8398)1.6e4 (6972)1.9e4 (5932)2.9e4 (1e4)3.3e4 (1e4)15/15
lmm-CMA-ES auger noiseless 1299 (99)2072 (290)2736 (484)3299 (422)4053 (327)5224 (560)6493 (428)15/15
IPOPsaACM loshchilov noiseless 1084 (913)3449 (2066)4059 (2458)5353 (2312)6321 (3891)9079 (3098)1.2e4 (3945)15/15
DTS5-CMA 748 (849)5251 (7550)1.6e4 (2e4)2.4e4 (3e4)7.4e4 (7e4)7.4e4 (6e4)∞50030/30
lq-CMA-ES 2019-gecco-surr 1297 (88)4637 (2606)7514 (2368)8397 (3024)9027 (2926)1.7e4 (3780)2.5e4 (1e4)15/15
SLSQP+CMA 2019-gecco-surr 751 (34)1122 (69)1409 (39)★21752 (60)★41.9e4 (1e4)3.5e4 (2e4)4.7e4 (1e4)15/15

Δ fopt
f14, 20-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 216 (52)595 (116)1029 (139)1746 (226)3011 (278)6462 (303)1.0e4 (516)15/15
lmm-CMA-ES auger noiseless 228 (100)522 (98)852 (122)1336 (118)1989 (113)3633 (150)5473 (273)15/15
IPOPsaACM loshchilov noiseless 226 (38)419 (97)583 (107)890 (125)1333 (133)2349 (210)3612 (343)★415/15
DTS5-CMA 184 (70)371 (72)509 (72)834 (174)1388 (146)2970 (146)7.4e4 (1e5)0/30
lq-CMA-ES 2019-gecco-surr 243 (84)533 (103)828 (121)1268 (127)1742 (111)2631 (142)5578 (454)15/15
SLSQP+CMA 2019-gecco-surr 56 (12)★4125 (28)★4210 (22)★4342 (24)★4495 (49)★4838 (70)★41.5e4 (4485)15/15

Δ fopt
f15, 20-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 3.1e4 (2e4)1.6e5 (5e4)2.0e5 (1e5)2.1e5 (9e4)2.1e5 (8e4)2.2e5 (8e4)2.3e5 (8e4)15/15
lmm-CMA-ES auger noiseless 1.3e5 (2e5)∞∞∞∞∞∞88070/15
IPOPsaACM loshchilov noiseless 1.8e4 (1e4)1.4e5 (1e5)1.7e5 (8e4)1.7e5 (7e4)1.7e5 (1e5)1.7e5 (6e4)1.7e5 (1e5)15/15
DTS5-CMA ∞∞∞∞∞∞∞50050/30
lq-CMA-ES 2019-gecco-surr 2.0e4 (2e4)1.2e5 (4e4)1.4e5 (5e4)1.4e5 (6e4)1.4e5 (5e4)1.4e5 (5e4)1.5e5 (5e4)15/15
SLSQP+CMA 2019-gecco-surr 3.0e4 (2e4)1.5e5 (6e4)2.1e5 (7e4)2.2e5 (8e4)2.2e5 (7e4)2.3e5 (1e5)2.4e5 (7e4)15/15

Δ fopt
f16, 20-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 2940 (634)2.6e4 (2e4)7.3e4 (3e4)9.6e4 (4e4)1.4e5 (1e5)1.7e5 (1e5)1.7e5 (1e5)15/15
lmm-CMA-ES auger noiseless 1650 (506)2.0e4 (3e4)∞∞∞∞∞88090/15
IPOPsaACM loshchilov noiseless 2491 (3376)1.5e4 (2e4)5.9e4 (7e4)8.7e4 (5e4)9.7e4 (7e4)1.1e5 (7e4)1.1e5 (7e4)15/15
DTS5-CMA 750 (86)★47.3e4 (1e5)∞∞∞∞∞50020/30
lq-CMA-ES 2019-gecco-surr 1420 (314)2.5e4 (2e4)7.3e4 (3e4)9.3e4 (6e4)1.7e5 (2e5)1.9e5 (2e5)1.9e5 (2e5)15/15
SLSQP+CMA 2019-gecco-surr 4590 (470)2.3e4 (9798)6.1e4 (3e4)1.2e5 (8e4)2.7e5 (2e5)3.5e5 (2e5)3.6e5 (3e5)15/15

Δ fopt
f17, 20-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 69 (51)837 (87)3766 (3316)1.5e4 (8148)2.4e4 (1e4)4.4e4 (2e4)7.0e4 (5e4)15/15
lmm-CMA-ES auger noiseless 63 (58)1440 (2364)3215 (349)2.0e4 (2e4)1.3e5 (2e5)∞∞88050/15
IPOPsaACM loshchilov noiseless 160 (88)940 (234)3915 (4856)2.1e4 (9225)3.6e4 (7320)6.7e4 (9492)9.1e4 (5e4)15/15
DTS5-CMA 107 (25)3446 (6277)∞∞∞∞∞50020/30
lq-CMA-ES 2019-gecco-surr 151 (98)1716 (3290)6966 (6213)2.3e4 (1e4)3.5e4 (2e4)6.6e4 (1e4)8.3e4 (4e4)15/15
SLSQP+CMA 2019-gecco-surr 739 (545)3223 (688)8018 (7083)1.3e4 (7486)2.8e4 (1393)5.5e4 (3e4)8.0e4 (2e4)15/15

Δ fopt
f18, 20-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 587 (189)2983 (6178)2.1e4 (1e4)3.4e4 (1e4)6.3e4 (6e4)1.3e5 (6e4)1.5e5 (5e4)15/15
lmm-CMA-ES auger noiseless 469 (122)5836 (1e4)1.3e5 (2e5)∞∞∞∞88040/15
IPOPsaACM loshchilov noiseless 595 (190)5426 (8051)1.8e4 (3489)3.7e4 (3e4)5.3e4 (3e4)1.2e5 (6e4)1.8e5 (2e5)15/15
DTS5-CMA 2341 (5047)1.7e4 (3e4)7.5e4 (1e5)∞∞∞∞50020/30
lq-CMA-ES 2019-gecco-surr 559 (259)1.2e4 (2e4)3.2e4 (2e4)4.8e4 (2e4)7.5e4 (4e4)1.0e5 (6e4)1.1e5 (6e4)15/15
SLSQP+CMA 2019-gecco-surr 2698 (1176)8449 (8154)1.9e4 (2e4)3.2e4 (2e4)5.9e4 (2e4)1.0e5 (5e4)1.2e5 (4e4)15/15

Δ fopt
f19, 20-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 1 (0)1 (0)4.6e5 (1e5)2.3e6 (7e5)3.5e6 (7e5)4.1e6 (9e5)4.1e6 (3e6)13/15
lmm-CMA-ES auger noiseless 1 (0)1 (0)∞∞∞∞∞88050/15
IPOPsaACM loshchilov noiseless 154 (47)3.0e4 (2e4)2.1e5 (1e5)1.9e6 (7e5)2.0e6 (1e6)2.2e6 (2e6)2.2e6 (2e6)14/15
DTS5-CMA 100 (19)1661 (296)∞∞∞∞∞50030/30
lq-CMA-ES 2019-gecco-surr 1 (0)1 (0)1.9e5 (2e5)2.2e6 (1e6)2.8e6 (1e6)3.1e6 (1e6)3.1e6 (1e6)15/15
SLSQP+CMA 2019-gecco-surr 1 (0)1 (0)191 (0.5)★42.5e6 (9e5)2.8e6 (9e5)3.3e6 (2e6)3.3e6 (1e6)15/15

Δ fopt
f20, 20-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 307 (55)1.8e5 (5e4)2.1e6 (1e6)3.4e6 (1e6)3.4e6 (1e6)3.5e6 (1e6)3.5e6 (1e6)15/15
lmm-CMA-ES auger noiseless 295 (68)∞∞∞∞∞∞88200/15
IPOPsaACM loshchilov noiseless 230 (28)8.0e4 (8e4)1.5e6 (6e5)2.5e6 (8e5)2.5e6 (1e6)2.5e6 (1e6)2.5e6 (1e6)15/15
DTS5-CMA 195 (36)∞∞∞∞∞∞50030/30
lq-CMA-ES 2019-gecco-surr 133 (44)1.4e5 (6e4)2.2e6 (1e6)3.1e6 (1e6)3.1e6 (1e6)3.1e6 (1e6)3.1e6 (1e6)15/15
SLSQP+CMA 2019-gecco-surr 53 (0)★41.6e5 (6e4)2.3e6 (1e6)3.7e6 (2e6)3.7e6 (1e6)3.8e6 (3e6)3.8e6 (2e6)14/15

Δ fopt
f21, 20-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 2651 (2692)7.9e5 (6e5)8.8e5 (1e6)8.8e5 (2e6)8.9e5 (7e5)8.9e5 (2e6)9.0e5 (2e6)9/15
lmm-CMA-ES auger noiseless 933 (1011)1.2e4 (1e4)2.0e4 (2e4)2.0e4 (2e4)2.0e4 (2e4)2.1e4 (1e4)2.2e4 (2e4)5/15
IPOPsaACM loshchilov noiseless 1447 (1201)3.4e5 (6e5)2.2e6 (3e6)2.2e6 (3e6)2.2e6 (8e5)2.2e6 (6e6)2.2e6 (6e6)15/15
DTS5-CMA 3582 (1e4)3.3e4 (4e4)7.0e4 (6e4)7.1e4 (4e4)7.1e4 (1e5)7.1e4 (7e4)7.1e4 (6e4)2/30
lq-CMA-ES 2019-gecco-surr 3404 (1e4)3.1e5 (4e5)4.9e5 (4e5)4.9e5 (1e6)4.9e5 (7e5)4.9e5 (8e5)5.0e5 (5e5)7/15
SLSQP+CMA 2019-gecco-surr 2518 (7403)7.6e5 (1e6)7.8e5 (9e5)7.8e5 (3e6)7.8e5 (2e6)7.8e5 (6e5)7.8e5 (2e6)9/15

Δ fopt
f22, 20-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 3087 (2719)8.7e5 (3e6)∞∞∞∞∞1e60/15
lmm-CMA-ES auger noiseless 3138 (4526)2.6e4 (2e4)∞∞∞∞∞88110/15
IPOPsaACM loshchilov noiseless 8.2e4 (5427)5.5e6 (5e6)∞∞∞∞∞2e70/15
DTS5-CMA 6306 (4429)7.0e4 (7e4)∞∞∞∞∞50080/30
lq-CMA-ES 2019-gecco-surr 2122 (3041)5.7e5 (1e6)∞∞∞∞∞4e50/15
SLSQP+CMA 2019-gecco-surr 967 (2704)8.0e5 (1e6)∞∞∞∞∞1e60/15

Δ fopt
f23, 20-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 5.8 (4)1.7e6 (2e6)1.0e7 (2e7)∞∞∞∞7e60/15
lmm-CMA-ES auger noiseless 5.3 (4)∞∞∞∞∞∞88230/15
IPOPsaACM loshchilov noiseless 14 (16)4.6e7 (4e7)6.1e7 (5e7)∞∞∞∞2e70/15
DTS5-CMA 7.4 (2)1008 (142)★47.5e4 (6e4)∞∞∞∞50020/30
lq-CMA-ES 2019-gecco-surr 20 (38)3896 (1325)1.0e7 (1e7)∞∞∞∞7e60/15
SLSQP+CMA 2019-gecco-surr 39 (24)2.2e6 (6e6)1.4e7 (2e7)2.7e7 (2e7)9.4e7 (9e7)9.4e7 (2e8)9.4e7 (1e8)1/15

Δ fopt
f24, 20-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 2.1e7 (2e7)7.4e7 (7e7)∞∞∞∞∞5e60/15
lmm-CMA-ES auger noiseless ∞∞∞∞∞∞∞88170/15
IPOPsaACM loshchilov noiseless 3.8e7 (5e7)2.9e8 (4e8)∞∞∞∞∞2e70/15
DTS5-CMA 7.4e4 (2e5)∞∞∞∞∞∞50030/30
lq-CMA-ES 2019-gecco-surr 1.8e7 (2e7)6.3e7 (6e7)∞∞∞∞∞5e60/15
SLSQP+CMA 2019-gecco-surr ∞∞∞∞∞∞∞5e60/15

Previous dimension | Dimension = 40 | First dimension

Δ fopt
f1, 40-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 695 (60)1181 (85)1660 (120)2178 (148)2682 (164)3700 (122)4701 (125)15/15
lq-CMA-ES 2019-gecco-surr 124 (1)142 (18)157 (25)184 (3)199 (4)227 (4)257 (2)15/15
SLSQP+CMA 2019-gecco-surr 45 (0)★445 (0)★445 (0)★445 (0)★445 (0)★445 (0)★445 (0)★415/15

Δ fopt
f2, 40-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 3.1e4 (1337)3.7e4 (4624)4.1e4 (2765)4.4e4 (2520)4.6e4 (2782)4.9e4 (1614)5.1e4 (912)15/15
lq-CMA-ES 2019-gecco-surr 4070 (978)4877 (1674)5639 (1892)6228 (992)6743 (1664)7581 (1900)8694 (1694)15/15
SLSQP+CMA 2019-gecco-surr 2968 (635)★23170 (1007)★23387 (516)★33584 (422)★33775 (824)★34090 (391)★44435 (1324)★415/15

Δ fopt
f3, 40-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 7.7e7 (5e7)∞∞∞∞∞∞5e60/15
lq-CMA-ES 2019-gecco-surr ∞∞∞∞∞∞∞9e40/15
SLSQP+CMA 2019-gecco-surr 7.8e7 (7e7)∞∞∞∞∞∞6e60/15

Δ fopt
f4, 40-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr ∞∞∞∞∞∞∞5e60/15
lq-CMA-ES 2019-gecco-surr ∞∞∞∞∞∞∞1e50/15
SLSQP+CMA 2019-gecco-surr ∞∞∞∞∞∞∞5e60/15

Δ fopt
f5, 40-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 462 (55)543 (80)556 (66)556 (58)556 (44)556 (58)556 (57)15/15
lq-CMA-ES 2019-gecco-surr 159 (32)189 (43)194 (36)196 (44)196 (21)196 (30)196 (40)15/15
SLSQP+CMA 2019-gecco-surr 128 (0)★170 (0)170 (0)170 (0)170 (0)170 (0)170 (0)15/15

Δ fopt
f6, 40-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 5409 (501)7696 (773)9851 (574)1.2e4 (946)1.4e4 (1366)1.9e4 (2021)2.4e4 (2021)15/15
lq-CMA-ES 2019-gecco-surr 4929 (518)7457 (1075)9744 (1003)1.2e4 (1899)1.5e4 (2349)2.1e4 (2152)2.6e4 (3200)15/15
SLSQP+CMA 2019-gecco-surr 1.3e4 (5625)1.9e4 (5196)2.3e4 (907)2.5e4 (853)2.8e4 (1182)3.2e4 (1862)3.7e4 (1472)15/15

Δ fopt
f7, 40-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 1.1e4 (9830)6.7e4 (2e4)7.7e4 (2e4)8.2e4 (2e4)8.2e4 (2e4)8.2e4 (2e4)8.2e4 (2e4)15/15
lq-CMA-ES 2019-gecco-surr 1.4e4 (5768)3.8e4 (1e4)★24.8e4 (1e4)5.1e4 (2e4)5.1e4 (2e4)5.1e4 (2e4)5.2e4 (1e4)15/15
SLSQP+CMA 2019-gecco-surr 1.6e4 (9372)6.4e4 (2e4)7.2e4 (2e4)7.6e4 (3e4)7.6e4 (2e4)7.6e4 (2e4)7.6e4 (3e4)15/15

Δ fopt
f8, 40-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 4.0e4 (2578)6.1e4 (3e4)6.4e4 (4e4)6.6e4 (3e4)6.7e4 (3e4)6.9e4 (5e4)7.0e4 (2e4)15/15
lq-CMA-ES 2019-gecco-surr 1.6e4 (2299)2.2e4 (9109)2.3e4 (1562)2.4e4 (8364)2.4e4 (2535)2.5e4 (2e4)2.6e4 (2e4)15/15
SLSQP+CMA 2019-gecco-surr 6644 (3600)★41.5e4 (2e4)★1.6e4 (3e4)★1.6e4 (2e4)★1.6e4 (3e4)★1.7e4 (3e4)★1.7e4 (2e4)★15/15

Δ fopt
f9, 40-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 4.0e4 (1469)5.3e4 (2785)5.7e4 (1820)5.8e4 (1392)5.9e4 (1723)6.1e4 (2925)6.2e4 (1189)15/15
lq-CMA-ES 2019-gecco-surr 1.6e4 (1800)2.2e4 (1728)2.4e4 (8594)2.5e4 (7780)2.5e4 (2428)2.6e4 (7891)2.6e4 (1e4)15/15
SLSQP+CMA 2019-gecco-surr 2060 (0)★42609 (0)★42986 (0)★43115 (0)★43243 (0)★43366 (0)★43445 (21)★415/15

Δ fopt
f10, 40-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 3.2e4 (2450)3.8e4 (2556)4.2e4 (2634)4.5e4 (4032)4.7e4 (2542)4.9e4 (1598)5.1e4 (1064)15/15
lq-CMA-ES 2019-gecco-surr 6339 (933)7462 (1449)8338 (1125)9031 (1030)9641 (1414)1.1e4 (2305)1.2e4 (2020)★415/15
SLSQP+CMA 2019-gecco-surr 3050 (486)★43253 (602)★43432 (687)★43640 (729)★43834 (656)★47667 (1e4)★25.7e4 (2239)15/15

Δ fopt
f11, 40-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 1.4e4 (320)1.5e4 (488)1.6e4 (416)1.7e4 (396)1.7e4 (445)1.9e4 (427)2.0e4 (182)15/15
lq-CMA-ES 2019-gecco-surr 5115 (470)5855 (386)6409 (450)6713 (530)7233 (467)7997 (491)9051 (396)★415/15
SLSQP+CMA 2019-gecco-surr 223 (52)★4314 (94)★4401 (94)★4503 (116)★4619 (128)★45012 (1e4)2.2e4 (577)15/15

Δ fopt
f12, 40-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 8505 (2406)1.6e4 (2e4)2.1e4 (9184)2.5e4 (8449)2.9e4 (1e4)3.5e4 (7208)3.9e4 (1e4)15/15
lq-CMA-ES 2019-gecco-surr 4253 (1275)9175 (5157)1.3e4 (3582)1.5e4 (3297)1.9e4 (5026)2.5e4 (4360)3.0e4 (5494)★15/15
SLSQP+CMA 2019-gecco-surr 1.2e4 (9800)1.8e4 (1e4)2.1e4 (2e4)2.5e4 (2e4)3.1e4 (2e4)3.9e4 (3e4)4.9e4 (1e4)15/15

Δ fopt
f13, 40-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 4888 (5654)2.5e4 (3e4)5.5e4 (5e4)8.2e4 (6e4)9.5e4 (8e4)1.9e5 (8e4)2.6e5 (2e5)15/15
lq-CMA-ES 2019-gecco-surr 3854 (341)2.4e4 (1e4)4.5e4 (2e4)6.9e4 (1e4)7.5e4 (1e4)1.2e5 (5e4)1.7e5 (6e4)9/15
SLSQP+CMA 2019-gecco-surr 2440 (126)★43340 (131)★44533 (132)★45377 (148)★48.3e4 (5e4)1.7e5 (5e4)2.6e5 (1e5)15/15

Δ fopt
f14, 40-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 639 (117)1351 (211)2184 (174)3914 (318)7855 (283)2.1e4 (752)3.7e4 (1476)15/15
lq-CMA-ES 2019-gecco-surr 627 (221)1269 (165)2046 (247)3634 (326)5303 (422)9213 (668)2.1e4 (3230)★415/15
SLSQP+CMA 2019-gecco-surr 152 (22)★4301 (42)★4468 (54)★4826 (64)★41245 (86)★42244 (221)★44.4e4 (4137)15/15

Δ fopt
f15, 40-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 1.5e5 (6e4)5.0e5 (2e5)7.7e5 (4e5)7.9e5 (4e5)8.1e5 (2e5)8.4e5 (4e4)8.8e5 (4e5)15/15
lq-CMA-ES 2019-gecco-surr 1.4e5 (5e4)1.6e6 (8e5)1.6e6 (1e6)1.6e6 (1e6)1.6e6 (2e6)1.6e6 (2e6)1.6e6 (3e6)1/15
SLSQP+CMA 2019-gecco-surr 1.4e5 (5e4)4.7e5 (1e5)5.8e5 (2e5)5.9e5 (2e5)6.0e5 (2e5)6.3e5 (2e5)6.6e5 (1e5)15/15

Δ fopt
f16, 40-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 4873 (1532)6.6e4 (4e4)2.3e5 (1e5)3.3e5 (3e5)5.1e5 (4e5)8.6e5 (3e5)8.9e5 (4e5)15/15
lq-CMA-ES 2019-gecco-surr 3044 (298)★36.0e4 (3e4)4.6e5 (5e5)∞∞∞∞1e50/15
SLSQP+CMA 2019-gecco-surr 1.4e4 (8291)7.9e4 (4e4)1.9e5 (1e5)3.9e5 (2e5)8.1e5 (2e6)1.0e6 (2e6)1.1e6 (2e6)15/15

Δ fopt
f17, 40-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 197 (134)1917 (300)1.0e4 (1e4)3.5e4 (2012)6.0e4 (3e4)1.2e5 (3e4)1.8e5 (7e4)15/15
lq-CMA-ES 2019-gecco-surr 348 (176)1983 (855)1.0e4 (1e4)4.0e4 (2e4)7.0e4 (2e4)6.7e5 (1e6)∞9e40/15
SLSQP+CMA 2019-gecco-surr 1374 (3812)9775 (1730)2.7e4 (2e4)4.7e4 (1e4)6.5e4 (2e4)1.4e5 (8645)1.8e5 (4e4)15/15

Δ fopt
f18, 40-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 1187 (393)9992 (1e4)5.1e4 (2e4)8.4e4 (2e4)1.5e5 (7e4)4.0e5 (7e4)5.3e5 (8e4)15/15
lq-CMA-ES 2019-gecco-surr 1073 (178)1.1e4 (6466)6.9e4 (5e4)1.8e5 (8490)∞∞∞1e50/15
SLSQP+CMA 2019-gecco-surr 8683 (2261)2.3e4 (1e4)5.8e4 (4e4)9.3e4 (3e4)1.5e5 (4e4)3.7e5 (1e5)4.7e5 (2e5)15/15

Δ fopt
f19, 40-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 1 (0)1 (0)1.7e6 (1e6)9.8e6 (2e6)1.8e7 (2e7)2.9e7 (3e7)2.9e7 (2e7)5/15
lq-CMA-ES 2019-gecco-surr 1 (0)1 (0)∞∞∞∞∞2e50/15
SLSQP+CMA 2019-gecco-surr 1 (0)1 (0)651 (0)★41.7e7 (9e6)3.7e7 (3e7)7.6e7 (6e7)7.6e7 (2e8)2/15

Δ fopt
f20, 40-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 697 (118)1.5e6 (5e5)1.6e8 (1e8)∞∞∞∞1e70/15
lq-CMA-ES 2019-gecco-surr 364 (65)∞∞∞∞∞∞2e50/15
SLSQP+CMA 2019-gecco-surr 93 (0)★41.3e6 (4e5)1.6e8 (2e8)∞∞∞∞1e70/15

Δ fopt
f21, 40-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 1858 (2301)2.8e6 (2e6)9.9e6 (1e7)9.9e6 (1e7)9.9e6 (8e6)9.9e6 (2e7)9.9e6 (1e7)3/15
lq-CMA-ES 2019-gecco-surr 2032 (3492)1.9e5 (2e5)2.5e5 (2e5)2.5e5 (2e5)2.5e5 (3e5)2.6e5 (2e5)2.6e5 (3e5)5/15
SLSQP+CMA 2019-gecco-surr 4852 (1e4)1.3e6 (4e6)2.8e6 (4e6)2.8e6 (2e6)2.8e6 (7e6)2.8e6 (4e6)2.8e6 (6e6)7/15

Δ fopt
f22, 40-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 2.0e5 (1e6)3.7e6 (5e6)∞∞∞∞∞2e60/15
lq-CMA-ES 2019-gecco-surr 2.5e4 (4e4)1.3e5 (7e4)∞∞∞∞∞1e50/15
SLSQP+CMA 2019-gecco-surr 4.2e5 (7e5)2.5e6 (4e6)∞∞∞∞∞2e60/15

Δ fopt
f23, 40-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 8.9 (6)9.5e6 (1e7)3.3e7 (4e7)1.2e8 (2e8)∞∞∞8e60/15
lq-CMA-ES 2019-gecco-surr 60 (48)7870 (502)5.2e4 (5e4)★3∞∞∞∞1e50/15
SLSQP+CMA 2019-gecco-surr 82 (77)9.7e6 (1e7)3.4e7 (9e7)1.2e8 (1e8)∞∞∞9e60/15

Δ fopt
f24, 40-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES 2019-gecco-surr 1.3e8 (1e8)1.3e8 (1e8)1.3e8 (9e7)1.3e8 (2e8)1.3e8 (1e8)1.3e8 (1e8)1.3e8 (7e7)1/15
lq-CMA-ES 2019-gecco-surr 1.8e6 (1e6)∞∞∞∞∞∞1e50/15
SLSQP+CMA 2019-gecco-surr 2.5e7 (2e7)∞∞∞∞∞∞9e60/15

Average runtime (aRT in number of function evaluations) divided by the respective best aRT measured during BBOB-2009 in different dimensions. This aRT ratio and, in braces as dispersion measure, the half difference between 10 and 90%-tile of bootstrapped run lengths appear for each algorithm and target, the corresponding reference aRT  in the first row. The different target ∆f-values are shown in the top row. #succ is the number of trials that reached the (final) target fopt+ 10−8. The median number of conducted function evaluations is additionally given in italics, if the target in the last column was never reached. Entries, succeeded by a star, are statistically significantly better (according to the rank-sum test) when compared to all other algorithms of the table, with p = 0.05 or p = 10−k when the number k following the star is larger than 1, with Bonferroni correction by the number of functions (24). A ↓ indicates the same tested against the best algorithm from BBOB 2009. Best results are printed in bold.
Data produced with COCO v2.3.17