BTB Benchmark Results

	A	B	C	D	E	F	G	H
1	Number of Wins (with ties)
2	tuner	0.4.0	0.3.12	0.3.11	0.3.10	0.3.9	0.3.8	0.3.7
3	Ax.optimize	175	220	237	185	177	N/E	N/E
4	BTB.GCPEiTuner	136	139	N/E	N/E	N/E	N/E	N/E
5	BTB.GCPTuner	172	252	N/E	N/E	N/E	N/E	N/E
6	BTB.GPEiTuner	178	208	233	233	265	279	35
7	BTB.GPTuner	168	213	235	232	296	291	33
8	BTB.UniformTuner	175	177	197	200	204	206	29
9	HyperOpt.tpe	169	186	206	213	241	253	32
10	SMAC.HB4AC	163	180	192	187	N/E	N/E	N/E
11	SMAC.SMAC4HPO_EI	168	220	241	246	N/E	N/E	N/E
12	SMAC.SMAC4HPO_LCB	173	205	222	229	N/E	N/E	N/E
13	SMAC.SMAC4HPO_PI	176	221	241	238	N/E	N/E	N/E
14	skopt.EI	44	N/E	N/E	N/E	N/E	N/E	N/E
15	skopt.LCB	40	N/E	N/E	N/E	N/E	N/E	N/E
16	skopt.PI	37	N/E	N/E	N/E	N/E	N/E	N/E
17	skopt.gp_hedge	40	N/E	N/E	N/E	N/E	N/E	N/E
18
19	Number of Wins (exclusive)
20	tuner	0.4.0	0.3.12	0.3.11	0.3.10	0.3.9	0.3.8	0.3.7
21	Ax.optimize	21	32	39	5	7	N/E	N/E
22	BTB.GCPEiTuner	0	2	N/E	N/E	N/E	N/E	N/E
23	BTB.GCPTuner	21	90	N/E	N/E	N/E	N/E	N/E
24	BTB.GPEiTuner	24	16	19	29	55	67	7
25	BTB.GPTuner	17	24	26	27	86	73	8
26	BTB.UniformTuner	20	1	2	9	13	11	2
27	HyperOpt.tpe	16	6	11	15	44	50	5
28	SMAC.HB4AC	11	4	1	2	N/E	N/E	N/E
29	SMAC.SMAC4HPO_EI	16	31	36	43	N/E	N/E	N/E
30	SMAC.SMAC4HPO_LCB	22	16	17	28	N/E	N/E	N/E
31	SMAC.SMAC4HPO_PI	21	35	37	41	N/E	N/E	N/E
32	skopt.EI	28	N/E	N/E	N/E	N/E	N/E	N/E
33	skopt.LCB	28	N/E	N/E	N/E	N/E	N/E	N/E
34	skopt.PI	23	N/E	N/E	N/E	N/E	N/E	N/E
35	skopt.gp_hedge	28	N/E	N/E	N/E	N/E	N/E	N/E
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100