A | B | C | D | E | F | G | H | I | J | K | L | M | N | O | P | Q | R | S | T | U | |
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
1 | Dataset | Delta TPC-DS 3TB | |||||||||||||||||||
2 | Cluster | 16+1 (i3.2xlarge) | |||||||||||||||||||
3 | Spark | 3.2.0 EMR | |||||||||||||||||||
4 | Warmup | No | |||||||||||||||||||
5 | |||||||||||||||||||||
6 | |||||||||||||||||||||
7 | REF | REF | REF | REF | |||||||||||||||||
8 | Delta OSS (2.0.0rc1: 2_12) Max Spark Cluster Allocation (16 executors / 8 cores / 42Gb) | Delta OSS (1.2.0: 2_12) Max Spark Cluster Allocation (16 executors / 8 cores / 42Gb) | Hudi (0.11.1, Spark Datasource) Max Spark Cluster Allocation (16 executors / 8 cores / 42Gb) MT DISABLED | Hudi (fd7d25ab63 master, Spark Datasource) Max Spark Cluster Allocation (16 executors / 8 cores / 42Gb) MT DISABLED | |||||||||||||||||
9 | Execution time (ms) | Execution time (ms) | Execution time (ms) | Execution time (ms) | |||||||||||||||||
10 | call_center | 32474 | 30512 | 15575 | 13164 | ||||||||||||||||
11 | catalog_page | 11769 | 12094 | 11749 | 10436 | ||||||||||||||||
12 | catalog_returns | 80707 | 80599 | 80033 | 84662 | ||||||||||||||||
13 | catalog_sales | 660488 | 653273 | 649076 | 690123 | ||||||||||||||||
14 | customer | 29447 | 30516 | 24921 | 26093 | ||||||||||||||||
15 | customer_address | 65984 | 66206 | 52465 | 57226 | ||||||||||||||||
16 | customer_demographics | 9286 | 8281 | 10195 | 10003 | ||||||||||||||||
17 | date_dim | 6329 | 6256 | 5776 | 6202 | ||||||||||||||||
18 | household_demographics | 4364 | 4197 | 4854 | 5249 | ||||||||||||||||
19 | income_band | 4065 | 4332 | 5048 | 5009 | ||||||||||||||||
20 | inventory | 21915 | 21670 | 40914 | 38756 | ||||||||||||||||
21 | item | 9808 | 9730 | 9675 | 8845 | ||||||||||||||||
22 | promotion | 4206 | 4155 | 4307 | 4696 | ||||||||||||||||
23 | reason | 4640 | 4470 | 4190 | 4634 | ||||||||||||||||
24 | ship_mode | 3895 | 4284 | 4064 | 4271 | ||||||||||||||||
25 | store | 4918 | 4701 | 4724 | 5126 | ||||||||||||||||
26 | store_returns | 86112 | 87231 | 101371 | 96428 | ||||||||||||||||
27 | store_sales | 800589 | 792724 | 902179 | 854555 | ||||||||||||||||
28 | time_dim | 5226 | 5335 | 5667 | 5095 | ||||||||||||||||
29 | warehouse | 4074 | 3802 | 4557 | 4186 | ||||||||||||||||
30 | web_page | 4881 | 4045 | 5253 | 4599 | ||||||||||||||||
31 | web_returns | 40050 | 39591 | 46359 | 47310 | ||||||||||||||||
32 | web_sales | 326113 | 329593 | 346340 | 331925 | ||||||||||||||||
33 | web_site | 3846 | 3354 | 5097 | 5177 | ||||||||||||||||
34 | |||||||||||||||||||||
35 | Delta (2.0.0_rc1) | Delta (1.2) | Hudi (0.11.1) | Hudi (master) | |||||||||||||||||
36 | Total | 2221 | 2208 | 2339 | 2319 | ||||||||||||||||
37 | Relative (to best) | 100.59% | 100.00% | 105.93% | 105.03% | ||||||||||||||||
38 | |||||||||||||||||||||
39 | Data Files # | 15194 | 15194 | 16,515 | 15191 | ||||||||||||||||
40 | Size (in GB) | 924.7 | 924.7 | 1000 | 924.7 | ||||||||||||||||
41 | |||||||||||||||||||||
42 | |||||||||||||||||||||
43 | |||||||||||||||||||||
44 | |||||||||||||||||||||
45 | |||||||||||||||||||||
46 | |||||||||||||||||||||
47 | |||||||||||||||||||||
48 | |||||||||||||||||||||
49 | |||||||||||||||||||||
50 | |||||||||||||||||||||
51 | |||||||||||||||||||||
52 | |||||||||||||||||||||
53 | |||||||||||||||||||||
54 | |||||||||||||||||||||
55 | |||||||||||||||||||||
56 | |||||||||||||||||||||
57 | |||||||||||||||||||||
58 | |||||||||||||||||||||
59 | |||||||||||||||||||||
60 | |||||||||||||||||||||
61 | |||||||||||||||||||||
62 | |||||||||||||||||||||
63 | |||||||||||||||||||||
64 | |||||||||||||||||||||
65 | |||||||||||||||||||||
66 | |||||||||||||||||||||
67 | |||||||||||||||||||||
68 | |||||||||||||||||||||
69 | |||||||||||||||||||||
70 | |||||||||||||||||||||
71 | |||||||||||||||||||||
72 | |||||||||||||||||||||
73 | |||||||||||||||||||||
74 | |||||||||||||||||||||
75 | |||||||||||||||||||||
76 | |||||||||||||||||||||
77 | |||||||||||||||||||||
78 | |||||||||||||||||||||
79 | |||||||||||||||||||||
80 | |||||||||||||||||||||
81 | |||||||||||||||||||||
82 | |||||||||||||||||||||
83 | |||||||||||||||||||||
84 | |||||||||||||||||||||
85 | |||||||||||||||||||||
86 | |||||||||||||||||||||
87 | |||||||||||||||||||||
88 | |||||||||||||||||||||
89 | |||||||||||||||||||||
90 | |||||||||||||||||||||
91 | |||||||||||||||||||||
92 | |||||||||||||||||||||
93 | |||||||||||||||||||||
94 | |||||||||||||||||||||
95 | |||||||||||||||||||||
96 | |||||||||||||||||||||
97 | |||||||||||||||||||||
98 | |||||||||||||||||||||
99 | |||||||||||||||||||||
100 |