| A | B | C | D | E | F | G | H | I | J | K | L | M | N | O | P | Q | R | S | T | U | V | W | X | Y | Z | AA | AB | AC | |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
1 | In all the tests below, record level crc checking on the new format is disabled. Batch level crc checking is enabled. | ||||||||||||||||||||||||||||
2 | Java version -- OpenJDK 1.8.0_121 | ||||||||||||||||||||||||||||
3 | |||||||||||||||||||||||||||||
4 | AWS Ubuntu 16.04 server, d2.xlarge, quad core Xeon processor, 32 GB RAM, 6TB local storage with spinning disk -- linger.ms=10000, produce, then consume. | ||||||||||||||||||||||||||||
5 | Message size (bytes) | Produce MB/s (trunk) | Produce MB/s (EOS) | Produce Delta | producer Batch size EOS / Trunk (bytes) | Total size produced/consumed (MB | Consume MB/s (Trunk) | Consume MB/s (EOS) | Consume Delta | On disk size GB (trunk) | On disk size GB (EOS) | Disk size delta | |||||||||||||||||
6 | 64 | 43.33 | 50.87 | 17.40% | 16351 / 16366 | 9765 | 141.17 | 218.97 | 55.11% | 14.62 | 11.26 | -22.98% | |||||||||||||||||
7 | 256 | 67.66 | 81.16 | 19.95% | 16226 / 16240 | 9765 | 288.31 | 320.5 | 11.17% | 10.82 | 9.93 | -8.23% | |||||||||||||||||
8 | 512 | 83.55 | 88.37 | 5.77% | 16212 / 16380 | 9765 | 347.17 | 366.37 | 5.53% | 10.17 | 9.75 | -4.13% | |||||||||||||||||
9 | |||||||||||||||||||||||||||||
10 | AWS Ubuntu 16.04 server, d2.xlarge, quad core Xeon processor, 32 GB RAM, 6TB local storage with spinning disk -- drop page caches before read, linger.ms=10000, produce, then consume. | ||||||||||||||||||||||||||||
11 | Message size (bytes) | Produce MB/s (trunk) | Produce MB/s (EOS) | Produce Delta | producer Batch size EOS / Trunk (bytes) | Total size produced/consumed (MB | Consume MB/s (Trunk) | Consume MB/s (EOS) | Consume Delta | On disk size GB (trunk) | On disk size GB (EOS) | Disk size delta | |||||||||||||||||
12 | 64 | 43.33 | 50.87 | 17.40% | 16351 / 16366 | 9765 | 104.49 | 107.58 | 2.96% | 14.62 | 11.26 | -22.98% | |||||||||||||||||
13 | 256 | 67.66 | 81.16 | 19.95% | 16226 / 16240 | 9765 | 109.47 | 161.68 | 47.69% | 10.82 | 9.93 | -8.23% | |||||||||||||||||
14 | 512 | 83.55 | 88.37 | 5.77% | 16212 / 16380 | 9765 | 140.87 | 161.03 | 14.31% | 10.17 | 9.75 | -4.13% | |||||||||||||||||
15 | |||||||||||||||||||||||||||||
16 | AWS Ubuntu 16.04 server, m1.large, dual core Xeon processor, 7.5 GB RAM, 420GB local storage with spinning disk -- linger.ms=10000, produce, then consume. | ||||||||||||||||||||||||||||
17 | Message size (bytes) | Produce MB/s (trunk) | Produce MB/s (EOS) | Produce Delta | producer Batch size EOS / Trunk (bytes) | Total size produced/consumed (MB | Consume MB/s (Trunk) | Consume MB/s (EOS) | Consume Delta | On disk size GB (trunk) | On disk size GB (EOS) | Disk size delta | |||||||||||||||||
18 | 64 | 12.75 | 12.6 | -1.18% | 16351 / 16362 | 9765 | 47.96 | 55.2 | 15.10% | 15.6 | 12.2 | -21.79% | |||||||||||||||||
19 | 256 | 26.01 | 27.05 | 4.00% | 16226 / 16240 | 9765 | 68.26 | 78.76 | 15.38% | 10.8 | 9.9 | -8.33% | |||||||||||||||||
20 | 512 | 30.81 | 31.74 | 3.02% | 16212 / 16380 | 9765 | 77.21 | 80.23 | 3.91% | 10.17 | 9.76 | -4.03% | |||||||||||||||||
21 | |||||||||||||||||||||||||||||
22 | AWS Ubuntu 16.04 server, m1.large, dual core Xeon processor, 7.5 GB RAM, 420GB local storage with spinning disk -- 2.5GB log (fits in memory), linger.ms=10000, produce, then consume. | ||||||||||||||||||||||||||||
23 | Message size (bytes) | Produce MB/s (trunk) | Produce MB/s (EOS) | Produce Delta | producer Batch size EOS / Trunk (bytes) | Total size produced/consumed (MB | Consume MB/s (Trunk) | Consume MB/s (EOS) | Consume Delta | On disk size GB (trunk) | On disk size GB (EOS) | Disk size delta | |||||||||||||||||
24 | 256 | 23.15 | 23.95 | 3.46% | 16226 / 16240 | 2441 | 115.33 | 130.65 | 13.28% | 2.72 | 2.48 | -8.82% | |||||||||||||||||
25 | 512 | 27.8 | 27.52 | -1.01% | 16212 / 16380 | 2441 | 134.35 | 144.72 | 7.72% | 2.55 | 2.44 | -4.31% | |||||||||||||||||
26 | |||||||||||||||||||||||||||||
27 | Ubuntu 16.04 server (7200 rpm Spinning disk, dual core i3, 8GB ram) -- produce first, then consume from the beginning | ||||||||||||||||||||||||||||
28 | Message size (bytes) | Produce MB/s (trunk) | Produce MB/s (EOS) | Produce Delta | Batch size EOS (bytes) | Total size produced/consumed (MB | Consume MB/s (Trunk) | Consume MB/s (EOS) | Consume Delta | On disk size GB (trunk) | On disk size GB (EOS) | Disk size delta | |||||||||||||||||
29 | 64 | 30.11 | 47.39 | 57.39% | 16351 | 9765 | 41.1 | 49.87 | 21.34% | ||||||||||||||||||||
30 | 128 | 40 | 49.41 | 23.53% | 16218 | 9765 | 47.9 | 65.45 | 36.64% | 13.3 | 10.28 | -22.71% | |||||||||||||||||
31 | 256 | 48.81 | 48.16 | -1.33% | 16226 | 9765 | 54.76 | 55.09 | 0.60% | ||||||||||||||||||||
32 | 512 | 52.85 | 55.76 | 5.51% | 16212 | 9765 | 58.3 | 61.17 | 4.92% | ||||||||||||||||||||
33 | 1024 | 56.56 | 59.04 | 4.38% | 15556 | 9765 | 63.13 | 67.65 | 7.16% | ||||||||||||||||||||
34 | 2048 | 68.43 | 64.08 | -6.36% | 14460 | 9765 | 62.37 | 64.18 | 2.90% | ||||||||||||||||||||
35 | |||||||||||||||||||||||||||||
36 | Ubuntu 16.04 server (7200 rpm disk, dual core i3, 8GB ram) -- simultaneous produce and consume | ||||||||||||||||||||||||||||
37 | Message size (bytes) | Produce MB/s (trunk) | Produce MB/s (EOS) | Produce Delta | Batch size EOS (bytes) | Total size produced/consumed (MB | Consume MB/s (Trunk) | Consume MB/s (EOS) | Consume Delta | ||||||||||||||||||||
38 | 128 | 27.51 | 32.69 | 18.83% | 16281 | 9765 | 27.08 | 32.93 | 21.60% | ||||||||||||||||||||
39 | 256 | 35.56 | 38.85 | 9.25% | 9765 | 35.89 | 39.18 | 9.17% | |||||||||||||||||||||
40 | 512 | 36.01 | 38.74 | 7.58% | 16212 | 9765 | 36.57 | 39.66 | 8.45% | ||||||||||||||||||||
41 | |||||||||||||||||||||||||||||
42 | Ubuntu 16.04 server (7200rpm disk, dual core i3, 8GB RAM) -- using english dictionary of 400k words and snappy compression. Simultaneous produce and consume | ||||||||||||||||||||||||||||
43 | Num Records | Produce MB/s (trunk) | Produce MB/s (EOS) | Produce Delta | Batch Size EOS (bytes) | Total size produced/consumed MB | Consumed MB/s (trunk) | Consumeb MB/s (EOS) | Consume Delta | On disk size GB (trunk) | On disk size GB (EOS) | Disk size Delta | |||||||||||||||||
44 | 100000000 | 4.34 | 5.79 | 33.41% | 903 | 4.49 | 5.93 | 32.07% | 2.5 | 1.55 | -38.00% | ||||||||||||||||||
45 | |||||||||||||||||||||||||||||
46 | Ubuntu 16.04 server (7200rpm disk, dual core i3, 8GB RAM) -- With linger.ms set to 10000ms, produce first and then consume | ||||||||||||||||||||||||||||
47 | Message size (bytes) | Produce MB/s (trunk) | Produce MB/s (EOS) | Produce Delta | Batch size EOS / Trunk(bytes) | Total size produced/consumed (MB | Consume MB/s (Trunk) | Consume MB/s (EOS) | Consume Delta | On disk size GB (trunk) | On disk size GB (EOS) | Disk size delta | |||||||||||||||||
48 | 64 | 28.1 | 44.59 | 58.68% | 41.26 | 48.9 | 18.52% | 14.6 | 11 | -24.66% | |||||||||||||||||||
49 | 128 | 39.7 | 48.81 | 22.95% | 16281 | 9765 | 56.78 | 59.93 | 5.55% | 13.07 | 10.28 | -21.35% | |||||||||||||||||
50 | 256 | 50.54 | 56.09 | 10.98% | 16226 | 9765 | 62.65 | 66.51 | 6.16% | ||||||||||||||||||||
51 | 512 | 55.99 | 60.89 | 8.75% | 16212 / 16380 | 9765 | 60.21 | 70 | 16.26% | 10.17 | 9.75 | -4.13% | |||||||||||||||||
52 | |||||||||||||||||||||||||||||
53 | |||||||||||||||||||||||||||||
54 | |||||||||||||||||||||||||||||
55 | |||||||||||||||||||||||||||||
56 | |||||||||||||||||||||||||||||
57 | |||||||||||||||||||||||||||||
58 | |||||||||||||||||||||||||||||
59 | |||||||||||||||||||||||||||||
60 | |||||||||||||||||||||||||||||
61 | |||||||||||||||||||||||||||||
62 | |||||||||||||||||||||||||||||
63 | |||||||||||||||||||||||||||||
64 | |||||||||||||||||||||||||||||
65 | |||||||||||||||||||||||||||||
66 | |||||||||||||||||||||||||||||
67 | |||||||||||||||||||||||||||||
68 | |||||||||||||||||||||||||||||
69 | |||||||||||||||||||||||||||||
70 | |||||||||||||||||||||||||||||
71 | |||||||||||||||||||||||||||||
72 | |||||||||||||||||||||||||||||
73 | |||||||||||||||||||||||||||||
74 | |||||||||||||||||||||||||||||
75 | |||||||||||||||||||||||||||||
76 | |||||||||||||||||||||||||||||
77 | |||||||||||||||||||||||||||||
78 | |||||||||||||||||||||||||||||
79 | |||||||||||||||||||||||||||||
80 | |||||||||||||||||||||||||||||
81 | |||||||||||||||||||||||||||||
82 | |||||||||||||||||||||||||||||
83 | |||||||||||||||||||||||||||||
84 | |||||||||||||||||||||||||||||
85 | |||||||||||||||||||||||||||||
86 | |||||||||||||||||||||||||||||
87 | |||||||||||||||||||||||||||||
88 | |||||||||||||||||||||||||||||
89 | |||||||||||||||||||||||||||||
90 | |||||||||||||||||||||||||||||
91 | |||||||||||||||||||||||||||||
92 | |||||||||||||||||||||||||||||
93 | |||||||||||||||||||||||||||||
94 | |||||||||||||||||||||||||||||
95 | |||||||||||||||||||||||||||||
96 | |||||||||||||||||||||||||||||
97 | |||||||||||||||||||||||||||||
98 | |||||||||||||||||||||||||||||
99 | |||||||||||||||||||||||||||||
100 |