A | B | C | D | E | F | G | H | I | J | K | L | M | N | O | P | Q | R | S | T | U | V | W | X | Y | Z | |
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
1 | Contact: g/chrome-benchmarking (Googler only), benchmarking-dev@chromium.org | |||||||||||||||||||||||||
2 | For adding new benchmark, also see: http://go/new-benchmark-policy | |||||||||||||||||||||||||
3 | Type | Harness | What it's used for | Status | Bugs | Documentation | Short link: http://bit.ly/chrome-benchmark-harnesses | |||||||||||||||||||
4 | User facing benchmark | system_health | For tracking all the user facing metrics on realistic user scenarios. | Ready to add more test cases. (need to check with benchmarking team on the runtime limit & supportable number of test cases) | N/A | https://chromium.googlesource.com/chromium/src/+/master/docs/speed/benchmark/harnesses/system_health.md | ||||||||||||||||||||
5 | loading | For tracking page loading performance. Support cold vs warm cache. | traffic-shaping has some bug (crbug.com/653519) | https://chromium.googlesource.com/chromium/src/+/master/docs/speed/benchmark/harnesses/loading.md | ||||||||||||||||||||||
6 | memory | For tracking memory usage of Chrome. | Need to merge the benchmarks (both mobile & desktop version) | crbug.com/713338 | https://chromium.googlesource.com/chromium/src/+/master/docs/memory-infra/memory_benchmarks.md | |||||||||||||||||||||
7 | rendering | For tracking rendering performance, include metrics such as: FrameThroughput, ExpectedQueuingTime, etc... | Need to upgrade the benchmark's metrics to TMBv2 & merge the smoothness benchmarks. | crbug.com/760553 | https://chromium.googlesource.com/chromium/src/+/master/docs/speed/benchmark/harnesses/rendering.md | |||||||||||||||||||||
8 | power | For tracking power usage of Chrome, including metrics from battor/Chrome cpu usage | Need to merge all the power benchmarks | crbug.com/737101 | https://chromium.googlesource.com/chromium/src/+/master/docs/speed/benchmark/harnesses/power_perf.md | |||||||||||||||||||||
9 | startup | For tracking latency of the browser startup | Need to redesign from ground up to: 1) Use TMBv2 metrics & system tracing 2) Support many different use cases (startup with profile/session restore, etc) | crbug.com/760498 | ||||||||||||||||||||||
10 | v8 runtime | For tracking v8’s overall performance under real world scenarios | Need to merge benchmarks. | crbug.com/775635 | ||||||||||||||||||||||
11 | media | For tracking various performance aspects of video playing in Chrome | Ready to add more test cases. Need documentation | |||||||||||||||||||||||
12 | webrtc | For tracking various performance aspects of webrtc | Ready to add more test cases. | N/A | https://chromium.googlesource.com/chromium/src/+/master/docs/speed/benchmark/harnesses/webrtc_perf.md | |||||||||||||||||||||
13 | Micro benchmark | press/cross browser | For running cross browser benchmarks such as dromaeo, speedometer, animometer, etc... | Need to merge benchmarks | crbug.com/714231, crbug.com/714239 Design: http://bit.ly/press-benchmark | http://bit.ly/press-benchmark | ||||||||||||||||||||
14 | blink_perf | For microbenchmarking web platform APIs on the full browser. Support outputting metrics based on tracing. | Ready to add more test cases. | N/A | https://chromium.googlesource.com/chromium/src/+/master/docs/speed/benchmark/harnesses/blink_perf.md | |||||||||||||||||||||
15 | C++ micro benchmark | For running tight loop microbenchmarking without the full browser | There is no supported harness yet. Teams can still add C++ micro benchmarks if the tests are fast & enabled on CQ. A good example CL is: https://codereview.chromium.org/2403923002 | chrome-core-automation@google.com may be a good owner for this | ||||||||||||||||||||||
16 | ||||||||||||||||||||||||||
17 | ||||||||||||||||||||||||||
18 | ||||||||||||||||||||||||||
19 | ||||||||||||||||||||||||||
20 | ||||||||||||||||||||||||||
21 | ||||||||||||||||||||||||||
22 | ||||||||||||||||||||||||||
23 | ||||||||||||||||||||||||||
24 | ||||||||||||||||||||||||||
25 | ||||||||||||||||||||||||||
26 | ||||||||||||||||||||||||||
27 | ||||||||||||||||||||||||||
28 | ||||||||||||||||||||||||||
29 | ||||||||||||||||||||||||||
30 | ||||||||||||||||||||||||||
31 | ||||||||||||||||||||||||||
32 | ||||||||||||||||||||||||||
33 | ||||||||||||||||||||||||||
34 | ||||||||||||||||||||||||||
35 | ||||||||||||||||||||||||||
36 | ||||||||||||||||||||||||||
37 | ||||||||||||||||||||||||||
38 | ||||||||||||||||||||||||||
39 | ||||||||||||||||||||||||||
40 | ||||||||||||||||||||||||||
41 | ||||||||||||||||||||||||||
42 | ||||||||||||||||||||||||||
43 | ||||||||||||||||||||||||||
44 | ||||||||||||||||||||||||||
45 | ||||||||||||||||||||||||||
46 | ||||||||||||||||||||||||||
47 | ||||||||||||||||||||||||||
48 | ||||||||||||||||||||||||||
49 | ||||||||||||||||||||||||||
50 | ||||||||||||||||||||||||||
51 | ||||||||||||||||||||||||||
52 | ||||||||||||||||||||||||||
53 | ||||||||||||||||||||||||||
54 | ||||||||||||||||||||||||||
55 | ||||||||||||||||||||||||||
56 | ||||||||||||||||||||||||||
57 | ||||||||||||||||||||||||||
58 | ||||||||||||||||||||||||||
59 | ||||||||||||||||||||||||||
60 | ||||||||||||||||||||||||||
61 | ||||||||||||||||||||||||||
62 | ||||||||||||||||||||||||||
63 | ||||||||||||||||||||||||||
64 | ||||||||||||||||||||||||||
65 | ||||||||||||||||||||||||||
66 | ||||||||||||||||||||||||||
67 | ||||||||||||||||||||||||||
68 | ||||||||||||||||||||||||||
69 | ||||||||||||||||||||||||||
70 | ||||||||||||||||||||||||||
71 | ||||||||||||||||||||||||||
72 | ||||||||||||||||||||||||||
73 | ||||||||||||||||||||||||||
74 | ||||||||||||||||||||||||||
75 | ||||||||||||||||||||||||||
76 | ||||||||||||||||||||||||||
77 | ||||||||||||||||||||||||||
78 | ||||||||||||||||||||||||||
79 | ||||||||||||||||||||||||||
80 | ||||||||||||||||||||||||||
81 | ||||||||||||||||||||||||||
82 | ||||||||||||||||||||||||||
83 | ||||||||||||||||||||||||||
84 | ||||||||||||||||||||||||||
85 | ||||||||||||||||||||||||||
86 | ||||||||||||||||||||||||||
87 | ||||||||||||||||||||||||||
88 | ||||||||||||||||||||||||||
89 | ||||||||||||||||||||||||||
90 | ||||||||||||||||||||||||||
91 | ||||||||||||||||||||||||||
92 | ||||||||||||||||||||||||||
93 | ||||||||||||||||||||||||||
94 | ||||||||||||||||||||||||||
95 | ||||||||||||||||||||||||||
96 | ||||||||||||||||||||||||||
97 | ||||||||||||||||||||||||||
98 | ||||||||||||||||||||||||||
99 | ||||||||||||||||||||||||||
100 |