A | B | C | D | E | F | G | H | I | J | K | L | M | N | O | P | Q | R | S | T | U | V | W | X | Y | Z | |
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
1 | ||||||||||||||||||||||||||
2 | Quantitative Decay Analysis Sheet | Test Name #001 (Example: "Add Social Proof on Homepage" | Test Name #002 | Test Name #003 | Test Name #004 | Test Name #005 | Test Name #006 | Test Name #007 | Test Name #008 | Test Name #009 | Test Name #010 | Test Name #011 | Test Name #012 | Test Name #013 | Test Name #014 | Test Name #015 | Test Name #016 | Test Name #017 | Test Name #018 | Test Name #019 | Test Name #020 | |||||
3 | Original Test Data ››› | Started On | 01.01.2020 | |||||||||||||||||||||||
4 | Ended On | 01.02.2020 | ||||||||||||||||||||||||
5 | Affected KPI | CVR | ||||||||||||||||||||||||
6 | Baseline CVR (or target KPI) | 21.00% | ||||||||||||||||||||||||
7 | Minimum Detectable Effect | 4.00% | ||||||||||||||||||||||||
8 | Confidence Level (α) | 95% | ||||||||||||||||||||||||
9 | Statistical Power (β) | 80% | ||||||||||||||||||||||||
10 | Sample Size (per Variant) | 37,068 | ||||||||||||||||||||||||
11 | # of Variants (with Control) | 2 | ||||||||||||||||||||||||
12 | Result - Control's KPI | 22.22% | ||||||||||||||||||||||||
13 | Result - Best Variant's KPI | 22.89% | ||||||||||||||||||||||||
14 | Result - Relative KPI Uplift | 3.02% | ||||||||||||||||||||||||
15 | Test End Result | Uplift Found! | ||||||||||||||||||||||||
16 | Decay Detection Test Data ››› | Started On | 01.04.2020 | |||||||||||||||||||||||
17 | Ended On | 01.05.2020 | ||||||||||||||||||||||||
18 | Affected KPI | CVR | ||||||||||||||||||||||||
19 | Baseline CVR (or target KPI) | 21.00% | ||||||||||||||||||||||||
20 | Minimum Detectable Effect | 4.00% | ||||||||||||||||||||||||
21 | Confidence Level (α) | 95% | ||||||||||||||||||||||||
22 | Statistical Power (β) | 80% | ||||||||||||||||||||||||
23 | Sample Size (per Variant) | 37,068 | ||||||||||||||||||||||||
24 | Result - Control's KPI | 22.22% | ||||||||||||||||||||||||
25 | Result - Variant's KPI | 22.39% | ||||||||||||||||||||||||
26 | Result - Relative KPI Uplift | 0.77% | ||||||||||||||||||||||||
27 | Follow-up Test End Result | Uplift Still Found! | ||||||||||||||||||||||||
28 | ||||||||||||||||||||||||||
29 | ||||||||||||||||||||||||||
30 | ||||||||||||||||||||||||||
31 | ||||||||||||||||||||||||||
32 | ||||||||||||||||||||||||||
33 | ||||||||||||||||||||||||||
34 | ||||||||||||||||||||||||||
35 | ||||||||||||||||||||||||||
36 | ||||||||||||||||||||||||||
37 | ||||||||||||||||||||||||||
38 | ||||||||||||||||||||||||||
39 | ||||||||||||||||||||||||||
40 | ||||||||||||||||||||||||||
41 | ||||||||||||||||||||||||||
42 | ||||||||||||||||||||||||||
43 | ||||||||||||||||||||||||||
44 | ||||||||||||||||||||||||||
45 | ||||||||||||||||||||||||||
46 | ||||||||||||||||||||||||||
47 | ||||||||||||||||||||||||||
48 | ||||||||||||||||||||||||||
49 | ||||||||||||||||||||||||||
50 | ||||||||||||||||||||||||||
51 | ||||||||||||||||||||||||||
52 | ||||||||||||||||||||||||||
53 | ||||||||||||||||||||||||||
54 | ||||||||||||||||||||||||||
55 | ||||||||||||||||||||||||||
56 | ||||||||||||||||||||||||||
57 | ||||||||||||||||||||||||||
58 | ||||||||||||||||||||||||||
59 | ||||||||||||||||||||||||||
60 | ||||||||||||||||||||||||||
61 | ||||||||||||||||||||||||||
62 | ||||||||||||||||||||||||||
63 | ||||||||||||||||||||||||||
64 | ||||||||||||||||||||||||||
65 | ||||||||||||||||||||||||||
66 | ||||||||||||||||||||||||||
67 | ||||||||||||||||||||||||||
68 | ||||||||||||||||||||||||||
69 | ||||||||||||||||||||||||||
70 | ||||||||||||||||||||||||||
71 | ||||||||||||||||||||||||||
72 | ||||||||||||||||||||||||||
73 | ||||||||||||||||||||||||||
74 | ||||||||||||||||||||||||||
75 | ||||||||||||||||||||||||||
76 | ||||||||||||||||||||||||||
77 | ||||||||||||||||||||||||||
78 | ||||||||||||||||||||||||||
79 | ||||||||||||||||||||||||||
80 | ||||||||||||||||||||||||||
81 | ||||||||||||||||||||||||||
82 | ||||||||||||||||||||||||||
83 | ||||||||||||||||||||||||||
84 | ||||||||||||||||||||||||||
85 | ||||||||||||||||||||||||||
86 | ||||||||||||||||||||||||||
87 | ||||||||||||||||||||||||||
88 | ||||||||||||||||||||||||||
89 | ||||||||||||||||||||||||||
90 | ||||||||||||||||||||||||||
91 | ||||||||||||||||||||||||||
92 | ||||||||||||||||||||||||||
93 | ||||||||||||||||||||||||||
94 | ||||||||||||||||||||||||||
95 | ||||||||||||||||||||||||||
96 | ||||||||||||||||||||||||||
97 | ||||||||||||||||||||||||||
98 | ||||||||||||||||||||||||||
99 | ||||||||||||||||||||||||||
100 |