Still loading...

A | B | C | D | E | F | G | H | I | J | K | L | M | N | O | P | Q | R | S | T | |
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|

1 | ||||||||||||||||||||

2 | The Maths You'll Need for MarketingExperiments | |||||||||||||||||||

3 | ||||||||||||||||||||

4 | Source: http://blog.hubspot.com/blog/tabid/6307/bid/4713/The-Math-You-Need-for-Marketing-Experiments.aspx | |||||||||||||||||||

5 | ||||||||||||||||||||

6 | Definitions | |||||||||||||||||||

7 | ||||||||||||||||||||

8 | Clicks | "Clicks" refers to the number of clicks a specific variation received over the course of a certain number of impressions (abbreviated as Imps here). If the test is a conversion-based test, "Clicks" would mean conversions and "Imps" would mean hits to the page. In general terms, I'm using the word "Clicks" to mean the desired action you're trying to increase and "Imps" as an opportunity for that action to happen. | ||||||||||||||||||

9 | Impressions | The number of visits the web page receives. Note that I say visits and not hits as per in the article. | ||||||||||||||||||

10 | Expected CTR | If you're running a test of a PPC ad you've had running for a while, you'll have a historic CTR for that ad. This is the "ExpectedCTR" for your test. If you're testing conversion rate on a previously existing conversion pathway, "ExpectedCTR" would be equal to the historic conversion rate of that pathway. If you're testing a PPC ad you've never run before, a new conversion event or a new email list you'll have to calculate the "ExpectedCTR" by taking the weighted average of CTR (or conversion rate) of the variations in your test. For example, if you're testing two email subject lines and variation A gets a CTR of 1% and variation B gets 2%, each with the same number of impressions, then your ExpectedCTR is 1.5%. | ||||||||||||||||||

11 | Expected Clicks | The "ExpectedClicks" value for each formula should be calculated by multiplying the ExpectedCTR of your test and the number of impressions the variation you're analyzing received. This will give you the number of clicks you would have expected to see for the test period. For our purposes we're assuming a few things to make the math simpler. First, we assume that the populations we're studying have a normal distribution and that differences of less than 0.5% are insignificant. | ||||||||||||||||||

12 | ||||||||||||||||||||

13 | ||||||||||||||||||||

14 | ||||||||||||||||||||

15 | ||||||||||||||||||||

16 | Your Data | |||||||||||||||||||

17 | ||||||||||||||||||||

18 | Clicks | |||||||||||||||||||

19 | Impressions | |||||||||||||||||||

20 | Expected CTR | % 1.5 | Fill this in | |||||||||||||||||

21 | 5.4 | OR CTR test A | OR fill this | |||||||||||||||||

22 | AND CTR test B | AND fill this | ||||||||||||||||||

23 | GIVES Calculated | 0 | % | TO GET this | ||||||||||||||||

24 | Expected Clicks | 0 | (Expected CTR * Impressions) | |||||||||||||||||

25 | ||||||||||||||||||||

26 | ||||||||||||||||||||

27 | ||||||||||||||||||||

28 | ||||||||||||||||||||

29 | Results | |||||||||||||||||||

30 | ||||||||||||||||||||

31 | Sample Size | 0 | required for your test | |||||||||||||||||

32 | Significant Result | |||||||||||||||||||

33 | Perason Chi-squared | #DIV/0! | #DIV/0! | |||||||||||||||||

34 | G | #DIV/0! | #DIV/0! | |||||||||||||||||

35 | ||||||||||||||||||||

36 | Too Small Sample Size - Significant Result | 1 | Test is not significant | |||||||||||||||||

37 | ||||||||||||||||||||

38 | ||||||||||||||||||||

39 | Website | http://www.webxopt.com | ||||||||||||||||||

40 | Email me with any problems | simon@webxopt.com | ||||||||||||||||||

41 | ||||||||||||||||||||

42 | ||||||||||||||||||||

43 | ||||||||||||||||||||

44 | ||||||||||||||||||||

45 | ||||||||||||||||||||

46 | ||||||||||||||||||||

47 | ||||||||||||||||||||

48 | ||||||||||||||||||||

49 | ||||||||||||||||||||

50 | ||||||||||||||||||||

51 | ||||||||||||||||||||

52 | ||||||||||||||||||||

53 | ||||||||||||||||||||

54 | ||||||||||||||||||||

55 | ||||||||||||||||||||

56 | ||||||||||||||||||||

57 | ||||||||||||||||||||

58 | ||||||||||||||||||||

59 | ||||||||||||||||||||

60 | ||||||||||||||||||||

61 | ||||||||||||||||||||

62 | ||||||||||||||||||||

63 | ||||||||||||||||||||

64 | ||||||||||||||||||||

65 | ||||||||||||||||||||

66 | ||||||||||||||||||||

67 | ||||||||||||||||||||

68 | ||||||||||||||||||||

69 | ||||||||||||||||||||

70 | ||||||||||||||||||||

71 | ||||||||||||||||||||

72 | ||||||||||||||||||||

73 | ||||||||||||||||||||

74 | ||||||||||||||||||||

75 | ||||||||||||||||||||

76 | ||||||||||||||||||||

77 | ||||||||||||||||||||

78 | ||||||||||||||||||||

79 | ||||||||||||||||||||

80 | ||||||||||||||||||||

81 | ||||||||||||||||||||

82 | ||||||||||||||||||||

83 | ||||||||||||||||||||

84 | ||||||||||||||||||||

85 | ||||||||||||||||||||

86 | ||||||||||||||||||||

87 | ||||||||||||||||||||

88 | ||||||||||||||||||||

89 | ||||||||||||||||||||

90 | ||||||||||||||||||||

91 | ||||||||||||||||||||

92 | ||||||||||||||||||||

93 | ||||||||||||||||||||

94 | ||||||||||||||||||||

95 | ||||||||||||||||||||

96 | ||||||||||||||||||||

97 | ||||||||||||||||||||

98 | ||||||||||||||||||||

99 | ||||||||||||||||||||

100 |

Loading...