Calculadora para testes online
 Share
The version of the browser you are using is no longer supported. Please upgrade to a supported browser.Dismiss

View only
 
ABCDEFGHIJKLMNOPQRSTUVWXYZ
1
Autor
2
Henrique Freitas Souza
3
https://www.linkedin.com/in/henriquefreitassouza/
4
http://www.henriquefreitas.com.br
5
6
Sumário
7
Não é comum que, em uma mesma calculadora, estejam dispostos cálculos para significância estatística, tamanho de amostra e duração do teste. Fiz desta forma para fins didáticos mas a calculadora pode ser usada com projetos reais. Note que o tamanho de amostra difere de outras ferramentas e isso acontece porque eu não uso a regra dos 16 (ver a fórmula de Lehr), em que assume-se 80% de poder estatístico e 95% de significância estatística. Além disso, calculadoras como a do Optimizely assumem poder estatístico de 100%, o que interfere no tamanho da amostra. Cálculos podem ser feitos com uma ou duas caudas e há diferentes opções de poder estatístico, novamente, para fins didáticos. A larga maioria das ferramentas e calculadoras assume 80% de poder estatístico. Quando há mais de duas variações eu aplico a correção de Bonferroni, que ajusta o alfa conforme o aumento do erro que múltiplas variações causam. Quanto ao número de variações, geralmente as calculadoras mostram duas pois as diferenças são sempre computadas em relação ao grupo de controle.Se o teste é multivariável, o projetista compara cada tratamento com o controle colocando as informações de cada tratamento na calculadora.
8
9
Como usar a calculadora
10
Selecione o número de variações que o teste terá
11
Informe se o teste deve ter uma ou duas caudas (em outras palavras, se você quer detectar performances positivas e negativas no teste ou apenas as positivas)
12
Escolha o nível de significância estatística (ou a probabilidade de corretamente rejeitar a hipótese nula)
13
Escolha o poder estatístico (ou a probabilidade de corretamente encontrar o tamanho do efeito esperado)
14
Informe a taxa de conversão atual da página a ser testada
15
Informe o tamanho da diferença entre as variações que você quer ver
16
Informe a média diária de visitas no site (pode ser usuários únicos ou sessões)
17
18
Com estas configurações, será informado o tamanho da amostra por variação, o tamanho de amostra total e o número estimado de dias para o teste. Ao longo dos dias, atualize o número de acessos a página e o número de conversões para que os demais cálculos sejam feitos e a significância estatística seja computada apropriadamente.
19
20
A calculadora informa se a significância estatística foi atingida para o tamanho de amostra e número de conversões informado, o intervalo de confiança para a taxa de conversão média e se é possível parar o teste ou não. A possibilidade de parar o teste é determinada pelo tamanho da amostra e se todas as variações possuem diferença estatisticamente significante em relação ao grupo de controle. O valor é apenas um guia.
21
22
Para entender com mais detalhes o funcionamento da calculadora, leia o post sobre ela em meu blog
23
https://henriquefreitassouza.github.io/growth/2017/12/06/calculadora-significancia-estatistica.html
24
25
Caso tenha dúvidas sobre o significado dos termos estatísticos, leia minha série de posts sobre o assunto
26
https://henriquefreitassouza.github.io/growth/2017/11/22/estatistica-em-testes-para-nao-matematicos-parte-1.html
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
Loading...