Calculadora Test AB Frecuentista

	A	B	D	E	F	I	J	K
1	Cálculadora de Experimentación AB Clásica
2	Guía sobre cómo usarla:
3	Esta calculadora tiene el fín de guiar a su usuario por los pasos correctos para realizar un test AB con metodología frecuentista de tamaño muestral fijo. Está dividida en 3 pasos, identificados con el fondo amarillo. Los valores que el usuario debe modificar son aquellos que tienen fondo azul y letra en blanco. Y las celdas en verde son los resultados de cada paso. Muchas de las formulas de un paso están condicionadas a valores de pasos anteriores. Lo hice así para que se respete el orden de cada paso, ya que no respetarlo puede aumentar ampliamente las probabilidades de estar cometiendo algún error en el diseño experimental (como por ejemplo el error más común de no realizar un test de potencia previo al experimento). Por lo tanto, los pasos a seguir són: 1) Realizar el test de potencia con los parámetros definidos para el experimento y así calcular las observaciones necesarias para el mismo. 2) Lanzar el experimento con la herramienta que tengan a disposición. 3) Una vez finalizada la recolección de datos del experimento, revisar que se haya recolectado la cantidad necesaria de observaciones. En caso de que sí, evaluar el Sample Ratio Mismatch para confirmar que se haya respetado la distribución correcta del tráfico entre las variantes. 4) Si las evaluaciones del paso anterior se cumplieron correctamente, evaluar los resultados del experimento y reportar el p-value y el intervalo de confianza. La primer pestaña tiene las formulas para un Test de Proporciones (Conv Rate, CTR, etc), y la segunda para un Test de Medias (Tiempo en página Promedio, Productos agregados al carrito promedio, etc). Espero que les sea de utilidad. Cualquier feedback al respecto me pueden escribir a ezequielboehler@gmail.com y si les interesa aprender más sobre experimentación pueden pasar por mi blog: https://eboehler.com
4	Valores que debe ingresar el usuario	Resultados de cada paso	Test Invalido
5
6
7	Test de Proporciones	Ejemplos: Tasa de Conversión, CTR
8	1ª Paso:	Test de Potencia		2ª Paso	Evaluamos la recolección de datos	3º Paso	Evaluamos los resultados del experimento
9	¿Que necesitamos?			¿Que Necesitamos?		¿Que Necesitamos?
10	Métrica Base	3,00%		Cantidad de observaciones recolectadas de la Variante	4241	Probabilidad Observada de la Variante	3,99%
11	Efecto relativo minimo que nos interesa detectar	25%		Cantidad de observaciones recoelctadas del Control	4162	Probabilidad Observada del Control	3,25%
12	Tasa variante	3,75%		Cantidad de Observaciones Totales	8403	Pooled Probability	0,0362347852
13	Riesgo de cometer un error tipo 1 (alpha)	5%				Pooled Standar Deviation	0,00407737332
14	Riesgo de cometer un error tipo 2 (beta)	20%		¿Obtuvimos las observaciones necesarias?	No	Z score	1,814893908
15	Proporción de división del tráfico	1		¿Que hacemos?	Juntar más observaciones	P-Value Observado	0,070
16	Tipo de Hipótesis	Dos Colas				Resultado	No hay evidencia para rechazar la hipótesis nula
17				¿Se cumplió la proporción de divisón del tráfico? (SRM)
18	Desviacion Estandar	0,255330668		Observaciones Esperadas de la Variante	4201,5	Intervalo de Confianza del Efecto	Limite Inferior	0,7313%
19	Z Score Alpha	1,959963986		Observaciones Esperadas del Control	4201,5		Límite Superior	0,7487%
20	Z Score Beta	0,8416212327		Estadístico Variante	0,3713554683
21				Estadístico del control	0,3713554683
22	Observaciones Necesarias Para la Variante	9097		Suma de estadístico	0,7427109366
23	Observaciones Necesarias Para el Control	9097		P-value	0,38879385
24	Observaciones Totales	18194		¿Se cumplió con la proporción de tráfico?	Si se cumplió, experimento valido
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100