ABCDEFGHIJKLMNOPQRSTUVWXYZAAABACADAEAFAG
1
Чеклист полного цикла А/Б эксперимента
2
Чеклист отлично работает в паре сШаблоном Проведения А/Б Эксперимента
3
4
Если хочешь структурировать свои знания по АБ ->Авторский Курс по А/Б Тестированию
5
6
Больше полезного по АБ в моем Телеграм-канале ->No Data No Growth
7
Апдейты для чеклиста v.2:
8
№Пункт чек-листаCheckКомментарий
9
Бизнес-аспекты эксперимента
- добавить риски в бизнесовую часть
10
1 Обозначена проблематика
- объединить этапы проведения в группы
11
2 Сформулирована продуктовая гипотеза
- риски остаются и в дизайне
12
3 Есть понимание масштаба и направления изменения ключевой метрики
- обозначить ограничения в бизнес-части
13
4 Есть оценка экономической целесообразности изменения (посчитана точка безубыточности)
- репрезентативность на этапе бизнеса (?)
14
5 Есть оценка рисков
15
6 Есть оценка ограниченией
16
7 Есть понимание, что нужен именно А/В-тест
17
8 Есть понимание, какой именно нужен эксперимент (учтен сетевой эффект, оффлайн, и т. д.)
18
9 Сформулирован бизнесовый критерий успеха
19
10 Составлен бизнесовый action-plan
20
Дизайн эксперимента
21
Подготовка
22
11 Изучены макеты продуктового изменения
23
12 Изучена техническая реализация изменения
24
13 Заведены все необходимые события для логирования
25
Сплитование
26
14 Четко определен сегмент эксперимента и его ограничения
27
15 Указан способ формирования (например, по юзерам) и балансировки выборки (на какой слой, слот)
28
16 Нет вероятности пересечений и конфликтов с другими экспериментами
29
Метрики и риски
30
17 Определена ключевая метрика, связанная с гипотезой
31
18 Подобраны прокси-метрики (если нужно)
32
19 Есть оценка рисков эксперимента
33
20 Подобраны заградительные метрики (которые не хотим просадить)
34
21 Подобраны информационные метрики (не влияющие на решения, но которые хотелось бы посмотреть)
35
22 Четко обозначены красные линии эксперимента для остановки эксперимента
36
Статистика
37
23 Выбран статистические критерии для каждой метрики
38
24 Отношение групп и механизм раскатки подобраны оптимально (90/10, 50/50 и т. д.)
39
25 Для метрик оптимально подобран MDE, определены альфа и бета, посчитаны размер выборки
40
26 Определена длительность эксперимента
41
Поправки
42
27 Учли эффект новизны и сопротивления новому
43
28 Учли возможность подглядывание в тесте
44
29 Учли внутренняя сезонность
45
30 Учли окно конверсии
46
31 Учли потенциальные выбросы
47
32 Учли поправки на множественное сравнение
48
Ускорение
49
33 Определено, нужно ли ускорение теста или повышение чувствительности теста
50
34 Подобранные прокси метрики дают достаточную чувствительность
51
35 Четко определили каким способом будем ускорять тест
52
Проверки
53
36 Критерий проверен на исторических данных (симуляция 1000 A/A-тестов для каждой новой метрики)
54
37 Изменение технически реализовано так, как было заявлено
55
38 Продукт прошел тестирование пользовательских сценариев изменения перед выкладкой
56
39 На момент запуска и проведения не будет пересечений и конфликтов с другими экспериментами
57
Финал
58
40 Action plan уточнен с учетом метрик
59
41 Всех стейкхолдеров устраивает дизайн (особенно: длительность, метрики, MDE, риски)
60
Проведение эксперимента
61
Запуск
62
42 Нововведение технически работает как надо
63
43 Проверена корректность логирования
64
44 Нет проблем в репрезентативности
65
45 Нет несоответствия в соотношении выборок (SRM)
66
46 Нет резкого падения или роста в метриках
67
47 Нет перетекания пользователей между группами
68
Проведение
69
48 Нет проблем в репрезентативности
70
49 Нет несоответствия в соотношении выборок (SRM)
71
50 В динамике поведения метрик нет странностей
72
51 Нет перетекания пользователей между группами
73
52 Проведена проверка появления эффектов новизны и сопротивления новому. Проработано их влияние
74
53 Эксперимент не останавливался без сбоя
75
Подведение итогов по эксперименту
76
54 Все пункты из «проведения» теста
77
55 Определены стат. значимые изменения метрик
78
56 Есть четкие ответы по первоначальной гипотезе
79
57 Есть понимание, как результаты соотносятся с другими тестами и видением продукта
80
58 Емко сформулированы и зафиксированы результаты
81
59 Оглашены результаты, проведена презентация
82
60 Есть не только выводы, но и конкретные предложения по дальнейшим действиям
83
Завершение эксперимента
84
61 Выполнен первоначальный action план – эксперимент раскатили или откатили
85
62 Результаты теста внесены в базу знаний
86
63 Поставлены задачи на выпил эксперимента из кода продукта
87
64 После раскатки метрики ведут себя как ожидалось
88
89
90
91
92
93
94
95
96
97
98
99
100