ABCDEFGHIJKLMNO
1
2
3
Чаще всего мы проводим АБ-тесты с помощью Visual Website Optimizer (visualwebsiteoptimizer.com). Но для этого теста по ряду причин было принято решение использовать собственную разработку для показа пользователям различных версий сайта.
Для анализа результатов мы использовали пометку пользователей в Google Analytics. Лучше всего для этого подходят customVars (https://developers.google.com/analytics/devguides/collection/gajs/gaTrackingCustomVariables), но мы используем не премиум версию Google Analytics, и все доступные слоты у нас уже использутся под другие цели. Поэтому в качестве альтернативы можно использовать функционал Ивентов (https://developers.google.com/analytics/devguides/collection/analyticsjs/events), что мы и сделали. По нашему сетапу события срабатывали на страницах, где тестировались виджеты. В дальнейшем мы сегментировали визиты по срабатыванию нужного нам события (в котором был указан номер тестового варианта сайта) и анализировали результаты.

Стоит обратить внимание на небольшой нюанс при использовании ивентов в таком кейсе. По умолчанию, если на странице сработал какой-либо ивент, GA уже не засчитает этот визит отказом даже в том случае, если пользователь покинет сайт не перейдя ни на какую другую страницу. Поскольку наши ивенты срабатывают вне зависимости от какого-либо действия, а просто вместе с загрузкой страницы (чтобы сразу пометить сессию с вариантом теста), мы могли тем самым исказить общую картинку показателй отказа на наших сайтах. Поэтому в случае такого применения ивентов лучше использовать Non-Interaction Events (https://developers.google.com/analytics/devguides/collection/gajs/eventTrackerGuide#non-interaction), чтобы не искажать данные о показателе отказов на вашем сайте. Здесь речь идет именно о фиксировании и отображении показателя отказов в Google Analytics. На проведение и на результаты тестов данный нюанс влияния не оказывает.

Фактически у нас был запущен мновариантный тест.
Например, на сайте mexx.ru у нас комбинировались различные варианты отображения виджета и знака в футере сайта и в правом блоке на страницах Корзины и Регистрации.
Вариантов в футере было всего два: либо показываем, либо не показываем виджет.
Вариантов на страницах Регистрации и Корзины было 4:
Ничего не показываем;
Показываем только Знак;
Показываем только Виджет;
Показываем одновременно Виджет и Знак.

Суммарно таким образом у нас получилось 8 различных вариантов отображения сайта.
Но для простоты и удобства анализа (чтобы не сравнивать все варианты попарно каждый с каждым) мы объединили варианты таким образом, чтобы можно было проанализировать отдельно эффект от размещения Знака и Виджета в разных местах.

Аналогичным образом тесты проводились и на других двух проектах (ALBA и Tom Tailor), с той лишь разницей, что варианты и итоговые комбинации могли немного отличаться расположением.
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100