陳擎文

AB-Test範例2

評估電商網站設計ABCD的獲利成效是否有差異(3)

目標：評估電商網頁設計ABCD�的成效

• 比較4個方案：網頁設計，哪一個比較好

目標：評估電商網頁設計ABCD�的成效

• 比較4個設計方案，哪一個比較好

【範例】

A/B/C/D測試

實施步驟

情境

• 情境：
• 某電商網站希望提升產品的「購買率」，
• 想探討，哪一種網頁設計樣式，效果最好
• 平均銷售金額最高

​

步驟1. 明確測試目標

• 步驟1. 明確測試目標
• 該服飾品牌計劃針對 【16-28 歲的年輕男女】群體推廣【多個卡其服飾新品】
• 希望探討哪一種網頁設計樣式的效果較好：
• 提高【多種卡其服飾】的平均銷售金額
• 設定關鍵指標：平均銷售金額

​

2. 選擇變數�與測試AB方案

• 測試變數：
• 測試4個變數：
• 4種網頁設計樣式
• 是否影響平均銷售金額

​

• A/B/C/D 測試方案：
• A 版本（對照組）： （原始設計）
• B 版本（變異組）： （修改設計）
• C 版本（變異組）： （修改設計）
• D 版本（變異組）： （修改設計）

​

3.提出【假設命題】

• ANOVA檢定的假設（Hypothesis）：
• 命題：『這4個設計樣式』的消費金額會有差異嗎？
• 命題： 『這4個設計樣式』的消費金額，至少有2個設計樣式會有差異嗎？

3.設定【統計假設】

• 1. H0虛無假設（否定命題的假設）
• μ原本設計A = μ設計B = μ設計C = μ設計D
• �2. H1對立假設（肯定命題的假設）➜
• 至少有兩個設計樣式的平均銷售金額不同

​

4. 確定樣本大小與分組

• 樣本大小計算：
• 測試1303名訪客
• 隨機分組：
• 25% 訪客 看到 A 版。
• 25% 訪客 看到 B 版。
• 25% 訪客 看到 C 版。
• 25% 訪客 看到 D 版。
• 統計顯著性標準：
• 設定 信心水準 95%（p 值 < 0.05）。

​

5. 選擇測試工具

• 數據追蹤方式：
• 使用 Google Analytics（GA4） 記錄購買金額變化。

​

6. 執行測試

• 測試時間：
• 設定測試時間 4個月(120天)，確保數據穩定。
• 確保測試過程不受干擾：
• 不進行其他網站改版或促銷活動，避免影響測試數據。
• 期間監測：
• 每日檢查數據變化，確保沒有技術錯誤（如按鈕無法點擊、追蹤失敗）。

​

得到4組數據，�各323筆

7. 分析測試結果

• 測試結束後，計算關鍵指標：
• 這次實驗的數據
• 設計樣式1的平均消費金額=1236.931889
• 設計樣式2的平均消費金額=1240.507692
• 設計樣式3的平均消費金額=1330.206061
• 設計樣式4的平均消費金額=1256.538462

​

• 上面的這個小樣本的差異性，
• 能夠推論，未來（或母體）也是如此嗎？

​

7. 分析測試結果

• 上面的這個小樣本的的差異性，
• 能夠推論，未來（或母體）也是如此嗎？
• 方法：要先經過檢定比較，才能確定
• 方法：比較【p值 vs 信心水準】
• 統計顯著性檢測（p 值 < 0.05）：
• 所以，符合對立假設(肯定假設)：有差異（至少有2個設計樣式會有差異）

8.結論

• 結論：
• C版設計比A版原本設計，更能吸引用戶購買，
• 且數據達到統計顯著性（p < 0.05）

​

• The End

​