1 of 18

陳擎文

AB-Test範例1

評估電商廣告AB的成效

2 of 18

目標:評估電商廣告AB的成效

  • 比較2個頁面設計方案
  • 是否要真人模特兒展示效果好
  • 哪一個比較好

3 of 18

說明:電商廣告投放AB

  • 1. 產品 : 多種卡其服飾
  • 2. 價格 : 800~900元
  • 3. 通路 : 服飾電商網頁
  • 4. 推廣 : Google廣告宣傳

4 of 18

【範例】

A/B測試實施步驟

5 of 18

情境

  • 情境:
    • 某電商網站希望提升多種卡其服飾購買率」,
    • 想探討,哪一種廣告圖片文案,效果最好
    • 平均銷售金額最高

6 of 18

步驟1. 明確測試目標

  • 步驟1. 明確測試目標
    • 該服飾品牌計劃針對 【16-28 歲的年輕男女】群體推廣【多個卡其服飾新品
    • 希望探討哪一種廣告的效果較好:
      • 以【人物為主角】的廣告圖
      • 還是【以服裝為焦點】的廣告圖
    • 提高【多種卡其服飾】的平均銷售金額
  • 設定關鍵指標平均銷售金額

7 of 18

2. 選擇變數�與測試AB方案

  • 測試變數:
    • 測試2個變數:
      • 以【人物為主角】的廣告圖
      • 還是【以服裝為焦點】的廣告圖
    • 是否影響平均銷售金額

  • A/B 測試方案:
    • A 版本(對照組) 【以服裝為焦點】的廣告(原始設計)
    • B 版本(變異組) 【人物為主角】的廣告(修改設計)

8 of 18

3.提出【假設】

  • 假設(Hypothesis):
    • 如果廣告圖由
      • A:以【以服裝為焦點】的廣告圖
      • 改成
      • B:【人物為主角】的廣告圖
    • 用戶更容易購買商品
    • 假設:平均銷售金額,B會大於A

9 of 18

3.提出【假設】

  • 各種的卡其服飾
  • 都使用2個設計方案:AB來測試
  • 假設:平均銷售金額,B會大於A

10 of 18

3.設定【統計假設】

  • 假設:平均銷售金額,B會大於A(B>A)
  • 轉化成:統計假設:
  • 1.H0假設(虛無假設)➜否定假設
    • 平均銷售金額,B <= A
  • 2.H1假設(對立假設)➜肯定假設
    • 平均銷售金額,B > A

11 of 18

4. 確定樣本大小與分組

  • 樣本大小計算:
    • 測試400 名訪客
  • 隨機分組:
    • 50% 訪客 看到 A 版
    • 50% 訪客 看到 B 版
  • 統計顯著性標準:
    • 設定 信心水準 95%(p 值 < 0.05)。

12 of 18

5. 選擇測試工具

  • 數據追蹤方式:
    • 使用 Google Analytics(GA4) 記錄購買金額變化

13 of 18

6. 執行測試

  • 測試時間:
    • 設定測試時間 4個月(120天),確保數據穩定。
  • 確保測試過程不受干擾:
    • 不進行其他網站改版或促銷活動,避免影響測試數據。
  • 期間監測:
    • 每日檢查數據變化,確保沒有技術錯誤(如按鈕無法點擊、追蹤失敗)。

14 of 18

得到2組數據,各120筆

15 of 18

7. 分析測試結果

  • 測試結束後,計算關鍵指標:
    • A 版本:平均購買金額467元
    • B 版本:平均購買金額514元

  • 上面的這個小樣本的B>A,
  • 能夠推論,未來(或母體)也是如此嗎?

16 of 18

7. 分析測試結果

  • 上面的這個小樣本的B>A,
  • 能夠推論,未來(或母體)也是如此嗎?
  • 方法:要先經過檢定比較,才能確定
  • 方法:比較【p值 vs 信心水準】
    • 統計顯著性檢測(p 值 < 0.05):
    • 所以,符合對立假設(肯定假設):B 版本的效果,高於 A 版本

17 of 18

8.結論

  • 結論:
    • B版設計(真人模特兒)B版本,更能吸引用戶購買,
    • 且數據達到統計顯著性(p < 0.05)

18 of 18

  • The End