陳擎文

AB-Test的重要性(1)

目標

• A/B測試
• 是一種廣泛應用於知名企業的數據驅動方法
• 用於比較兩個版本（A和B）的【產品、行銷活動、網頁設計、應用程式】
• 以確定哪個版本比較好
• 比較目標，例如：
• 轉換率、
• 用戶參與度
• 收入

範例1

• 比較
• 2個方案
• 網頁設計
• 哪一個比較好

範例2

• 比較2個方案
• 【是否要加上倒數時間】
• 哪一個比較好

範例3

• 比較2個頁面設計方案
• 【是否模特兒的圖片要放大】
• 哪一個比較好

範例4

• 比較2個頁面設計方案
• 【男性/女性模特兒的促銷效果】
• 哪一個比較好

範例5

• 比較2個頁面設計方案
• 【是否要真人模特兒展示效果好】
• 哪一個比較好

A/B 測試的基本概念

對照組，Control Group

實驗組，Variant Group

A/B 測試的基本概念

1. 變數設定（A vs. B）
1. A 組（對照組，Control Group）：舊版本，通常是現有版本，代表未進行修改的狀態。
2. B 組（實驗組，Variant Group）：新版本，包含某些改變（例如不同顏色的按鈕、新的標題、不同的廣告設計等）

​

​

A/B 測試的評比

評比的關鍵指標

A/B 測試的評比�比較關鍵指標

1. A/B 測試的評比
• 將用戶隨機分配到不同體驗的頁面，
• 然後計算關鍵指標（例如轉換率，比較誰的轉換率更高）
2. 關鍵指標：
• 觀看廣告停留時間
• 加入購物車次數
• 購買次數
• 轉換率

​

​

行銷漏斗的轉換率

• 行銷漏斗模型
• The Marketing Funnel

評估指標在漏斗的位置

評估指標在漏斗的位置

• 轉換率的計算（每2個階段之間的人數相除）

知名企業，國際大廠使用A/B的情況

知名企業，國際大廠�使用A/B的情況

• 微軟 Bing 如何利用 A/B 測試或線上實驗進行產品優化
• 根據哈佛商業評論 (HBR) 2017年9月的文章
• 微軟的Bing每月進行數十次A/B測試改進，
• 平均提升轉換率 10%~25%。

​

• 這不僅展示了 A/B 測試在搜尋引擎中的實際應用，
• 也凸顯了數據驅動方法對商業成功的關鍵作用

​

知名企業，國際大廠�使用A/B的情況

• 國際大廠：
• 微軟、Amazon、Facebook 、 Google
• 廣泛運用 A/B 測試：
• 透過實驗驗證不同A/B方案的成效，
• 進而提升轉換率。
• 測試範圍涵蓋：
• 畫面設計使用者介面（UI）的調整、
• 搜尋引擎演算法的優化、
• 廣告演算法的優化、
• 個性化推薦系統的強化

​

1. Google – 搜尋結果與廣告優化

• 應用範圍：
• Google 利用 A/B 測試來優化【搜尋結果頁面、廣告投放及用戶體驗】
• 透過 A/B 測試，Google 會比較【不同的搜尋排名算法、頁面設計和廣告格式】對使用者行為的影響。
• 案例：
• Google 曾測試 41 種不同藍色的超連結顏色，最終選擇轉化率最高的顏色，據報導每年因此額外獲得數百萬美元的收入。
• Google Ads 的競價機制也是透過 A/B 測試來調整不同廣告展示方式，以提升點擊率（CTR）

​

2. Amazon – 電商轉換率與推薦系統

• 應用範圍：
• 亞馬遜使用 A/B 測試來【最佳化產品頁面、購物流程、價格設定、推薦演算法】。
• 案例：
• 「一鍵購買（1-Click）」按鈕 是經過大量 A/B 測試後推出的功能，減少結帳流程的步驟，提高轉化率。
• Amazon 也透過 A/B 測試來優化 「顧客也購買」 產品推薦系統，以提升交叉銷售（cross-selling）。

​

3. Facebook – 介面設計與使用者互動

• 應用範圍：
• Facebook 會對【不同的 UI/UX 】變更進行 A/B 測試，以確保新功能對用戶體驗有正面影響。
• 例如：測試【不同的 新聞動態排序方式】 來提升使用者參與度。
• 案例：
• Facebook 在開發「按讚（Like）」按鈕時，透過 A/B 測試來比較不同版本的互動率，最終決定最受用戶喜愛的設計。
• 「反應表情（Reactions）」的推出也是經過大量 A/B 測試，以確保它比單純的「讚」按鈕更能提升用戶參與度。

​

5. Airbnb – 訂單轉換率與用戶信任機制

• 應用範圍：
• Airbnb 透過 A/B 測試來提升房源的轉換率，例如【照片品質、評價系統、房東信任度】等。
• 案例：
• 房源照片質量提升：Airbnb 測試過是否由專業攝影師拍攝的房源照片會提高預訂率，結果顯示專業照片的房源比一般用戶上傳的照片預訂率高出 40%。
• 價格推薦：Airbnb 測試動態定價系統，推薦給房東最具競爭力的價格來提高預訂率。

​

A/B 測試已成為這些知名企業的核心策略

A/B 測試已成為這些知名企業的核心策略

• 這些案例顯示 A/B 測試能夠幫助企業在數據驅動的決策中持續【優化產品，提升轉化率，用戶滿意度】
• 提升用戶體驗（Facebook、Spotify、Netflix）
• 優化銷售轉換率（Amazon、Airbnb）
• 改進廣告與推薦系統（Google、Amazon、Netflix）
• 提升APP使用率與互動（Uber、Facebook）

​

在企業管理的哪些領域已經使用到A/B測試？

1.數位行銷（Digital Marketing）

• A/B 測試在數位行銷領域應用廣泛，提高【廣告成效、用戶轉換率，互動率】
• 應用場景：
• 電子郵件行銷（Email Marketing）
• 測試：不同的標題、內容、CTA（Call-to-Action）按鈕、發送時間，對開信率與點擊率的影響。
• 廣告投放（Online Ads）
• 在 Google Ads、Facebook Ads 等平台測試：不同的廣告標題、圖片、文案，找出最佳廣告版本。
• 社群媒體行銷（Social Media Marketing）
• 測試：不同的貼文格式（純文字、圖片、影片）對用戶參與度（按讚、分享、留言）的影響。

​

2. 金融與保險（Finance & Insurance）

• A/B 測試在金融與保險業中主要用於，提升【客戶轉換率、優化定價策略，提升風險管理效率】
• 應用場景：
• 信用卡與貸款申請：測試：不同的信用卡推廣方案（如現金回饋 vs. 旅遊點數）對申請量的影響。
• 保險產品推薦：測試：不同的保險產品介紹方式是否能增加投保率。
• 詐欺偵測：測試：不同的風控機制是否能有效降低金融詐騙的風險

​

3. 人力資源與招聘（HR & Recruitment）

• A/B 測試可用於提升【求職者體驗、優化人才招聘流程，提高內部員工參與度】
• 應用場景：
• 求職網站優化：測試：不同的履歷模板或推薦機制對求職成功率的影響。
• 公司內部培訓：測試：線上 vs. 線下培訓課程對於員工學習成效的影響。
• 員工福利：測試：不同的獎勵制度（如績效獎金 vs. 額外假期）對於員工滿意度的影響。

​

4. 電子商務（E-commerce）

• A/B 測試可幫助
• 電商平台優化產品展示方式、
• 促銷活動和購物流程，
• 以提高銷售轉換率。
• 應用場景：
• 產品頁面優化：測試：【不同的產品圖片、描述、標價方式】對於購買決策的影響。
• 價格與折扣策略：測試：【不同的折扣方式（滿額折扣 vs. 百分比折扣）】對消費者購買行為的影響。
• 結帳流程優化：測試：【是否簡化結帳流程（提供一鍵結帳、Apple Pay、Google Pay）】能夠提升轉化率

​

5. 網站與APP應用程式優化�（Web & App Optimization）

• A/B 測試可幫助企業：
• 優化網站設計、
• 提升使用者體驗（UX）
• 提升轉化率。
• 應用場景：
• 登陸頁面（Landing Pages）：測試：【不同的按鈕顏色、標題、圖片、布局】對於點擊率和轉換率的影響。
• 網站導航與使用者體驗（User Experience, UX）：測試：【不同的網站結構、搜尋功能、購物流程】對用戶留存的影響。
• APP 介面（Mobile Apps）：測試：【不同的 UI 設計、功能放置位置】，以提升用戶操作體驗和留存率

​

6. 遊戲產業（Gaming Industry）

• A/B 測試可幫助遊戲開發者：
• 提升玩家體驗、
• 增加留存率和收入。
• 應用場景：
• 遊戲內購買（In-game Purchases）：測試：【不同的道具價格，與促銷方式】對於玩家消費行為的影響。
• 遊戲難度調整：測試：【關卡設計（敵人強度、獎勵機制）】是否影響玩家的遊戲體驗與留存率。
• 廣告展示：測試：【遊戲內插播廣告的頻率與類型】，避免影響玩家體驗的同時提高收益。

​

7. 教育與線上學習（EdTech）

• A/B 測試在教育領域可用來：
• 提升學生參與度、
• 優化學習平台
• 提升課程轉換率。
• 應用場景：
• 課程推薦：測試：【不同的課程推薦機制（如 AI 推薦 vs. 人工推薦）】對學生報名率的影響。
• 學習內容呈現方式：測試：【影片 vs. 互動式模擬】對學生學習效果的影響。
• 測驗與評估：測試：【不同的測驗模式（選擇題 vs. 實作題）】是否更能提高學習成效。

​

評比關鍵指標的誤區

比較2個頁面設計方案的A/B測試�結果：測試各5000客戶，右邊購買次數高

• 【是否真人模特兒展示的效果比較好？】
• 哪一個比較好
• 未來也是如此嗎？

​

未來也是右邊比較好嗎？

未來也是右邊比較好嗎？

• 若是未來要保證【也是右邊比較好】的前提是：
• 必須在統計學上：符合檢定【母體】樣本，都是【右邊比較高】
• 因為要確定是母體的結果也是如此
• 就必須要做【統計檢定】
• 【統計檢定】通過了，就保證在【母體上】符合這個結論
• 那麼，未來的測試，也會成功達成預期目標

未來也是右邊比較好嗎？

• 如果沒有經過檢定，
• 單看這次實驗的結果
• 右邊1200次>左邊1100次
• 只能夠保證：這次的小樣本的結果是這樣子的
• 但是
• 未來，無法保證
• 除非
• 通過，檢定

未來也是右邊比較好嗎？

• 理工科學生的論文結論：
• 很多都是不正確的
• 因為
• 他們只是這次實驗的結果
• 不代表未來都是如此
• 除非他們有做檢定
• 但是
• 幾乎大多數的理工科論文的結果/結論，都沒有經過檢定

• 小樣本的實驗
• 無法代表母體（未來）

​

• 因為，裡面會有很多誤差導致目前的結果

​

正確的A/B測試

實施步驟

正確的A/B測試實施步驟

正確的A/B測試實施步驟

• 1.明確測試目標（如提升轉換率、點擊率）
• 2.選擇變數與測試方案（如按鈕顏色、標題文案）
• 3.確定樣本大小與分組（確保隨機性與統計顯著性）
• 4.選擇測試工具（Google Optimize、Optimizely 等）
• 5.執行測試（確保測試時間足夠，避免干擾因素）
• 6.分析測試結果（檢查統計顯著性，確保數據可靠）
• 7根據結果執行最佳版本（持續優化，提高績效）

​

【範例】

A/B測試實施步驟

舉例

• 情境：
• 某電商網站希望提升「購物車轉換率」，
• 即讓更多用戶從商品頁面點擊「加入購物車」按鈕，
• 進而提高銷售額。

​

步驟1. 明確測試目標

• 步驟1. 明確測試目標
• 提升「加入購物車」按鈕的點擊率（CTR），
• 進而增加購物轉換率（Conversion Rate）

​

2. 選擇變數與測試方案

• 測試變數：
• 測試「加入購物車」按鈕的顏色是否影響點擊率。

​

• A/B 測試方案：
• A 版本（對照組）：按鈕顏色為 藍色（原始設計）。
• B 版本（變異組）：按鈕顏色改為 橘色（假設橘色更能吸引注意力）

​

3.提出【假設】

• 假設（Hypothesis）：
• 如果按鈕顏色由藍色改為橘色，
• 用戶更容易注意到「加入購物車」按鈕，預計點擊率將提升

4. 確定樣本大小與分組

• 樣本大小計算：
• 使用 A/B 測試樣本計算工具（如 Optimizely、Google Optimize）計算樣本數。
• 依據目前流量，確定測試至少需要 20,000 名訪客 才能達到統計顯著性。
• 隨機分組：
• 50% 訪客 看到 A 版（藍色按鈕）。
• 50% 訪客 看到 B 版（橘色按鈕）。
• 統計顯著性標準：
• 設定 信心水準 95%（p 值 < 0.05）。

​

5. 選擇測試工具

• 測試平台：
• Google Optimize（免費，適用於網站測試）。
• Optimizely（進階版，可設定更多變數）。
• VWO（Visual Website Optimizer）（可追蹤用戶行為）。
• 數據追蹤方式：
• 使用 Google Analytics（GA4） 記錄點擊率變化。
• 監測「購物車轉換率」變化。

​

6. 執行測試

• 測試時間：
• 設定測試時間 2 週，確保數據穩定。
• 確保測試過程不受干擾：
• 不進行其他網站改版或促銷活動，避免影響測試數據。
• 期間監測：
• 每日檢查數據變化，確保沒有技術錯誤（如按鈕無法點擊、追蹤失敗）。

​

7. 分析測試結果

• 測試結束後，分析關鍵指標：
• A 版本（藍色）：點擊率 5.2%
• B 版本（橘色）：點擊率 7.8%
• 統計顯著性檢測（p 值 < 0.05）：
• B 版本按鈕的點擊率顯著高於 A 版本。
• 轉換率（購物車轉化率）亦有提升 6%。

8.結論

• 結論：
• 橘色按鈕比藍色按鈕 更能吸引用戶點擊，
• 且數據達到統計顯著性（p < 0.05）

​

【CP值】

這門課的價值

【CP值】這門課的價值

• A/B測試，是系上學姐到業界做行銷工作，業界用到的技術，來問老師
• 但目前關於A/B測試的教學，
• 都只有講概念，沒有實作
• 大都是外文教學
• 找不到SPSS的範例教學
• 實際A/B測試的範例的其它方法教學，也很少

【CP值】這門課的價值

• 本課程的A/B測試教學特色：
• 講概念，也有實作
• 中文教學
• 三種實作方式：
• SPSS軟體操作（國內外少有的SPSS範例）
• python程式解析
• ChatGPT量化分析
• 多個實際的A/B測試範例

老師授課的CP值排行

• 1. A/B測試實作(少見的SPSS範例，三種實作方法)
• 2. 大四上：客戶關係管理
• 3. 大三下：網際網路行銷
• 3. 大二下：人工智慧在經營管理應用(Pandas商業數據分析)
• 4. 大二上：資料庫管理與應用(Mysql資料庫分析)
• 5. 大三上：人工智慧在商情預測應用(AI機器學習，深度學習，商情預測)
• 6. 大一下：Python程式設計

​

​

​

​

老師在北科大所教授與【DDDM，數據驅動決策】

的相關系列課程

現在很熱門的

【數據驅動的決策模式】

DDDM

Data-Driven Decision Making

數據驅動的決策, DDDM

• 數據驅動的決策（Data-Driven Decision Making, DDDM）
• 乃是將數據作為核心依據的【經營模式和決策方法】

​

• 企業或組織在進行決策時，
• 主要依據來自各種內部與外部數據的分析結果，
• 而非單純依賴直覺、經驗，來作出決策

​

老師在北科大所教授與【DDDM，數據驅動決策】的相關系列課程

• 1. 市場區隔與差異性行銷：問卷調查與 SPSS 分析
• 2. 電商網站流量分析（Google Analytics ，GTM）
• 3. 現況分析：交易數據的 SQL 數據分析
• 4. 現況分析：交易數據的 Pandas數據分析
• 5. 機器學習模型應用於商情預測（Python 機器學習）
• 6. 數據視覺化，與商業智能分析（Tableau,Power BI, Google Looker Studio）
• 7. RFM 模型（客戶分群分析，與客戶價值預測）
• 8. 電商的產品自動推薦系統？？？
• 9. 社交媒體數據分析（Meta，IG…)
• 10. A/B 測試與數據實驗
• 11. 使用【商用CRM客戶關係管理系統】進行數據分析

量化分析

三個方法的演進

商管的量化分析工具

• 1. 早期的工具(統計軟體)
• SPSS，SAS
• 2. 近6年來流行的工具
• Python數據分析，R語言數據分析
• 3. 2024年開始熱門起來的最新工具
• 生成式AI（ChatGPT，Gemeni/Bard，claude2，文心一言）

數據量化分析常用工具：�1.python/pandas，�2.SQL，3.power BI，tableau，�4.AI

數據量化分析常用工具：�1.python/pandas，2.SQL，3.power BI，tableau，4.AI

常用的統計分析與檢定軟體

• 初學者 / 社會科學 → SPSS、JASP
• 進階統計 / 學術研究 → R、Python
• 企業級分析 → SAS、Stata
• 機器學習 / 大數據 → Python、R
• 工程 / 科學計算 → MATLAB

1.商業統計軟體

• SPSS (Statistical Package for the Social Sciences)
• 適用於社會科學、市場調查，操作直覺，適合非程式背景使用者。
• 提供豐富的統計檢定（如 t 檢定、ANOVA、迴歸分析）與視覺化功能17。
• 最新版本支援 Python 與 R 擴展7。
• SAS (Statistical Analysis System)
• 企業級數據分析，廣泛應用於金融、醫藥、政府機構。
• 功能強大，但學習曲線較陡，需編寫程式碼（SAS 語言）1。
• Stata
• 經濟學、流行病學常用，擅長面板數據分析與計量經濟模型。
• 命令式操作，適合進階統計分析1。
• Minitab
• 專注於品質管理與實驗設計（DOE），工業統計常用。
• 介面簡單，適合 Six Sigma 與製造業應用1。
• JMP (Jump)
• SAS 旗下產品，強調互動式視覺化分析，適用於探索性數據分析（EDA）。

2. 開源 / 免費統計軟體

• R 語言
• 強大的統計計算與繪圖能力，擁有 CRAN 套件庫（如 ggplot2、dplyr）。
• 適合學術研究、機器學習與客製化分析。
• Python (Pandas, SciPy, StatsModels)
• 通用程式語言，結合 scikit-learn（機器學習）、seaborn（視覺化）進行統計分析。
• 適合大數據、AI 整合應用。
• JASP
• 開源替代 SPSS，提供貝氏統計、心理學研究常用分析，介面友好。
• PSPP (SPSS 的免費替代品)
• 適用於基礎統計檢定，但功能較 SPSS 有限。

3. 其他專業工具

• MATLAB
• 工程與科學計算，適用於訊號處理、模擬分析，但統計功能較 R/Python 少

​

• Tableau / Power BI
• 主要用於資料視覺化與商業智慧（BI），但可結合統計分析功能

• The End

​