Published using Google Docs
利用簡訊推網建立機率抽樣調查樣本庫(1)
Updated automatically every 5 minutes

利用簡訊推網(SMS push-to-web)建立機率抽樣調查樣本庫 –

基於台灣民眾的實驗研究

NTUWS

  1. 前言

在數位化時代,傳統民意調查方法正面臨前所未有的挑戰,以室內電話為基礎的電腦輔助電話調查(CATI, Computer Assisted Telephone Interviewing),在行動電話革命後,遭遇回應率低且無法觸及青年世代的問題。而綜合手機號碼與室內電話號碼兩者作為抽樣清冊的「雙底冊調查」,多年以來,學界針對樣本來源以及事後🏠權的配比上有廣泛的討論與推算,但迄今仍未有定論(陳鴻嘉, 2019; 洪永泰, 2021; 張鐙文等, 2017; 侯佩君, 2023; 廖培珊等, 2023; 蔡奇霖, 2022)。此外,無論是雙底冊或基於室內電話的電話輔助調查,都無法解決低回應率與高成本的問題。在網路逐漸普及的當下,網路調查便是尋求低成本調查研究者的解答。

然而,網路調查最明顯的問題,特別是基於志願者樣本(opt-in sample)的網路調查,便在於其覆蓋與代表性上,不僅無法涵蓋所有民眾,更由於其樣本組成的非隨機性,因此在調查的準確性上,並無法取代原有的電話隨機撥號調查以及基於地址抽樣的面訪調查(Lau, 2023)。

然而,民意研究者仍須面臨人力成本不斷上升的困境,特別是在新冠疫情期間,網路調查幾乎成為研究者唯一可行的調查方式。截至2024年,台灣的行動電話使用率極高,接近98%的滲透率,這意味著幾乎所有成年人都擁有一支手機(Digital 2024, 2024)。因此,隨著智慧型手機的覆蓋率不斷上升,若能利用傳統電話調查,以手機號碼進行隨機抽樣的方式,同時將中選民眾導引至網路調查已完成填答,這種「推網」(push-to-web)方式,便成為傳統調查可能的機率抽樣替代方案(Kocar, 2022)。

本研究的目的,便在於探索利用簡訊推網(SMS push-to-web)的方式,在台灣建立一個基於機率抽樣的,具代表性且可持續的線上調查樣本庫的可行性。我們期待該方法不僅有助於提升資料收集的效率,還可以克服傳統調查方法在接觸率與回應率上的局限性。

為達此目的,本研究採用隨機抽取台灣手機號碼的方式作為樣本基礎,並通過簡訊推送邀請受訪者參與線上問卷調查。為了提高調查者的參與度與留存率,我們設計了多種誘因策略,包括不同金額的禮券獎勵以及區分長-短問卷的形式,以測試這些策略的有效性。我們期望通過這種創新的調查方式,能夠為台灣的社會科學研究提供一個新的調查工具,同時也為未來的類似研究提供參考依據。

  1. 研究設

為了確保樣本庫的代表性及有效性,我們採取了多層次的研究設計,涵蓋樣本選取、調查波次、問卷設計、簡訊內容與誘因策略的設定等方面,詳細如下:

  1. 抽樣方法:手機號碼隨機抽取

本研究採用了隨機抽取手機號碼的方式來確保樣本的多樣性與代表性。我們從台灣現有可能的所有手機號碼中[1],抽出二十五萬個號碼,並將其分為五個實驗組,每組包含50000個號碼。這些號碼並未透過任何電信公司或系統服務商的預先過濾,因此可以被認為是簡單隨機抽樣產生的結果。

  1. 調查設計:多波次調查與問卷設計

為了評估樣本的參與度與留存率,本研究設計了為期一週,共有一次邀請與一次提醒簡訊的網路調查。問卷主要涵蓋了人口統計學特徵及與選舉相關的問題,這些問題不僅可以用來進行數據基準比較,還有助於驗證樣本的代表性。此外,為了保持問卷的簡潔性和易答性,我們將調查時間控制在15分鐘以內。

  1. 簡訊內容與誘因策略的設定

為了提高調查的回應率,我們設計了多種簡訊內容和誘因策略。每組實驗組的受訪者會收到不同內容的簡訊邀請,這些簡訊中有的強調參與調查後可獲得的獎勵(如現金或抽獎機會),有的則不提及任何誘因。我們設定了五種不同的誘因策略,包括不提及獎勵的控制組、提及小額獎勵(30元及100元)的組別,以及縮短問卷長度以提升回應率的組別。這樣的設計不僅有助於我們了解不同誘因對受訪者行為的影響,還能為未來的誘因設計提供寶貴的經驗。

  1. 研究波次與時間安排

為了最大限度地提高樣本的參與率,簡訊邀請的發送時間設定在每週二與週四的傍晚時段,以配合受訪者的生活作息,確保簡訊能在他們較為空閒的時間收到。因此,在週二發出第一封邀請簡訊後,提醒簡訊則在週四發出,以提醒尚未回應的受訪者完成問卷。整個網路調查則在第一封邀請簡訊發出後的下一週週日停止填答。

  1. 實驗組的設置與比較

本研究將受訪者隨機分配到五個實驗組,每個組別的誘因策略有所不同,以便比較其對參與率與完成率的影響。具體如下:

組別1:不提及任何誘因,僅推送簡單的問卷邀請。

組別2:提及抽獎機會作為誘因,例如Dyson風扇等大獎。

組別3:提及30元全家禮券作為誘因。

組別4:提及100元全家禮券作為誘因。

組別5:提及100元全家禮券並縮短問卷長度至10分鐘。

此外,無論哪一個組別,我們最終都會將填答者導引至「台大動態民意問卷平台」上,以研究有多少民眾,會加入民意調查平台,成為長期的追蹤樣本成員。這些組別的設置旨在衡量誘因金額及問卷長度對受訪者行為的影響,特別是對調查完成率及調查樣本庫中持續參與意願的影響。

A diagram of a sample sampling

Description automatically generated下圖1與表1即為研究流程的示意圖以及簡訊內容。


Group 1

Group 2

Group 3

Group 4

Group 5

台大動態民意問卷平台邀您做線上調查,有效填答者,將致贈50元全家禮券 https://websurvey.coss.ntu.edu.tw/

台大動態民意問卷平台邀您做線上調查,有效填答者,將有機會抽中Dyson風扇等大獎 https://tassel.syd1.qualtrics.com/jfe/form/SV_b4uKqSa8KkkKEB0

台大動態民意問卷平台邀您做線上調查,有效填答者,將致贈30元全家禮券  https://tassel.syd1.qualtrics.com/jfe/form/SV_eh3FVX04us2iYg6

台大動態民意問卷平台邀您做線上調查,有效填答者,將致贈100元全家禮券  https://tassel.syd1.qualtrics.com/jfe/form/SV_bHPa2PB081euJN4

台大動態民意問卷平台邀您做線上調查,有效填答者,將致贈100元全家禮券  https://tassel.syd1.qualtrics.com/jfe/form/SV_ebxNvMQQmg974Ls

表 1發送簡訊內容

  1. 研究結果

在以下的結果分析中,我們將所有回覆年齡低於20歲者刪除,以避免在後續人口學變數的比較上出現偏誤。不過首先,我們想先知道成功完訪的比例,在簡訊推網的方式下約是多少。

下表2為不同的五組五萬個手機號碼,在發送成功率、調查完成率以及平台註冊率上的差異。我們發現,在簡訊發送成功率的部分,各組的簡訊發送成功率大致相同,約為35.26%到35.71%之間,各組在發送成功率方面各組別差異不大,顯示了藉由簡單隨機抽樣抽出號碼所具有的公正性。

在完成率的部分,則可以明顯看出提供100元誘因的組別(組別4)具有最高的完成率(1.73%),其次是組別5(1.51%),這表明較高的誘因金額能顯著提高問卷完成率,而僅提供抽獎誘因的組別完成率則最低。在平台的註冊率上,除了直接推送到平台的註冊率為0.65%外,在完成問卷後再推送至平台的註冊率均為0.19%到0.29%之間,顯示這些高金額誘因雖能提高完成率,但不一定能提高平台註冊率,誘因策略還需要根據研究目標進行調整。

Group 1

Group 2

Group 3

Group 4

Group 5

Overall

SMS Text

(70/134/201)

Push-to-platform

Lucky draw

$30 incentive

$100 incentive

$100 incentive, shorter (5min) survey

SMS delivery success rate

35.71%

35.26%

35.51%

35.54%

35.61%

35.53%

Completion rate

0.13%

0.83%

1.03%

1.73%

1.51%

1.05%

Platform Registration rate

0.65%

0.19%

0.21%

0.26%

0.29%

0.32%

表 2發送成功率、調查完成率與平台註冊率

另外,我們也針對在邀請簡訊發送後,受邀者的填答速度進行了分析(見圖2),我們發現紅色線代表的組別4($100誘因組)在整個時間段內累積回應數最高,達到367次。其後是組別5(紫色線,$100誘因+縮短問卷組)和組別3(綠色線,$30誘因組),分別達到315次和224次。顯示誘因的提升對填答者的影響。然而,我們同時也可以發現,大多數的填答者都是在第一次邀請後迅速回應,而在第二次的提醒後雖仍有受邀者回應,但回應數增長速度有所放緩,顯示出大多數的民眾都是在接受到簡訊的當下即決定要參與調查與否,而提醒簡訊的效果並不佳。

A graph with different colored lines

Description automatically generated

圖 2各組累積完成數的跨時分析

最後,我們也針對完訪民眾的填答,進行了社會人口學變數的分析。除了與實際的人口統計進行比較之外,我們也將本次簡訊推網的調查結果,與同時在該期間內利用「台大動態民意問卷平台」所進行的調查進行比較。

首先,在剛結束的總統大選投票行為上,實際的投票率為71.86%,但相比之下,問卷平台的會員投票率更高,達到84.75%,而簡訊推網的受訪者投票率則為77.40%(圖3)。這表明簡訊推網受訪者的政治參與度高於實際平均水平,但略低於平台會員,顯示出不同群體在政治參與上的差異。

接下來,我們關注幾個比較常使用的人口學變數。在性別的分配上,在男性方面,簡訊推網的受訪者比例最高,達到57.80%(圖4),明顯高於實際數據[2](48.81%)和問卷平台會員(51.83%)。而相對而言,簡訊推網的女性受訪者比例(42.20%)低於實際數據(51.19%)和平台會員(48.17%)。這表明簡訊推網的受訪者中男性比例明顯偏高,女性比例相對較低。

A graph showing the amount of voting

Description automatically generated

A graph showing different colored bars

Description automatically generated with medium confidence

圖 4性別比例

另外,在學歷的部分,當我們以「是否具有大學學歷」作為切點,我們發現相對於母體的50.97%的大學及以上學歷人口,台大動態民意問卷平台會員擁有大學及以上學歷者則高達85.26%。簡訊推網受訪者學歷也偏高,有78.30%的人擁有大學及以上學歷。這顯示網路調查的特性,即擁有較高學歷者由於數位知識(Digital affluency)較佳,較有可能參與網路調查,但學歷偏低者則會因技術落差而不易完成調查。

最後,在年齡的分佈的部分,表3呈現不同年齡段在三個群體中的分佈情況。我們發現50歲及以上在母體比例最高,達到49.2%,簡訊推網則可以達到44.7%的50歲以上受訪者,而平台會員則僅有35.4%。在40-49歲的年齡段,平台會員的比例最高,為24.7%,高於母體的19.9%和簡訊推網受訪者的18.2%。在30-39歲的年齡段,平台會員的比例最高(24.9%),而簡訊推網受訪者和實母體數據分別為18.1%和16.5%。

A graph showing a number of college and above distribution

Description automatically generated

圖 5大學及以上學歷之分佈

50up

40-49

30-39

20-29

Population

49.2%

19.9%

16.5%

14.4%

Member

35.4%

24.7%

24.9%

15.0%

SMS

44.7%

18.2%

18.1%

18.9%

表 3 年齡分佈

  1. 討論與結論

本研究的結果表明,誘因策略對受訪者的參與度具有顯著影響,尤其是高金額誘因能有效提升回應率與完成率。這一發現對未來的民意調查設計具有重要參考價值,表明適當的激勵措施(如接近100元的高誘因)可以顯著改善調查的回收率。

從我們的研究中顯示,通過簡訊推網來建立機率抽樣樣本庫的方式,在台灣具有一定的可行性。經過人口學變數的比較我們發現,簡訊推網樣本仍舊比主動參與的會員樣本有更高的50歲以上,以及大學以下的民眾,並且在政治參與的部分更加接近一-般大眾。此外,相較於傳統的面訪或是電話訪問,簡訊推網方法具有多項優勢,例如廣泛的覆蓋範圍和即時性,能快速接觸到大量潛在受訪者,而且仍然維持機率抽樣的設計。此外,這一方法的操作簡單,且仍然維持網路調查的低成本優勢,適合在資源有限的情況下進行大規模調查。

然而,從回收率以及人口學變數的分析中也可看出,該方法仍存在許多限制,如回應率可能受簡訊內容和誘因的影響較大,且需要考慮受訪者對簡訊的接受度(如是否被認定為詐騙集團),及對填寫網路調查的基本認知能力等,也因此,從最初步的分析結果看來,網路調查的回答者仍將集中在學歷較高,且年齡為中壯年的民眾。

但基於本研究的初步結果,未來我們應進一步探索不同誘因策略在不同社會群體中的效果,特別是如何平衡誘因成本與調查效果。此外,為提高樣本的多樣性與代表性,特別是高齡者與中低學歷群體的參與率,混合模式(mix-mode)的邀請,加上實地的輔助填答可能還是相當必要(Johnson et al., 2018)。同時,本研究尚未進入長期追蹤的階段,但在目標為建立長期追蹤樣本的前提下,研究著們需制定更加靈活的誘因策略和問卷設計,以提高受訪者的留存率。這些修正將有助於我們建立一個更加穩定且成本可控的調查樣本庫,為台灣的社會科學研究者提供更多的支持。


  1. 參考文獻

張鐙文, 黃東益, 洪永泰. (2017). 住宅電話與手機雙底冊調查的組合估計:以2016總統選舉預測為例. 選舉研究, 24(2), 65–96. https://doi.org/10.6612/tjes.2017.24.02.65-96

陳鴻嘉. (2019). 成本考量下雙底冊電話調查的樣本配置. 選舉研究, 26(1), 31–56. https://doi.org/10.6612/tjes.201905_26(1).0002

洪永泰. (2021). 雙底冊電話調查的估計成效評估:以選前調查為例. 選舉研究, 28(2), 95–125. https://doi.org/10.6612/tjes.202111_28(2).0003

蔡奇霖. (2022). 雙底冊電話抽樣調查之事後校正:聯立方程式法之理論與實務. 台灣政治學刊, 26(1), 1–55. https://doi.org/10.6683/TPSR.202206_26(1).0001

侯佩君. (2023). 雙底冊電話調查合併組合加權處理之比較分析. 選舉研究, 30(1), 43–47. https://doi.org/10.6612/tjes.202305_30(1).0002

廖培珊, 蕭錦炎, 楊雅惠, 彭佳玲, 劉介宇. (2023). 雙底冊電話調查組合設計權數之應用. 調查研究-方法與應用, 1, 119–160. https://doi.org/10.7014/TCYCFFYYY.202310_(51).0003

Digital 2024: Taiwan. (2024, February 23). DataReportal – Global Digital Insights. https://datareportal.com/reports/digital-2024-taiwan

Johnson, T. P., Pennell, B.-E., Stoop, I. A. L., & Dorer, B. (Edited). (2018). Advances in Comparative Survey Methods: Multinational, Multiregional, and Multicultural Contexts (3MC). Wiley.

Kocar, S. (2022). Survey Response in RDD-Sampling SMS-Invitation Web-Push Study. Survey Research Methods, 16(3), Article 3. https://doi.org/10.18148/srm/2022.v16i3.7846

Lau, A. M. and A. (2023, September 7). Comparing Two Types of Online Survey Samples. Pew Research Center. https://www.pewresearch.org/methods/2023/09/07/comparing-two-types-of-online-survey-samples/


[1] 根據國家通訊傳播委員會所公布之「行動通信網路業務用戶核配現況」,目前共有663個前五碼編碼字首被提供給通訊業者使用,因此台灣所有可能出現的行動電話號碼總數為6630萬個。

[2] 該處的「實際數據」為內政部戶政司公布之人口統計資料,去除20歲以下民眾計算而得。