TVBS發布一份名為「新冠肺炎疫情與民眾疫苗施打意願」的網路民調,24小時內共收到45多萬份問卷,TVBS民意調查中心表示這已經剔除重複填寫的問題,能夠這麼短時間內取得這麼多問卷回覆,效率之高確實讓人驚艷。
方法謬誤沒有代表性 不足以稱為民調
不過,TVBS民調中心這次卻使用SurveyCake平台進行調查,對照過去其他專業單位所執行的民意調查方式,雖然效率高,但也存在民調結果效度與信度的問題,但外界沒有釐清調查方法的謬誤,直接引用及評析調查結果,這是相當不負責任的作法。
一般來說,如果要進行調查,越接近百分百越好,首先,這涉及到調查問題的設計,如果有引導式的題目出現,那麼回答者就會受到問題意識的影響,因此如何避免此類問題發生,通常一份嚴謹的問卷設計需要專家諮詢、前測及科學方式來進行,這主要是信度的問題。其次,便是調查成本問題,一份可以達到百分百的信心水準調查,就是普查,只是這不太容易難,因為所以耗費的成本、時效太高。
由於仿間許多民調都有即時性、議題性及政策參考價值的要求,所以廣泛發放問卷的普查根本不可能,就算許多問卷內容仍有議題引導的問題,但為了在可行性及代表性之間取得平衡,以及提高調查結果的效度,那麼分層抽樣是必要的執行準則,倘若這部分沒有遵循,那麼所進行的調查並不能解釋為「有代表性」。
依此來看這次TVBS所進行的「新冠肺炎疫情與民眾疫苗施打意願」,嚴格來說這並不符合科學調查的標準,簡單來說,這並不能稱之為「民意調查」,因為缺乏代表性。
一份不符社會科學研究方法進行的民意調查,就跟垃圾資訊一樣,沒有參考價值。不論TVBS這份調查結果為何,SurveyCake 平台並無法辨識是否為同一個人填寫,換句話說,就連是不是「機器人」代為填答,都無法確定,那麼就算有45萬份甚至100萬份問卷回收,以民調的代表性來說,跟回收數量偏低一樣無效,直白的說,當填寫問卷對象無法確認,調查也就出現致命的瑕疵,那再怎麼統計跑出來漂亮的結果也就沒有意義。
各方動員填寫問卷 這是選舉還是民調?
再來,動員式的問卷調查,過去常有學生為了完成報告或學位論文,逕請同學、親友協助填寫問卷,求一時之便,那結果必定不符合科學方法的要求。
這樣的問題也出現在這次TVBS的調查之中,各方管道不斷在社群網路中推播,甚至有某陣營意圖透過政治動員來改變累積後的意見趨勢,就猶如鼓動選舉投票一樣,誰動員得多,結果勢必導向意有所圖的風向操作,這也像是「顧客滿意調查一樣」,銷售員向客戶暗示填入滿分,那累積的結果恐會失真。
持平而論,政府需要謹慎看重人民的意見,這是為政者該有的態度,所以無論各種調查結果都要重視,並作為政策擬定及檢討施政的參考。
不過,進行民調的各個單位,無論是政府本身、媒體、學術單位及政黨等,涉及公共議題的調查,調查的進行與設計都應當有嚴謹的把關,現在網路上要隨便進行一份調查並不難,奇形怪狀的問題設計也很多,但如果要稱之為「民意調查」,那麼該有的民意「代表性」絕對不能偏廢。
當然,調查也會有失準的時候,但對於符合客觀及科學方法的問卷設計,是執行調查該有的態度;倘若明知不可為而為之,那麼謬誤方法終將導出錯誤的結果,甚至會對社會大眾產生誤導,這不但讓調查失去公信力,媒體該有的社會責任因而蕩然無存,實在不可取。
文/譚耀南 (兩岸政策協會理事長)、吳瑟致 (兩岸政策協會研究部主任)