2016年11月14日星期一

美國民調黑天鵝:哪裏出了錯?

美國大選結果出爐後,最受打擊的自然是希拉莉、民主黨、傳統精英們,同時還有各大民調和預測機構。在大選過程中,以「data-driven」為招牌的民調/預測網站如RealClearPolitics(RCP)、FiveThirtyEight(538),以及包括《紐約時報》、CNN 等媒體公布的民調數據,一直是各方研判選情的主要訊息來源。根據 RCP 綜合各家民調數據分析,第三次辯論前後,希拉莉領先特朗普7%;直至選舉日前,仍領先3%。《紐約時報》等預測特朗普當選率僅為10%左右,對特朗普最樂觀的538網站,也僅為29%。

這些網站的預測究竟如何得來?基本上,都是以原始民調為基本數據,調查過程一般包括電話訪問、網絡調查,前者依然最被傳統媒體依賴。民調機構通常通過隨機抽樣,選擇電話號碼,然後根據事前的一系列假設、樣本代表的不同群體進行「加權」,從而推測各群體的投票傾向。對於以「州數據」為基礎的預測,調查機構一般累積各州民調,再得出候選人的選舉人票得票率。與此同時,也有直接進行全國民調的機構,但因不能契合選舉人票制,一般只作參考。

總之,無論是哪種民調,最後都未能預計特朗普當選。按照RCP等分州累積的民調,在大選日早上,希拉莉預計穩得206張選舉人票,特朗普有164張,剩下168張則屬「搖擺州」。而密歇根、賓夕法尼亞兩州民調,都顯示希拉莉勝出,誤差為4%;俄亥俄和威斯康星兩州特朗普的得票率比預計高出6%;北卡羅來納州則高出4.5%。

為政治正確拒講真話

目前美國民調業界仍處於震驚和反思階段,並未能作出確切解釋。不過有一個宏觀觀察可提供一些啟示:教育程度較低的白人社群在這次大選中,對特朗普的支持率似乎被嚴重低估了。根據英國《每日電訊報》分析,「州大學以下教育水平的白人人口數佔該州人口總數比例」和「民調預測與實際投票結果之差異」兩者,呈現顯著的正面關連。換言之,教育程度低的白人社群佔總人數比例越高的州,越有「低估特朗普支持率」的傾向。

在這基礎上,我們可以首先假設,「不回應偏差」(non-response bias)可能導致特定人群在前期民調中「失語」。例如,受教育程度較低的農村社群,一直是民調機構難以大規模觸及的採訪對象,卻在今次大選中,被特朗普競選團隊作出針對性動員,投票積極性極高。他們在前期民調中發聲的比例,顯然低於實際投票比例,無論怎樣加權,都難以預測。更有甚者,主流媒體在大選初期,已經通過各家民調數據「唱衰」特朗普,部分反建制情緒濃厚的選民,可能天然對民調機構(及其背後的建制勢力)感到反感,直接在採訪中拒絕回應,例如聽見《紐約時報》就嗤之以鼻。這部分人,也是影響民調準確度的因素。

其次,所謂「布萊德利效應」也可能出現。今次大選前期,特朗普成為「政治不正確」的代名詞,被主流媒體評論狂轟濫炸,不少選民面對民調訪問時,可能礙於面子、或家庭朋友壓力,不透露自己支持特朗普,直至選舉當天,才用選票表明立場。這群選民被稱為「shy Trumper」。根據《紐約時報》選後民調,高達29%的拉美裔、亞裔選民選擇了特朗普,而且支持特朗普也不乏白人女性,與選前民調和輿論趨勢截然相反,可見「政治正確」的無形壓力,在選前對民調的影響力之大。

至於各民調機構對特定選民群體的投票率預設,也可能有誤。這一現象尤其反映在五大湖區州份、賓夕法尼亞、北卡羅來納州大城市等地。須知,民調機構在隨機樣本估計過程中,需判斷這一社群最後有多少人會真正投票,而這一標準,往往是根據往屆投票率、和一些其他因素主觀估測。按過往經驗,五大湖區的工業城市和賓州費城、匹茲堡等,都是民主黨傳統票倉,但今次民調可能高估了當地民主黨選民的投票慾望。對五大湖區工人而言,奧巴馬執政八年裏,他們的就業崗位受經濟全球化劇烈衝擊,心中本已不滿,即便不轉投特朗普,也沒有意願看希拉里「再來四年」。對賓州、北卡的大城市高知識人群,今次大選本身淪為人身攻擊場域,希拉里的「不誠實」形象,相信也打擊了他們的投票積極性。在上述地區,共和黨在郊區攻城略地,民主黨城市票源萎縮,此消彼長,造成了結構性轉變,這卻是前期民調無法測出的。

不過,最值得指出的還是,在RCP 於過去兩個月統計的所有民調數據中,其實有10次民調系統性地預計了特朗普有一些領先優勢,而其中9次,都來自《洛杉磯時報》。《洛杉磯時報》在反思民調結果時就指,這一原因,在於他們統計分析時,給「網絡民調」數據更多的加權。「shy Trumper」不願在電話中向採訪人員坦承自己支持特朗普,卻更可能在無需尷尬、無人監控的情況下,對互聯網調查中誠實表達。儘管大選前期網絡民調一直被各分析師、專家們視為不可靠,但對於這群深受「政治正確」之苦的人來說,網絡或正是他們表達真心的場合所在。然而,網絡輿情大量受灌水等因素影響,導致公信力缺乏,那也是全球學界公認的事實。如何進一步理順網絡民調的準確性,讓其在民調得到更高的權重,相信是民調工作者未來最逼切的思考。不過世界已進入全新時代,相信在可見將來,「民調黑天鵝」還是會不斷出現,這原來就是轉型期的常態。

小詞典:布萊德利效應(Bradley Effect)

這一效應源自1982年加州州長選舉,當時非裔候選人布萊德利(Tom Bradley)在民調大幅領先白人競選對手George Deukmejian,然而最終投票結果卻是後者勝出。當時民調人員總結指,不少受訪者礙於政治正確,不好意思承認自己不支持非裔候選者,然而最終在投票時,還是「遵循內心」,投給白人。

沒有留言:

發佈留言