大數據與民調

香港近期的熱門詞彙之一，相信逃不過「民調」和「公投」。似乎在民主大旗之下，人多勝人少，收集了民間的數據，就能走向大同之治。

大概大家都忘記了，約一百年前，在「大數據」還未面世，馬克吐溫就已說謊言有三種：謊言，他媽的謊言，還有統計數據。

有關調查，統計，小弟早前已有博文言及。成長了一年，近日讀了半部有關大數據的書，又長多了丁點智慧。草草 keynote 補充一下。

***************************************

剛過的英國大選，雖然不在本人的雷達網上，只看標題，說結果與原先各項民調的結論大相逕庭。雖見工黨勢危，蘇格蘭選區大變天。但保守黨依然執掌足夠票數，不用 hung parliament 身份繼續執政。民調的指導性去了那裡？

若你信奉蘋果教， Steve Jobs 說過，「消費者根本不知道自己要什麼。」若依賴市場調查，可能至今最品牌的手機仍是 Nokia，只是機身更薄更輕吧。那麼選民知道自己要什麼嗎？

****************************************

已經有不少有識之士，早已對香港大學民調的科學性質疑。後來再揭發其或涉黑金的指控。很有趣，在各方大打民意牌之時，大教授竟在自白身世之前，有顏面舉手自蔫做個「袋住先」的公投。對政改這嚴正的問題，三耙兩撥來網上公投？難以相信會出自象牙塔尖學者口中。

最教科書式的公投規格，要問題單一而清晰，做足充分全民的正、反意見教育，採取最公平而全面的投票等。看看蘇格蘭獨立的公投，籌備得如何周詳而漫長。口口聲聲推動民主的義士，連教育群眾的基本功夫都不尊重。大教授若不是以政治取代了學術準則，就可能是進入老人癡呆早期了。

**************************************

要了解民意，又不做民調，很多學者只能靠大學文憲中的行為心理學理論。可惜，這等理論研究，早已被嘲笑為 WEIRD: White, Educated, Industrialized, Rich, Democratic。這是美國的例子，教授們要做研究，就最隨手地選上校園附近的大學生做研究對象。結果自然就有特定，最 Weird 的偏差。

同樣地，香港大學要做民調，即使問卷設計，以至執行訪問的工作人員 （相信是兼職大學生）主觀希望客觀行事，但他們心中的滾滾民主熱血，就不知不覺中帶他們走上了歪路。至於大教授一向心儀的「多快好省」網上投票，偏差就肯定更高了。

*******************************************

如果傳統民調失效，下一步可能只有問 Google 了。我是騎單車與攝影愛好者。因為我的 Google searches， 很自然在差不多任何我到訪的網頁，都有有關的 pop-up 廣告。有新聞說，英國一母親抗議，Google 比她還早知到其「未夠秤」女兒懷孕的消息。但這都是太原始的網上數據應用。隨著更精細的分析，更複雜的 algorithm，你的網搜、like、連結朋友、購物、音樂、電影、作者喜好，和更新的穿戴科技，連你的健康狀況都送上了 Skynet。互聯網將比你更了解你。

*******************************************

《Dataclysm》 的作者 Chrustian Rudder 早年與幾個讀數學的朋友搞了個網上媒人公司 OkCupid，最後成為行業中全球最大之一，已登記用戶超過 55m。從用家的各項資料，再加上他對其他熱門網站的數據研究，他發現了不少鮮為人知的社會現象。這裡只舉一例（我也只看到這部份，及後的數字與圖表，對我這數盲實有點吃不消）。

用戶(20-50 歲)登記時選下心儀伴侶的年齡。女性隨著年紀增長，也填寫了與自己大致相近的男士年紀——直至四十歲。即是說，年過不惑的男性，即使剩女也沒興趣，等如廢人。

同樣的選項，男士的答案則大有不同。不論自己年紀，男士的心儀女性超絕大部份都在21-23 歲之間，即使最「慷慨」的男士，最高只選至35。四、五十歲的王老五也只垂涎雙十年華，不是瀨蝦毛要吃天鵝肉乎。從OkCupid的紀錄中，從沒有四、五十歲男士成功約會過雙十少女。反而雙十男士，有些會心儀超過三十的 cougar。

注意，上述只是心儀對象，在現實中，男士主動要求約會的，則還是在自己年紀相近、又略低的女士群。當然，到了四十便又行人止步。女人四十爛茶渣？

作者說，人是奇怪的動物，所想，所說和所做的可能完全不同。英國大選前的民調，只能找到民眾「所說」的，與投票那一刻「所做」的，又極可能不同。

所想的肯定是雙十妙齡少女，說出來可能被笑鹹濕伯父，說得太老，又怕錯失「良機」。但到真正要求約會，還是要向現實低頭。

香港的政治改革，民眾「所想」，「所說」和「所做」又是什麼回事？是否有能人可算盡大數據中的玄機。