文 | 波波夫
如果說下水道是一個城市的良心,那麼廁所就是一座城市的門臉。
很多年前,人們就發現一個有意思的現象:一個城市的文明程度可以從其廁所的衛生程度反映出來,廁所越幹凈、城市越發達。但直到今天,大數據無法解釋這背後的原因:究竟是城市發達瞭廁所自然就幹凈,還是廁所幹凈瞭也會促進城市的發展。
對於這樣「先有雞還是先有蛋的問題」,還需要大數據加傳統民調和小數據的結合才有可能找到答案。
1. 谷歌為何隻猜對瞭一次?
感謝維克托 · 邁爾 · 舍恩伯格、馬雲們孜孜不倦地佈道,大數據現在幾乎成瞭全球先進生產力的標志,而且幾乎被賦予萬能的希望。
在《大數據時代》一書中,舍恩伯格的確總結瞭相對傳統小數據的三大特點:非隨機樣本,而是全體數據;非精確性,而是混雜性;非因果關系,而是相關關系。
最先證實大數據強大能力的乃是谷歌。
2009 年在 H1N1 爆發幾周前,谷歌公司的工程師們在 Nature 上發表瞭一篇論文介紹 GFT,成功預測瞭 H1N1 在全美范圍的傳播,甚至具體到特定的地區和州,而且判斷非常及時,令公共衛生官員們和計算機科學傢們倍感震驚。
但是,在隨後的幾年當中,谷歌這一預測卻屢屢失靈,以至於在 2014 年美國著名的《科學》期刊刊登的一篇題為《谷歌流感的寓言:大數據分析的陷阱》的文章稱:
很大一部分與疾控中心流感發生率數據相關的搜索詞,並非是得流感的人引起的,而是由影響搜索模式和流感傳播的第三個因素(季節)產生的。谷歌流感趨勢的開發人員發現那些特定的搜索詞是隨時間而發生變化的,但這些搜索顯然與病毒無關。比如,有的人可能僅僅是因為看瞭一部電影或者文章而去搜索流感。
調查撰寫這篇文章的哈佛大學、美國東北大學的幾位學者認為,大數據的分析是很復雜的,但由於大數據的收集過程,很難保證像傳統小數據那樣縝密,難免會出現失準的情況。最核心的問題是,大數據分析側重相關性,導致在推導因果關系時容易出現誤差。
他們建議,應該把大數據與小數據相結合,以「全數據」思維取代「大數據」思維。
2. 瞭不起的蓋洛普
前不久,清華附小六年級學生一篇題為《大數據幫你進一步認識蘇軾》的小論文,被冠以大數據之名,這裡的大數據其實是不折不扣的小數據,更確切地說隻是用量化方式呈現瞭一個「數據化」的蘇東坡。
這隻是「炒作大數據」的一個縮影。
事實上,全球擁有真正意義上大數據的公司並不多,而擁有分析大數據能力的公司更是鳳毛麟角。斯坦福大學統計學教授 Trevor Hastie 曾比喻分析大數據的過程,就好比在一大堆幹草垛中發現有意義的「針」,而困難之處恰恰在於很多幹草看起來也像針。
大數據的不易得和分析的高難度,註定瞭其進入門檻的高聳。但是,傳統民意調查所形成的小數據有著顯著的優勢:樣本的充分代表性、可操作、快速采集分析。
上世紀三十年代,美國數學傢喬治 · 蓋洛普通過建立與美國全體選民結構一致的 5000 個調查樣本,成功地預測瞭羅斯福將贏得 1936 年總統選舉。這位宣稱「我能用統計的方法證明上帝的存在」的蓋洛普先生開啟瞭現代民意測驗的商業化道路。
在大數據魚龍混雜的濁流中,傳統民意調查無疑是一個更靠譜的預測方式。二胎政策出臺後,如果想瞭解人們真實的生育目的,按照大數據全樣本的標準幾乎無法操作,但是通過傳統民調卻能夠快速瞭解情況。
南京航空航天大學教授張傑,在 2016 年初針對 10 萬人的問卷調查顯示,近四成人沒有生育二胎的打算,已有女孩的傢庭生育欲望更強,時間精力、經濟狀況不佳是國人不敢生二胎的主要原因。
此次二胎意願調查之所以能回收高達 10 萬份問卷,一則說明受訪者對這個問題關註面比較廣,二則體現瞭在線問卷更有利於保護隱私的優點,畢竟與生育相關的話題涉及個人隱私,傳統線下一對一問卷調查,會讓受訪者不太自在。
3. 激活沉默的大多數
如果說大數據隻有大機構才有能力獲取,如今類似在線民調小工具則賦能普通大眾獲得便利的調研能力,比大數據更能體現互聯網的普惠和平權特征。
中國的網民人數已經超過 7 億,互聯網的滲透率超過 50%,但是網絡輿論並不等同於網絡民意,一個重要原因是,網民不能代表現實中全體公民,而且活躍網民也不能代表全體網民。
復旦大學傳播與國傢治理研究中心研究團隊在 2014 年的一份研究報告稱:
在結構上,網民主要分佈在社會中間階層,社會高層和底層人群較少,尤其是占中國總人口較大比例的農民或外出務工人員群體,雖然近兩年有一定增長,但在網民中所占比例仍然較低,他們正是網絡中沉默的大多數。
隻需勾選、簡單輸入的在線問卷,為普羅大眾理性表達意見提供一個便利渠道。
傳統民調和今天的在線民調都面臨一個共同問題:如何提高受訪者的參與率。首先,民調拒訪率逐年增高,受訪率不斷降低。根據皮尤中心的報告,美國民調回復率 1997 年為 36%,2000 年為 28%,2006 年 15%,2013 年 9%,2015 年隻有 7%。
4. 有民調處有金山
大數據可以幫助我們推導出著名的口紅效應(因經濟蕭條而導致口紅熱賣)、廁所效應(城市越發達廁所越幹凈)、以及著名的啤酒與尿佈銷售故事,但無法給出因果分析,要想從中得到具體的商業建議,還得需要提取樣本進行傳統調查式的分析。
如果說,大數據分析可以說是一種縱向的推斷,是變量間相關關系的推斷,那麼問卷調查是基於樣本推斷總體,是一種橫向的、由點到面的推斷,尤其有助於商傢快速瞭解用戶偏好。
大數據連接瞭千百萬的數據點,可以準確地產生相互關系。但是,當人類按照自己的習慣行動時,大數據分析通常不會十分準確。所以挖掘用戶需求時,在大數據之外,更重要的是通過對一個小群體的親身觀察和小數據常識,捕捉到這個社會群體所體現出的文化欲望。
相比大數據,人們更容易從小數據中獲得更有價值的商業洞察。
騰訊新聞曾聯合一傢牙膏企業,向三萬多人發起瞭一次過敏口腔健康調查問卷,結果發現,發現口腔問題時,越年輕的受調查者越傾向於等待口腔問題自行緩解,但女性比男性更願意嘗試購買多種口腔護理用品。同時發現,漱口水是牙膏之外最受歡迎的口腔護理產品。
這份調查對於生產口腔護理產品的公司來說,至少提供瞭三點有價值的市場信息:第一、開展針對年輕消費者的口腔健康意識教育,有助於擴大用戶群體;第二、加大針對女性的市場促銷活動,有助於進一步刺激銷售增長;第三,漱口水的市場空間廣大,具備開拓價值。
在互聯網時代,通過在線民調形成針對用戶個人的小數據,依然是瞭解用戶偏好的捷徑。但無論是傳統的小樣本民調,還是全樣本的大數據分析,事實上面臨著一個共同難題:如何提升數據分析能力,如何將數據與人的心理、行為聯系起來。這正是預測的神秘和魅力所在。
(波波夫,科技專欄作者,微信公號:波波夫同學)