數十萬互聯網從業者的共同關註!
作者:Link,作者授權早讀課轉載
來源:從 0 到 1(ID:aboutlink)
編輯:Verna
近些年,隨著 Growth Hack、精益化運營、數據化運營等概念漸入人心,數據產品這個名字被提及的次數越來越多。
在互聯網的下半場,不斷精細化運營的背景下,產品經理不再是單純的靠感覺來做產品,更需要培養數據的意識,能以數據為依歸,來不斷改善產品。
借用最近很火的名詞來說,如果嘻哈歌手的 freestyle,基本功是即性說唱,那麼現在,產品經理的 fresstyle,基本功則是數據分析。
那麼在數據已經被有效記錄的前提下,如何有效的去分析數據呢?
1、明確數據分析的目的;
2、確認數據收集是否準確完備;
3、有效剔除幹擾數據;
4、合理客觀的審視數據
一、明確數據分析的目的
產品經理需要帶著明確的目的去分析數據,思考實現目標,需要構建哪些維度去驗證。If you can ’ t measure it, you can ’ t improve it,如果無法衡量,就無法增長。
而不同的數據分析目的,需要通過不同的數據指標分析拆解,如電商最核心的是訂單轉化率,訂單數,訂單金額等,對於社交網站來講則是日活躍用戶數,發帖量、評論數等。
在數據分析指標的構建中,我們需要謹記遵從金字塔分析原理,即逐層拆分,不重不漏。
比如將訂單金額拆成訂單數單均價,訂單數也可以往下細分出用戶數人均訂單數,不同的用戶還會擁有不同的人均訂單數,一層層往下分拆確保指標能明確表達含義,為上層的分析思路提供依據明確指標定義,統計口徑和維度。
比如 APP 首頁猜你喜歡推薦模塊,忽然發現點擊率從 40% 下降到瞭 35%,暴跌 5% 個點,這個時候,我們可以從時間、版本、平臺、人群等維度拆解。
先看看數據是從什麼時候開始變化的,是不是因為受到瞭聖誕、元旦假日因素的影響,頁面上其他模塊上線瞭新的活動,影響瞭猜你喜歡的轉化。
如果不是,再看看是不是哪個版本的數據發生瞭波動,是不是因為新版本上線埋點遺漏或有誤造成的。
如果不是,則再拆解是不是流量來源構成發生瞭變動,是不是 iOS&Android 平臺用戶比例發生變化,或是新老用戶的構成比例改變。
二、確認數據收集是否準確完備
關於數據收集,我一定要先談準確,不得不說,務必請跟我念,一定要認真檢查埋點,埋點,埋點。這絕對是個遇神坑神的大坑。
很多時候臨到使用,才發現這個埋點的方式一直都是錯誤的,或者發現這個指標計算的方法,沒有把某種因素排除掉。
接著談完備,如果涉及未來產品發展方向或頁面改版計劃的前期調研,數據分析僅靠 APP 本身的埋點,絕對是遠遠不夠的。可以考慮以下 3 種渠道。
1、從外部如易觀或艾瑞的行業數據分析報告獲取,需要帶著審慎的態度去觀察數據,提取有效準確的信息,剝離部分可能註水的數據,並需要時刻警惕那些被人處理過的二手數據。
2、從 AppStore、客服意見反饋、微博等社區論壇去主動收集用戶的反饋。我自己經常有空的時候就會去社區論壇看看用戶的狀態評論,一般這樣的評論都是非常極端的,要麼特別好,要麼罵成狗,但這些評論對於自身產品設計的提升還是非常有益的,可以嘗試去反推用戶當時當刻為什麼會產生如此的情緒。
3、自行參與問卷設計、用戶訪談等調研,直面用戶,收集一手數據,觀察用戶使用產品時所遇到的問題及感受。問卷需要提煉核心問題,減少問題,回收結果更需剔除無效的敷衍的問卷。用戶訪談需要註意不使用引導性的詞匯或問題,去帶偏用戶的自然感受。
三、有效剔除幹擾數據
我們的數據收集準確 & 完備後,並沒有大功告成,還要進一步剔除幹擾數據。
1、選取正確的樣本數量
選取足夠大的數量,剔除極端或偶然性數據的影響。舉一個最 low 也最經典的例子,08 年奧運會上,姚明的三分投籃命中率為 100%,科比的三分投籃命中率為 32%。
那麼是不是說姚明的三分投籃命中率要比科比高?顯示有問題,因為那屆奧運會,姚明隻投瞭一個三分球,科比投瞭 53 個。
2、制定相同的抽樣規則,減少分析結論的偏差性
比如兩條 Push 文案,第 1 條 " 您有一個外賣暖心紅包未領取,最大的紅包隻留給最會吃的你,點擊進入 ",第 2 條 " 送你一個外賣低溫福利,足不出戶吃喝熱騰美味,點擊領取 "。
實驗數據表明,第二條 Push 文案的點擊率比第一條同比高瞭 30%。那麼真的是第二條文案更有吸引力嘛?結果發現是第二條 Push 文案的接收人群的活躍度明顯高於第一條造成的。
3、剔除版本或節假日因素的幹擾
新版本剛上線時的數據表現往往會很好,因為主動升級的用戶一般是高活躍度的用戶。
臨近周末或大型節假日的時候,用戶的消費需求會被觸發,電商類應用的訂單轉化率也會直線上升。
因此,在數據對比的時候,實驗組和對照組的數據在時間維度上要保持對應。
4、A/B 實驗需拆分 A2 組
即在實驗組 B1 和對照組 A1 上再增加一組 A2,A1 和 A2 的規則保持一致,然後探究 A1B1 的數據波動與 A1A2 比較,剔除數據的自然 / 異常波動帶來的影響。
以我自己實際的 A/B 實驗證明,設立 A2 組是非常重要且必要的,不管數據量級有多大,相同實驗規則的兩組在數據也會有一定的小幅波動,而這小幅波動在精細化運營的今天,對我們的判斷可能形成較大的幹擾偏差。
四、合理客觀的審視數據
1、不要忽略沉默用戶
產品經理,在做用戶訪談或問卷調研時,如果在聽到部分用戶反饋的時候,就做出決策花費大量的時間開發相應的功能,往往結果,可能這些功能隻是極少部分用戶的迫切需求,而大部分用戶並不在乎。
甚至有可能與核心用戶的訴求相違背,導致新版產品上線後數據猛跌。忽略沉默用戶,沒有全盤的考慮產品大部分目標用戶的核心需求,不僅會造成人力物力的浪費,更有甚者,會錯失商業機會。
2、全面理解數據結果
如果實驗結果的預期與我們的經驗認知有明顯的偏差,請不要盲目下結論質疑自己的直覺,而是嘗試對數據進行更透徹的分析。
例如我們曾經做過在點評首頁,設置過給用戶投放活動彈窗的實驗,發現實驗組的數據不管在首頁的點擊率,訂單轉化率乃至 7 日留存率方面都遠超對照組,首頁上的每一個模塊的轉化率都有明顯的提升,遠遠超出瞭我們的預期,那這真的是活動彈窗刺激瞭用戶的轉化率嘛,
後來我們發現在首頁能夠展示出活動彈窗的用戶,往往在使用環境時的網絡狀態比較好,在 wifi 環境下,而未展示彈窗的用戶則可能是在公交 / 地鐵 / 商場等移動場景下,網絡通訊可能不佳,因此影響瞭 A/B 實驗的結果。
3、不要過度依賴數據
過度依賴數據,一方面,會讓我們做很多沒有價值的數據分析;另一方面,也會限制產品經理本來應有的靈感和創意。
正像羅振宇在時間的朋友跨年演講上提到的一樣。用戶要什麼,你就給什麼,甚至他們沒說出來你就猜到瞭,這叫母愛算法,在內容分發領域沒有人比今日頭條做得更好,但母愛算法有很大的弊端,在推薦的時候會越推越窄。
另一面則是父愛算法,站的高,看得遠。告訴用戶,放下你手裡的爛東西,我告訴你一個好東西,跟我來。正像喬幫主當年打造的 iPhone 系列產品一樣,不看市場分析,不做用戶調研,打造出超出用戶預期的產品。
五、總結
美國最成功的視頻網站 Netflix 通過基於用戶習慣的分析,將大數據分析深入到電影的創作環節中,塑造瞭風靡一時的美劇《紙牌屋》。然而 Netflix 的工作人員告訴我們,不應該迷戀大數據。
如果說電視劇評分 9 分是精品的話,大數據可以讓我們脫離低分 6 分以下的風險,卻也會帶我們按部就班的走向平庸的絕大多數 7-8 分之間。
產品經理在直覺創造的心智能力,情感理解的社交能力,與大數據相結合,正確的理解數據,讓數據真正嵌入到產品的設計中,切實解決用戶的實際問題,方能真正做到所謂的 " 用戶洞察 ",讓產品走到用戶需求前面,超出用戶的預期。