數據分析學習筆記——異動分析
1 異動分析概述
工作中常會碰到一些突發異常情況，例如某階段用戶轉化率大幅波動、交易金額飆升或銳減、某欄目CTR暴跌等，再或者觀察到某些趨勢性的變化（如消費者導購偏好演變、品牌消費趨勢變化）。 此時通常會進行異動分析，以明確下一步解決問題的思路。
異動歸因的目的
根據心理學家Fritz Heider的觀點：人有兩種強烈的動機：一是形成對周圍環境一貫性理解的需要;二是控制環境的需要。
為了滿足這兩種需要，普通人必須要對他人的行為進行歸因，並且經過歸因來預測他人的行為，唯有如此才有可能滿足"理解環境和控制環境"的需要。
由此，我們也可以推斷出歸因的目的：
- 形成認知
- 預測/改善業務：歸因需要區分可控與不可控因素，對於可控因素加以干預。
2 異動分析觸發標誌
核心數據指標產生波動
當波動範圍超過一個預定義的警戒閾值時，就應該觸發分析（無論正向的還是負向的波動），以理解波動背後的原因，並採取相應的對策。
多大幅度的波動值得觸發分析因指標本身特性對應的業務敏感度而定。 閾值設置沒有固定規則，大家可以根據影響的承受力來設定。 這裡有一個常見錯誤，就是對正常的小幅波動太過敏感，觸發頻繁的分析，最終卻沒有有價值的發現，屬於自然波動，浪費了人力。
什麼是正常幅度的波動，可以對一個大時間段的同一指標進行同比環比的統計后判斷。
例如，上圖是某五周期間觀察到到流量按時間段到分佈情況。
0點出現大流量——9點，14點，19點的流量峰值符合移動端使用者在早晨通勤時間、下午回到座位、傍晚通勤時間的訪問規律。 但0點出現如此之大的流量，十分異常，就應當觸發專題分析。
數據體現出某個同趨勢性的連續變化
例如，連續7次正向或負向的增長。 此時，即使還沒有達到預設的異常警戒閾值，都應當進行分析，以理解趨勢背後的原因。
為什麼是7次呢？
其實這不是絕對的，當一個連續趨勢出現時，同向的數據點越多，表明背後有某種非偶然因素的可能性越大。 從統計學角度，如果是偶然因素導致連續7個點往同一個方向發展，可能性只有1/128，大約為8%。 因此，7點同趨勢變化背後存在非偶然因素的置信度已經足夠高了。 如果是特別關鍵的指標，連續5個點同向發展（97%的確定性）也許就該進行分析了。
7點原則
PMP品質管理工具中有一種叫控制圖，用於監控過程是否穩定，是否具有可預測的績效，在問題還未發生時解決。 需要關注控制圖中的平均值、控制界限、規格界限的含義。 控制上、下限一般設為±3個西格瑪。 過程失控的情況包括數據點在控制界限外，以及七點規則（連續七點在平均值上方或下方，或七個點呈同方向變動（越來越高或越來越低）表示過程失控），數據點在規格界限外為品質不合格，需要返工或重做。 即超過規格界限，表示產品質量有問題; 超過控制界限但未超規格界限，產品質量沒有問題，但是表示過程失控。
當然，背後應當去除已經理解的影響因素，例如越來越靠近春節時流量持續下滑，或者接近換季時新一季的服裝銷售持續上升，都是正常現象，除非波動過大嚴重脫離同比情況，否則這樣的趨勢並不值得浪費人力進行分析。
3 異動分析的準備工作
核實數據真實性
資料真實性是根基。 真實性包括兩個方面，第一個就是數據源是否準確，第二個就是數據源準確的情況下，指標的統計口徑是否有問題，數據源無誤且統計口徑無誤的情況下才是真正的有問題了。
通常情況下，在我們的工作當中，我們通常會通過一些監控看板或者說是統計平臺去監控這種非常核心的日常指標變動，所以這些看板或者是系統發生bug導致數據丟失等數據源異常也是有可能會發生的事情。 另外，確認了數據源的問題后，還要確認DAU的統計口徑的問題，經常會遇到產品或者運營的小白同學拿著自己計算過的DAU來找我們說：為什麼DAU下降/上漲了那麼多？ 仔細一看，原來是他自己在加工的過程中計算的口徑有問題，白緊張一場。
是否是外部因素
確認了數據的真實性后，我們還要看這種變化是否是季節性或整個行業性的變化等外部因素導致的。
舉例來說，某在線招聘APP的DAU出現了明顯的下降，就要去看歷年的同期是不是也有過類似的變化，因為一般來說，求職的旺季在每年3、4月份和7、8月份，是有明顯的季節性趨勢在裡面的，DAU的下降是否和季節性有關。
另外一個，如果不是季節性因素，那就還要看一下是你們產品的問題獨發還是你們這個垂直行業的併發，很多時候可能國家出臺的政策會導致整個行業受到影響，比如2019年教育部出台規定：在校期間，學校不得讓學生使用平板、手機等電子設備進行學習，這一規定出臺導致整個校園內的教學產品的DAU明顯下降，整個行業都面臨著核心指標下降的問題， 當然行業內的變化需要我們要跳出公司自身的業務，站在更高的角度，及時關注國家相關政策、行業動態，同時也要學會從獲取行業的數據，競對的財報數據等等。
- 競品：競品最近的動作，是否舉辦活動
- 政策：政策監管、法規變化
- 社會：公休日、社會熱點等
- 自然：季節性、週末等時期變動
觀察數據本身及變化規律
由於指標的波動可以分為正常的和異常的，按照持續時間又可以分為暫時性波動、週期性波動和持續性波動，所以要先明確這個波動是不是真的是異常的，可以和產品、運營、研發、運維等多方確認數據的真實性，然後觀察數據波動持續了多久，判斷波動程度是否是在合理的範圍之內，比起昨天和上周，同比環比分別變化了多少等等。
- 暫時性波動：只在某個時間節點發生波動。 暫時性上升/下跌背後原因的一般都是短期/突發事件，比如系統更新導致數據統計錯誤，突發的管道投放凍結等。
- 週期性波動：會週期性發生上升/下跌，比如雙十一、週末、春節等季節性因素。 一般業務開展都有週期性，比如考勤工具類APP，就是以周為單位迴圈。 工作日和週末就是有明顯差異波動。
- 持續性波動：從某時間開始，一直出現上升/下降趨勢。 而持續性上升/下跌背後原因往往都是深層次的，比如使用者需求轉移，管道投放長期暫停，大環境等因素，導致出現持續性的。
如果是數據指標下跌的話，週期性下跌一般都不需要做特殊處理;暫時性下跌往往來的比較突然，要關注事件持續性;持續性下跌的，特別是不見好轉，持續的時間越長問題越嚴重。
需要注意是：不能單純的看日周月報表中趨勢圖的走勢，要結合波動的幅度來看——幅度越大，說明出現的異常問題越值得注意。
4 異動分析常用方法
常見的方法包括但不限於：演繹推演、維度下鑽、驅動指標、實驗設計與因果推斷、用戶調研與反饋分析。 每一種方法有自己的歸因深度、實現成本以及定位經度。
維度下鑽
按多個維度全面對波動數據指標的下層構成進行拆分，觀察對比各個下層數據，找到在哪個細分維度出現異常波動，並鎖定該維度，層層遞進，深入分解，直到最終找到答案。
在拆分到下層維度過程中，需要考慮從多個角度出發，反覆對比。 例如，如果某一周發現轉化率產生異常波動，可以按如下維度進行拆分觀察：
維度一：商品品類
拆分到各個品類，觀察是否由某個品類的轉化率大幅波動帶動了整體轉化率的波動。
案例1：
某一周我們發現全站轉化率飆升近2%，通過二級報表對各品類轉化率進行觀察后發現，轉化率波動主要出現在美妝品類。 進一步對美妝品類各SKU的銷售進行觀察，發現潔面儀、水牙線、和某款面膜等三個商品短時間銷量巨大。 這三個單品的上線價格遠比京東和天貓更為低價，並與市場部確認，市場部有在"什麼值得買"網站進行投放，導致大量用戶湧入，銷量激增，通過這三個熱銷爆款的銷售推動了全站轉化率的波動。
案例2：
有一次服裝線的採銷對某品牌服裝在設置促銷券時忘記設置互斥，導致使用者可以反覆領券和疊加用券。 而該技術漏洞被人在烏雲平臺所披露，導致大規模的使用者和黃牛湧入搶購，零元購買，極短的時間里賣出數千件，造成轉化率瞬時飆升。 因為人工設置價格和促銷時錯誤難以絕對避免，此類問題在各個電商平臺時有發生。
維度二：用戶群體
拆分到各個用戶群體，觀察是否由於某個用戶群體的購買情況變化造成了轉化率的波動。 注意使用者本身就可以按很多個維度拆分：
- 性別
- 地域：省、地區
- 消費價格段：高、中、低價格段
- 消費風格類型：例如時尚人群，母嬰人群，數碼控，閱讀愛好者，家庭主婦......
案例3：
某一周的數據觀察中我們發現全站轉化率的飆升，通過地域和品類的分析，發現是由於華東地區高溫，導致空調風扇等商品在華東的銷售飆升，推高全站轉化率。 北京地區霧霾爆表也曾導致凈化器、口罩等商品在北京地區銷售猛增。
維度三：渠道來源
拆分到各個使用者來源管道，按管道對應的銷售情況進行觀察。
例如，有時轉化率大幅提升，分析發現是因為市場部在某些導購網站的黃金資源位進行了爆款投放，從該渠道產生了巨大的流量和銷售進而推高了整體轉化率。 當然部分管道的刷單現象也常常會引起整體轉化率波動。
維度四：轉化漏鬥/業務流程
觀察首頁到商詳，商詳到購物車，購物車到結算，結算到支付等轉化漏鬥環節的細分轉化率的變化情況。
案例4：
有一周轉化率低於警戒值，通過漏鬥分析發現支付環節成功率大幅下滑。 對支付渠道進行分解后發現某銀行管道的支付成功率下降到零。 與該銀行溝通后確認，該銀行對支付介面進行了升級，升級版本存在問題，導致該支付管道支付失敗，導致整體轉化率產生波動。
案例5：
有一次技術團隊上線新版本后，發現轉化率下跌，通過漏鬥分析發現，在新用戶註冊環節有較大的註冊成功率下降。 進一步通過註冊流程的分析，看到產品功能上增加了一步強制實名認證，導致部分使用者在這一步由於各種考慮而放棄了註冊。 在與產品經理溝通后把實名認證改為可跳過，改為在後續階段進行引導認證。 這一步改變使註冊成功率得以恢復，問題解決。
維度五：設備平臺
觀察iOS，Android，PC，Web等各個平臺以及各個app版本的轉化率情況。 例如，我們有時發現，新發的Android包存在技術故障，導致使用者大規模登錄失敗，進而影響整體轉化率。
維度六：銷售管道
很多平臺會對接下一級分銷管道，各個管道的銷售情況變化也會帶來整體轉化率波動。 有時某個渠道進行了效果極佳廣告投放，會重大促進該管道的銷售，進而影響整體轉化率。
維度七：流量或銷售時段分佈
拆分到各個使用者來源管道，按管道對應的銷售情況進行觀察。
例如，有時轉化率大幅提升，分析發現是因為市場部在"什麼值得買"的黃金資源位進行了爆款投放，從該渠道產生了巨大的流量和銷售進而推高了整體轉化率。 當然部分管道的刷單現象也常常會引起整體轉化率波動。
案例6：
有一次轉化率下降報警，數據分析表明銷售情況在使用者、管道、品類等方面都分佈均勻。 最後產品經理與BA聯合排查，發現在0點到7點之間有大流量出現，並且流量集中在整點剛到時爆發，由此基本可以推測這些流量並非真實顧客，而是某種程式腳本整點觸發導致。 最後與技術團隊跟進分析，確認是某搜尋引擎爬蟲開始集中爬取平臺商品、價格訊息。
維度八：用戶帳號或商戶
有時某個商戶，或某些使用者，出現異常大規模訂單，導致整體轉化率、單均價等出現巨大波動（此類現象往往是刷單導致）。 通過按商戶或使用者帳號的銷售情況拆分，可以發現此類問題。
並不排除還有更多維度，大家可以按自己的業務特性進行類推。
以上只是對轉化率進行分解分析的一個例子。 任何一種指標通常都可以向下拆解，直到最後發現問題所在，而上面列舉的八個維度，通用於絕大部分的線上狀況分析。
具體的做法是：按各個維度對指標拆分到下一級后，觀察下級各維度指標是否均勻體現該波動。 如果是，則基本可以排除是該維度的因素所導致。 對同級的各個維度逐一拆分觀察，通常會發現某個維度下的某個次級指標劇烈波動，鎖定該指標，再次對其下層指標進行分解觀察，層層遞進，最終可以找到結論。
驅動指標
驅動指標也是常見的異動歸因的思路。 通常情況下，X與Y存在相關性，甚至存在因果關係。 例如標籤頁vv = 視頻詳情頁PV *標籤點擊率 *標籤頁 CTR，則其異動可能是前述的幾個指標的異動造成的，前述指標可能是驅動指標。 上述這類指標拆解通常有明確的產品路徑（Customer Journey），帶來因果關係。 但也存在並非顯性路徑，而有某種隱形業務邏輯的，我們可以將目標指標的異動歸因到其驅動指標，在對指標的變化進一步歸因。
驅動指標從指標的類型上來分，可以分為類別型驅動指標和連續性驅動指標，我們把使用者留存（Y）當作我們的關鍵指標，解釋兩類驅動型指標的分析思路。
類別型驅動指標
類別型驅動指標關心的是子群使用者與大盤使用者（或者其他子群使用者）在各種特徵（即指標）上的差異。 留存分析建議使用的類別型變數包括：用戶客觀指標和平臺行為指標。 以使用者客觀指標為例，可以分為年齡段，性別，省份等等。 這裡用TGI （Target Group Index）來表示目標子群在整體表現的強烈的程度。
TGI指數=[目標群體中具有某一特徵的群體所佔比例/總體中具有相同特徵的群體所佔比例]*100
以用戶畫像為例，留存中女性使用者TGI指數為
留存中女性使用者TGI= [（留存女性用戶人數/留存用戶人數） / （DAU女性用戶人數/ DAU）]* 100.
連續型驅動指標
連續型驅動指標關係X與Y的變化趨勢，即相關性，以及增速拐點（aha moment）
連續型指標包括人均時長、關注人數等等。 可以直接通過person係數來判斷兩者的相關性，也可以簡歷多元回歸模型，通過係數（權重）的大小判斷提留的優先順序。 模型為：
假設 對當天的活躍使用者哈希分組，其中x1 x2 為該組人均時長，人均關注數，
分別表示影響y（留存率）的程度。
當明確了提留的優先順序，如何判斷提升的ROI 可以確認aha moment。 以關注人數為例，可以關注人數作為分組的依據，觀察該子群的留存情況，可以畫出分佈。
最後會形成一個類似於Sigmoid函數的 「S型曲線」。。 拐點處為斜率最大值。 業務同學可據此設計抓手，把拐點之前的用戶，作為提留存的目標使用者。
AB實驗
由於真實場景下存在許多的變數，可能是產品反覆運算、運營策略改變，或者線上有另一個AB實驗在做，都會導致最終結果存在差異，所以不同情況下的驗證會有不同的解決方案。
要驗證一些可復現的問題或可實施的想法時，如果時間充裕就可以通過AB實驗來做，其他情況則可以通過業務經驗快速縮小驗證範圍，用業務指標拆分或相關分析來輔助排查問題，最終鎖定一個或多個有意義的結果。
需要注意的是，對於部分能穩定重現的問題來說是可以用AB實驗來驗證的，還有很多問題是不能穩定重現的，就需要另外思考解決方案了，例如某天發現有大量新增的使用者，但是都是腳本類比的假使用者，這時就需要根據當天的使用者行為記錄，如ip位址與設備標識等已經產生的現有日誌進行深入挖掘了。
5 定位指標下降原因
具體分析可以採用「內部-外部」事件因素考慮。
內部-外部事件
在一定時間內同時發生可能很多種，主要關注數據指標的起點、拐點、終點。
- 數據指標起點：數據指標剛下跌時，發生了什麼事件;往往起點事件是問題發生的直接原因。
- 數據指標拐點：在指標持續下跌過程中，是否某個事件的出現，讓問題變得更嚴重，或者開始轉暖。 拐點意味著，這是可以通過運營手段改善指標的。
- 數據指標終點：當某個事件結束后，指標恢復正常。 或當開始某個事件后，指標下跌結束。 終點事件的兩種形態，代表著兩種改善指標的方法：等問題自己過去，或者主動出擊解決問題
內部事件因素
- 分為獲取使用者（渠道轉化率降低、管道平台的問題等）
- 滿足使用者需求（新功能變更等引起某類用戶不滿）
- 促活運營手段（簽到等提活手段沒達成目標、產品自然使用週期低導致上次獲得的大量使用者短期內不需要再使用等）
- 內部功能和運營策略調整（產品、運營、技術在數據異常時間點附近做了什麼策略調整）
外部事件因素
採用PEST分析（宏觀經濟環境分析）——政治（政策影響）、經濟（短期內主要是競爭環境，如對競爭對手的活動）、社會（輿論壓力、使用者生活方式變化、消費心理變化、價值觀變化等偏好變化）、技術（創新解決方案的出現、分銷渠道變化等）。
我們遵循短期變化找內因，長期異動找外因。
在條件允許範圍內，再結合自身業務經驗確定幾個最可能的原因假設，給這些假設排數據驗證的優先順序，逐一排查，深入分析，比如本次指標下跌是因為新功能不符合預期不給力、管道投放力度不夠、競品太厲害、版本更新大bug、流失嚴重等。
6 異動分析後續方案
預測未來是否還會下跌？ 應該採取什麼方式避免下跌？
與業務溝通反饋分析結論，探討後續方案的執行;再針對原因解決問題，制定優化策略。
最後，我們要預測影響到什麼時間;並運營、產品溝通反饋分析結論，探討後續方案的執行。
7 複合指標異動分析舉例
有時候我們可能還會碰到一些復合指標下降問題，比如說GMV下降了20%。
復合指標成分拆解
第一步我們首先需要去拆分這個複合指標組成成分，比如說GMV就等於訪客數用戶轉化率訂單均價。
訪客數分析
訪客數只要從用戶的組成成分以及使用者來源的渠道這些方面去分析訪客數下降原因即可。
轉化率分析
如果說是轉化率發生下降的問題，那麼這裡就涉及到了分析當中另外一個非常重要的分析法，也就是漏鬥分析。
在分析轉化率這問題的時候，我們通常要看使用者從進入APP到最終比如說完成購買這個動作，在這個環節當中經歷了哪些子環節，在不同的子環節都會存在一定程度的使用者流失，這個就構成了我們所說的一個漏鬥。
所以如果在某一個子環節產生的使用者流失率非常高，那麼我們就要定位到漏鬥的這個環節，去看是不是這個環節的功能或者說是介面等等，讓用戶產生了體驗不好或者跳轉失敗的問題，從而導致使用者大量流失。 所以針對一個複合指標分析問題，它可能就融合了拆解分析和漏鬥分析兩個主要的分析方法。
訂單均價分析
如果說是訂單均價下降的原因，那就要看一看是不是由於某項外部的市場環境發生了變動，或者說是因為整體的市場價格都發生了下調，從而導致訂單均價發生下調，那麼這些就屬於外部原因，比如寒暑假快要來臨的時候，各大在線網課平臺都會推出很多優惠套餐，通過大幅降低訂單價格來拉新引流，整個行業都在打價格戰。
另外，也有可能是公司自己搞了一次較大的優惠促銷活動，想通過較低的價格促活和拉新，這些都需要及時關注行業的動態和公司內部產品和運營的動作。
