Hacking Growth 讀書摘要(四) 快節奏測試
快節奏測試
2007年,Baylor大學重橄欖球隊隔10年以平均每場64分殺回南方12大學聯賽的最終決賽。其秘訣就在於快節奏的進攻。據統計,Baylor大學在每場比賽中比對手多做13次進攻,在大學橄欖球賽中,這相當於每場比賽比對手多進攻20%。 Learning more by learning faster !
The more experiments you run, the more you learn. 大多數experiment都以失敗告終,很少的測試會取得巨大的收穫。獲得大勝和小贏,換句話來說,就是一個基於測試數字的遊戲。一般,growth hacking最後的成功來源於一系列的小嘗試的成功累積而成。按照Peep Laja,轉化率專家的話來說,每個月5%的轉化率提升,一年後將是80%的提升。 Bain & 和HBS的研究發現, 5%的留存率提升,將可能英氣25-95%的利潤提升。
TEMPO Picks up Over Time
領先的增長團隊一般一周可以做20-30個測試,或者更多。早期的創業公司可以從每週1-2個測試開始,並穩定提速到一個更高的速度。
The Growth Hacking Cycle (增長黑客循環)
一個完整的增長循環一般以一周/二週一次的會議來組織。會議一般為一小時,用於回顧結果並對後面的測試達成公式。
Preparing for LIFTOFF (啟動準備)
在進入循環之前,應該先舉行一個啟動會議,讓所有人對整個流程該怎麼做形成共識。 Growth Lead,應該對團隊中每一個成員角色應該起的作用解釋清楚。然後數據分析師應該給出初伏的分析結果。 Growth Lead隨後給出增長槓桿(growth lever),北極星指標(North Star metrics), 以及後面要聚焦的領域。團隊將對每個星期所做的測試的量和頻率做一個估計。
以一個雜貨店App為例:
aha moment為通過手機可以直接購買雜貨,並且第二天就可以送到家。在第一會議前, growth lead ,運營/市場成員和數據成員首先給出了增長等式
Num of Installs X Num of Monthly Active Users X Num of Purchasers X AVERAGE ORDER SIZE X REPEAD PURCHASE RATE = AMOUNT of GROWTH.
同時,他們決定北極星指標是購買者人均月收入
在第一次growth meeting中,並不會確定做什麼測試。所有成員將利用接下來的一周來腦暴和考量哪些想法應該在包括在第一輪測試之中。
Stage 1: Analyze
先通過把活躍購買與下載後幾乎沒有購買的用戶群進行分組分析(cohort analysis)
我們最好的客戶們的行為是什麼?
- 他們用哪些功能
- 哪些頁面他們訪問
- 他們打開App的頻率是多少(一周打開幾次)
- 他們買哪些商品
- 他們的平均每單貨品數量是多少
- 他們每天幾點買,在一周的哪一天?
我們最好的客戶的特性是什麼?
- 他們是從哪裡上到App的?廣告?推廣郵件?或其他地方?
- 他們使用什麼設備?
- 他們的人口統計學背景是什麼?年齡,收入,等等?
- 他們生活在哪裡?
- 他們離線下雜貨店舖的距離?
- 他們還使用其他哪些App?
什麼事件讓用戶放棄我們的App?
- 哪個頁面的離開率最高(離開App)
- 哪些指定的動作有Bug阻礙了用戶
- 商品/產品的定價跟別人相比有什麼區別?
- 哪些動作他們沒有做,而購買用戶做了?
- 他們在App中的行動路徑是什麼?他們在放棄App前使用了多少事件?
當數據分析師在找出數據的時候, 市場/運營的專家將做一系列的用戶調研和採訪。這些數據和調研報告將在一周後的第一次增長會議前給出。
在第一次增長會議上,Growth Lead應該可以給出兩種用戶群的特性的總結報告。
在分析基礎上,團隊成員應該已經產生了相當多的增長設想。
Stage 2: IDEATE
Linus Pauling: "The best way to have a good idea is to have lots of ideas."
在啟動會議後的4天裡, 所有成員應該提交盡可能多的idea用於提升北極星指標。自我檢查是不提倡的,越多越好。
Growth Lead 應該建立一個項目管理工具來管理所有的idea. 所有的Idea應該被提交到一個Idea Pipeline,並且採用統一的模版格式,以用於快速的評估。
IDEA 格式:
- IDEA NAME(少於50個英文字符), 例如: Shopping List
- IDEA DESCRIPTION: 包含5W1H要素: Who,What, Where, When, Why and HOW。時間,地點,人物,事情。背後的原因/邏輯。以及怎麼做:A/B test 或者新功能或廣告。
- HYPOTHESIS (假設檢驗): 實驗預期產生的結果和影響, 應該量化
- METRICS TO BE MEASURED: 這個實驗需要追踪的指標。
另外,IDEA不僅可以從團隊成員中收集,更多地可以從整個公司全員和公司外部獲得。外部人員往往可以給出非常有幫助的建議。同時從你產品的最忠實用戶獲得的IDEA也往往極具啟發性。
最後,在提交一個IDEA之前,需要給他打一個分數來幫助團隊來設置優先級(見後面)
STAGE 3: Prioritize
在提交每一個IDEA之前,提交人應該給自己的IDEA打分。 Sean在http:// GrowthHackers.com中發明了一套ICE score system, ICE代表: Impact (影響/作用), Confidence (自信), Ease(實現簡單程度)
增長團隊應該根據所有的IDEA的平均ICE分,聚焦實現最高的ICE分的IDEA進行測試。
在會議之前,Growth Lead 需要通知所有的團隊成員review所有的ideas, 並作出必要的修正,並提名最應該做的idea。在Growth Meeting 上,這些被提名的idea將會被討論並確定是否去實施。
Stage 4: TEST
一旦一周的實驗計劃被確定,就進入實施,發布和測試階段。
測試規則:
1. 用99%的統計置信比例,而不是95%. 提高每個測試的Win門檻
2. CONTROL ALWAYS WINS:當無法得出清晰結論時, 保持原樣而不是使用新版本。
Back to Stage 1: Analysis and Learning
一個測試總結報告需要包括:
- 測試的名字和基本描述, 比如包括對應的用戶群:手機App用戶
- 測試的類別, 例如: 產品功能, 市場包裝,等等
- 影響的功能: 哪些頁面,或者哪裡的廣告(電台?)
- 重要指標: 希望影響的最重要指標
- 實驗週期: 週期開始和結束日期
- 測試的假設驗證和結果,包含ICE 分數,採樣大小,統計結果等
- 可能的混淆因素: 其他promo的影響等等
- 結論
The Growth Meeting
建議每週舉行一次Growth Meeting . 重要的是會議不應該被用戶brainstorming ideas. Growth meeting 應該被嚴格的用於聚焦提名的IDEA 並且對下一步的實驗計劃達成共識。
團隊可以額外舉行專門用於腦暴的會議,比如每月一次。
Growth Meeting 可以周二舉行,這樣第一天各個團隊成員可以做好準備工作。週一,團隊成員對所有的實驗的進展狀態和數據進行收集。 Growth Lead 對上週的工作進行Review:
- 上週發布的實驗,並於團隊的速度目標進行配比
- 與數據分析師協商更新所有的核心指標
- 所有有結果的測試的數據收集
- 對上週的活動和結果進行一個總體的評估,包括上週所有實驗產生的正面和負面影響的總結
- 將上週評估總結與會議議程一起發送給所有成員
Growth Meeting 會議舉行一小時,Growth Lead有責任保證團隊統一在議程上:
15分鐘:指標回顧和聚焦領域更新
包含:
1. 重要正面因素(正向的重要指標)
2. 重要負面因素(負向的重要指標)
3. 聚焦領域更新: 有沒有短期目標進入需要調整,還是與上週一樣等等。
10分鐘:上週活動回顧
包含:
Tempo:發布的實驗的頻率與團隊的目標
應該發布而沒有發布的實驗討論。
15分鐘:實驗分析後的結論
對上週的實驗初步結果,並回答結果,獲得建議, 並對實驗的評估形成結論
15分鐘:選擇本期的增長測試
目標是達成一致的本期實驗計劃,如果有分期,則Growth Lead有責任決定。然後每一個實驗將被分配給各個成員,作為這個"owner", 他們有責任將發布實驗。如果一周內來不及獲得數據或者發布,需要提供備案一個發布的時間日期。
5分鐘:檢查Growth of IDEA Pipeline
如果idea數量不夠或者減少, Growth Lead 應該激勵團隊在一周內增加數量。表彰上週的Top contributor 也是一種不錯的方法。
Growth Within Weeks
Growth Hacking 流程的速度和迭代提升帶來的影響是巨大的。