Growth Hacking & AB 測試

Growth Hacking & AB 測試

本文為前Facebook 工程師、現峰瑞資本技術合夥人覃超,在5月21日吆喝科技主辦的「增長黑客——互聯網時代的超級英雄」上海站的演講內容。

blank

Facecook 增長實踐

概況

我最開始在Facebook 做Facebook Phone,由於當時這個項目比較秘密,所以沒有多少人知道,後來項目失敗,負責的CTO 離開去做在線協同的文檔軟件Quip 了。在那之後我又去做Messenger 部分,做過安卓和iOS 的,它現在變成了一個APP。之前還做過一些其他的項目,包括收發效率和可靠性等。

Messenger 一開始只是一個簡單的產品,在2013 年的時候整個Messenger team 都納入Growth 團隊裡,我們用了很多增長黑客的辦法把用戶增長起來。後來Whatsapp 被收購,整個Whatsapp 也被納入到Growth 裡來,所以我們對於這兩個產品有著第一手的實戰經驗。這其實是一個非常典型的案例,因為Messenger 產品本身的形態是相對比較成熟和穩定的,所以關鍵是要把用戶黏性和活躍度增長起來。

Facebook 在我進去的時候用戶量大概是5.5億,現在大概是17億,相當於世界上最大的國家。日活接近10億左右,在移動上面也發展的比較好,從原來的20%到現在的85%,整個增長都還沒有看到任何乏力的趨勢。 Growth Hacking 方法並不是Facebook 首創的,Linkein、Google 等公司都在用,但是Facebook 有它自己的事實和數據進行驗證,所以它的Growth Hacking 應該是每個人提高自己的產品活躍度都可以藉鑑的,把東西本地化。

blank

這是詳細的用戶分佈數據,從2011年到2013年的增長幾乎是線性的。線性可能意味著造假,但因為是上市公司,這種可能性不高,最後反映出來的問題就是這個數據早就過了產品自增長的時期,其實應該是一個指數的爆發,然後慢慢趨於平緩。但是為了不讓它趨於平緩,要用各種人為調教的方法來實現增長。同時在Facebook Dashboard 的內部數據裡面,如果你把它的時間縮短到幾週的範圍,會發現它的活躍度和用戶參與度有很大的抖動。調教指的就是要不停地監控,查看數據,發現原因,然後找到相應的辦法,就像頂級的賽車手一樣。這週我去迪拜,在F1 賽道上面跑了一下,我開F1 經常各種甩尾、飛出去,我回來以後看第一視角發現他們在過彎的時候,會有很多調教。要讓用戶保持高速的頻繁的增長,就相當於你要駕駛一輛高速的F1,過彎的時候進行調教,這和你平時自己開日本車在路上是不太一樣的。

可以看出最上面的顏色是美國和加拿大的用戶,基本上趨於平緩,也就是說已經飽和了。再看其他國家的話,當一個州驅於飽和的時候,他們就開始以其他地方作為目標用戶驅動增長,所以用其他州的來把整體用戶數量往上拉。現在扎克對華爾街是不理的,但是對中國非常友好,因為下一步的計劃打算投放在中國。

那Growth hacker 是什麼呢? Hack 並不是指黑客去做一些壞事。而是指馬上上手,快速搞定,持續迭代。在國內更重要的是持續迭代,因為我覺得國內公司發展特點是超快猛,已經超過矽谷了。持續迭代要強調一下,就是造了一個東西以後不是就不管了,而是不停地改進,以求做到更好。 Facebook 1.0發布的時候,我們內部都懷疑這個東西發出去會讓人笑話,但是它發布三到六個月以後,已經做的非常好了。它的特點是非傳統、技術驅動、數據為王,在Growth 用戶增長方面採用Hack 的方式來進行增長。

blank

先看一下我們園區,有一個很大的Hack 放在廣場裡。這個大的玻璃房就是紮克的辦公室,他平時基本每天都在公司,只要去的話,就可以看到他,我們吃飯走的時候,他還在這個位置,並不像中國很多CEO 一樣一天到晚都見不到人。他在公司裡面的時間非常多,非常專注於自己的事業。

整個廣場非常大,經常用來給員工舉辦會議和活動。當年Facebook 要上市的時候,納斯達克的老闆叫扎克去美國敲鐘,結果扎克說飛很遠太浪費時間,自己要在公司幹活,到了九點納斯達克把股票列上去就行。納斯達克老闆覺得不合適,那麼大的公司上市竟然不敲鐘,於是帶著高級助理一起來到Facebook 廣場,舉行敲鐘。當時還搞了一個Hackathon,第二天早上九點鐘所有人都在這裡慶祝,上面很多直升飛機進行各種報導。

說了這麼多其實就是想表達公司對於Hack 非常重視,你有什麼想法,只要在不影響別人的情況下,就可以馬上去做,這麼一個很酷的過程就是Hack。整個美國的文化都是鼓勵這一點的,有了這一點才會孕育出整個矽谷特別肥沃的土壤和這麼多創新公司,這本質上是矽谷的製度問題,從底層看是整個國家的教育系統和人經過十幾年醞釀出來的,中國這方面這幾年也改善不少。

與傳統方式的區別

首先我們來看一個互聯網公司,用戶進來之後有典型的幾步?最上面是Acquisition 拉新,接下來是Activation 激活,繼續是Retention 留存,之後是Revenue 收入,最後是Referral 口口相傳、自發分享給你的朋友。其實這幾步並不是一層層的關係,而是互相交錯的,這五步每一步都需要看流失率是多少。很多用戶進來以後死在某一層,或者根本沒有激活,導致這一層和上面有很大的比例上的差距。

blank

首先我們來看一個互聯網公司,用戶進來之後有典型的幾步?最上面是Acquisition 拉新,接下來是Activation 激活,繼續是Retention 留存,之後是Revenue 收入,最後是Referral 口口相傳、自發分享給你的朋友。其實這幾步並不是一層層的關係,而是互相交錯的,這五步每一步都需要看流失率是多少。很多用戶進來以後死在某一層,或者根本沒有激活,導致這一層和上面有很大的比例上的差距。

blank

傳統的Marketing 方式就是在電視上打廣告,做各種推廣,它所能做的就是讓大家對於這個品牌有認知,佔領用戶心理。最典型的就是寶潔的三段式廣告,我們有什麼問題,提供什麼方案,喊一個口號。這能起到兩層作用,一是品牌的認知,二是起到拉新的作用,但是它無法知道具體的效果,以及滲透到下面幾層。而Growth 這一塊就是對每個渠道進來的用戶進行統計,所以它的優勢就是可以打穿到最下面這層,通過採集數據,去分析每一層用戶的轉化,同時分析哪一個渠道做的好,哪一個渠道做的差,以及某一層在流失特別多的時候是什麼原因。有了互聯網以後,可以用技術手段去有的放矢地進行用戶的增長,這就是Growth Hacking 的本質。其實這裡面沒有什麼黑科技,工作量可能會比以前大,而且你得更加的實事求是,不要騙自己,以及不要瞎燒錢。

Facebook Growth Team

Facebook Growth Team 主要是做了三點,首先是Data driven,第二它是一個工程師和產品經理的團隊,最後一點是直接匯報給老大。第三點放在這裡是很重要的,如果公司老大沒有這個意識的話,整個Growth Hacking 團隊就很難組建和實施。

blank

這張圖是團隊的架構,下面分為5個組,第一個是數據採集和分析組,這是基礎中的基礎;第二個是架構,Facebook 有自己的一套開源的東西;第三個是製定增長策略的,比如說之前只是從Facebook 往Messenger 導流,看起來非常溫和,到後來必須得用Messenger 這個APP 了,總之這個部門就是做各種策略的;第四個是做國際化的各種語言;最後是因為Messenger 這一塊當時很受Facebook 重視,很有可能是取代了其他的,所以把Messenger 納入到這個下面。

這裡面所有人都很有話語權,整個Facebook 團隊有20%的有經驗的工程師和產品的資源都在這個組,所以非常受重視。在上市的時候,Growth 團隊裡面有三個人都在場,CTO 都站在他們後面,也是因為Growth 團隊做的一些用戶增長,才使得Facebook 有這麼大的估值,所以扎克也是非常重視這個組的。

增長黑客的關鍵步驟

定義數據面板

blank

要做一個產品,第一步就是給你的所有數據建立一個面板,即Data Dashboard。當年我第一天進Facebook 的時候,就給我們發了一個電腦,收藏夾裡有各種東西,類似一個炒股的軟件,第一個收藏夾就是各種數據,包括公司的日活、月活、每一塊具體的用戶參與度還有用戶數,你可以點進去看具體的某一塊。

blank

經常用的一些指標就是日活、月活,同時還有用戶停留時長和用戶留存,因為這一塊已經經過了好幾年的發展,你隨便用一個吆喝科技的AppAdhoc A/B Testing,GrowingIO 或者友盟的話,都會默認提供這些,基本上是標配的。用戶參與度的指標Facebook 定的是七天裡面登陸六天的數據,這是他們自己拍腦袋想的。 Newsfeed 的推薦算法會經常換,他們就通過看點贊和評論數來評判推薦算法的好壞。針對重要的功能和核心的業務,也需要自己設計單獨的指標,做電商的話就是平均客單價,做互聯網金融的話就是用戶的認購。這個是非常基礎的東西,你要花時間,而且是跟公司的管理層坐下來一起開會,讓整個公司達成共識。

數據分析,定義關鍵操作

blank

第二點通過數據分析找到你產品的Core action,我覺得這很適合中國的互聯網,尤其是初創公司。 Core action 指的是什麼?就是你的產品想要解決用戶需求所需要的操作,即最能體現用戶參與度的操作,所以它的本質就是你做了這個產品以後,你要想解決用戶的核心需求是什麼,哪一個用戶的操作用到了APP 提供的最核心功能,並且把它定義成你的Core action,讓用戶用了很爽,用的很爽的標準是他本來就有這方面的痛點,用了之後剛好解決了。

blank

這裡舉幾個例子,Facebook 的Core action 就是添加好友,讓朋友和朋友之間互相聯繫在一起;Slack 是矽谷增長最快的公司,主要就是發消息的數量,發了2000多條以後就要開始付費了;以及Pinterest 就是Pin photo 的數量。同時再舉一個例子,做在線文檔的Quip,關注的是你寫了多少文檔進去,同時多少人進行了文檔的編輯操作。電商這一塊主要是下單,但也有社交性質或者網紅性質的電商,比如小紅書,他們的指標就是看用戶瀏覽了多少產品、參與評論等。互聯網金融這一塊很簡單,就是用戶到底買了多少理財產品,复購率是多少,而不是有多少註冊,註冊已經完全不夠了,甚至用戶的活躍度也不夠了,主要是買的事情。

blank

根據這個,Facebook 做了很多事情,7年來增長最厲害的就是這個People You May Know 功能,超過了Myspace。早在2007年的時候,Myspace 還是以註冊用戶為指標的,而Facebook 主要看日活、月活,還有用戶參與度,這個參與度有一個自己衡量的指標,就是點了一些基本的操作。在Greylock Parterner 的報告裡面說了一句:「最後你的產品要增加的話,不是增長你的用戶數,也不是你的活躍用戶數,你的日活月活都不重要,而是要衡量和看重有多少用戶完成這個Core action,這個數量的增長,才是你的本質。」當你的Dashboard 最後透過現像打通本質的時候,才是走上了正軌,說明你做用戶增長的方式已經找到了一個很好的路徑。所以你要根據自己的產品,自己去思考,根據那幾類大概定義一個Core action 的範圍。

blank

還可以找出一些數字,與Core action 很有趣地結合起來。當Facebook 用戶添加了10個朋友,一周就可以黏在這個平台上面了,所以Facebook 主要就是負責推薦好友;推特成為30個人的粉絲以後,會有各種消息過來,基本上就會一直不停的用;Slack 發了2000多條以後就要開始收費;Nice 就是打了多少個tag;知乎就是回答問題、收藏、感謝和集贊。當時知乎發現回答三個以上的問題以後,這個人基本會活躍在平台上,並貢獻優秀的內容。他們當時沒有用技術的Growth Hacking,而是直接粗暴的讓運營人員去提問題,然後不斷邀請別人來回答,等到這些人回答三個以上,就有很高的用戶黏性了。那時候有好幾個問答平台,而且百度知道非常火,但現在基本上也就是這樣了。所以就是讓人們來完成Core action,達到magic number,讓他們的黏性變大,你的增長策略就是往那方面靠攏,有的放矢的進行。

病毒式營銷

blank

第三點病毒式營銷,我覺得中國做的更好,不過很多是流氓式的。 Facebook 2006、2007、2008年總結了一套現在依然有效的增長的主要三個方面:第一拉新,第二留存,第三用戶再分享。這三個環環相扣,拉新就是燒錢、或者做渠道,找些大V自媒體發軟文就行了;留存是關鍵,必須有好的產品,監控和召回機制;用戶再分享的話,你需要在產品的詳情頁,或者是比較好的容易找到的頁面上,在各種地方設置分享到朋友圈、好友組、微博裡面的按鈕,這些東西都非常好。強調一點,用戶的留存是王道,而留存的基礎是產品滿足用戶的核心需求,Growth Hacking 只是一個外因,而外因是通過內因起作用的。

blank

Airbnb 當時對他們的邀請機製做了一個AB 測試,原本是邀請朋友來然後自己可以拿到25塊錢,測試之後發現效果最好的方式是,邀請朋友成功註冊可以給朋友25塊錢。很多人更想去轉發這種,因為覺得自己幫到朋友了,而他們朋友也會更爽,這是雙向的。

接下來在互聯網金融這一塊也有一些,比如說你們用的APP,邀請你的朋友來,或者說分享到朋友圈,就會得到體驗金。然而互聯網金融的Core action 如果是購買理財產品,或者充值的話,這種轉發是比較差的一個病毒式營銷,因為無法追踪到有最後有多少人註冊,多少人激活,或者多少人買,這個最後要達到Core action 上來。這幾年,企業各種刷單或者燒VC 的錢,把用戶的活躍度提上來,再去騙VC 的錢,而現在資本寒冬是很難再繼續這麼玩了。所以要強調一點,最終你的病毒式營銷要落到Core action 上來。

blank

回到上面的例子,這個是最好的版本,或者是最本質的版本,你還是可以邀請朋友來,但最後邀請的朋友如果充值的話,才給你相應的錢。同時這裡還有一個比較牛逼的,我邀請我的好友來的話,這些好友充了多少錢就給我相應的體驗金,拿不出來但是收益是可以給到的,等他們充了錢以後,有一半可以放到我這裡,就是說它這個病毒式營銷最後帶來的用戶激勵和邀請的朋友最後充錢是掛鉤在一起的。所以這是更好的、更有效率的病毒式營銷。所以需要透過直達本質,而不是簡單地為了拉用戶而拉用戶。

Gatekeeper與AB測試

blank

最後一點就是Facebook 裡面最重要的Gatekeeper 和AB 測試,這是一把雙刃劍,如果你的用戶量並不是很高,或者你沒有很大的成本,那可能不是很適合用。因為使用AB 測試會讓開髮變慢、維護成本變高,但它的好處是讓你的產品走的更穩,而且是有的放矢地往前走,相當於摸著石頭過河的意思。在Facebook 裡面任何Web、Mobile 或者是比較大比較關鍵的改動都會做AB 測試,最後採納不採納還要看整個公司的戰略方向是什麼。 Facebook 有些地方開發的很猛,bug 很多,但是比較有意思的就是管理以及整個公司的方向非常明確。每年有兩個大會,半年就有一次全體員工大會,扎克會說近一年公司做的怎麼樣,哪些指標好或者不好,然後方案定好之後,明年就不會再變了。很長一段時間公司重點就是Growth,所以讓用戶增長起來就行了,再過幾年你把收入弄上來就行,雖然用戶增長會下降,但是賺錢就行。但是並不是AB 測試能看出哪個一定好,哪個不好,最後選的標準還得符合你的公司戰略。

AB測試的重要性以及給金融行業的建議

blank

我們再看當時比較有趣的幾個例子,我在專欄上面提過好多次,就是Facebook 的首頁。 2009年的版本差不多就是這樣,現在的版本基本上和這個變化不太多,特別的地方是加了like,改變了一些圖標,剩下的6年基本上沒有變。因為本來想要變的,做了AB 測試發現不好,於是就沒改。

blank

當年有一個做產品的VP,想去學扁平極簡風格,做了這麼一個版本,就是這種設計,圖片很大,整個看起來是很漂亮的,員工用起來覺得很不錯,結果開發推送給用戶以後,活躍度和在線時長往下掉了很多。後來查了一下用戶沒有用的原因,是當時對員工的數據採集有問題。數據採集一直是難題,在Facebook 花了大量人力去維護,其實也沒有太大的技術含量,但是數據大起來之後就有技術含量了。同時工程師還要各種埋點和維護,所以我們對於用戶100個里面只採集一個,不然根本存不下很瑣碎的數據。所以建議盡量不要自己搭,用第三方就好了。

後來各種各樣的優化,做了九個月的時間,花了大量人力,結果因為數據不好整個版本就被回滾,這個團隊也被解散去做其他的,VP 也因為這個原因離開了。而這個版本後來被人人抄過去,因為我們只上線20%,而人人就已經抄過去了,做下來就是比較災難性的結果。其實本質是你可以抄,但是你得抄後面整個思路和系統性的方法。有了這個前車之鑑之後,我們在移動上面就變的比較謹慎了。

當年Facebook APP,最開始的版本是九宮格,後來因為出來了一個很多人都在用的庫,就變成了抽屜樣式,覺得活躍度不夠的時候,又進行了改變,把下面做成tagbar 模式。然而到底放四個,還是放五個,以及怎麼放,同時上面的按鈕要做什麼東西,我們都對這些進行了大量的AB 測試,寫這個花了三個月的時間,測試又花了三個月的時間。 iOS 和安卓都要用AB 測試,一下子工作量變得很大,我們開發的框架最後開源出來了。

blank

新版本花了很多時間,最後定下來發布的時候用了這個版本,你仔細看有些其實是比較反直覺的。 Messenger 放在中間位置,大家還能理解,消息放在那裡也還行,最有趣的是好友申請,任何一個社交類APP 都沒有把它放在左邊第二個,比如說微信在這裡放的是好友列表。有人提議放在more 裡面,當有一個人添加你好友的時候,就出現個小紅點,你點進去一看就發現你的好友是誰。最後使用AB 測試,定了現在的樣子,因為發現這樣最有效,結果能夠被最快速的反應。當時還做了一些別的測試,比如原本還準備把Messenger 放在上方。

所以有很多用戶的大公司,在對產品進行改版的時候,這些就顯得非常重要。尤其是在中國同質化競爭非常嚴重的時候,基本上兩個公司做一個事情,你就不能亂來了,特別是你又在千萬級用戶以上。我們在廣告這一塊兒也做的很大,當年很重要的一點就是在移動上面如果沒有廣告就賺不了錢,所以有一個中國的工程師,在上面加了廣告。他一開始提出的時候,其實早就有人做了,但是很醜,直接打廣告會讓你覺得程序出了問題,你看消息就會彈出一個廣告。後來他們做了大量優化,把這些東西優化的很好,現在廣告已經成了各個社交公司的標配。因為本身廣告主有一個後台,他可以加廣告費上去,然後你要通過廣告費的多少,以及廣告的內容,來進行匹配。如果他出100萬的話,盡量應該把它放在頭條。所以廣告位置應該怎麼放,才能既讓用戶覺得這個廣告有意義,也能讓你的錢賺的多,讓你的廣告主最後也得到相應的流量,我們做了大量的AB 測試。

最有意思的是,即使到現在,Facebook 還有0.5%的hold-out group,隨機挑0.5%的用戶,保持他們的ID 不變,讓他們永遠看不到feed 上面的ads。這部分可以用來測用戶的活躍度、粘性,這批用戶是遠古時代最健康的Facebook 的用戶,他們依然還是在這裡。通過看用戶怎麼樣,來看我們的廣告到底對他產生什麼樣的影響。同時還要看五年以後,十年以後是什麼樣的。因為0.5%的hold-out,每年Facebook 要損失1億美元做這件事情,為了用戶體驗,情願損失,可見Facebook 對數據的重視,以及需要AB 測試的強有力依據。

blank

對於互聯網金融這一塊可以做渠道測試,AB 測試不一定非要是技術層面,你也可以在做APP 推廣,打很多渠道的時候,投一個月的時間把前十名或者前五名的拉過來著重投。第二個就是測試註冊、購買頁面的轉化率,可以嘗試不同的方向。第三個是測試資產的列表,資產詳情頁的佈局,展示和措辭,是展示安全,還是收益高,還是流通性高。接下來是精品購物和積分商城,這個最重要的就是提高用戶的粘性,沉澱用戶。

總結

第一,data drive,要用數據說話。有很多開發是憑感覺的,特別是初級的時候。但是後來數據說話越來越重要,而且現在各種企業服務的數據採集,數據展示的工具越來越多,這一塊成本越來越低,所以要逼自己把這個做起來。

第二,要把data analysis dashboard 做出來。

第三,盡量用現成的工具,而不是重複造輪子。

最後打個廣告,希望大家用AppAdhoc A/B Testing,它的界面和Facebook 的AB 測試功能差不多,Facebook 的相對古老一點,而且根本都不是響應式的。 AppAdhoc A/B Testing 也漂亮一些。

What do you think?

Written by Growth Hacking

blank

O2O 行業用戶增長實踐

blank

PayPal 早期是如何通過Growth Hacking 成長為獨角獸的(七)