你用Python 做過什麼有趣的數據挖掘/分析項目?

blank
(注:本文部分回答來源於你是通過什麼渠道獲取一般人不知道的知識和訊息的? -何明科的回答以及能利用爬蟲技術做到哪些很酷很有趣很有用的事情? -何明科的回答)從文中,大家也可以看到一個創業小團隊艱辛的摸索過程。從一開始的一個想法,希望通過技術和科學改變世界,到碰巧能賺錢,到因為賺錢快而迷失了方向,到最後回歸初心,做自己最喜歡的事情。

第零步:原點,大數據與價值
大概一年多以前,和幾個小伙伴均認同一個趨勢:覺得通過技術手段獲取網上越來越豐富的數據,並基於這些數據做分析及可視化,必能產生有價值的結果,幫助大家改善生活。 (大數據被叫爛了,所以用低調的方式來解釋我們的初心)

第一步:開工,為基金服務
恰巧和幾個基金的朋友(包括對沖基金和VC/PE基金)聊到這個趨勢,他們非常認同這個觀點並願意付費,認為可以用這種實時且定量的方式來跟踪一些上市公司或者私有公司旗下的產品,來確定誰是有價值的投資目標。於是立馬獲得訂單並促使我們開幹,因為考慮到Python靈活及各類爬蟲庫的優勢,最終選用Python來做數據獲取的主體架構;也有新潮的小伙伴使用Go,同時用Go搭建了一個很酷的框架來製造分佈式的智能爬蟲,應對各種反爬策略。抓取數據主要來自於如下網站:

  • 各應用商店:獲取App的下載量及評論
  • 大眾點評及美團網:餐飲及各類線下門店消費及評價情況
  • 汽車之家及易車:汽車的相關數據
  • 58及搜房;房屋租售數據
  • 新浪微博:用戶的各種發言及輿論
  • 財經數據:雪球及各類財經網站
  • 宏觀數據網站:天氣、12306火車、機票網站

最初的產品純粹是為基金服務。下圖是在各個維度找出最有價值的App,各種量級範圍內在30天/7天增長最快及評價最好榜單。 (順便吹一下牛,我們這個榜單很早就發現小紅書App的快速增長趨勢以及在年輕人中的極佳口碑)

blank

下圖是對某個App的下載量跟踪,幫著基金做盡職調查。

blank

下圖是某上市公司的門店變化情況,幫著基金跟踪TA的增長情況。

blank

下圖是國內各個機場的實時流量,幫著基金跟踪國內出行的實時情況,或許能從一個側面反映經濟是否正在走入下行通道。

blank

第二步:擴展思路,開源和分享
為基金服務,雖然給錢爽快,但是也讓方向越走越窄。首先,基金希望訊息是獨享的和封閉的,投資就是投資人之間的零和博弈,公開的訊息就迅速會一錢不值,基金最在乎的就是訊息的獨享及提前量,所以各個基金都希望我們呈現的數據及分析結果能夠獨家。這樣迅速讓我們的方向收窄以及工作的趣味性降低,其次,畢竟對於基金而言,能分析的投資對象及方向是非常有限的。而且現階段,大部分對沖基金裡面的分析員的數據分析能力其實很弱:這些分析員裡面能用VBA或者能在Excel裡面使用矩陣及向量乘法的人幾乎可以驚為天人;能寫offset函數的人,就應該直接提拔了;大部分人停留在一個個數網頁找數據的階段。所以和他們起來十分費勁,除了提供一些粗暴的數據,並不能產生太有價值的結果。

在這段迷茫期,本來充滿激情的數據分析工作,讓大家味如爵蠟,感覺自己變成了一個外包公司。不過網路大法好,做技術做網路的核心思路是分享和開源,我們很快回歸到這一點。並且這一點最終讓我們做出了改變。有些分析雖然基金不買單,但是對一般的老百姓、對一般的媒體是有價值的,於是我們試著把這些數據分析及結果寫出來,發佈到知乎上供大家參考。

知乎是個好平台,堅持創作好內容遲早就會被發掘出來。很快一篇用數據分析黃燜雞米飯為什麼火遍全國的回答(黃燜雞米飯是怎麼火起來的? -何明科的回答)被知乎日報採用了。

blank

這次被“寵幸”讓團隊興奮不已,從而堅定了決心,徹底調整了整個思路,回到初心:不以解決基金關注的問題為核心,而以解決用戶最關注的生活問題為核心。堅持以數據說話的套路,創作了許多點贊很多的文章並多次被知乎日報採用(所答內容被「知乎日報」選用是什麼感覺? -何明科的回答),並專注在如下的領域:

還共享了一些和屌絲青年生活最相關的分析及數據。下圖是深圳市早晨高峰時段某類人群出行的熱點圖,通過熱點分析,試圖找出這類人群的居住和上班的聚集區。

blank

下圖反映了在各時間段在深圳科技園附近下車的人群密度。

blank

寫這些報告,團隊沒有掙到一分錢,但是整個成就感和滿意度大大上升。同時,在Python及各種技術上的積累也提高頗多,數據量級的積累也越發豐富,數據相關的各項技術也在不斷加強。同時,順勢擴大了數據源:京東、淘寶等數據也納入囊中。

第三步:擴展客戶
在知乎上寫這些報告,除了收穫知名度,還收穫意外之喜,一些知名品牌的消費品公司、汽車公司及網路公司,主動找我們做一些數據抓取及分析。整個團隊沒有一個BD,也從來不請客戶吃飯。

於是我們順勢做瞭如下的網站以及一個成熟的Dashboard框架(開發數據監控的Dashboard超有效率),目前主要監控和分析母嬰、白酒、汽車及房地產四大行業,都是一些願意花錢進行深度了解用戶以及行業趨勢的公司。收入自動上門,很開心!

blank

下圖是抓取汽車之家的數據,做出BBA(奔馳寶馬奧迪)這三大豪華品牌的交叉關注度,幫助品牌及4A公司了解他們用戶的忠誠度以及品牌之間遷移的難度。

blank

下圖是抓取新浪微博的數據,分析廣東白酒的消費場所

blank

下圖是抓取新浪微博的數據,分析廣東白酒和各類食品的相關度。

blank

除去為以上的品牌合作,我們數據風的文章也越來越受歡迎,曾經一周上了四次知乎日報(不知道@周源@黃繼新兩位大大是否考慮給我們頒發個知乎日報大獎)。另外也有越來越多的知名媒體及出版社找到我們,雖然告知他們我們不寫軟文而只堅持按照數據結果來發表文章,他們依然表示歡迎。原來非五毛獨立立場的數據風也能被媒體喜歡。自此,我們不斷成為易車首頁經常推薦的專欄。

第四步:嘗試功能化平台化產品
降低與高大上基金的合作強度,轉而與更接地氣的各類品牌合作,讓我們團隊更貼近客戶、更貼近真實需求。於是基於這些需求,我們開始嘗試將之前在數據方面的積累給產品化,特別是能做出一些平台級的產品,於是我們開發出兩款產品:

第一款:選址應用
選址是現在許多公司頭疼的難題,以前完全是拍腦袋。因此我們開發出這樣一套工具,幫助公司能夠更理性更多維度得選址。

下圖,我們抓取多個數據源並完成拼接,根據用戶的快遞地址,勾畫出某時尚品牌用戶的住址,幫助其選址在北京開門店。

blank

下圖,我們抓取多個數據源並完成拼接,根據大型超市及便利店與某類型餐館在廣州地區的重合情況,幫助某飲料品牌選定最應該進入的零售店面。

blank

第二款:數據可視化
我們在工作中也深刻覺得以前製作圖表和展示數據的方式太low、太繁瑣,我們希望去改變這個現狀,於是開發了一套基於Web來製作圖表的工具文圖。遠有Excel/Powerpoint對標,近有Tableau對標。

下圖是文圖豐富的案例庫及模板庫。

blank

下圖是簡單的使用界面及豐富的圖表類型。

blank

下一步的工作:

  • 與微信的整合,一鍵生成適合於微信傳播的截圖以及公眾號格式文章,便於在社交媒體的傳播
  • 收集更多數據,目前已經覆蓋40多家網站,涵蓋衣食住行等多個方面
  • 將數據SaaS化和開源,便於各類公司及用戶使用。 (諮詢投行等Professional Service人士一定會懂的,你們每年不知道要重複多少遍更新各類宏觀微觀的經濟和行業數據,現在只需要調用KPI)

最後,希望有一天它能部分替代已經在江湖上混跡二三十年的PowerPoint及Excel。

第五步:……
不可知的未來才是最有趣的。借用並篡改我們投資人的一句話:technology is fun, data is cool and science is sexy。初心未變,希望用數據用技術幫助更多的人生活得更美好。

—————————————————————————————————————
更多文章及分享請關注我的專欄,數據冰山: zhuanlan.zhihu.com/hemi

What do you think?

Written by Zhihu QA

blank

超級菜鳥怎麼學習數據分析?

blank

如何快速成為數據分析師?