數據指標——ROAS 和ROI

轉行到數據行業差不多一個月了，才敢來回答這個問題，其中各種心酸、無助真不是能用語言能表達的，下面我盡可能的詳細的說說，希望對接下來想轉行的朋友有幫助。

• 我的背景

我是2016年6月畢業的控制工程碩士，就是個不入流的普通二本，學習成績也不好，糊里糊塗的也不知道將來要幹什麼、能幹什麼就畢業了，進了成都的國企工作，那時候也不想未來就是往前走。成都＋國企注定了我第一份工作是安逸、緩慢、與世隔絕的，就這麼過了一年半，工資雖然不高但好在國企福利好，也能活的滋潤。直到過年回家才知道不能這麼下去，於是開始系統學習數據分析，並開始嘗試轉行。

• 1. data需要學到什麼程度可以找工作？

剛開始也是一頭霧水，雖然概率論、Excel、spss個個都學過，但是要用於數據分析還是不知道該干什麼。在這種情況下，我採取的辦法是：書本理論＋軟件案例實操兩條腿走路。我花了大量時間搜索關於概率論的有用的分享，包含知識框架的思維導圖、知乎上別人分享的總結、有用的數據和案例等。

最開始是從Excel開始學習，雖然各種分析軟件層出不窮，但毫無疑問excel仍是數據處理第一工具，沒有之一。學習excel是個很瑣碎的過程，一定要用起來才不至於遺忘。這裡推薦個我學過的excel教程，叫“則秀教育”，這些也不貴，十幾塊錢就幫你梳理excel架構，每個視頻很短並配套練習文件，節省了自己的時間。

然後是SQL，這個一定要會！

無論用什麼數據庫軟件，無論從事數據方面的什麼工作，SQL都是最開始要用的。這就好比做飯，SQL是買米、買菜用的，會SQL就可以自己取數據，甚至在SQL中做一些初步處理，方便後續分析。 SQL推薦“SQL必知必會“ 作為入門工具書，可搜索網站“SQLZOO” 練習。

解決完數據的提取存儲之後，就是數據分析工具了。

這裡推薦三個工具：tableau、python、R。

tableau是一款簡單易學的數據分析與可視化軟件。我也是被朋友推薦的，BI神器，最主要的是，其鏈接的數據源豐富，數據分析對比都是拖拽式完成的，對新手比較友好，一周可入門，但學精就需要練習了，總的來說學習成本並不高，且應用場景豐富。

python就不需要多介紹了，最有潛力的語言，能幹很多事兒，當然包括數據分析，實際上用python做數據分析只是其強大功能的冰山一角，能幹的遠不止於此。建議學會python的基本操作，包括常見numpy、pandas、matplotlib、sklearn等的常見操作和API，這對個人技能提升有巨大的幫助。

R相對python，有些統計分析功能要強於python，但適用面不如python，學習成本略高於python但總體很低。

總結一下知識結構：

吃透“概率論與數理統計“＋熟練SQL（數據查詢、整理、分類）＋熟練Excel（簡易分析）＋建議SPSS（統計分析）＋熟練Tableau/PPT（數據可視化）＋建議Python/R（大數據分析）

• 2.初級的數據分析會做哪些工作？

需求整理、數據清洗、溝通跟進、簡易分析及分析報告。

• 3.數據分析有什麼小方向嗎？

數據庫工程師、數據產品經理、數據可視化工程師等都屬於，先入行慢慢都清楚了。

• 4.想要深度做數據分析有怎樣的建議

找到自己要長期從事的行業和方向，如網路金融、教育、電商？前端、後端、管理崗、技術崗？想清楚了就進入該行業堅持下去積累下去。若不知道自己擅長什麼，就先入行了再選擇也不持，總之先開始吧。

• 5.統計的學習應該從哪裡下手

看個人的基礎吧，如果零基礎小白，最好從最基礎的《概率論與數理統計》學起，認真筆記、找案例練習，逐漸形成自己的東西；如果有基礎，就根據自己的知識框架往裡填自己不熟悉的東西。最好是找幾個大型的實戰案例，把這個案例坐下來就差不多知道自己要學什麼了。可參考我的知乎文章，裡面有幾個我做的。

最後的一點小建議：

1. 時間有限，不要把時間花費在網上檢索資料、群裡聊天、互相吐槽上，保持專注；
2. 要適當投入資源，如花錢買點課程、數據、書籍等。可有的人會說，網上什麼都有還要我花錢？對於新手還沒有完整的知識框架前，自己搜索是個痛苦的過程，會浪費大量的時間，並且更容易使人困惑不知該從何處下手，最後不了了之。這時候別人帶著梳理好知識框架就顯得很有效率，並且能大幅提神學習效率，何樂而不為？時間和金錢都是寶貴的資源，我們不應該只盯著錢而忽視了時間。適當的花點小錢就能節約大量的時間和精力，簡直沒有比這更划算的了。
3. 轉行最難的是：邁出第一步。如果你想轉，現在就是最好的時間，世界上大多數活動並不是等你準備的百分百後再去做的，而是走一步看一步慢慢修正的。大膽去開始，“完成比完美更重要”。
4. 要學會自己去搜索解決故障問題。網絡是這個世上知道的最多的人，大部分問題都能在網上找到解決方法或思路，特別是一些老外技術網站、部落格等，一定要能自己解決問題，這是個很重要的能力，實際工作中會碰到比學習過程中更麻煩的問題。我的一個群裡有一個人，遇到屁大點的問題就在群裡各種求助，@這個@那個的，這是一種典型的思想、意識上的懶惰行為，我甚至懷疑像他這樣沒有自學能力的人即使將來找到工作了又該如何自處？其實他的大部分問題百度都能解決的。所以，如果您想轉行，遇到了問題請先自己嘗試解決，實在解決不了了再把當前故障界面、你做過的排故工作描述清楚了再去求助別人。這是最起碼的禮貌，大家時間都很寶貴，沒有人有義務給你提供保姆式的服務。
5. 堅定意志！這個過程有可能會很漫長，面試中會被啪啪啪打臉，也會被各路low逼嘲笑，這時候不要懷疑自己，要找出當前問題的所在，到底是數據分析不適合我？還是我沒準備好？還是公司的需求與我不匹配？不斷的去嘗試，不斷的被打臉，這樣的過程雖然難熬，但是能快速定位自己能力的不足並有助於迅速進步。所以，請堅持下去。

回想這一路走來，得到了很多朋友的指點、幫助、鼓勵與陪伴，有認識也有不認識的，恕我不能一一寫出你們的名字，真的謝謝你們。接下來的學習中，期待與大家一起共同進步，謝謝。

================================

很多小伙伴私信問不知道自己是否適合數據分析，害怕自己零基礎入門難，或者文科生學不會等等，其實這些焦慮和擔心是正常的，職場人都會有，所以要正確看待、保持心態來面對焦慮。

其實最好的辦法就是去嘗試，因為“實踐是檢驗真理的唯一途徑”，如果不行動反而越來越焦慮，並且一個行業不進到裡面去是不知道最是否適合的，所以先嘗試下，看看自己的熱情是否像自己想像的那麼高？自己是不是真的像想像的那樣完全學不會？自己是不是真的想從事這樣的工作？試過之後心裡才有底。

這裡推荐一個免費的商業數據分析入門訓練營。通過5天的學習，讓你接觸真正的數據分析思維與方法，體驗2大主流數據工具，體驗用數據分析解決商業問題。體驗之後你就知道自己是不是真的適合數據分析了。

點擊下方鏈接可直達：

The post 從零開始學數據分析，什麼程度可以找工作，如何計劃學習方案？ appeared first on 成長駭客交流第一站 - HyperGrowths™.

一個最簡潔有用的學習路徑：

國內最好的學習資源：

• tableau官網教程

下文正題：

當你去網上搜索Tableau，會發現關於tableau的諮詢和教程並不多，也就是說tableau在國內還只是一個偏小眾的軟件，沒辦法像excel那樣有很多的學習資源。

但這並不妨礙大家對tableau的熱愛，它在BI和大數據領域注定會成為最耀眼的星星。

tableau的產品家族裡，我使用最多的是Prep和Desktop。

下圖可以看到Prep用於處理數據，Desktop用於分析並可視化數據，上下游職責分明，協同性也非常好。

這裡學習的是tableau最最核心的產品Desktop，也就是大眾口中的tableau，你可以利用它強大的分析能力完成各種指標的分析，並以豐富的可視化效果展現數據。

看看優秀的dashboard怎麼做的，簡潔大方好看

要做出這樣的可視化作品，得先從安裝tableau開始。

在tableau官網下載desktop，然後無腦下載，無腦安裝，就能完成第一步。

接下來新手操作三大件：

1、連接數據？可以連接excel、csv以及mysql等各種數據庫

2、了解什麼是度量和維度？度量就是數據表中的數值數據，維度是類別數據

3、看看tableau中的各類圖表？柱狀圖、點圖、線圖、餅圖、直方圖、地圖等等

走完基礎後，就是整個的可視化分析展示流程：

其中的各個步驟需要詳細說明一下：

• 連接到數據源

Tableau連接到所有常用的數據源。它具有內置的連接器，在提供連接參數後負責建立連接。無論是簡單文本文件，關係源，無Sql源或云數據庫，tableau幾乎連接到所有數據源。

• 構建數據視圖

連接到數據源後，您將獲得Tableau環境中可用的所有列和數據。您可以將它們分為維，度量和創建任何所需的層次結構。使用這些，您構建的視圖傳統上稱為報告。 Tableau提供了輕鬆的拖放功能來構建視圖。

• 增強視圖

上面創建的視圖需要進一步增強使用過濾器，聚合，軸標籤，顏色和邊框的格式。

• 創建工作表

我們創建不同的工作表，以便對相同的數據或不同的數據創建不同的視圖。

• 創建和組織儀表板

儀表板包含多個鏈接它的工作表。因此，任何工作表中的操作都可以相應地更改儀表板中的結果。

• 創建故事

故事是一個工作表，其中包含一系列工作表或儀表板，它們一起工作以傳達訊息。您可以創建故事以顯示事實如何連接，提供上下文，演示決策如何與結果相關，或者只是做出有說服力的案例。

完成這些，一張生動的dashboard就誕生了。

這其中，需要不斷地練習熟稔tableau的每一個組件、函數、連接等等。

具體的學習路徑，tableau官方也提供非常細緻的參考：

• Desktop I：基礎知識—學習在Tableau中處理數據和創建可視化及儀表板時涉及的核心概念和操作技術，為進一步的學習打下堅實基礎。
• Desktop II：中級—擴展您的技能並學習一些高級Tableau功能，涵蓋統計分析、複雜計算及圖表類型等。
• Desktop I & II：速成班—這門速成課合併了Desktop I和II的內容，讓您能夠在更短的時間內學習Tableau基礎和中級技能。
• Desktop III：高級—實現Tableau Desktop的最大化利用，深入探索可用於實現創新型分析和儀表板的構建技術及計算。
• Tableau Prep I —了解如何使用Tableau Prep準備和整理數據，創建可以輸出到Tableau Desktop進行分析的流程。
• 可視化分析—討論有助於有效共享訊息和見解的可視化最佳做法。
• Web製作—熟悉Tableau Online和Tableau Server的Web製作功能，更加自信地進行創建、編輯和交互。
• 藝術+數據—學習一種非常有用的設計方法，它可以幫助您創建各種工具來講述數據故事，在組織中營造分析文化。

探索Tableau 提供的免費學習資源

Tableau入門套件將Tableau培訓視頻、閱讀材料、社區活動和產品實踐練習分門別類，讓您能夠循序漸進地學習高級產品功能。如果您只需要一次性幫助或快速教程，請試試我們的免費培訓視頻或幫助文章。

加入全世界最熱情的數據社區

Tableau社區讓您能夠通過多種方式聯繫同行和專家。加入當地Tableau用戶組、瀏覽我們的論壇，或者探索Tableau Public ，充分利用各種交流和學習機會。

我也收集了比較全面的數據分析資料（含tableau）

最後的最後，給大家分享一下我最近去優閱達tableau技術大會拍的一些資料，其中有德勤、vertica等大公司應用tebleau的案例，值得學習！

The post 如何學習tableau？ appeared first on 成長駭客交流第一站 - HyperGrowths™.

花了1個月，每天學習8小時以上，工科轉到網路數據分析師，先入門再提升，來說說我的經歷

並且轉行期間，為了掙生活費，每天還要花1小時錄初中數學題，錄題大概賺了2500，附上錄過的1道題

一、背景交代

2018年力學研究生畢業，校招簽了某車企三方，因為各種各樣的原因沒去

2018年7月1日開始轉行數據分析師

二、轉行時間軸

· 2018年7月1日：開始學習數據分析技能（脫產學習），學了Excel、BI、Mysql、統計學、python，跟著秦路老師的《七周成為數據分析師》視頻學，非常感謝他，很適合小白

· 2018年7月25日左右：開始投簡歷

· 2018年7月27日-8月1日： 參加了7-8場筆試、面試

· 2018年8月初拿到offer，體檢、入職

從第一天學習，到拿到滿意的offer，花了1個月

有很多同學想要轉行，這裡我給大家推荐一個「騰訊教育」聯合出品的商業數據分析入門訓練營。通過5天的學習，讓你接觸數據分析思維與方法，體驗2大主流數據工具，體驗用數據分析解決商業問題。體驗之後你就知道自己是不是真的適合數據分析了。

點擊下面的鏈接就可以免費獲得~

三、我如何學習的？

1、技能部分

（完整筆記pdf，領取方式見文末）

跟著秦路老師的視頻學（番外：我拿到offer以後，還偷偷給他微信公眾號讚賞了，人生第一次讚賞）

秦路老師的視頻分為7週，由於我是脫產學，並且悟性還可以，縮短為4週（此處只達到了成為數據分析師的最低要求，在工作中還得繼續學習，有應用場景以後，會學得更快）

·第一周：學了數據分析師思維+業務知識（內容雖然簡單，用起來卻不容易，處於一知半解的狀態）

·第二週：學Excel的函數（find、left、vlookup）和數據透視表；學Excel的圖表（雷達圖、甘特圖、漏斗圖、散點圖等）

Excel用了那麼多年，本週比較輕鬆，看了視頻以後，一定要跟著練習，會做以後知識才是自己的。

· 第二週（後2天）：學PowerBI，視頻裡講得很簡單，主要是可視化，如何表達，會基本操作以後主要是練習，如何表達指標間的關係，如何更直觀，本節1- 2天可學完

·第三週：重頭戲來了，MySQL

第一次接觸數據庫，安裝廢了1天，衰。數據量稍微大一些，Excel就玩不轉啦，此時亮出殺手鐧MySQL。

需要掌握select、where、group by、if、count/sum、having、order by、子查詢以及各種常用函數，以及partition by ，這個新出功能秦路視頻裡沒有，需要自行學習，學會以後，之前需要很多子查詢，用這個可以輕鬆搞定。

·第4週：統計學、Python

統計學：高中數學和大學概率論裡學過，這裡複習了一遍，懂了應用場景，簡單閱過

Python：學了numpy、pandas、matplotlib，會簡單的數據清洗和可視化

到第四周後期，大概7月25日，邊學，邊投簡歷，有面試邀請就去面試，沒有面試就在家繼續學

2、簡歷和麵試

• 簡歷

（1）製作了一份簡歷1.0，實在沒什麼可寫的，把學到的甘特圖啥放到簡歷，還洋洋自得，結果石沉大海

（2）肯定是哪裡有問題，可視化的表放在簡歷裡，毫無意義，於是在過往經歷中，強行跟數據分析拉了八竿子的關係，出了簡歷2.0，稍微好一些，有極少量面試機會

（3）再改，摸清了簡歷的竅門，一定要結構化，邏輯清楚，於是有了簡歷3.0，這才是一份可以到80-90分的簡歷嘛

• ·面試

（1）自我介紹

說清楚你是誰，為什麼能勝任這份工作，把自我介紹寫下來，多讀幾遍甚至背誦

我當初的自我介紹找不到了，TT

（2）面試官問答

提前想好面試官可能會問到的問題，並提前想好應對的答案

一定要熟悉自己的簡歷，尤其是找其他人修改過的簡歷，面試官會針對簡歷上的點提問

• 最後拿到滿意offer

工作內容有點類似淘寶網給商家提供的生意參謀，將C端產生的大量數據，自動更新，可視化後，呈現給B端

入職以後強化BI 的DAX技能，MySQL已經溜到飛起，又自學了Python

技能都是打輔助的，主要還是要釐清業務，指標關係、報表邏輯

最新情況：因為公司用的Tableau和Hive，現在BI已經不用了，轉用Tableau；MySQL也不用了，轉用了Hive；初學者的話，還是建議先學BI和MySQL
你會了BI，再學Tableau，會很快；會了MySQL，再學Hive，也是手到擒來接下來算法已經安排上了，技多不壓身，共勉吧

好多人問我零基礎轉行需要多久？

我覺得還是看每天的學習時間和學習效率，

1、預計1個月：每天8小時以上，效率極高（PS: 我應該屬於效率還可以的人，當年國慶節之後開始準備考研，不到3個月，考了上海交大）

2、預計2個月：每天8小時以上，效率正常

3、預計3個月：每天5小時以上，效率正常

4、無法預計：三天打魚兩天曬網

還有一些人問我，沒有經驗怎麼辦？

我的解決辦法是：去過往經歷中找與數據分析相關的點，哪怕只有一點點關係

比如：我讀大學的時候當了青奧會的志願者，統計路口的車流量，我就把這個經歷包裝成了數據分析的項目，特別適合零經驗的人。

還有一些人問我文科能不能轉行？

不要給自己設限，我認識的一位妹紙就是中文系轉了電商數據分析師，可能需要多付出一些經歷，是可以轉行成功的

還有一些人問我，簡歷投出去石沉大海怎麼辦？

可能投遞的技巧和簡曆本身2方面都有問題

投遞時不要使用招聘APP的打招呼模板，千篇一律

簡歷一定要結構化，有條理，有邏輯

（仍然不知道怎麼寫簡歷，投遞出去仍然石沉大海的童鞋，可以找找外援）

（週末有時間隨緣接）

我這是速成版，並且每天學長時間跟考研差不多。大家時間充裕的話，可適當延長時間，把基礎夯結實，再找工作，希望大家都能轉行成功。

有一些同學可能需要一些專業的指導和更好地學習環境去學習，這裡也是推薦大家免費的「商業數據分析」5天訓練營，在線的Mysql 和Python工具，很快能夠上手練練

好多小伙伴苦於沒有項目，簡歷空蕩蕩的，我從Kaggle上，挑了8個特別適合新人練手的項目供大家參考。

我的轉行筆記，放在公眾號：【曾哥數據分析】，自取~

The post 如何快速成為數據分析師？ appeared first on 成長駭客交流第一站 - HyperGrowths™.

16年我決定：以數據分析為核心技能，到風口所在的行業去工作。目前我在網路公司從事數據工作。

之前寫過一篇回答：如何快速成為數據分析師？

這篇回答作為“如何快速成為數據分析師”的補充，列舉一下數據分析各個模塊的學習路徑。

數據分析是啥？我將數據分析分成了三種境界：

1. 招式花哨：招式就是分析工具。會Excel、會SQL、會Python、會Tableau、會PowerBI 等等，很重要，但是完全不夠。換一種說法：掌握分析工具的使用方法，只是成為一名數據分析師的底線。
2. 內力雄厚：內力是指數學基礎和分析思路。數學基礎包括統計概率，機器學習知識等。分析思路是指拿到一個問題，有沒有結構化的思維模式。往細了說，熟練使用對比分析、下鑽分析、各種分析方法論（漏斗、相關分析、邏輯樹、RFM等）。內力是否雄厚決定了你針對一個問題是否有insight。但是，這還是不夠。
3. 業務是核心：離開了業務KPI和業務邏輯，你的分析只是空洞的數字，不能給公司帶來任何價值。所以，在有招式和內力的前提上，還得擁有業務sense。或者說，你的數據報告能夠打動業務方，才是最關鍵的。如果你只能告訴業務方本月銷售額周同比下降20%，業務人員只會跟你“呵呵噠~” 。銷售額跟他們的薪資息息相關，他能不知道下降的程度。你得告訴他們：下降多少（what）、下降在哪裡、為什麼下降（why）、哪裡可以上升、怎麼做大概率可以上升（so what and how）。

1 - 學招式

• 招式1：Excel

很多數據分析的簡歷裡是不寫Excel 的，但是這不代表Excel 不要用。實際上在工作中，數據量不大時，臨時分析下數據或者畫個折線圖，Excel 是非常能夠提高效率的。

有一定Excel 使用經驗的同學，其實完全可以在工作中遇到問題直接百度或者Google的。如果你時間充裕，也可以看下下面的兩本書：

Excel應用技巧寶典(豆瓣)

Excel實戰技巧精粹(豆瓣)

這兩本書除了Excel 技巧的講解，還會有一些案例，以及如何邏輯嚴謹的去看數。

但是，這兩本書內容很多很雜，時間不充裕可以挑重點先看。

重點學會使用：各類函數（IF、Countif、Countifs、SUMIF、SUMIFS、VLOOKUP 等）、透視表、基礎繪圖（折線圖、柱狀圖、餅圖等）。

其次，也可以聽這個課程：

跟王佩豐學Excel視頻教程：Excel實戰1800分鐘-網易云課堂

• 招式2：SQL

SQL 語言在數據分析工作中非常重要。目前大部分公司都是將數據存儲在數據庫中，尤其是網路公司，每天產生大量數據，數據分析師就從數據庫中直接獲取自己想要的任何數據（經過授權）來進行分析工作。

SQL語言在數據分析工作中有多重要？

學習SQL 我推薦的方式是刷題，但是刷題也不是盲目的刷，毫無經驗的同學最好先靜下心來全面學習下基礎知識。這就不得不提經典入門書籍：

SQL必知必會（第3版） (豆瓣)

MySQL必知必會(豆瓣)

這兩本書很入門，也很適合入門。沒有很深奧難理解的理論知識，就是教你如何看懂SQL 語言。

網絡教程我一般就看下面這個：

SQL教程|菜鳥教程

沒有繁瑣的講解，只有每個語句如何寫，以及案例的例舉。

然後，你就可以嘗試著開始刷題了，從簡單的題型開始，給自己一些信心先。

SQL 刷題網站有：

SQLZOO

刷題當然少不了大名鼎鼎的Leetcode：

題庫-力扣(LeetCode)

我之前也寫過一些刷題攻略，供參考：

如何學習SQL語言？刷題！ ！ ！

佰初：面試數據分析會遇到的SQL題

• 招式3：Python

Python連續3年成為開發者最想要學習的語言。
2018年起，Python進入浙江省訊息技術高考，山東省最新版的小學教材也加入了Python內容。

Python 的火爆程度可能大家都有所耳聞。 Python 對於數據分析工作者來說，是非常能夠提高工作效率的，寫一段代碼，可以把一些重複的數據報表工作變成敲一遍回車鍵就完事。

而且，學會了Python，後面你也可以在分析工作中做一些機器學習算法的開發。

經常有人問我，學習Python 還是R語言，很糾結。我是這麼回答的：

廢話不多說，先上一個大神的教程：

Python教程：廖雪峰的官方網站

再來一個菜鳥教程：

Python基礎教程|菜鳥教程

書籍類的資料也很多，推薦幾本：

Python語言入門(豆瓣)

Python編程:從入門到實踐(豆瓣)

利用Python進行數據分析(豆瓣)

下面的回答是我當時學習Python 的過程，可以獲取一個Python 的實戰項目代碼：

你是如何自學Python的？

點贊、評論留郵箱地址，我發送一些珍藏資料給你~

• 招式4：可視化類工具

市面上有很多可視化的工具，Excel、Python 也可以用來做數據可視化的工作。

一般公司使用的第三方的可視化工具有：Tableau、PowerBI 等，也有很多公司是用的自己開發的可視化工具，比如阿里巴巴就是自主研發的。 （說實話這方面我的經驗不是很多，只是用過一段時間PowerBI）

這方面沒有蒐集到特別好的學習資料，不過有一個經驗，就是這類第三方的軟件工具，官網都會有很完善的培訓教程，也可以加一個對方的銷售或者客服人員，拿到一些資料。

2 - 修內力

• 內力1：數學基礎

統計概率是數據分析的絕對基礎。很多分析方法模型都是建立在統計概率學的基礎上的。這也可能是已經工作的你，最難靜下心來學習的。

所以，跟之前一樣，先給一個入門級別的書，其實裡面很多知識都是高中就學過的，幫你複習一遍：

深入淺出統計學(豆瓣)

進一步的，可以看一些難一點的書：

統計學習方法(豆瓣)

這本書是從統計開始向機器學習的知識過渡了。不過對於小白來說，確實有一些難度，閱讀順序可以往後面放放。

出除了藍寶書，西瓜書也是很出名的：

機器學習(豆瓣)

也有更深奧一些的：

數據挖掘導論(豆瓣)

嗯，看不看就隨緣吧。

網絡課程也有很多講數學的，牆裂推薦B站上的3Blue1Brown，用動畫講述數學專業知識，生動形象，有時間可以看看。

嗶哩嗶哩：3Blue1Brown

還有可汗學院的統計學公開課：

可汗學院公開課：統計學_嗶哩嗶哩(゜-゜)つロ乾杯~-bilibili

復旦陳紀修老師的數據分析課程：

數學分析復旦陳紀修_嗶哩嗶哩(゜-゜)つロ乾杯~-bilibili

清華大學的數學建模課程：

清華大學數學建模課程_嗶哩嗶哩(゜-゜)つロ乾杯~-bilibili

清華大學出版社出品的在線學習平台：清華大學的文泉課堂免費開放，有很多高質量資源，有興趣可以去翻翻：

文泉學堂

裡面有很多計算機類和數學類的學習資源。

• 內力2：分析思路

Head first 打頭陣，這個系列很適合小白入門：

深入淺出數據分析(豆瓣)

用差評來證明下這本書有多基礎（笑cry~）。

如果你不認為自己是“毫無基礎的中學生”，那就看這個：

精益數據分析(豆瓣)

打造你的數據驅動思維模式，此書案例較多，涉及業務範疇比較廣。

如果你準備找前端用戶增長相關的工作：

成長駭客(豆瓣)

這本書是國內的，整本書的框架就是漏斗分析模型，講的是創業公司的增長之路。

“AARRR”轉化漏斗模型，即： Acquisition(獲取用戶)、Activation(激發活躍)、 Retention(提高留存)、 Revenue(增加收入)、 Referral(傳播推薦)

也有國外的版本：

成長駭客(豆瓣)

成長駭客的理念是這本書最早提出來的，有空也可以看看。

還有關於網站的分析：

網站分析實戰

最後在推荐一本麥肯錫分析師的經典書籍：

金字塔原理

這本書除了講解了很經典的金字塔分析方式，還對“演繹”和“歸納”兩種分析邏輯有很詳細的講解。

3 - 業務sense

業務sense 這一部分太大了。每個人從事的行業不一樣，業務模式也都有區別。我就推薦兩本我看過的書：

數據化管理(豆瓣)

這本書通過小白進入零售企業從0開始學習的視角，講解了各種數據分析方法如何融入到具體的業務場景中，最終形成數據化管理模型，從而幫助企業提高運營管理能力。教你如何量化目標，如何形成邏輯縝密的說服力。

如何用數據解決實際問題(豆瓣)

該書作者在日產公司工作十餘載，專門負責為高端決策層提供參考和支持，書中的很多案例都很接地氣，適合小白閱讀。

這兩本書都是零售領域的，主要我一直在這個領域工作。其他行業我暫時沒有特別好的建議和經驗分享。

4 - 結語

如果看到這一堆書，一堆資料，佷懵。那對於小白來說正常。

可以先點贊、收藏（嘿嘿嘿~~），目前只挑每個模塊入門級別的書和資料來看。

而且最好是結合： 3個月拿到數據分析offer~裡的節奏來學習，給你規劃好了應該先學什麼，後學什麼，怎麼找數據來實戰。

最後說一句：

數據分析是一門跨學科的學科。對於小白來說，這是機遇也是挑戰。機遇是說：就算對於科班（數學類專業）出生的朋友來說，也還是要學習IT、所在行業的業務邏輯、分析思路等很多知識；而且數據分析的崗位也會越來越多（數據分析師的前景怎麼樣? ），數據分析（數據分析日常工作做什麼：分析+監控+溝通~ ）的技能在其他崗位上也會越來越被重視。挑戰就不多說了，要學習的內容真的多，保持學習的狀態很重要。

最後，一如既往的，附上我的數據分析大禮包：

• 希望投身數據浪潮的盆友，可以看這篇回答： 3個月拿到數據分析offer~
• 數據分析師學習清單：超級菜鳥怎麼學習數據分析？
• 轉行時如何做出下一步選擇：如何知道自己喜歡做什麼職業？
• 數據分析師日常工作是什麼？
• SQL系列：
• 6000贊實戰題目分享：如何學習SQL語言？刷題！ ！ ！
• 新整理的SQL面試題：面試數據分析會遇到的SQL題~不定時更新~
• PYTHON系列：
• 做到這些就可以精通Python：編程零基礎應當如何開始學習Python？
• 我的零基礎Python學習經驗分享：你是如何自學Python的？
• Python入門案例：什麼因素最影響房價？
• 數據分析實戰技巧一：如何進行A/B測試
• 數據分析實戰技巧二：假設檢驗入門
• 數據分析實戰技巧三：Python可視化

祝大家能夠在大數據的浪潮里淘到金子~

5萬收藏，只有1萬贊~希望大家能夠幫忙點贊~給我持續更新數據分析乾貨的動力~謝謝~

http:// s.zhihu.com/B2C4r (二維碼自動識別)

The post 超級菜鳥怎麼學習數據分析？ appeared first on 成長駭客交流第一站 - HyperGrowths™.

我一直說，數據分析不是某一個固定的職位，而是大數據、人工智能時代的通用能力。

試問，現在哪個行業能離開數據？有了數據，誰能離得開分析？看下面的數據更直觀：

其實，這還不是最重要的。最關鍵的是很多人即使知道了數據分析有前景，卻不知道如何掌握這個能力？或者學習了一堆工具，卻用不上，怎麼破？

數據分析其實分業務方向，和技術方向：

對於零基礎的人來說，這個圖是是什麼意思呢？

其實，任何行業隨著你深入發展，都分為3個階段：初級，中級，高級。這根打遊戲闖關一樣，一級一級網上爬。所以，如果是零基礎進入這個行業也對應規劃為這3個階段，你按下面各個階段要求來對號入座。

1、初級數據分析師

工作內容：

要求熟練使用Excel，PPT。針對產品經理提出的需求來做分析。然後用PPT做分析報告。

比如說，之前社群會員面試的一家網路教育機構，他們的要求就是用Excel整理學生買課的訊息，看看哪一門課程最受大家喜歡之類的。

需要掌握的核心技能：

Excel，PPT，描述統計分析，業務知識

月薪：

這種職位的大概薪資在一線城市的話大概稅前有5000-10000

常見的職位名稱有：

數據分析師，數據運營，商業分析，戰略分析，經營分析，市場行業分析

給你看個招聘要求直觀感受下：

2、中級數據分析師：

工作內容：

不僅要會技術還要懂業務，通過發現問題，分析問題，得出結論，為公司的決策做支持。主要幹的工作是數據提取、撰寫分析報告。負責和支撐各部門相關的報表，監控數據的波動和異常，找出問題，輸出專題分析報告。

需要的核心技能：

Excel，PPT，統計概率，業務知識

熟悉SQL

月薪：

這種職位的大概薪資在一線城市的話大概稅前大概是7000-20000+

這個級別的招聘要求如下：

3、高級數據分析師

工作內容：

通過編程來處理數據，分析數據，建立模型，預測。

需要的核心技能：

統計學（推論統計分析，A/B測試），熟悉SQL，編程語言Python或者是R月薪：

這種職位的大概薪資在一線城市的話大概稅前有15000-30000+

來個招聘職位感受下：

對於高級數據分析師的職業發展，如果喜歡業務方向，可以往管理端發展，常見的職位名稱有：數據產品經理、數據運營經理。

如果喜專研技術，可以往技術專家端發展，常見的職位名稱有：數據挖掘工程師、數據開發工程師、大數據工程師。

4、未來的跳槽出路是什麼？

如果是往業務端發展，最終可以成為業務資深專家，總經理，或者CEO。我的一位師兄，經過幾年的發展，從剛畢業一名數據分析師，到現在已經是一家公司的總經理，他的優勢就是既懂數據，又懂業務。他剛畢業也是在北京租房子，現在早已實現了財務自由。

來個招聘職位感受下，都需要多年行業的積累，才能成為這個行業的專家。

如果是往技術端發展，你如果工程技術能力突出，那麼可以擔任公司數據科學部門的老大，常見的職位名稱是數據科學家。你如果理論能力非常強，可以寫paper，那麼可以擔任研究院的一把手。我的導師因為科研能力強，現在是一個科研單位數據部門的負責人。

三、如何選擇適合自己的職位呢？

1、學習適合自己當前能力的知識

弄清楚自己的基礎是怎麼樣的，學習轉行從事哪個崗位的難度更小些，以及自己更適合哪個崗位。很多人一上來沒有任何基礎，就開始啃機器學習這是不對的。因為你沒有統計概率，數學基礎，裡面很多專業術語根本無法理解。

數據科學是一門交叉學科，除了計算機相關知識，還需要有統計學、數學基礎，以及一定業務知識。所以可以作為終身職業發展目標，每天學習一點，慢慢積累進步。

搞清楚各個職位的區別，以及了解自己的基礎，知己知彼，就對學習和轉行有方向和信心了。最關鍵的是要在自己的“最佳領域”工作。所謂的“最佳領域”，就是你熱愛的、你擅長的、以及社會需要的這3個重疊的領域。

2、新人如何成長呢？

面對不同的職位，我們需要結合自身經歷、個人能力選擇一個上車，才能分享到人工智能時代的紅利。數據分析師是比較適合上車的方向，因為它起步門檻相對較低，市場需求量大，未來職位發展空間好。零基礎建議從初級數據分析開始學起。

3、成為一個關鍵時刻不放棄的人

我觀察過身邊的人，不管是同學、同事、還是創業合作夥伴，發現大多數人越到關鍵的時候，越容易放棄。

然而，那些最終堅持下來的，最後都成功了。所有的成長都源於那關鍵時刻的一點堅持。大多數人都是剛開始一腔熱血，找來一堆資料，但是遇到困難卻不想解決，在進步的前一刻放棄了，所以他們從來沒有感受過成功的快感。

上面是對於完全零基礎想進入這個行業的人，數據分析和數據挖掘的職業發展軌跡。願你在這個行業，成為一個關鍵時刻不放棄的人。

The post 做數據分析有前景嗎？ appeared first on 成長駭客交流第一站 - HyperGrowths™.

---------------------------------正文---------------- -------------------

數據科學並沒有一個獨立的學科體系，統計學，機器學習，數據挖掘，數據庫，分佈式計算，雲計算，訊息可視化等技術或方法來對付數據。但從狹義上來看，我認為數據科學就是解決三個問題：
1. data pre-processing;
2. data interpretation；
3.data modeling and analysis.
這也就是我們做數據工作的三個大步驟：
1、原始數據要經過一連串收集、提取、清洗、整理等等的預處理過程，才能形成高質量的數據；
2、我們想看看數據“長什麼樣”，有什麼特點和規律；
3、按照自己的需要，比如要對數據貼標籤分類，或者預測，或者想要從大量複雜的數據中提取有價值的且不易發現的訊息，都要對數據建模，得到output。
這三個步驟未必嚴謹，每個大步驟下面可能依問題的不同也會有不同的小步驟，但按我這幾年的經驗來看，按照這個大思路走，數據一般不會做跑偏。

這樣看來，數據科學其實就是門複合型的技術，既然是技術就從編程語言談起吧，為了簡練，只說說R和Python。但既然是薦數據科學方面的書，我這裡就不提R/Python編程基礎之類的書了，直接上跟數據科學相關的。

• R programming

如果只是想初步了解一下R語言已經R在數據分析方面的應用，那不妨就看看這兩本：

R in action：我的R語言大數據101。其實對於一個沒有任何編程基礎的人來說，一開始就學這本書，學習曲線可能會比較陡峭。但如果配合上一些輔助材料，如官方發布的R basics（http:// cran.r-project.org/doc/ contrib/usingR.pdf），stackoverflow上有tag-R的問題集（Newest 'r' Questions），遇到復雜的問題可在上面搜索，總會找到解決方案的。這樣一來，用這本書拿來入門學習也問題不大。而且這本書作者寫得也比較輕鬆，緊貼實戰。

Data analysis and graphics using R：使用R語言做數據分析的入門書。這本書的特點也是緊貼實戰，沒有過多地講解統計學理論，所以喜歡通過情境應用來學習的人應該會喜歡這本入門書。而且這本書可讀性比較強，也就是說哪怕你手頭沒電腦寫不了代碼，有事沒事拿出這本書翻一翻，也能讀得進去。

但如果你先用R來從事實實在在的數據工作，那麼上面兩本恐怕不夠，還需要這些：

Modern applied statistics with S：這本書裡統計學的理論就講得比較多了，好處就是你可以用一本書既複習了統計學，又學了R語言。 （S/Splus和R的關係就類似於Unix和Linux，所以用S教程學習R，一點問題都沒有）

Data manipulation with R：這本書實務性很強，它教給你怎麼從不同格式的原始數據文件裡讀取、清洗、轉換、整合成高質量的數據。當然和任何一本注重實戰的書一樣，本書也有豐富的真實數據或模擬數據供你練習。對於真正從事數據處理工作的人來說，這本書的內容非常重要，因為對於任何研究，一項熟練的數據預處理技能可以幫你節省大量的時間和精力。否則，你的研究總是要等待你的數據。

R Graphics Cookbook：想用R做可視化，就用這本書吧。 150多個recipes，足以幫你應付絕大多數類型的數據。以我現在極業餘的可視化操作水平來看，R是最容易做出最漂亮的圖表的工具了。

An introduction to statistical learning with application in R：這本書算是著名的the element of statistical learning的姊妹篇，後者更注重統計（機器）學習的模型和算法，而前者所涉及的模型和算法原沒有後者全面或深入，但卻是用R來學習和應用機器學習的很好的入口。

A handbook of statistical analysis using R：這本書內容同樣非常紮實，很多統計學的學生就是用這本書來學習用R來進行統計建模的。

• Python

Think Python，Think Stats，Think Bayes：這是Allen B. Downey寫的著名的Think X series三大卷。其實是三本精緻的小冊子，如果想快速地掌握Python在統計方面的操作，好好閱讀這三本書，認真做習題，答案鏈接在書裡有。這三本書學通了，就可以上手用Python進行基本的統計建模了。

Python For Data Analysis：作者是pandas的主要開發者，也正是Pandas使Python能夠像R一樣擁有dataframe的功能，能夠處理結構比較複雜的數據。這本書其實analysis講得不多，說成數據處理應該更合適。掌握了這本書，處理各種糟心的數據就問題不大了。

Introduction to Python for Econometrics, Statistics and Data Analysis：這本書第一章就告訴你要安裝Numpy, Scipy, Matplotlib, Pandas, IPython等等。然後接下來的十好幾章就是逐一介紹這幾個庫該怎麼用。很全面，但讀起來比較枯燥，可以用來當工具書。

Practical Data Analysis：這本書挺奇葩，貌似很暢銷，但作者把內容安排得東一榔頭西一棒子，什麼都講一點，但一個都沒講透。這本書可以作為我們學習數據分析的一個索引，看到哪塊內容有意思，就順著它這個藤去摸更多的瓜。

Python Data Visualization Cookbook：用Python做可視化的教材肯定不少，我看過的也就這一本，覺得還不錯。其實這類書差別都不會很大，咬住一本啃下來就是王道。

• Exploratory Data Analysis和Data Visualization

Exploratory Data Analysis：John Tukey寫於1977年的經典老教材，是這一領域的開山之作。如今EDA已經是統計學裡的重要一支，但當時還是有很多人對他的工作不屑一顧。可他愛數據，堅信數據可以以一種出人意料的方式呈現出來。正是他的努力，讓數據可視化成為一門無比迷人的技術。但這本書不推薦閱讀了，內容略過時。要想完整地了解EDA，推薦下一本：

Exploratory Data Analysis with MATLAB：這本書雖然標題帶了個MATLAB，但實際上內容幾乎沒怎麼講MATLAB，只是每講一個方法的時候就列出對應的MATALB函數。這本書的重要之處在於，這是我讀過的講EDA最系統的一本書，除了對visualization有不輸於John Tucky的講解外，對於高維的數據集，通過怎樣的方法才能讓我們從中找到潛在的pattern，這本書也做了詳盡的講解。全書所以案例都有對應的MATALB代碼，而且還提供了GUI（圖形用戶界面）。所以這本書學起來還是相當輕鬆愉悅的。

Visualize This：中譯本叫“鮮活的數據”，作者是個“超級數據迷”，建立了一個叫http:// flowingdata.com的網頁展示他的數據可視化作品，這本書告訴你該選擇什麼樣的可視化工具，然後告訴你怎樣visualize關係型數據、時間序列、空間數據等，最後你就可以用數據講故事了。如果你只想感受一下數據可視化是個什麼，可以直接點開下面這個鏈接感受下吧！ A tour through the visualization zoo（A Tour Through the Visualization Zoo）

• Machine Learning & Data Mining

這一塊就不多說了，不是因為它不重要，而是因為它太太太重要。所以這一部分就推兩本書，都是”世界名著“，都比較難讀，需要一點點地啃。這兩本書拿下，基本就算是登堂入室了。其實作為機器學習的延伸和深化，概率圖模型（PGM）和深度學習（deep learning）同樣值得研究，特別是後者現在簡直火得不得了。但PGM偏難，啃K.Daphne那本大作實在太燒腦，也沒必要，而且在數據領域的應用也不算很廣。 deep learning目前工業界的步子邁得比學術界的大，各個domain的應用如火如荼，但要有公認的好教材問世則還需時日，所以PGM和deep learning這兩塊就不薦書了。

The Element of Statistical Learning：要學機器學習，如果讓我只推荐一本書，我就推薦這本巨著。 Hastie、Tibshirani、Friedman這三位大牛寫書寫得太用心了，大廈建得夠高夠大，結構也非常嚴謹，而且很有前瞻性，納入了很多前沿的內容，而不僅僅是一部綜述性的教材。 （圖表也做得非常漂亮，應該是用R語言的ggplot2做的。）這本書注重講解模型和算法本身，所以需要具備比較紮實的數理基礎，啃起這本書來才不會太吃力。事實上掌握模型和算法的原理非常重要。機器學習（統計學習）的庫現在已經非常豐富，即使你沒有完全搞懂某個模型或算法的原理和過程，只要會用那幾個庫，機器學習也能做得下去。但你會發現你把數據代進去，效果永遠都不好。但是，當你透徹地理解了模型和算法本身，你再調用那幾個庫的時候，心情是完全不一樣的，效果也不一樣。

Data Mining: Concepts and Techniques, by Jiawei Han and Micheline Kamber 數據挖掘的教材汗牛充棟，之所以推薦這本韓家煒爺爺的，是因為雖然他這本書的出發點是應用，但原理上的內容也一點沒有落下，內容非常完整。而且緊跟時代，更新的很快，我看過的是第二版，就已經加進去了social network analysis這種當時的前沿內容。現在已經有第三版了，我還沒看過，但應該也加入了不少新內容。其實這本書並不難讀，只是篇幅較長，啃起來比較耗時。

其實這兩本書裡單拎出來一塊內容可能又是幾本書的節奏，比如bayesian方法，再拿出兩三本書來講也不為過，我個人用到的比較多，而且也確實有不少好書。但並非是所有data scientist都要用到，所以這一塊就不再細說。

還有一些印像比較深刻的書：
Big Data Glossary：主要講解大數據處理技術及工具，內容涵蓋了NoSQL，MapReduce，Storage，Servers，NLP庫與工具包，機器學習工具包，數據可視化工具包，數據清洗，序列化指南等等。總之，是一本辭典式的大數據入門指導。

Mining of Massive Datasets：這本書是斯坦福大學Web Mining的講義，裡面很多內容與韓家煒的Data Mining那本書重合，但這本書裡詳細地講了MapReduce的設計原理，PageRank（Google創業時期的核心排序算法，現在也在不斷優化更新）講解得也比較詳細。

Developing Analytic Talent：作者是個從事了十幾年數據工作的geek，技術部落格寫得很有個人風格，寫的內容都比較偏門，通常只有具備相關數據處理經驗的人能體會出來，絲毫不照顧初學者的感受。比如他會談到當數據流更新太快時該怎麼辦，或者MapReduce在什麼時候不好用的問題，才不管你懂不懂相關基礎原理。所以這本書不太適合初學者閱讀。這本書其實是作者的部落格文章的集結，用how to become a data scientist的邏輯把他近幾年的部落格文章串聯了起來。

Past, Present and Future of Statistical Science：這本書是由COPSS（統計學社主席委員會，由國際各大統計學會的帶頭人組成）在50週年出版的一本紀念冊，裡面有50位統計學家每人分別貢獻出的一兩篇文章，有的回憶了自己當年如何走上統計學這條路，有的探討了一些統計學的根本問題，有的談了談自己在從事的前沿研究，有的則給年輕一代寫下了寄語。非常有愛的一本書。

• 其它資料

Harvard Data Science：這是H大的Data science在線課，我沒有修過，但口碑很好。這門課需要費用8千刀左右，比起華盛頓大學的4千刀的Data science在線課雖貴一倍，但比斯坦福的14千刀要便宜將近一半（而且斯坦福的更偏計算機）。如果想自學，早有好心人分享了slides: （https:// drive.google.com/folder view?id=0BxYkKyLxfsNVd0xicUVDS1dIS0k&usp=sharing）和homeworks and solutions: （https:// github.com/cs109/conten t）

PyData：PyData是來自各個domain的用Python做數據的人每年舉行一次的聚會，期間會有各路牛人舉行一些規模不大的seminar或workshop，有好心人已經把video上傳到github，有興趣的去認領吧（DataTau/datascience-anthology-pydata · GitHub）

• 工具

R/Python/MATLAB（必備）：如果是做數據分析和模型開發，以我的觀察來看，使用這三種工具的最多。 R生來就是一個統計學家開發的軟件，所做的事也自然圍繞統計學展開。 MATLAB雖然算不上是個專業的數據分析工具，但因為很多人不是專業做數據的，做數據還是為了自己的domain expertise（特別是科學計算、信號處理等），而MATLAB又是個強大無比的Domain expertise工具，所以很多人也就順帶讓MATLAB也承擔了數據處理的工作，雖然它有時候顯得效率不高。 Python雖然不是做數據分析的專業軟件，但作為一個面向對象的高級動態語言，其開源的生態使Python擁有無比豐富的庫，Numpy, Scipy 實現了矩陣運算/科學計算，相當於實現了MATLAB的功能，Pandas又使Python能夠像R一樣處理dataframe，scikit-learn又實現了機器學習。

SQL（必備）：雖然現在人們都說傳統的關係型數據庫如Oracle、MySQL越來越無法適應大數據的發展，但對於很多人來說，他們每天都有處理數據的需要，但可能一輩子都沒機會接觸TB級的數據。不管怎麼說，不論是用關係型還是非關係型數據庫，SQL語言是必須要掌握的技能，用什麼數據庫視具體情況而定。

MongoDB（可選）：目前最受歡迎的非關係型數據庫NoSQL之一，不少人認為MongoDB完全可以取代mySQL。確實MongoDB方便易用，擴展性強，Web2.0時代的必需品。

Hadoop/Spark/Storm（可選）: MapReduce是當前最著名也是運用最廣泛的分佈式計算框架，由Google建立。 Hadoop是基於MapReduce的框架建立起來的分佈式計算系統，Spark在Map Reduce的基礎上利用有向無環圖構建了RDD，目的就是為了減少Map和Reduce之間的數據交換次數，所以速度就快了。另一個區別就是，Hadoop用硬盤存儲數據，Spark用內存存儲數據，Storm只接受實時數據流而不存儲數據。 Hadoop因為“歷史”最為悠久，有不少技術和產品都是基於Hadoop開發的，所以在較長的時間內Hadoop並不會不會被淘汰。而Spark是目前生態最好，最活躍的分佈式框架。如果剛剛起步研究分佈式計算，可從Spark入手。

OpenRefine（可選）：Google開發的一個易於操作的數據清洗工具，可以實現一些基本的清洗功能。

Tableau（可選）：一個可交互的數據可視化工具，操作簡單，開箱即用。而且圖表都設計得非常漂亮。專業版1999美刀，終身使用。媒體和公關方面用得比較多。

Gephi（可選）：跟Tableau類似，都是那種可交互的可視化工具，不需要編程基礎，生成的圖表在美學和設計上也是花了心血的。更擅長複雜網絡的可視化。

------------------------------------正文完------------ -----------------------------

除了比較難找到資料給出鏈接之外，其餘都需要各位自己動手了。也請多多支持正版。

剛開通了值乎，歡迎來擾。

值乎-說點兒有用的(二維碼自動識別)

The post 怎樣進行大數據的入門級學習？ appeared first on 成長駭客交流第一站 - HyperGrowths™.

-

版本更新，2014年5月14日更新一些內容。

-

如果展開講，這個問題可以寫一篇綜述了。最近剛好有空，打算認真寫寫。

僅僅在幾年前，數據科學家還不是一個正式確定的職業，然而一眨眼的工夫，這個職業就已經被譽為“今後十年IT行業最重要的人才”了。

一、數據科學家的起源

"數據科學"（DataScience）起初叫"datalogy "。最初在1966年由Peter Naur提出，用來代替"計算機科學"（丹麥人，2005年圖靈獎得主，丹麥的計算機學會的正式名稱就叫Danish Society of Datalogy，他是這個學會的第一任主席。Algol 60是許多後來的程序設計語言，包括今天那些必不可少的軟件工程工具的原型。圖靈獎被認為是“計算科學界的諾貝爾獎”。）

1996年，International Federation of Classification Societies (IFCS)國際會議召開。數據科學一詞首次出現在會議（Data Science, classification, and related methods）標題裡。

1998年，CF Jeff Wu做出題為“統計學=數據科學嗎？ 的演講，建議統計改名數據的科學統計數據的科學家。 （吳教授於1987年獲得COPSS獎，2000年在台灣被選為中研院院士，2004年作為第一位統計學者當選美國國家工程院院士，也是第一位華人統計學者獲此殊榮。）

2002年，國際科學理事會：數據委員會科學和技術（CODATA）開始出版數據科學雜誌。

2003年，美國哥倫比亞大學開始發布數據科學雜誌，主要內容涵蓋統計方法和定量研究中的應用。

2005年，美國國家科學委員會發表了"Long-lived Digital Data Collections: Enabling Research and Education in the 21st Century"，其中給出數據科學家的定義：

"the information and computer scientists, database and software and programmers, disciplinary experts, curators and expert annotators, librarians, archivists, and others, who are crucial to the successful management of a digital data collection"

訊息科學與計算機科學家，數據庫和軟件工程師，領域專家，策展人和標註專家，圖書管理員，檔案員等數字數據管理收集者都以可成為數據科學家。它們主要任務是："進行富有創造性的查詢和分析。"

2012年，O'Reilly媒體的創始人Tim O'Reilly列出了世界上排名前7位的數據科學家。

• Larry Page，谷歌CEO。
• Jeff Hammerbacher，Cloudera的首席科學家和DJ Patil，Greylock風險投資公司企業家。
• Sebastian Thrun，斯坦福大學教授和Peter Norvig，谷歌數據科學家。
• Elizabeth Warren，Massachusetts州美國參議院候選人。
• Todd Park，人類健康服務部門首席技術官。
• Sandy Pentland，麻省理工學院教授。
• Hod Lipson and Michael Schmidt，康奈爾大學計算機科學家。

具體有時間再補充，感興趣的朋友可以Google Scholar一下他們的文獻。

關於數據科學家的更多討論：

你能列出十個著名的女性數據科學家嗎？ Can you name 10 famous data scientist women?

誰是最富有的數據科學家？ Who are the wealthiest data scientists?

請列出對大數據最具有影響力的20個人？ Who Are The Top 20 Influencers in Big Data?

二、數據科學家的定義

數據科學(Data Science)是從數據中提取知識的研究，關鍵是科學。數據科學集成了多種領域的不同元素，包括信號處理，數學，概率模型技術和理論，機器學習，計算機編程，統計學，數據工程，模式識別和學習，可視化，不確定性建模，數據倉庫，以及從數據中析取規律和產品的高性能計算。數據科學並不局限於大數據，但是數據量的擴大誠然使得數據科學的地位越發重要。

數據科學的從業者被稱為數據科學家。數據科學家通過精深的專業知識在某些科學學科解決複雜的數據問題。不遠的將來，數據科學家們需要精通一門、兩門甚至多門學科，同時使用數學，統計學和計算機科學的生產要素展開工作。所以數據科學家就如同一個team。

曾經投資過Facebook，LinkedIn的格雷洛克風險投資公司把數據科學家描述成“能夠管理和洞察數據的人” 。在IBM的網站上，數據科學家的角色被形容成“一半分析師，一半藝術家” 。他們代表了商業或數據分析這個角色的一個進化。

for example – a data scientist will most likely explore and examine data from multiple disparate sources. The data scientist will sift through all incoming data with the goal of discovering a previously hidden insight, which in turn can provide a competitive advantage or address a pressing business problem. A data scientist does not simply collect and report on data, but also looks at it from many angles, determines what it means, then recommends ways to apply the data.

• Anjul Bhambhri，IBM的大數據產品副總裁。

數據科學家是一個好奇的，不斷質疑現有假設，能盯著數據就能指出趨勢的人。這就好像在文藝復興時期，一個非常想為組織帶來挑戰並從挑戰中學習的人一樣。

• Jonathan Goldman，LinkedIn數據科學家。

2006年的6月份進入商務社交網站LinkedIn，當時LinkedIn只有不到800萬用戶。高德曼在之後的研究中創造出新的模型，利用數據預測註冊用戶的人際網絡。具體來講，他以用戶在LinkedIn的個人資料，來找到和這些訊息最匹配的三個人，並以推薦的形式顯示在用戶的使用頁面上——這也就是我們熟悉的"你可能認識的人（People you may know）"。這個小小的功能讓LinkedIn增加了數百萬的新的頁麵點擊量(數據挖掘的應用典型之一推薦系統）。

• John Rauser,亞馬遜大數據科學家。

數據科學家是工程師和統計學家的結合體。從事這個職位要求極強的駕馭和管理海量數據的能力；同時也需要有像統計學家一樣萃取、分析數據價值的本事，二者缺一不可。

• Steven Hillion, EMC Greenplum數據分析副總裁。

數據科學家是具有極強分析能力和對統計和數學有很深研究的數據工程師。他們能從商業訊息等其他復雜且海量的數據庫中洞察新趨勢。

• Monica Rogati, LinkedIn資深數據科學家。

所有的科學家都是數據學家，因為他們整天都在和海量數據打交道。在我眼中，數據學家是一半黑客加一半分析師。他們通過數據建立看待事物的新維度。數據學家必須能夠用一隻眼睛發現新世界，用另一隻眼睛質疑自己的發現。

• Daniel Tunkelang，LinkedIn首席數據科學家。

我是bitly 首席科學家Hilary Mason的忠實崇拜者。關於這個新概念的定義我也想引用她的說法：數據科學家是能夠利用各種訊息獲取方式、統計學原理和機器的學習能力對其掌握的數據進行收集、去噪、分析並解讀的角色。

• Michael Rappa，北卡羅萊納州立大學教授。

儘管數據科學家這個名稱最近才開始在矽谷出現，但這個新職業的產生卻是基於人類上百年對數據分析的不斷積累和衍生。和數據科學家最接近的職業應該是統計學家，只不過統計學家是一個成熟的定義且服務領域基本局限於政府和學界。數據科學家把統計學的精髓帶到了更多的行業和領域。

• 林仕鼎，百度大數據首席架構師。

如果從廣義的角度講，從事數據處理、加工、分析等工作的數據科學家、數據架構師和數據工程師都可以籠統地稱為數據科學家；而從狹義的角度講，那些具有數據分析能力，精通各類算法，直接處理數據的人員才可以稱為數據科學家。

最後引用Thomas H. Davenport（埃森哲戰略變革研究院主任） 和DJ Patil（美國科學促進會科學與技術政策研究員，為美國國防部服務）的話來總結數據科學家需要具備的能力：

• 數據科學家傾向於用探索數據的方式來看待周圍的世界。 （好奇心）
• 把大量散亂的數據變成結構化的可供分析的數據，還要找出豐富的數據源，整合其他可能不完整的數據源，並清理成結果數據集。 （問題分體整理能力）
• 新的競爭環境中，挑戰不斷地變化，新數據不斷地流入，數據科學家需要幫助決策者穿梭於各種分析，從臨時數據分析到持續的數據交互分析。 （快速學習能力）
• 數據科學家會遇到技術瓶頸，但他們能夠找到新穎的解決方案。 （問題轉化能力）
• 當他們有所發現，便交流他們的發現，建議新的業務方向。 （業務精通）
• 他們很有創造力的展示視覺化的訊息，也讓找到的模式清晰而有說服力。 （表現溝通能力）
• 他們會把蘊含在數據中的規律建議給Boss，從而影響產品，流程和決策。 （決策力）

三、數據科學家所需硬件技能

《數據之美Beautiful Data》的作者Jeff Hammerbacher在書中提到，對於Facebook 的數據科學家“我們發現傳統的頭銜如商業分析師、統計學家、工程師和研究科學家都不能確切地定義我們團隊的角色。該角色的工作是變化多樣的：

在任意給定的一天，團隊的一個成員可以用Python 實現一個多階段的處理管道流、設計假設檢驗、用工具R在數據樣本上執行回歸測試、在Hadoop 上為數據密集型產品或服務設計和實現算法，或者把我們分析的結果以清晰簡潔的方式展示給企業的其他成員。為了掌握完成這多方面任務需要的技術，我們創造了數據科學家這個角色。 ”

(1)計算機科學

一般來說，數據科學家大多要求具備編程、計算機科學相關的專業背景。簡單來說，就是對處理大數據所必需的Hadoop、Mahout等大規模並行處理技術與機器學習相關的技能。

• 零基礎學習Hadoop該如何下手？
• 想從事大數據、海量數據處理相關的工作，如何自學打基礎？

(2)數學、統計、數據挖掘等

除了數學、統計方面的素養之外，還需要具備使用SPSS、SAS等主流統計分析軟件的技能。其中，面向統計分析的開源編程語言及其運行環境“R”最近備受矚目。 R的強項不僅在於其包含了豐富的統計分析庫，而且具備將結果進行可視化的高品質圖表生成功能，並可以通過簡單的命令來運行。此外，它還具備稱為CRAN（The Comprehensive R Archive Network）的包擴展機制，通過導入擴展包就可以使用標準狀態下所不支持的函數和數據集。 R語言雖然功能強大，但是學習曲線較為陡峭，個人建議從python入手，擁有豐富的statistical libraries， NumPy ， SciPy.org ， Python Data Analysis Library ， matplotlib: python plotting 。

• 如何系統地學習數據挖掘？
• 做數據分析不得不看的書有哪些？
• 怎麼學習用R語言進行數據挖掘？

(3)數據可視化（Visualization）

訊息的質量很大程度上依賴於其表達方式。對數字羅列所組成的數據中所包含的意義進行分析，開發Web原型，使用外部API將圖表、地圖、Dashboard等其他服務統一起來，從而使分析結果可視化，這是對於數據科學家來說十分重要的技能之一。

• 有哪些值得推薦的數據可視化工具？

(4)跨界為王

麥肯錫認為未來需要更多的“translators”，能夠在IT技術，數據分析和商業決策之間架起一座橋樑的複合型人才是最被人需要的。 ”translators“可以驅動整個數據分析戰略的設計和執行，同時連接的IT ，數據分析和業務部門的團隊。如果缺少“translators“，即使擁有高端的數據分析策略和工具方法也是於事無補的。

The data strategists'combination of IT knowledge and experience making business decisions makes them well suited to define the data requirements for high-value business analytics. Data scientists combine deep analytics expertise with IT know-how to develop sophisticated models and algorithms. Analytic consultants combine practical business knowledge with analytics experience to zero in on high-impact opportunities for analytics.

天才的”translators“非常罕見。但是大家可以各敬其職（三個臭皮匠臭死諸葛亮），數據戰略家可以使用IT知識和經驗來製定商業決策，數據科學家可以結合對專業知識的深入理解使用IT技術開發複雜的模型和算法，分析顧問可以結合實際的業務知識與分析經驗聚焦下一個行業爆點。

推薦關注： https://www. facebook.com/data

四、數據科學家的培養

位於伊利諾伊州芝加哥郊外埃文斯頓市的美國名牌私立大學——西北大學（Northwestern University），就是其中之一。西北大學決定從2012年9月起在其工程學院下成立一個主攻大數據分析課程的分析學研究生院，並開始了招生工作。西北大學對於成立該研究生院是這樣解釋的：“雖然只要具備一些Hadoop和Cassandra的基本知識就很容易找到工作，但擁有深入知識的人才卻是十分缺乏的。”

此外，該研究生院的課程計劃以“傳授和指導將業務引向成功的技能，培養能夠領導項目團隊的優秀分析師”為目標，授課內容在數學、統計學的基礎上，融合了尖端計算機工程學和數據分析。課程預計將涵蓋分析領域中主要的三種數據分析方法：預測分析、描述分析（商業智能和數據挖掘）和規範分析（優化和模擬），具體內容如下。

(1)秋學期
* 數據挖掘相關的統計方法（多元Logistic回歸分析、非線性回歸分析、判別分析等）
* 定量方法（時間軸分析、概率模型、優化）
* 決策分析（多目的決策分析、決策樹、影響圖、敏感性分析）
* 樹立競爭優勢的分析（通過項目和成功案例學習基本的分析理念）

(2)冬學期
* 數據庫入門（數據模型、數據庫設計）
* 預測分析（時間軸分析、主成分分析、非參數回歸、統計流程控制）
* 數據管理（ETL（Extract、Transform、Load）、數據治理、管理責任、元數據）
* 優化與啟發（整數計劃法、非線性計劃法、局部探索法、超啟發（模擬退火、遺傳算法））

(3)春學期
* 大數據分析（非結構化數據概念的學習、MapReduce技術、大數據分析方法）
* 數據挖掘（聚類（k-means法、分割法）、關聯性規則、因子分析、存活時間分析）
* 其他，以下任選兩門（社交網絡、文本分析、Web分析、財務分析、服務業中的分析、能源、健康醫療、供應鏈管理、綜合行銷溝通中的概率模型）

(4)秋學期
* 風險分析與運營分析的計算機模擬
* 軟件層面的分析學（組織層面的分析課題、IT與業務用戶、變革管理、數據課題、結果的展現與傳達方法）

（EMC的在線課程： Data Science and Big Data Analytics Training ，收費T_T，大家可以了解下學習路徑）

(5)分享一些免費的課程

以下課程免費，講師都是領域的專家，需要提前報名，請注意開班的時間。

• Coursera.org ：統計學。
• Coursera.org ：機器學習。
• Coursera.org ：數據分析的計算方法。
• Coursera.org ：大數據。
• Coursera.org ：數據科學導論。
• Coursera.org ：數據分析。

名校課程，需要一定的英語基礎和計算機基礎：

• Statistical Thinking and Data Analysis ：麻省理工學院的統計思維與數據分析課。概率抽樣，回歸，常見分佈等。
• Data Mining | Sloan School of Management ：麻省理工學院的數據挖掘課程，數據挖掘的知識以及機器學習算法。
• Rice University Data Visualization ：萊斯大學的數據可視化，從統計學的角度分析訊息可視化。
• Harvard University Introduction to Computing, Modeling, and Visualization :哈佛大學，如何在數學計算與數據交互可視化之間架起橋樑。
• UC Berkeley Visualization ：加州大學伯克利分校數據可視化。
• Data Literacy Course -- IAP ：兩個MIT的數據研究生，如何分析處理可視化數據。
• Columbia University Applied Data Science ：哥倫比亞大學，數據分析方法。需要一定的數據基礎。
• SML: Systems ：加州大學伯克利分校，可擴展的機器學習方法。從硬件系統，並行化範式到MapReduce+Hadoop+BigTable，非常全面系統。

五、數據科學家的前景

（ EMC - Leading Cloud Computing, Big Data, and Trusted IT Solutions ，關於數據科學家的研究）

Like the physical universe, the digital universe is large – by 2020 containing nearly as many digital bits as there are stars in the universe. It is doubling in size every two years, and by 2020 the digital universe – the data we create and copy annually – will reach 44 zettabytes, or 44 trillion gigabytes.

EMC預測，按照目前的情況數字宇宙以每兩年一番的速度倍增，在2020年將到達44ZB（1ZB=1.1805916207174113e+21B）。 EMC做出了5點比較大膽的預測。

• In 2013, while about 40% of the information in the digital universe required some type of data protection, less than 20% of the digital universe actually had these protections.
• Data from embedded systems, the signals from which are a major component of the Internet of Things, will grow from 2% of the digital universe in 2013 to 10% in 2020.
• In 2013, less than 20% of the data in the digital universe is “touched” by the cloud, either stored, perhaps temporarily, or processed in some way. By 2020, that percentage will double to 40%.
• Most of the digital universe is transient – unsaved Netflix or Hulu movie streams, or Xbox One gamer interactions, temporary routing information in networks, sensor signals discarded when no alarms go off, etc. – and it is getting more so. This is a good thing, because the world's amount of available storage capacity (ie, unused bytes) across all media types is growing slower than the digital universe. In 2013, the available storage capacity could hold just 33% of the digital universe. By 2020, it will be able to store less than 15%.
• In 2014, the digital universe will equal 1.7 megabytes a minute for every person on Earth.

Between 2013 and 2020 the division of the digital universe between mature and emerging markets (eg, China) will switch – from 60% accounted for by mature markets to 60% of the data in the digital universe coming from emerging markets.

EMC預測在2017年左右新興的市場將超越成熟市場，東亞國家是最具潛力的引爆點。 （大家是不是有點小激動，前景一片光明）

六、結束語

推薦網站：

Data Science Central （數據科學中心，大牛雲集，資源豐富，討論者熱情，各種課程）

祝每一個DMer都挖掘到金礦和快樂：）

參考文獻：

[1]. Data Scientists: The Definition of Sexy

[2].《大數據的衝擊》.城田真琴.野村綜合研究所創新開發部高級研究員、IT分析師，日本政府“智能雲計算研究會”智囊團成員

[3].麥肯錫. Big data: The next frontier for innovation, competition, and productivity

[4].EMC. Executive Summary: Data Growth, Business Opportunities, and the IT Imperatives

[5]. EMC Greenplum's Steven Hillion on What Is a Data Scientist?

[6]. LinkedIn's Monica Rogati On "What Is A Data Scientist?"

[7]. IBM - What is a Data Scientist?

[8]. Data Science and Prediction

[9]. The key word in “Data Science” is not Data, it is Science

[10]. Data Science: How do I become a data scientist?

[11]. A Practical Intro to Data Science

[12]. 解碼數據科學家

-----------2017年1月更新-----

專業在專欄：預見未來

The post 如何成為數據科學家？ appeared first on 成長駭客交流第一站 - HyperGrowths™.