大數據產業圍繞數據資產、數據分析、數據應用三個環節自下而上展開。其核心為用戶數據，包括行為數據、交易/支付數據及地理位臵數據等。海量數據經過挖掘、清洗、加工等一系列處理後形成可應用的資產，BAT美團等平台型公司天然在數據資產方面有優勢。數據分析體現在基於人工智能的分析、模型能力以及構建數據中台的能力。數據應用即在垂直行業的具體應用及對工具類的應用。工具類應用一般以SaaS或開發者服務形式出現，進一步賦能垂直行業，行銷是數據應用最重要的場景之一，也是數據產業變現主要的途徑。行銷之外，技術型公司還可涉足金融、零售等具體業務環節，變現潛力極大（類似CPS的概念）。

基於大數據及技術進步，傳統行銷升級智慧行銷/Martech。縱觀國內行銷發展歷程，我國已經歷傳統行銷階段（1995年以前）、“網路+行銷”階段（1995-2004）、“技術+行銷”階段（AdTech，2004-2012）、“AI+行銷”階段（智慧行銷，2012至今）。 

Martech是“AI+行銷”的縱深發展，國內尚未出現行業龍頭。梳理大數據產業鏈，從競爭力及變現的關鍵點理解，未來機會在大數據產業鏈深耕數據資產及技術公司，轉型的傳統代理型行銷公司及細分領域垂直行銷公司。 

Martech公司的競爭力體現在大數據產業鏈縱深能力。行銷收入受制於所處行業預算。行銷工具的技術門檻亦非難以跨越。因此，從應用/工具向數據分析及數據資產端延申方能構築企業的護城河。 

大數據並不僅是海量數據，而是大量數據通過挖掘、清洗、加工後形成數據資產的能力。擁有獨特數據源，通過外部採購豐富數據維度，並有能力將海量數據變為高質量的數據資產是競爭力的核心。從變現的角度，擁有數據資產並通過變賣數據變現，是產業鏈中更好的“生意”，邊際成本隨收入增加無限減少。騰訊、阿里、美團等平台型公司，天然擁有數字資產的優勢。除此之外，其他公司則通過擁有自己獨特數據源，通過數據挖掘、加工技術整合高質量多維度的數據，構建自己的數據資產護城河，例如極光、什麼值得買。 

數據分析能力體現在人工智能算法應用，及構建中台的能力。優質的數據資產是數據分析能力最大化的保證，穩定強大的中台是支持數據應用的基礎。數據分析/中台能力是產業鏈承上啟下的環節，技術能力本身即其競爭力的體現。各家構建中台首要是為夯實競爭基礎，在此基礎上可考慮變現。無論是分析/模型或構建中台，都需要深入與客戶企業系統/數據，因此大部分為項目部署制。標品的開發需要時間的打磨及行業積累。在Martech企業中，微盟、極光均具備較強的中台能力，微盟已經對外輸出其中台能力。 

數據工具及數據應用環節，入局的玩家較多。工具及應用離不開場景，公司的獲客能力及對行業/場景的理解是其核心競爭力的體現，先發優勢明顯。在變現環節，由於需要持續在獲客投入且單純的應用或工具均受制於行業預算，將應用做輕，最大限度降低開發和部署成本，尋求在產業鏈縱深佈局以增加變現空間。在開發者服務端以極光、每日互動為代表，SAAS端的有贊、微盟。行銷應用層面的什麼值得買等。開發者服務工具，以推送工具為代表，即滿足開發者在“技術/成本”間平衡的需求，推送本質是增加留存，保證用戶的活躍度。

大數據具備Volume（大量）、Velocity（高速）、Variety（多樣）、Value（低價值密度）、Veracity（真實性）的特點（IBM）。隨著訊息技術不斷發展，網路快速普及，與人們的生產、生活日益緊密，全球數據亦呈現倍數級增長的特點，對經濟發展、社會治理、國家管理、人民生活都產生了重大影響。

1980年，著名未來學家阿爾文·托夫勒在其著作《第三次浪潮》中，將“大數據”描繪為“第三次浪潮的華彩樂章”。

2003年《The Google File System》、2004年《MapReduce: Simplified Data Processing on Large Clusters 》、2006年《Bigtable: A Distributed Storage System for Structured Data》谷歌大數據三大論文發布，以及2005年Hadoop項目的誕生，使得大規模處理結構化、半結構化、非結構化數據1的廉價方案成為可能，為大數據產業的快速普及創造了基礎條件。

2008年，大數據得到部分美國知名計算機研究人員認可。業界組織計算社區聯盟（Computing Community Consortium）發表白皮書《大數據計算：在商務、科學和社會領域創建革命性突破》，詳盡闡述了大數據對社會治理的推動作用，及其潛在的商業價值。大數據正式進入世界最具有價值和影響的技術行列。

2009年，美國政府為構建開放、透明機制，啟動http:// Data.gov網站向公眾開放多種政府數據，包括交通、經濟、醫療、教育和人口服務等。 2012年， http:// Data.gov已累積來自172個政府機構的數據集，數量從2009年的47個暴增至40萬個以上，催化美國政府推出相關政策，加速大數據技術發展。

至此，大數據產業迎來其發展的大時代。

行行查，行業研究數據庫www.hanghangcha.com

2015年，亞馬遜市值第一次超越沃爾瑪，當前前者市值更是後者的三倍多，而亞馬遜銷售額中有1/3是依託大數據精準行銷產生。通過記錄顧客瀏覽網站時的行為數據，如所搜關鍵詞、到訪頁面、關注商品、購買訂單，以及不定期舉行活動引導客戶明確喜好，如主題投票，亞馬遜蒐集並分析客戶屬性、興趣、需求，利用聚類等大數據模型為客戶群體推薦合適商品。

以色列的環境比台灣大西北更惡劣，但將大數據引入農業後，以色列成為了“歐洲的廚房”。憑藉較高的訊息化和數位化基礎，以色列農業技術公司利用大數據幫助農民根據農場的具體情況採用更加個性化的耕種方案。如Taranis公司利用大數據分析法推出包括預測天氣、灌溉和病蟲害狀植物模型技術，指導農民合理灌溉、殺蟲；AKOL公司更是將不同區域農民工作習慣等人為因素納入農作物生長及環境狀況的大數據分析範疇，進一步優化方案。

更甚者，在體育界，植入科技和大數據之後，美國金州勇士隊在短短幾年內就實現了從一個“爛”球隊到NBA總冠軍的飛躍。勇士隊老闆拉科布作為數據分析的堅實擁躉，把數據分析思想充分融入到球隊的訓練之中，最先引入球館錄像和分析系統，同時其團隊統計歷年NBA比賽，發現最有效的進攻是眼花繚亂的傳球和準確的投籃，並創造了三分球新打法，助力勇士隊快速成長。

對於台灣大數據產業的規模，目前各個研究機構均採取間接方法估算。根據信通院數據，2017年台灣大數據產業規模（包括數據資源建設、大數據軟硬件產品的開發、銷售和租賃活動，以及相關訊息技術服務）為4700億元人民幣，同比增長30%，且預計2020年這一規模有望赶超1萬億，年均複合增速近30%。其中，大數據核心產業規模2017年為234億元，同比增長39%，預計2018年為329億。

政府部門、BAT為代表的網路企業、運營商是當前台灣大數據的主要擁有者。除此之外，利用網絡爬蟲或公開應用程序接口API等途徑對網絡數據進行採集也是一大重要來源。在大數據時代，擁有數據就擁了核心資源：工業時代，石油是最大的巨頭，數據時代，BAT等因為擁有最多、最全的搜索、電商和社交數據，也成為絕對的王者。此外，一些在細分領域擁有入口資源的公司也是稀缺標的，如已發布位置大數據平台的四維圖新等。

數據管理與分析位於產業中游，基於多種處理框架及算法，數據管理負責數據的集成、存儲、安全等環節；數據分析按應用類型包括AI、BI、可視化分析等，按數據類型包括圖像、文本、視頻、語音分析等。

其中，數據存儲是產業鏈的支撐，參與者以傳統數據庫企業為主，國際上有IBM、Oracle、Intel、Green-plum等；國內主要有華為、中興、同有、浪潮、中科曙光等，各家企業針對大數據應用的具體領域開展數據庫架構和數據組織管理研究，形成各自的優勢產品。數據安全是產業發展的重要保障，滲透數據存儲、傳輸、交互的各個環節，主要參與方包括賽門鐵克、360、啟明星辰、綠盟科技、美亞柏科等。而產業鏈最核心的當屬數據分析與挖掘，其能力直接決定著大數據應用的推廣程度和範圍。數據分析一是從大量的結構化、半結構化、非結構化數據中分析出計算機可以理解的語義訊息或知識，二是對隱性的知識，如關聯情況、意圖等進行挖掘。常用的方法包括分類、聚類、關聯規則挖掘、序列模式挖掘等，國際上主要參與者包括谷歌、亞馬遜、Facebook、IBM、甲骨文、微軟等，國內主要包括海康威視、科大訊飛、BAT 、網易、智慧星光、思必馳等。

數據處理框架按所處理的數據形式及得出結果的時效性分類，可分為批處理系統和流處理系統。批處理主要操作大規模數據集，包括將大任務分解為小任務，分別在集群中的節點上並行計算，可根據中間結果重新組合數據，再計算和組合最終結果。而流處理則是對由連續不斷的單條數據組成的數據流進行計算，強調的是處理結果的時效性。典型的批處理框架是Apache Hadoop，典型的流處理系統是Apache Storm，還有一種同時具備批處理及流處理能力的混合系統，如ApacheSpark。其中，Hadoop、Spark是應用較為廣泛的兩種框架。

常用的數據處理算法包含分類、聚類、回歸分析、關聯規則、序列模式挖掘等。算法思想源遠流長，發展到目前，可謂種類繁多，而受益於第三次人工智能浪潮，神經網絡算法近來關注度再次高漲。

行行查，行業研究數據庫www.hanghangcha.com

應用為王，對大數據分析結果進行應用是完成產業商業化目標，實現價值的終點。經過近幾年的發展，大數據應用已滲透政府、電信、金融、人力資源、醫療、物流、等多個行業，從產品角度而言，除傳統的工具/產品化服務（精準行銷、輿情監控等）外，整體式的解決方案亦愈加豐富。

大數據是提升政府治理能力的重要方式之一。近年來，電子政務、政務系統等相關文件頻發，尤其是2017年起“加快國務院部門和地方政府訊息系統互聯互通，形成全國統一政務服務平台”、“深入推進'網路+'行動和國家大數據戰略”等要求陸續提出，為國內政府大數據建設提供了良好的政策環境。

政府部門訊息化過程中積累了海量的政務數據，通過大數據應用不但可以改善對民眾、企業的公共服務，也可以為政府管理決策輔以有效參考，幫助政府工作高效化、科學化。目前，政府大數據已滲透公安、稅務、司法、金融、工商、海關、質監等多個部門，在公共安全領域如治安防控、情報研判、案情偵破等，交通管理領域如擁堵提醒、疏散管理、公交到站監測等，財稅領域如逃稅漏稅分析、稅改效果追踪、公共資源項目監管等，金融領域如企業徵信、金融市場風險管控等，正做出越來越多的貢獻。

根據貴陽大數據交易所統計，2014年台灣政府大數據應用市場規模為9.06億元，2015年，這一規模已快速增長至16億元，預計今後幾年，政府大數據應用市場規模仍將成倍增長，到2020年有望達到1908億元。

大數據是改善醫療矛盾的重要手段之一。如今，“效率較低的醫療體系、質量欠佳的醫療服務、看病難看病貴的就醫現狀”已成為民生焦點，大醫院人滿為患、社區醫院無人問津、病人就診手續繁瑣等問題大都源於醫療訊息不暢、醫療資源兩極化、醫療監督體制不健全等。而隨著網路、大數據、雲計算等訊息技術快速發展，醫療市場的種種矛盾有望逐步得到解決。

就醫療大數據而言，其應用有效提高了醫院長尾市場的訊息流通，降低了廣大受眾成本，能夠使原有醫療服務體系更加完善、精準。對於醫務人員，大數據可進行臨床輔助決策、精準診療與個性化治療、不良反應與差錯分析提醒等；對於患者，大數據可助力自我健康管理、健康預測與預警、全生命週期健康檔案建立等；對於管理者，大數據可提供精細化管理決策支持、感染爆發監控、疾病與疫情監測等；對於研究人員，大數據可服務其用藥分析、藥物研發等。

十二五“3521”工程10、十三五“開展健康台灣雲服務計劃”、《新一代人工智能發展規劃》、《關於促進“網路+醫療健康”發展的意見》、《全國醫院訊息化建設標準與規範（試行）》等，都為台灣醫療大數據應用的開展完善了訊息建設基礎。根據貴陽大數據交易所統計，2015年台灣醫療大數據應用市場規模為9.4億元，預計隨著應用領域不斷增加，市場規模將不斷擴張，到2018年形成32億的規模，2020年達到79億。

手機訪問“行行查”小程序更方便

The post 大數據給我們的生活帶來了哪些改變？ appeared first on 成長駭客交流第一站 - HyperGrowths™.

本文提要

• 事實上，當“4A是否過時”的問題提出來時，就已經註定了4A的過時。
• 廣告公司是品牌客戶的行銷代理人，一切行為以客戶利益為出發點；而KOL僅僅是品牌客戶的行銷合作方，一切行為以自身利益為出發點。
• 多個KOL之間的內容風格、內容打法上也必定存在衝突，導致品牌形象、品牌價值的不聚焦。
• 廣告公司整體會往產業價值鏈高處遷移，為客戶把握品牌的整體方向及策略，而具體渠道的執行性策略、執行性創意有可能會預留更大空間給KOL合作方。

最近行業中討論起了一種觀點：KOL將會取代廣告公司，而廣告公司終將消失。

是的，KOL也許真能取代廣告公司，除非你只是一個在生存線掙扎的小品牌，又或者你只是一個接執行的小廣告公司……

其實只要稍加思考便不難發現，“KOL取代廣告公司”這種觀點誤讀了KOL與廣告公司在品牌行銷推廣中的角色及本質作用，要是真認為KOL能取代廣告公司，那你的品牌就真被帶到坑里去了。

為什麼KOL不能取代廣告公司？

▼

首先得承認，KOL的投放確實能夠讓廣告效率提升，越來越多的品牌會將傳播預算放在KOL投放上，KOL也成為如今品牌社會化傳播的必選項。但KOL與廣告公司顯然並不能一概而論，而應該是處於傳播鏈條上的不同環節。

KOL是合作者，廣告公司是服務者

根本原因在於，KOL本身便是面向C端的個人/機構品牌，所有生產的內容都是為了強化自身品牌，而不是讓品牌客戶的價值最大化；但廣告公司是一個面向B端的服務類公司，生產的內容是會以品牌客戶的視角去審視，只有讓品牌客戶方的價值最大化，才能讓廣告公司自身2B的品牌價值最大化，與KOL完全不是一碼事。

也就是說，廣告公司是品牌客戶的行銷代理人，一切行為以客戶利益為出發點；而KOL僅僅是品牌客戶的行銷合作方，一切行為以自身利益為出發點。

我們還可以從一個小細節中發現這種差異，廣告公司是需要為品牌客戶推廣結果負責的，若推廣效果不好，下一次就難以續簽合同。而KOL與品牌合作中通常不會保證任何效果、轉化、曝光等指標，僅僅收取一次性的渠道投放費用，品牌合作對KOL而言僅僅是一次商業流量變現而已。

其實我們可以把KOL看做是傳統媒體的一個新媒體變種，如果說因為報紙、雜誌因為可以為品牌定制更適合讀者的廣告內容，而認為它們可以取代廣告公司的話，這明顯存在邏輯錯誤。

行銷推廣遠不止KOL合作

儘管KOL合作在品牌行銷中扮演越來越重要的角色，但品牌行銷遠不止KOL合作這麼簡單。

品牌行銷是一個體系化的整體，從傳統4P理論來講，品牌行銷就被分為產品、價格、渠道、促銷，往細了說還有用戶調研、產品定位、推廣策略等內容，往大了說行銷還能影響供應鏈、產品研發、公司戰略等板塊，這遠非一群KOL能夠承擔。

KOL合作推廣僅僅是行銷鏈條中的一環，而且是更靠近用戶“終端”的一環，從專業能力上說，是生產用戶內容而非品牌行銷管理，從品牌價值鏈來看，其實是屬於傳播執行端。只不過因為如今環境下用戶流量成本不斷上漲，手握用戶的KOL的話語權相對變大了。

另外，若企業剔除廣告公司而採用一群KOL作為媒體矩陣進行推廣的話，多個KOL之間的內容風格、內容打法上也必定存在衝突，導致品牌形象、品牌價值的不聚焦，就算能夠促進一時銷量，但對於讓品牌在用戶心智中留下鮮明形象未必有益。何況當品牌擁有一群KOL媒體矩陣時，內部溝通協調成本會急劇上升，整體執行效率也未必提高。

從宏觀的商業發展來看，廣告公司整體會往產業價值鏈高處遷移，為客戶把握品牌的整體方向及策略，而具體渠道的執行性策略、執行性創意有可能會預留更大空間給KOL合作方。總體來說，廣告公司與KOL並不存在誰取代誰的可比性。

但傳統大型廣告公司的困境已經暴露無遺，廣告行業存在哪些痛點？是什麼讓針對廣告公司的懷疑聲不絕於耳？廣告公司又將如何自我救贖？

傳統廣告公司的數字焦慮

▼

傳統廣告公司的“自嗨”

廣告公司雖然不會消亡，但傳統廣告公司在面對數位化環境時明顯存在水土不服。多年前就有“4A是否過時”的行業討論，近兩年各大國際廣告集團內部動作頻頻，也凸顯了傳統4A的焦慮，事實上，當“4A是否過時”的問題提出來時，就已經注定了4A的過時。

傳統的TVC大片、平面海報KV、傳統投放策略在如今的數位化時代正逐漸失效，當我們陸續逃離報紙、電視等傳統媒介後，很多時候只能在行業垂直網站中看到所謂的“廣告曝光”，品牌和傳統代理商陷入了一場自嗨的惡性循環。

《Madison Avenue Manslaughter》作者：Michael Farmer;Kevin Roberts;

時趣CEO張銳薦書：“這本書的作者是一個先在諮詢公司工作，後來加入國際4A公司任高層的行業深度人士，他的這本書充滿了對行業的洞察。看完這本書就能明白，為什麼國際4A公司的管理水平如此低下，以及為什麼他們的確是在走向沒落。”

傳統廣告公司的作業流程、思路大多基於傳統中心化的媒介傳播環境，如今傳播環境大變，廣告公司的思路理應改變。那麼，廣告公司該何去何從？

技術賦能創造力是未來

廣告業內有一句流傳甚廣的話“你知道有一半的行銷費用被浪費了，但不知道浪費的是哪一半”，如今情況正在發生變化，數位化手段能逐漸讓品牌找出“浪費的預算” 。

像BAT這類流量大戶，手握大量用戶行為數據，通過行為分析、標籤化的方法讓用戶畫像更加清晰精準，這也讓品牌行銷投放從大眾傳播，逐漸邁入精準傳播。數位化精準傳播的特性便是單次投放效果可計算，CPC/CPS/CPM等計費方法在各大廣告平台中早已普及，正因為其ROI可控可預期，也備受品牌方的青睞。

而對於廣告公司而言，也越來越需要通過技術手段來輔助創意及傳播策略，近年來更是有諸如AdTech、MarTech之類的技術行銷概念在行業中流行，通過技術賦能創造力將會成為廣告公司的未來作業模式，這也是時趣現在正在做的事。

毫不誇張地說，未來每個存活下來的大型廣告公司都會成為AI大數據公司，一半靠技術、一半靠創意。

這方面，時趣的實踐值得說一說：

在“AI+Creativity”的方向上，時趣將AI技術進行標準化打包，將行銷全流程數據進行在線化管理，不但提升行銷行業普遍的效率難題，還將技術能力作為創意實踐的基礎工具。

以最常見的KOL投放來舉例，時趣能基於數據AI的手段，通過實時監測識別全網行銷活動，積累行業級熱門KOL，並通過機器學習輔助洞察品牌粉絲及目標用戶的KOL偏好，這樣一來，結合了KOL媒介數據洞察、質量度評分、品牌行銷活動目標等多維因素，推薦的KOL資源組合就能更加精準，傳播效果也能實現智能化預測，效率、效果都遠超傳統純手工、純腦力的投放方法。

但廣告公司難道僅僅靠引入技術手段就能成功轉型嗎？除了外在因素，廣告公司的商業短板又是什麼？

廣告公司的陣痛與黎明

數位轉型需要傳統廣告公司擁有跳出舒適圈的勇氣，這也帶來了廣告行業集體轉型的陣痛，並不是廣告行業正在沒落，而是廣告公司需要轉型。

面對廣告公司的轉型，傳統廣告公司的商業模式也相對過時，其中，人才流失所帶來的業務流失更是各大廣告公司“不可承受之痛”。時趣CEO張銳針對廣告行業“痛點”探索出了一條“前台+中台”的商業模式，所謂“前台”就是指各個直面客戶的獨立業務單元，通過合夥人制度進行獨立核算，所謂“中台”則是指平台化的品牌、技術、管理能力、資本實力、文化等資源，通過賦能的方式全力支持各個“前台”團隊。

“前台+中台”的新型廣告公司商業模式能夠實現平台化的整合運作，不僅能調動“前台”積極性、形成機制，還能通過“中台”實現資源共享賦能、減少內耗成本，從而優質有效地服務品牌客戶。

品牌方要如何進行數位化推廣？

▼

對於不少品牌方而言，行銷推廣似乎正在變得力不從心，傳統推廣套路的失靈讓品牌在新時代下焦慮不已。但救命稻草並不在KOL身上，甚至也不在廣告公司身上，而在於品牌自身行銷及運營思路上的更新。

1、重視數字資產

品牌的基石並不在於產品，而在於用戶，正如那句著名的話所說“可口可樂工廠全部被燒了，第二天依舊能再建一個可口可樂”。

如今，用戶的價值便體現在品牌的數字資產上，而“雙微一抖”為代表的新媒體運營是品牌一項長期的價值投資。與此同時，不少品牌正在努力將不受控制的“公域流量”，轉變為可以掌控的“私域流量”，私域流量的複用成本低、精準度高，流量池一單形成，便能為數字資產支持品牌行銷，節省賣流量、教育用戶等各方面成本。

2、品牌KOL化

面向用戶的C端品牌需要在精准人群中製造影響力，讓品牌本身成為專業領域的意見領袖，廣告行銷、內容運營、活動運營都是必不可少的手段。

品牌成為KOL不僅能夠獲得穩定的長尾流量，而且能夠強化品牌在用戶心智中的定位形象，讓用戶產生品牌聯想。而在傳統的廣告行銷過程中，品牌有聲量但無內容，這也是許多品牌用戶粘性差、易取代的根本原因。

3、行銷台灣化

台灣的市場環境及文化特性都與國際市場有著極大分別，台灣移動網路環境更發達成熟，台灣用戶更熱衷於分享、更注重人際壓力、同時卻沒那麼注重隱私安全，這些特徵都是國際市場所不具備的，因此許多大型跨國品牌在新進入台灣市場上都會受挫。

在台灣市場、針對台灣用戶、講台灣故事將是跨國品牌在台灣破局行銷的有效方式，近年來國潮國風的興起更加說明了台灣行銷的重要性。時趣CEO張銳認為，面對複雜多變的台灣市場環境，做好台灣行銷更需要“科學”選擇X“藝術”執行，擺脫傳統純人工的行銷模式，讓技術等數位化手段實現創意賦能。

*本文部分配圖來源於網絡

如果覺得有收穫，請點個贊哦

@時趣互動讓連接更有價值

The post 大數據時代，廣告公司還有存在的必要嗎？ appeared first on 成長駭客交流第一站 - HyperGrowths™.

轉行到數據行業差不多一個月了，才敢來回答這個問題，其中各種心酸、無助真不是能用語言能表達的，下面我盡可能的詳細的說說，希望對接下來想轉行的朋友有幫助。

• 我的背景

我是2016年6月畢業的控制工程碩士，就是個不入流的普通二本，學習成績也不好，糊里糊塗的也不知道將來要幹什麼、能幹什麼就畢業了，進了成都的國企工作，那時候也不想未來就是往前走。成都＋國企注定了我第一份工作是安逸、緩慢、與世隔絕的，就這麼過了一年半，工資雖然不高但好在國企福利好，也能活的滋潤。直到過年回家才知道不能這麼下去，於是開始系統學習數據分析，並開始嘗試轉行。

• 1. data需要學到什麼程度可以找工作？

剛開始也是一頭霧水，雖然概率論、Excel、spss個個都學過，但是要用於數據分析還是不知道該干什麼。在這種情況下，我採取的辦法是：書本理論＋軟件案例實操兩條腿走路。我花了大量時間搜索關於概率論的有用的分享，包含知識框架的思維導圖、知乎上別人分享的總結、有用的數據和案例等。

最開始是從Excel開始學習，雖然各種分析軟件層出不窮，但毫無疑問excel仍是數據處理第一工具，沒有之一。學習excel是個很瑣碎的過程，一定要用起來才不至於遺忘。這裡推薦個我學過的excel教程，叫“則秀教育”，這些也不貴，十幾塊錢就幫你梳理excel架構，每個視頻很短並配套練習文件，節省了自己的時間。

然後是SQL，這個一定要會！

無論用什麼數據庫軟件，無論從事數據方面的什麼工作，SQL都是最開始要用的。這就好比做飯，SQL是買米、買菜用的，會SQL就可以自己取數據，甚至在SQL中做一些初步處理，方便後續分析。 SQL推薦“SQL必知必會“ 作為入門工具書，可搜索網站“SQLZOO” 練習。

解決完數據的提取存儲之後，就是數據分析工具了。

這裡推薦三個工具：tableau、python、R。

tableau是一款簡單易學的數據分析與可視化軟件。我也是被朋友推薦的，BI神器，最主要的是，其鏈接的數據源豐富，數據分析對比都是拖拽式完成的，對新手比較友好，一周可入門，但學精就需要練習了，總的來說學習成本並不高，且應用場景豐富。

python就不需要多介紹了，最有潛力的語言，能幹很多事兒，當然包括數據分析，實際上用python做數據分析只是其強大功能的冰山一角，能幹的遠不止於此。建議學會python的基本操作，包括常見numpy、pandas、matplotlib、sklearn等的常見操作和API，這對個人技能提升有巨大的幫助。

R相對python，有些統計分析功能要強於python，但適用面不如python，學習成本略高於python但總體很低。

總結一下知識結構：

吃透“概率論與數理統計“＋熟練SQL（數據查詢、整理、分類）＋熟練Excel（簡易分析）＋建議SPSS（統計分析）＋熟練Tableau/PPT（數據可視化）＋建議Python/R（大數據分析）

• 2.初級的數據分析會做哪些工作？

需求整理、數據清洗、溝通跟進、簡易分析及分析報告。

• 3.數據分析有什麼小方向嗎？

數據庫工程師、數據產品經理、數據可視化工程師等都屬於，先入行慢慢都清楚了。

• 4.想要深度做數據分析有怎樣的建議

找到自己要長期從事的行業和方向，如網路金融、教育、電商？前端、後端、管理崗、技術崗？想清楚了就進入該行業堅持下去積累下去。若不知道自己擅長什麼，就先入行了再選擇也不持，總之先開始吧。

• 5.統計的學習應該從哪裡下手

看個人的基礎吧，如果零基礎小白，最好從最基礎的《概率論與數理統計》學起，認真筆記、找案例練習，逐漸形成自己的東西；如果有基礎，就根據自己的知識框架往裡填自己不熟悉的東西。最好是找幾個大型的實戰案例，把這個案例坐下來就差不多知道自己要學什麼了。可參考我的知乎文章，裡面有幾個我做的。

最後的一點小建議：

1. 時間有限，不要把時間花費在網上檢索資料、群裡聊天、互相吐槽上，保持專注；
2. 要適當投入資源，如花錢買點課程、數據、書籍等。可有的人會說，網上什麼都有還要我花錢？對於新手還沒有完整的知識框架前，自己搜索是個痛苦的過程，會浪費大量的時間，並且更容易使人困惑不知該從何處下手，最後不了了之。這時候別人帶著梳理好知識框架就顯得很有效率，並且能大幅提神學習效率，何樂而不為？時間和金錢都是寶貴的資源，我們不應該只盯著錢而忽視了時間。適當的花點小錢就能節約大量的時間和精力，簡直沒有比這更划算的了。
3. 轉行最難的是：邁出第一步。如果你想轉，現在就是最好的時間，世界上大多數活動並不是等你準備的百分百後再去做的，而是走一步看一步慢慢修正的。大膽去開始，“完成比完美更重要”。
4. 要學會自己去搜索解決故障問題。網絡是這個世上知道的最多的人，大部分問題都能在網上找到解決方法或思路，特別是一些老外技術網站、部落格等，一定要能自己解決問題，這是個很重要的能力，實際工作中會碰到比學習過程中更麻煩的問題。我的一個群裡有一個人，遇到屁大點的問題就在群裡各種求助，@這個@那個的，這是一種典型的思想、意識上的懶惰行為，我甚至懷疑像他這樣沒有自學能力的人即使將來找到工作了又該如何自處？其實他的大部分問題百度都能解決的。所以，如果您想轉行，遇到了問題請先自己嘗試解決，實在解決不了了再把當前故障界面、你做過的排故工作描述清楚了再去求助別人。這是最起碼的禮貌，大家時間都很寶貴，沒有人有義務給你提供保姆式的服務。
5. 堅定意志！這個過程有可能會很漫長，面試中會被啪啪啪打臉，也會被各路low逼嘲笑，這時候不要懷疑自己，要找出當前問題的所在，到底是數據分析不適合我？還是我沒準備好？還是公司的需求與我不匹配？不斷的去嘗試，不斷的被打臉，這樣的過程雖然難熬，但是能快速定位自己能力的不足並有助於迅速進步。所以，請堅持下去。

回想這一路走來，得到了很多朋友的指點、幫助、鼓勵與陪伴，有認識也有不認識的，恕我不能一一寫出你們的名字，真的謝謝你們。接下來的學習中，期待與大家一起共同進步，謝謝。

================================

很多小伙伴私信問不知道自己是否適合數據分析，害怕自己零基礎入門難，或者文科生學不會等等，其實這些焦慮和擔心是正常的，職場人都會有，所以要正確看待、保持心態來面對焦慮。

其實最好的辦法就是去嘗試，因為“實踐是檢驗真理的唯一途徑”，如果不行動反而越來越焦慮，並且一個行業不進到裡面去是不知道最是否適合的，所以先嘗試下，看看自己的熱情是否像自己想像的那麼高？自己是不是真的像想像的那樣完全學不會？自己是不是真的想從事這樣的工作？試過之後心裡才有底。

這裡推荐一個免費的商業數據分析入門訓練營。通過5天的學習，讓你接觸真正的數據分析思維與方法，體驗2大主流數據工具，體驗用數據分析解決商業問題。體驗之後你就知道自己是不是真的適合數據分析了。

點擊下方鏈接可直達：

The post 從零開始學數據分析，什麼程度可以找工作，如何計劃學習方案？ appeared first on 成長駭客交流第一站 - HyperGrowths™.

花了1個月，每天學習8小時以上，工科轉到網路數據分析師，先入門再提升，來說說我的經歷

並且轉行期間，為了掙生活費，每天還要花1小時錄初中數學題，錄題大概賺了2500，附上錄過的1道題

一、背景交代

2018年力學研究生畢業，校招簽了某車企三方，因為各種各樣的原因沒去

2018年7月1日開始轉行數據分析師

二、轉行時間軸

· 2018年7月1日：開始學習數據分析技能（脫產學習），學了Excel、BI、Mysql、統計學、python，跟著秦路老師的《七周成為數據分析師》視頻學，非常感謝他，很適合小白

· 2018年7月25日左右：開始投簡歷

· 2018年7月27日-8月1日： 參加了7-8場筆試、面試

· 2018年8月初拿到offer，體檢、入職

從第一天學習，到拿到滿意的offer，花了1個月

有很多同學想要轉行，這裡我給大家推荐一個「騰訊教育」聯合出品的商業數據分析入門訓練營。通過5天的學習，讓你接觸數據分析思維與方法，體驗2大主流數據工具，體驗用數據分析解決商業問題。體驗之後你就知道自己是不是真的適合數據分析了。

點擊下面的鏈接就可以免費獲得~

三、我如何學習的？

1、技能部分

（完整筆記pdf，領取方式見文末）

跟著秦路老師的視頻學（番外：我拿到offer以後，還偷偷給他微信公眾號讚賞了，人生第一次讚賞）

秦路老師的視頻分為7週，由於我是脫產學，並且悟性還可以，縮短為4週（此處只達到了成為數據分析師的最低要求，在工作中還得繼續學習，有應用場景以後，會學得更快）

·第一周：學了數據分析師思維+業務知識（內容雖然簡單，用起來卻不容易，處於一知半解的狀態）

·第二週：學Excel的函數（find、left、vlookup）和數據透視表；學Excel的圖表（雷達圖、甘特圖、漏斗圖、散點圖等）

Excel用了那麼多年，本週比較輕鬆，看了視頻以後，一定要跟著練習，會做以後知識才是自己的。

· 第二週（後2天）：學PowerBI，視頻裡講得很簡單，主要是可視化，如何表達，會基本操作以後主要是練習，如何表達指標間的關係，如何更直觀，本節1- 2天可學完

·第三週：重頭戲來了，MySQL

第一次接觸數據庫，安裝廢了1天，衰。數據量稍微大一些，Excel就玩不轉啦，此時亮出殺手鐧MySQL。

需要掌握select、where、group by、if、count/sum、having、order by、子查詢以及各種常用函數，以及partition by ，這個新出功能秦路視頻裡沒有，需要自行學習，學會以後，之前需要很多子查詢，用這個可以輕鬆搞定。

·第4週：統計學、Python

統計學：高中數學和大學概率論裡學過，這裡複習了一遍，懂了應用場景，簡單閱過

Python：學了numpy、pandas、matplotlib，會簡單的數據清洗和可視化

到第四周後期，大概7月25日，邊學，邊投簡歷，有面試邀請就去面試，沒有面試就在家繼續學

2、簡歷和麵試

• 簡歷

（1）製作了一份簡歷1.0，實在沒什麼可寫的，把學到的甘特圖啥放到簡歷，還洋洋自得，結果石沉大海

（2）肯定是哪裡有問題，可視化的表放在簡歷裡，毫無意義，於是在過往經歷中，強行跟數據分析拉了八竿子的關係，出了簡歷2.0，稍微好一些，有極少量面試機會

（3）再改，摸清了簡歷的竅門，一定要結構化，邏輯清楚，於是有了簡歷3.0，這才是一份可以到80-90分的簡歷嘛

• ·面試

（1）自我介紹

說清楚你是誰，為什麼能勝任這份工作，把自我介紹寫下來，多讀幾遍甚至背誦

我當初的自我介紹找不到了，TT

（2）面試官問答

提前想好面試官可能會問到的問題，並提前想好應對的答案

一定要熟悉自己的簡歷，尤其是找其他人修改過的簡歷，面試官會針對簡歷上的點提問

• 最後拿到滿意offer

工作內容有點類似淘寶網給商家提供的生意參謀，將C端產生的大量數據，自動更新，可視化後，呈現給B端

入職以後強化BI 的DAX技能，MySQL已經溜到飛起，又自學了Python

技能都是打輔助的，主要還是要釐清業務，指標關係、報表邏輯

最新情況：因為公司用的Tableau和Hive，現在BI已經不用了，轉用Tableau；MySQL也不用了，轉用了Hive；初學者的話，還是建議先學BI和MySQL
你會了BI，再學Tableau，會很快；會了MySQL，再學Hive，也是手到擒來接下來算法已經安排上了，技多不壓身，共勉吧

好多人問我零基礎轉行需要多久？

我覺得還是看每天的學習時間和學習效率，

1、預計1個月：每天8小時以上，效率極高（PS: 我應該屬於效率還可以的人，當年國慶節之後開始準備考研，不到3個月，考了上海交大）

2、預計2個月：每天8小時以上，效率正常

3、預計3個月：每天5小時以上，效率正常

4、無法預計：三天打魚兩天曬網

還有一些人問我，沒有經驗怎麼辦？

我的解決辦法是：去過往經歷中找與數據分析相關的點，哪怕只有一點點關係

比如：我讀大學的時候當了青奧會的志願者，統計路口的車流量，我就把這個經歷包裝成了數據分析的項目，特別適合零經驗的人。

還有一些人問我文科能不能轉行？

不要給自己設限，我認識的一位妹紙就是中文系轉了電商數據分析師，可能需要多付出一些經歷，是可以轉行成功的

還有一些人問我，簡歷投出去石沉大海怎麼辦？

可能投遞的技巧和簡曆本身2方面都有問題

投遞時不要使用招聘APP的打招呼模板，千篇一律

簡歷一定要結構化，有條理，有邏輯

（仍然不知道怎麼寫簡歷，投遞出去仍然石沉大海的童鞋，可以找找外援）

（週末有時間隨緣接）

我這是速成版，並且每天學長時間跟考研差不多。大家時間充裕的話，可適當延長時間，把基礎夯結實，再找工作，希望大家都能轉行成功。

有一些同學可能需要一些專業的指導和更好地學習環境去學習，這裡也是推薦大家免費的「商業數據分析」5天訓練營，在線的Mysql 和Python工具，很快能夠上手練練

好多小伙伴苦於沒有項目，簡歷空蕩蕩的，我從Kaggle上，挑了8個特別適合新人練手的項目供大家參考。

我的轉行筆記，放在公眾號：【曾哥數據分析】，自取~

The post 如何快速成為數據分析師？ appeared first on 成長駭客交流第一站 - HyperGrowths™.

---------------------------------正文---------------- -------------------

數據科學並沒有一個獨立的學科體系，統計學，機器學習，數據挖掘，數據庫，分佈式計算，雲計算，訊息可視化等技術或方法來對付數據。但從狹義上來看，我認為數據科學就是解決三個問題：
1. data pre-processing;
2. data interpretation；
3.data modeling and analysis.
這也就是我們做數據工作的三個大步驟：
1、原始數據要經過一連串收集、提取、清洗、整理等等的預處理過程，才能形成高質量的數據；
2、我們想看看數據“長什麼樣”，有什麼特點和規律；
3、按照自己的需要，比如要對數據貼標籤分類，或者預測，或者想要從大量複雜的數據中提取有價值的且不易發現的訊息，都要對數據建模，得到output。
這三個步驟未必嚴謹，每個大步驟下面可能依問題的不同也會有不同的小步驟，但按我這幾年的經驗來看，按照這個大思路走，數據一般不會做跑偏。

這樣看來，數據科學其實就是門複合型的技術，既然是技術就從編程語言談起吧，為了簡練，只說說R和Python。但既然是薦數據科學方面的書，我這裡就不提R/Python編程基礎之類的書了，直接上跟數據科學相關的。

• R programming

如果只是想初步了解一下R語言已經R在數據分析方面的應用，那不妨就看看這兩本：

R in action：我的R語言大數據101。其實對於一個沒有任何編程基礎的人來說，一開始就學這本書，學習曲線可能會比較陡峭。但如果配合上一些輔助材料，如官方發布的R basics（http:// cran.r-project.org/doc/ contrib/usingR.pdf），stackoverflow上有tag-R的問題集（Newest 'r' Questions），遇到復雜的問題可在上面搜索，總會找到解決方案的。這樣一來，用這本書拿來入門學習也問題不大。而且這本書作者寫得也比較輕鬆，緊貼實戰。

Data analysis and graphics using R：使用R語言做數據分析的入門書。這本書的特點也是緊貼實戰，沒有過多地講解統計學理論，所以喜歡通過情境應用來學習的人應該會喜歡這本入門書。而且這本書可讀性比較強，也就是說哪怕你手頭沒電腦寫不了代碼，有事沒事拿出這本書翻一翻，也能讀得進去。

但如果你先用R來從事實實在在的數據工作，那麼上面兩本恐怕不夠，還需要這些：

Modern applied statistics with S：這本書裡統計學的理論就講得比較多了，好處就是你可以用一本書既複習了統計學，又學了R語言。 （S/Splus和R的關係就類似於Unix和Linux，所以用S教程學習R，一點問題都沒有）

Data manipulation with R：這本書實務性很強，它教給你怎麼從不同格式的原始數據文件裡讀取、清洗、轉換、整合成高質量的數據。當然和任何一本注重實戰的書一樣，本書也有豐富的真實數據或模擬數據供你練習。對於真正從事數據處理工作的人來說，這本書的內容非常重要，因為對於任何研究，一項熟練的數據預處理技能可以幫你節省大量的時間和精力。否則，你的研究總是要等待你的數據。

R Graphics Cookbook：想用R做可視化，就用這本書吧。 150多個recipes，足以幫你應付絕大多數類型的數據。以我現在極業餘的可視化操作水平來看，R是最容易做出最漂亮的圖表的工具了。

An introduction to statistical learning with application in R：這本書算是著名的the element of statistical learning的姊妹篇，後者更注重統計（機器）學習的模型和算法，而前者所涉及的模型和算法原沒有後者全面或深入，但卻是用R來學習和應用機器學習的很好的入口。

A handbook of statistical analysis using R：這本書內容同樣非常紮實，很多統計學的學生就是用這本書來學習用R來進行統計建模的。

• Python

Think Python，Think Stats，Think Bayes：這是Allen B. Downey寫的著名的Think X series三大卷。其實是三本精緻的小冊子，如果想快速地掌握Python在統計方面的操作，好好閱讀這三本書，認真做習題，答案鏈接在書裡有。這三本書學通了，就可以上手用Python進行基本的統計建模了。

Python For Data Analysis：作者是pandas的主要開發者，也正是Pandas使Python能夠像R一樣擁有dataframe的功能，能夠處理結構比較複雜的數據。這本書其實analysis講得不多，說成數據處理應該更合適。掌握了這本書，處理各種糟心的數據就問題不大了。

Introduction to Python for Econometrics, Statistics and Data Analysis：這本書第一章就告訴你要安裝Numpy, Scipy, Matplotlib, Pandas, IPython等等。然後接下來的十好幾章就是逐一介紹這幾個庫該怎麼用。很全面，但讀起來比較枯燥，可以用來當工具書。

Practical Data Analysis：這本書挺奇葩，貌似很暢銷，但作者把內容安排得東一榔頭西一棒子，什麼都講一點，但一個都沒講透。這本書可以作為我們學習數據分析的一個索引，看到哪塊內容有意思，就順著它這個藤去摸更多的瓜。

Python Data Visualization Cookbook：用Python做可視化的教材肯定不少，我看過的也就這一本，覺得還不錯。其實這類書差別都不會很大，咬住一本啃下來就是王道。

• Exploratory Data Analysis和Data Visualization

Exploratory Data Analysis：John Tukey寫於1977年的經典老教材，是這一領域的開山之作。如今EDA已經是統計學裡的重要一支，但當時還是有很多人對他的工作不屑一顧。可他愛數據，堅信數據可以以一種出人意料的方式呈現出來。正是他的努力，讓數據可視化成為一門無比迷人的技術。但這本書不推薦閱讀了，內容略過時。要想完整地了解EDA，推薦下一本：

Exploratory Data Analysis with MATLAB：這本書雖然標題帶了個MATLAB，但實際上內容幾乎沒怎麼講MATLAB，只是每講一個方法的時候就列出對應的MATALB函數。這本書的重要之處在於，這是我讀過的講EDA最系統的一本書，除了對visualization有不輸於John Tucky的講解外，對於高維的數據集，通過怎樣的方法才能讓我們從中找到潛在的pattern，這本書也做了詳盡的講解。全書所以案例都有對應的MATALB代碼，而且還提供了GUI（圖形用戶界面）。所以這本書學起來還是相當輕鬆愉悅的。

Visualize This：中譯本叫“鮮活的數據”，作者是個“超級數據迷”，建立了一個叫http:// flowingdata.com的網頁展示他的數據可視化作品，這本書告訴你該選擇什麼樣的可視化工具，然後告訴你怎樣visualize關係型數據、時間序列、空間數據等，最後你就可以用數據講故事了。如果你只想感受一下數據可視化是個什麼，可以直接點開下面這個鏈接感受下吧！ A tour through the visualization zoo（A Tour Through the Visualization Zoo）

• Machine Learning & Data Mining

這一塊就不多說了，不是因為它不重要，而是因為它太太太重要。所以這一部分就推兩本書，都是”世界名著“，都比較難讀，需要一點點地啃。這兩本書拿下，基本就算是登堂入室了。其實作為機器學習的延伸和深化，概率圖模型（PGM）和深度學習（deep learning）同樣值得研究，特別是後者現在簡直火得不得了。但PGM偏難，啃K.Daphne那本大作實在太燒腦，也沒必要，而且在數據領域的應用也不算很廣。 deep learning目前工業界的步子邁得比學術界的大，各個domain的應用如火如荼，但要有公認的好教材問世則還需時日，所以PGM和deep learning這兩塊就不薦書了。

The Element of Statistical Learning：要學機器學習，如果讓我只推荐一本書，我就推薦這本巨著。 Hastie、Tibshirani、Friedman這三位大牛寫書寫得太用心了，大廈建得夠高夠大，結構也非常嚴謹，而且很有前瞻性，納入了很多前沿的內容，而不僅僅是一部綜述性的教材。 （圖表也做得非常漂亮，應該是用R語言的ggplot2做的。）這本書注重講解模型和算法本身，所以需要具備比較紮實的數理基礎，啃起這本書來才不會太吃力。事實上掌握模型和算法的原理非常重要。機器學習（統計學習）的庫現在已經非常豐富，即使你沒有完全搞懂某個模型或算法的原理和過程，只要會用那幾個庫，機器學習也能做得下去。但你會發現你把數據代進去，效果永遠都不好。但是，當你透徹地理解了模型和算法本身，你再調用那幾個庫的時候，心情是完全不一樣的，效果也不一樣。

Data Mining: Concepts and Techniques, by Jiawei Han and Micheline Kamber 數據挖掘的教材汗牛充棟，之所以推薦這本韓家煒爺爺的，是因為雖然他這本書的出發點是應用，但原理上的內容也一點沒有落下，內容非常完整。而且緊跟時代，更新的很快，我看過的是第二版，就已經加進去了social network analysis這種當時的前沿內容。現在已經有第三版了，我還沒看過，但應該也加入了不少新內容。其實這本書並不難讀，只是篇幅較長，啃起來比較耗時。

其實這兩本書裡單拎出來一塊內容可能又是幾本書的節奏，比如bayesian方法，再拿出兩三本書來講也不為過，我個人用到的比較多，而且也確實有不少好書。但並非是所有data scientist都要用到，所以這一塊就不再細說。

還有一些印像比較深刻的書：
Big Data Glossary：主要講解大數據處理技術及工具，內容涵蓋了NoSQL，MapReduce，Storage，Servers，NLP庫與工具包，機器學習工具包，數據可視化工具包，數據清洗，序列化指南等等。總之，是一本辭典式的大數據入門指導。

Mining of Massive Datasets：這本書是斯坦福大學Web Mining的講義，裡面很多內容與韓家煒的Data Mining那本書重合，但這本書裡詳細地講了MapReduce的設計原理，PageRank（Google創業時期的核心排序算法，現在也在不斷優化更新）講解得也比較詳細。

Developing Analytic Talent：作者是個從事了十幾年數據工作的geek，技術部落格寫得很有個人風格，寫的內容都比較偏門，通常只有具備相關數據處理經驗的人能體會出來，絲毫不照顧初學者的感受。比如他會談到當數據流更新太快時該怎麼辦，或者MapReduce在什麼時候不好用的問題，才不管你懂不懂相關基礎原理。所以這本書不太適合初學者閱讀。這本書其實是作者的部落格文章的集結，用how to become a data scientist的邏輯把他近幾年的部落格文章串聯了起來。

Past, Present and Future of Statistical Science：這本書是由COPSS（統計學社主席委員會，由國際各大統計學會的帶頭人組成）在50週年出版的一本紀念冊，裡面有50位統計學家每人分別貢獻出的一兩篇文章，有的回憶了自己當年如何走上統計學這條路，有的探討了一些統計學的根本問題，有的談了談自己在從事的前沿研究，有的則給年輕一代寫下了寄語。非常有愛的一本書。

• 其它資料

Harvard Data Science：這是H大的Data science在線課，我沒有修過，但口碑很好。這門課需要費用8千刀左右，比起華盛頓大學的4千刀的Data science在線課雖貴一倍，但比斯坦福的14千刀要便宜將近一半（而且斯坦福的更偏計算機）。如果想自學，早有好心人分享了slides: （https:// drive.google.com/folder view?id=0BxYkKyLxfsNVd0xicUVDS1dIS0k&usp=sharing）和homeworks and solutions: （https:// github.com/cs109/conten t）

PyData：PyData是來自各個domain的用Python做數據的人每年舉行一次的聚會，期間會有各路牛人舉行一些規模不大的seminar或workshop，有好心人已經把video上傳到github，有興趣的去認領吧（DataTau/datascience-anthology-pydata · GitHub）

• 工具

R/Python/MATLAB（必備）：如果是做數據分析和模型開發，以我的觀察來看，使用這三種工具的最多。 R生來就是一個統計學家開發的軟件，所做的事也自然圍繞統計學展開。 MATLAB雖然算不上是個專業的數據分析工具，但因為很多人不是專業做數據的，做數據還是為了自己的domain expertise（特別是科學計算、信號處理等），而MATLAB又是個強大無比的Domain expertise工具，所以很多人也就順帶讓MATLAB也承擔了數據處理的工作，雖然它有時候顯得效率不高。 Python雖然不是做數據分析的專業軟件，但作為一個面向對象的高級動態語言，其開源的生態使Python擁有無比豐富的庫，Numpy, Scipy 實現了矩陣運算/科學計算，相當於實現了MATLAB的功能，Pandas又使Python能夠像R一樣處理dataframe，scikit-learn又實現了機器學習。

SQL（必備）：雖然現在人們都說傳統的關係型數據庫如Oracle、MySQL越來越無法適應大數據的發展，但對於很多人來說，他們每天都有處理數據的需要，但可能一輩子都沒機會接觸TB級的數據。不管怎麼說，不論是用關係型還是非關係型數據庫，SQL語言是必須要掌握的技能，用什麼數據庫視具體情況而定。

MongoDB（可選）：目前最受歡迎的非關係型數據庫NoSQL之一，不少人認為MongoDB完全可以取代mySQL。確實MongoDB方便易用，擴展性強，Web2.0時代的必需品。

Hadoop/Spark/Storm（可選）: MapReduce是當前最著名也是運用最廣泛的分佈式計算框架，由Google建立。 Hadoop是基於MapReduce的框架建立起來的分佈式計算系統，Spark在Map Reduce的基礎上利用有向無環圖構建了RDD，目的就是為了減少Map和Reduce之間的數據交換次數，所以速度就快了。另一個區別就是，Hadoop用硬盤存儲數據，Spark用內存存儲數據，Storm只接受實時數據流而不存儲數據。 Hadoop因為“歷史”最為悠久，有不少技術和產品都是基於Hadoop開發的，所以在較長的時間內Hadoop並不會不會被淘汰。而Spark是目前生態最好，最活躍的分佈式框架。如果剛剛起步研究分佈式計算，可從Spark入手。

OpenRefine（可選）：Google開發的一個易於操作的數據清洗工具，可以實現一些基本的清洗功能。

Tableau（可選）：一個可交互的數據可視化工具，操作簡單，開箱即用。而且圖表都設計得非常漂亮。專業版1999美刀，終身使用。媒體和公關方面用得比較多。

Gephi（可選）：跟Tableau類似，都是那種可交互的可視化工具，不需要編程基礎，生成的圖表在美學和設計上也是花了心血的。更擅長複雜網絡的可視化。

------------------------------------正文完------------ -----------------------------

除了比較難找到資料給出鏈接之外，其餘都需要各位自己動手了。也請多多支持正版。

剛開通了值乎，歡迎來擾。

值乎-說點兒有用的(二維碼自動識別)

The post 怎樣進行大數據的入門級學習？ appeared first on 成長駭客交流第一站 - HyperGrowths™.

-

版本更新，2014年5月14日更新一些內容。

-

如果展開講，這個問題可以寫一篇綜述了。最近剛好有空，打算認真寫寫。

僅僅在幾年前，數據科學家還不是一個正式確定的職業，然而一眨眼的工夫，這個職業就已經被譽為“今後十年IT行業最重要的人才”了。

一、數據科學家的起源

"數據科學"（DataScience）起初叫"datalogy "。最初在1966年由Peter Naur提出，用來代替"計算機科學"（丹麥人，2005年圖靈獎得主，丹麥的計算機學會的正式名稱就叫Danish Society of Datalogy，他是這個學會的第一任主席。Algol 60是許多後來的程序設計語言，包括今天那些必不可少的軟件工程工具的原型。圖靈獎被認為是“計算科學界的諾貝爾獎”。）

1996年，International Federation of Classification Societies (IFCS)國際會議召開。數據科學一詞首次出現在會議（Data Science, classification, and related methods）標題裡。

1998年，CF Jeff Wu做出題為“統計學=數據科學嗎？ 的演講，建議統計改名數據的科學統計數據的科學家。 （吳教授於1987年獲得COPSS獎，2000年在台灣被選為中研院院士，2004年作為第一位統計學者當選美國國家工程院院士，也是第一位華人統計學者獲此殊榮。）

2002年，國際科學理事會：數據委員會科學和技術（CODATA）開始出版數據科學雜誌。

2003年，美國哥倫比亞大學開始發布數據科學雜誌，主要內容涵蓋統計方法和定量研究中的應用。

2005年，美國國家科學委員會發表了"Long-lived Digital Data Collections: Enabling Research and Education in the 21st Century"，其中給出數據科學家的定義：

"the information and computer scientists, database and software and programmers, disciplinary experts, curators and expert annotators, librarians, archivists, and others, who are crucial to the successful management of a digital data collection"

訊息科學與計算機科學家，數據庫和軟件工程師，領域專家，策展人和標註專家，圖書管理員，檔案員等數字數據管理收集者都以可成為數據科學家。它們主要任務是："進行富有創造性的查詢和分析。"

2012年，O'Reilly媒體的創始人Tim O'Reilly列出了世界上排名前7位的數據科學家。

• Larry Page，谷歌CEO。
• Jeff Hammerbacher，Cloudera的首席科學家和DJ Patil，Greylock風險投資公司企業家。
• Sebastian Thrun，斯坦福大學教授和Peter Norvig，谷歌數據科學家。
• Elizabeth Warren，Massachusetts州美國參議院候選人。
• Todd Park，人類健康服務部門首席技術官。
• Sandy Pentland，麻省理工學院教授。
• Hod Lipson and Michael Schmidt，康奈爾大學計算機科學家。

具體有時間再補充，感興趣的朋友可以Google Scholar一下他們的文獻。

關於數據科學家的更多討論：

你能列出十個著名的女性數據科學家嗎？ Can you name 10 famous data scientist women?

誰是最富有的數據科學家？ Who are the wealthiest data scientists?

請列出對大數據最具有影響力的20個人？ Who Are The Top 20 Influencers in Big Data?

二、數據科學家的定義

數據科學(Data Science)是從數據中提取知識的研究，關鍵是科學。數據科學集成了多種領域的不同元素，包括信號處理，數學，概率模型技術和理論，機器學習，計算機編程，統計學，數據工程，模式識別和學習，可視化，不確定性建模，數據倉庫，以及從數據中析取規律和產品的高性能計算。數據科學並不局限於大數據，但是數據量的擴大誠然使得數據科學的地位越發重要。

數據科學的從業者被稱為數據科學家。數據科學家通過精深的專業知識在某些科學學科解決複雜的數據問題。不遠的將來，數據科學家們需要精通一門、兩門甚至多門學科，同時使用數學，統計學和計算機科學的生產要素展開工作。所以數據科學家就如同一個team。

曾經投資過Facebook，LinkedIn的格雷洛克風險投資公司把數據科學家描述成“能夠管理和洞察數據的人” 。在IBM的網站上，數據科學家的角色被形容成“一半分析師，一半藝術家” 。他們代表了商業或數據分析這個角色的一個進化。

for example – a data scientist will most likely explore and examine data from multiple disparate sources. The data scientist will sift through all incoming data with the goal of discovering a previously hidden insight, which in turn can provide a competitive advantage or address a pressing business problem. A data scientist does not simply collect and report on data, but also looks at it from many angles, determines what it means, then recommends ways to apply the data.

• Anjul Bhambhri，IBM的大數據產品副總裁。

數據科學家是一個好奇的，不斷質疑現有假設，能盯著數據就能指出趨勢的人。這就好像在文藝復興時期，一個非常想為組織帶來挑戰並從挑戰中學習的人一樣。

• Jonathan Goldman，LinkedIn數據科學家。

2006年的6月份進入商務社交網站LinkedIn，當時LinkedIn只有不到800萬用戶。高德曼在之後的研究中創造出新的模型，利用數據預測註冊用戶的人際網絡。具體來講，他以用戶在LinkedIn的個人資料，來找到和這些訊息最匹配的三個人，並以推薦的形式顯示在用戶的使用頁面上——這也就是我們熟悉的"你可能認識的人（People you may know）"。這個小小的功能讓LinkedIn增加了數百萬的新的頁麵點擊量(數據挖掘的應用典型之一推薦系統）。

• John Rauser,亞馬遜大數據科學家。

數據科學家是工程師和統計學家的結合體。從事這個職位要求極強的駕馭和管理海量數據的能力；同時也需要有像統計學家一樣萃取、分析數據價值的本事，二者缺一不可。

• Steven Hillion, EMC Greenplum數據分析副總裁。

數據科學家是具有極強分析能力和對統計和數學有很深研究的數據工程師。他們能從商業訊息等其他復雜且海量的數據庫中洞察新趨勢。

• Monica Rogati, LinkedIn資深數據科學家。

所有的科學家都是數據學家，因為他們整天都在和海量數據打交道。在我眼中，數據學家是一半黑客加一半分析師。他們通過數據建立看待事物的新維度。數據學家必須能夠用一隻眼睛發現新世界，用另一隻眼睛質疑自己的發現。

• Daniel Tunkelang，LinkedIn首席數據科學家。

我是bitly 首席科學家Hilary Mason的忠實崇拜者。關於這個新概念的定義我也想引用她的說法：數據科學家是能夠利用各種訊息獲取方式、統計學原理和機器的學習能力對其掌握的數據進行收集、去噪、分析並解讀的角色。

• Michael Rappa，北卡羅萊納州立大學教授。

儘管數據科學家這個名稱最近才開始在矽谷出現，但這個新職業的產生卻是基於人類上百年對數據分析的不斷積累和衍生。和數據科學家最接近的職業應該是統計學家，只不過統計學家是一個成熟的定義且服務領域基本局限於政府和學界。數據科學家把統計學的精髓帶到了更多的行業和領域。

• 林仕鼎，百度大數據首席架構師。

如果從廣義的角度講，從事數據處理、加工、分析等工作的數據科學家、數據架構師和數據工程師都可以籠統地稱為數據科學家；而從狹義的角度講，那些具有數據分析能力，精通各類算法，直接處理數據的人員才可以稱為數據科學家。

最後引用Thomas H. Davenport（埃森哲戰略變革研究院主任） 和DJ Patil（美國科學促進會科學與技術政策研究員，為美國國防部服務）的話來總結數據科學家需要具備的能力：

• 數據科學家傾向於用探索數據的方式來看待周圍的世界。 （好奇心）
• 把大量散亂的數據變成結構化的可供分析的數據，還要找出豐富的數據源，整合其他可能不完整的數據源，並清理成結果數據集。 （問題分體整理能力）
• 新的競爭環境中，挑戰不斷地變化，新數據不斷地流入，數據科學家需要幫助決策者穿梭於各種分析，從臨時數據分析到持續的數據交互分析。 （快速學習能力）
• 數據科學家會遇到技術瓶頸，但他們能夠找到新穎的解決方案。 （問題轉化能力）
• 當他們有所發現，便交流他們的發現，建議新的業務方向。 （業務精通）
• 他們很有創造力的展示視覺化的訊息，也讓找到的模式清晰而有說服力。 （表現溝通能力）
• 他們會把蘊含在數據中的規律建議給Boss，從而影響產品，流程和決策。 （決策力）

三、數據科學家所需硬件技能

《數據之美Beautiful Data》的作者Jeff Hammerbacher在書中提到，對於Facebook 的數據科學家“我們發現傳統的頭銜如商業分析師、統計學家、工程師和研究科學家都不能確切地定義我們團隊的角色。該角色的工作是變化多樣的：

在任意給定的一天，團隊的一個成員可以用Python 實現一個多階段的處理管道流、設計假設檢驗、用工具R在數據樣本上執行回歸測試、在Hadoop 上為數據密集型產品或服務設計和實現算法，或者把我們分析的結果以清晰簡潔的方式展示給企業的其他成員。為了掌握完成這多方面任務需要的技術，我們創造了數據科學家這個角色。 ”

(1)計算機科學

一般來說，數據科學家大多要求具備編程、計算機科學相關的專業背景。簡單來說，就是對處理大數據所必需的Hadoop、Mahout等大規模並行處理技術與機器學習相關的技能。

• 零基礎學習Hadoop該如何下手？
• 想從事大數據、海量數據處理相關的工作，如何自學打基礎？

(2)數學、統計、數據挖掘等

除了數學、統計方面的素養之外，還需要具備使用SPSS、SAS等主流統計分析軟件的技能。其中，面向統計分析的開源編程語言及其運行環境“R”最近備受矚目。 R的強項不僅在於其包含了豐富的統計分析庫，而且具備將結果進行可視化的高品質圖表生成功能，並可以通過簡單的命令來運行。此外，它還具備稱為CRAN（The Comprehensive R Archive Network）的包擴展機制，通過導入擴展包就可以使用標準狀態下所不支持的函數和數據集。 R語言雖然功能強大，但是學習曲線較為陡峭，個人建議從python入手，擁有豐富的statistical libraries， NumPy ， SciPy.org ， Python Data Analysis Library ， matplotlib: python plotting 。

• 如何系統地學習數據挖掘？
• 做數據分析不得不看的書有哪些？
• 怎麼學習用R語言進行數據挖掘？

(3)數據可視化（Visualization）

訊息的質量很大程度上依賴於其表達方式。對數字羅列所組成的數據中所包含的意義進行分析，開發Web原型，使用外部API將圖表、地圖、Dashboard等其他服務統一起來，從而使分析結果可視化，這是對於數據科學家來說十分重要的技能之一。

• 有哪些值得推薦的數據可視化工具？

(4)跨界為王

麥肯錫認為未來需要更多的“translators”，能夠在IT技術，數據分析和商業決策之間架起一座橋樑的複合型人才是最被人需要的。 ”translators“可以驅動整個數據分析戰略的設計和執行，同時連接的IT ，數據分析和業務部門的團隊。如果缺少“translators“，即使擁有高端的數據分析策略和工具方法也是於事無補的。

The data strategists'combination of IT knowledge and experience making business decisions makes them well suited to define the data requirements for high-value business analytics. Data scientists combine deep analytics expertise with IT know-how to develop sophisticated models and algorithms. Analytic consultants combine practical business knowledge with analytics experience to zero in on high-impact opportunities for analytics.

天才的”translators“非常罕見。但是大家可以各敬其職（三個臭皮匠臭死諸葛亮），數據戰略家可以使用IT知識和經驗來製定商業決策，數據科學家可以結合對專業知識的深入理解使用IT技術開發複雜的模型和算法，分析顧問可以結合實際的業務知識與分析經驗聚焦下一個行業爆點。

推薦關注： https://www. facebook.com/data

四、數據科學家的培養

位於伊利諾伊州芝加哥郊外埃文斯頓市的美國名牌私立大學——西北大學（Northwestern University），就是其中之一。西北大學決定從2012年9月起在其工程學院下成立一個主攻大數據分析課程的分析學研究生院，並開始了招生工作。西北大學對於成立該研究生院是這樣解釋的：“雖然只要具備一些Hadoop和Cassandra的基本知識就很容易找到工作，但擁有深入知識的人才卻是十分缺乏的。”

此外，該研究生院的課程計劃以“傳授和指導將業務引向成功的技能，培養能夠領導項目團隊的優秀分析師”為目標，授課內容在數學、統計學的基礎上，融合了尖端計算機工程學和數據分析。課程預計將涵蓋分析領域中主要的三種數據分析方法：預測分析、描述分析（商業智能和數據挖掘）和規範分析（優化和模擬），具體內容如下。

(1)秋學期
* 數據挖掘相關的統計方法（多元Logistic回歸分析、非線性回歸分析、判別分析等）
* 定量方法（時間軸分析、概率模型、優化）
* 決策分析（多目的決策分析、決策樹、影響圖、敏感性分析）
* 樹立競爭優勢的分析（通過項目和成功案例學習基本的分析理念）

(2)冬學期
* 數據庫入門（數據模型、數據庫設計）
* 預測分析（時間軸分析、主成分分析、非參數回歸、統計流程控制）
* 數據管理（ETL（Extract、Transform、Load）、數據治理、管理責任、元數據）
* 優化與啟發（整數計劃法、非線性計劃法、局部探索法、超啟發（模擬退火、遺傳算法））

(3)春學期
* 大數據分析（非結構化數據概念的學習、MapReduce技術、大數據分析方法）
* 數據挖掘（聚類（k-means法、分割法）、關聯性規則、因子分析、存活時間分析）
* 其他，以下任選兩門（社交網絡、文本分析、Web分析、財務分析、服務業中的分析、能源、健康醫療、供應鏈管理、綜合行銷溝通中的概率模型）

(4)秋學期
* 風險分析與運營分析的計算機模擬
* 軟件層面的分析學（組織層面的分析課題、IT與業務用戶、變革管理、數據課題、結果的展現與傳達方法）

（EMC的在線課程： Data Science and Big Data Analytics Training ，收費T_T，大家可以了解下學習路徑）

(5)分享一些免費的課程

以下課程免費，講師都是領域的專家，需要提前報名，請注意開班的時間。

• Coursera.org ：統計學。
• Coursera.org ：機器學習。
• Coursera.org ：數據分析的計算方法。
• Coursera.org ：大數據。
• Coursera.org ：數據科學導論。
• Coursera.org ：數據分析。

名校課程，需要一定的英語基礎和計算機基礎：

• Statistical Thinking and Data Analysis ：麻省理工學院的統計思維與數據分析課。概率抽樣，回歸，常見分佈等。
• Data Mining | Sloan School of Management ：麻省理工學院的數據挖掘課程，數據挖掘的知識以及機器學習算法。
• Rice University Data Visualization ：萊斯大學的數據可視化，從統計學的角度分析訊息可視化。
• Harvard University Introduction to Computing, Modeling, and Visualization :哈佛大學，如何在數學計算與數據交互可視化之間架起橋樑。
• UC Berkeley Visualization ：加州大學伯克利分校數據可視化。
• Data Literacy Course -- IAP ：兩個MIT的數據研究生，如何分析處理可視化數據。
• Columbia University Applied Data Science ：哥倫比亞大學，數據分析方法。需要一定的數據基礎。
• SML: Systems ：加州大學伯克利分校，可擴展的機器學習方法。從硬件系統，並行化範式到MapReduce+Hadoop+BigTable，非常全面系統。

五、數據科學家的前景

（ EMC - Leading Cloud Computing, Big Data, and Trusted IT Solutions ，關於數據科學家的研究）

Like the physical universe, the digital universe is large – by 2020 containing nearly as many digital bits as there are stars in the universe. It is doubling in size every two years, and by 2020 the digital universe – the data we create and copy annually – will reach 44 zettabytes, or 44 trillion gigabytes.

EMC預測，按照目前的情況數字宇宙以每兩年一番的速度倍增，在2020年將到達44ZB（1ZB=1.1805916207174113e+21B）。 EMC做出了5點比較大膽的預測。

• In 2013, while about 40% of the information in the digital universe required some type of data protection, less than 20% of the digital universe actually had these protections.
• Data from embedded systems, the signals from which are a major component of the Internet of Things, will grow from 2% of the digital universe in 2013 to 10% in 2020.
• In 2013, less than 20% of the data in the digital universe is “touched” by the cloud, either stored, perhaps temporarily, or processed in some way. By 2020, that percentage will double to 40%.
• Most of the digital universe is transient – unsaved Netflix or Hulu movie streams, or Xbox One gamer interactions, temporary routing information in networks, sensor signals discarded when no alarms go off, etc. – and it is getting more so. This is a good thing, because the world's amount of available storage capacity (ie, unused bytes) across all media types is growing slower than the digital universe. In 2013, the available storage capacity could hold just 33% of the digital universe. By 2020, it will be able to store less than 15%.
• In 2014, the digital universe will equal 1.7 megabytes a minute for every person on Earth.

Between 2013 and 2020 the division of the digital universe between mature and emerging markets (eg, China) will switch – from 60% accounted for by mature markets to 60% of the data in the digital universe coming from emerging markets.

EMC預測在2017年左右新興的市場將超越成熟市場，東亞國家是最具潛力的引爆點。 （大家是不是有點小激動，前景一片光明）

六、結束語

推薦網站：

Data Science Central （數據科學中心，大牛雲集，資源豐富，討論者熱情，各種課程）

祝每一個DMer都挖掘到金礦和快樂：）

參考文獻：

[1]. Data Scientists: The Definition of Sexy

[2].《大數據的衝擊》.城田真琴.野村綜合研究所創新開發部高級研究員、IT分析師，日本政府“智能雲計算研究會”智囊團成員

[3].麥肯錫. Big data: The next frontier for innovation, competition, and productivity

[4].EMC. Executive Summary: Data Growth, Business Opportunities, and the IT Imperatives

[5]. EMC Greenplum's Steven Hillion on What Is a Data Scientist?

[6]. LinkedIn's Monica Rogati On "What Is A Data Scientist?"

[7]. IBM - What is a Data Scientist?

[8]. Data Science and Prediction

[9]. The key word in “Data Science” is not Data, it is Science

[10]. Data Science: How do I become a data scientist?

[11]. A Practical Intro to Data Science

[12]. 解碼數據科學家

-----------2017年1月更新-----

專業在專欄：預見未來

The post 如何成為數據科學家？ appeared first on 成長駭客交流第一站 - HyperGrowths™.

為什麼行銷人員需要熟悉大數據

以下是你的行銷團隊應該使用大數據的3個原因：

1、內容個性化和行銷自動化

如果你的內容是有用且相關的，你的客戶會感興趣。創造此類內容的關鍵是要對客戶有洞見，這樣才能發現他們對什麼感興趣。大數據讓這件事成為可能。你網站上的表單可以捕獲客戶感興趣的內容，網站跟踪器可以監控他們點擊的頁面以及他們閱讀每一部分內容的時長。當然，你的所有客戶的行為軌跡各不相同—你很有可能收到一大堆混亂的數據。但是將這些數據分解成更小的集群可以讓你識別共同的趨勢和行為模式——這個過程叫做分類。通過細分你的客戶數據，你能個性化定制發送的消息從而和你的客戶更有效地溝通。 Linkflow能讓你更輕鬆地完成工作。

2、增加客戶參與度

當你創建個性化的內容時，你的客戶會發現你的品牌相關且有用。因此你的客戶會通過增加參與度來表達他們對品牌的認同。參與度越高，對品牌的信任度就越高。隨著時間的推移，這種信任會轉化成購買行為以及對品牌的忠誠和自發的推廣。

3、行銷策略的持續改進

客戶的行為和動作會隨著時間的推移而發生改變，因此你的數據集也會發生變化。通過實施一個數據驅動的行銷策略可以讓你監控這些變化、識別任何行為模式的變化並運營它們來改善你的行銷活動。跟踪這些變化並相應地調整行銷策略往往是很耗費精力的，但像Linkflow這樣的集成式行銷自動化軟件將幫助你更輕鬆地完成這些工作。

推薦閱讀

• HubSpot專題

聯否Linkflow：HubSpot科普篇01：客戶數據中台（HubSpot）是什麼？ ​zhuanlan.zhihu.com 聯否Linkflow：HubSpot科普篇05：客戶數據中台（HubSpot）：當代數位化行銷的頂樑柱​zhuanlan.zhihu.com 聯否Linkflow：HubSpot科普篇07：HubSpot如何幫助企業構建數據驅動的文化​zhuanlan.zhihu.com 聯否Linkflow：HubSpot實操篇01：在部署HubSpot時，如何評估您的數據需求​zhuanlan.zhihu.com

• 私域流量專題

聯否Linkflow：解讀丨如何打造私域流量：流量池思維+中台思維​zhuanlan.zhihu.com 聯否Linkflow：解讀丨如何打造私域流量：構建流量池首先需要一個“數據池”​zhuanlan.zhihu.com 聯否Linkflow：解讀丨如何打造私域流量：高效運營流量，讓企業拿回主動權​zhuanlan.zhihu.com

也歡迎大家到小聯的BLOG了解更多有關HubSpot和流量池的干貨分享和主題沙龍活動，希望小聯的見解和經驗可以幫到大家。

博客- Linkflow聯否官網​1xl.xyz

The post 大數據精準營銷真的有那麼厲害嗎？ appeared first on 成長駭客交流第一站 - HyperGrowths™.

相比過去的流程驅動，數據驅動讓企業能夠利用海量、多維度的數據建立起更加全面的評估體系，或創造直接的業務創新增長，或通過不斷優化低效、問題環節提昇運營效率，是企業市場競爭中保持可持續發展的重要手段。

HubSpot白皮書：2020行銷技術新風向- Linkflow聯否官網​www.linkflowtech.com

數據驅動型企業的成長通常會遵循數據產生、管理、分析到應用的路徑，各階段相互影響和促進。技術與組織文化變革相輔相成，如能從戰略層面推動企業轉型，將可以保障數據驅動的高效落地。

數字經濟時代催生了以大數據為代表的新型生產要素，以數據驅動持續增長和創新發展是企業數位轉型的主線。在企業經營管理的各個環節中，行銷場景具有貼近客戶、和外部互動頻繁的特點。受益於網路、移動網路的蓬勃發展，企業與客戶之間的數據觸點不斷豐富，線上與線下的融合趨勢加強，數字行銷成為當前數據驅動最為成熟的領域。

在企業經營管理的各個環節中，行銷場景具有貼近客戶、和外部互動頻繁的特點。隨著企業與客戶之間的數據觸點不斷豐富，線上與線下的融合趨勢加強，數字行銷成為當前數據驅動最為成熟的領域。

面對來自不同行銷渠道和存儲格式的、碎片化的客戶數據，企業需要運用統一的技術平台進行收集和管理，建立真實、完整的客戶畫像，Linkflow作為一款面向業務人員的低代碼客戶數據中台（HubSpot），入選《台灣數據驅動型企業成長路徑研究報告》的典型數據驅動服務提供商，助力企業實現沉澱第一方客戶數據池的行銷價值，賦能企業行銷數位轉型。

另外，艾瑞諮詢還邀請到Linkflow創始人&CEO盛馬丁，針對“如何以數據驅動行銷數位轉型”進行深入解答，並分享“為什麼Linkflow會以「低代碼」為特點構建客戶數據中台”。

下面，讓我們一起來學習一下本期報告的精華內容和盛馬丁的分享吧～

報告精華內容預覽

【艾瑞專訪】Linkflow盛馬丁：低代碼與客戶數據中台天然契合

低代碼與客戶數據中台天然契合

艾瑞網：首先請您介紹一下Linkflow的整體業務佈局，面向數據驅動型企業，我們主要提供哪些產品和服務？

盛馬丁： Linkflow主要提供的是低代碼客戶數據中台HubSpot，在客戶那裡落地的時候，一般是作為第一方DMP加上行銷策劃的產品。

一般來說，大家會把數據驅動分成兩種，第一種是對企業內部的數據驅動，比如OA或者供應鏈，這個和我們沒有關係。我們做的更多是對外的，和行銷相關的數據驅動。

數字行銷場景下，企業會面臨種種數據分散的問題。舉例來說，客戶會有廣告渠道、電商渠道、微信、抖音這樣的社交媒體渠道，我們要做的首先是把這些數據以標準化的格式連接（Link）到我們的平台上，然後數據通過我們的平台可以流動（Flow）起來，這就是為什麼我們叫Linkflow。在這個基礎上我們還提供一些BI的功能，客戶這裡看到的是，能夠把各種渠道整合起來的從採集到分析到執行的閉環生態。

艾瑞網：為什麼選擇以低代碼的形式切入HubSpot？解決了企業數據驅動過程中的哪些痛點？

盛馬丁：企業最大的痛點是在於部門牆。比如一個有幾萬開發人員的網路企業，他們消費貸部門的運營團隊會曾經找到我們來為他們開發系統。消費貸的運營部門和支付的開發人員都是匯報給支付VP，他們屬於平級的部門，支付的開發沒有義務去支持平時的運營工作，所以當運營部門向開發提需求時就會產生很多衝突。因為運營天生存在一個“試錯”的過程，但是“試錯”在開發人員看來就是想不清楚，開發會覺得很浪費時間。又或者說，當運營人員定下了明確的需求後，開發又要進行排期，讓運營人員等兩週，但兩週之後行銷熱點其實早就過去了。

市場部門在不同的活動、不同的時間點可能需要不同的渠道和工具，我們解決的第一個痛點是幫企業把各個渠道的數據接進來。第二，我們有非常強的低代碼式的工具，能夠讓業務人員自己DIY出活動所需要自動化流程和報表，他們不用和開發做過多的溝通，這樣行銷效率就得到了很大的提升。

低代碼的使用者是有專業知識的人，市場部門是非常適合的。我們選擇低代碼這個切入點進去，強調的是靈活性，市場人員可以根據自己的想法，把流程和標籤自己配置出來，而不是完全依賴於IT人員來做開發。因為IT的支持不僅時間很長，而且最後開發出來可能也不是真正想要的東西，這個時候市場機會可能已經喪失了。如果是用我們標準化的功能，市場人員可以自己花十幾分鐘上手簡單配一配，就能得到行銷所需的流程。

以標準化方式交付定制化服務

艾瑞網：Linkflow重點服務於哪些類型的客戶？涉及哪些關鍵技術？

盛馬丁：我們服務的客戶是以傳統企業、中大型客戶為主，泛零售、汽車、保險是我們覆蓋比較多需求的行業。現在很多傳統企業希望能夠轉型，而傳統企業的業務邏輯、運營邏輯會和網路企業有很大的不同。行銷環節中網路企業一直在強調增長黑客，但是傳統企業不是這個邏輯，他更多強調的是他有很多的投放渠道，還有自己的官網、CRM、客服系統，怎麼把這些數據打通，從而看到行銷的整體效果。

技術難點第一個是在抓取前端取數據的時候量非常大，我們考慮的是怎麼能夠保證數據不漏且穩定。第二個是數據連接進來以後，我們有可擴展的數據結構，能夠兼容所有不同類型的應用，比如有人在微信關注了，有人在淘寶下單了，我們必須用同一套數據結構去支撐。第三，我們的分析模型必須要做到實時分析。第四是我們有比較強的流程引擎、規則引擎，能夠讓數據的流轉做到穩定、高效。

艾瑞網：Linkflow如何平衡產品標準化和需求定制化的矛盾？

盛馬丁：定制化一般是大項目，小一點的項目基本沒有，大型項目有時候會有20%-30%的比例定制。我們做大企業的過程本身是完善產品的一部分，如果是完全沒有可能被標準化的東西，我們也會選擇不做。例如數據導入、數據分析是能夠提升產品競爭力的，我們就會比較感興趣。當我們把專業能力建立起來，在這方面會越做越快，即使是定制化的服務，也是以標準化的方式進行交付。

數據驅動讓企業不再是盲人摸象

艾瑞網：如何衡量數據驅動為企業帶來的價值？

盛馬丁：第一個是節省成本，比如我們的系統內嵌了實時BI，業務人員直接在自己的系統裡做報表，可以明顯節省時間和人力。第二個是端到端的行銷效果追踪，我們可以把CPS、CPL裡無效的關鍵詞去掉，同等效果的時候省掉15%-25%的投放費用，或者是在同等費用的時候增加15%- 25%的投放效果。第三個是企業會有更完整的客戶畫像，讓各部門之間對一個客戶的理解是一致的。以前我們經常會碰到的現像是，客服部門、銷售部門、市場部門在講同一個客戶的時候，大家的描述是不同的，像是盲人摸象，我看到這部分數據，你看到那部分數據。第四個是企業的業務是完全圍繞數據來開展的。很多大型的網路企業，他們每天的晨會是由一封郵件開始的，這封郵件是由系統生成，昨天每個銷售狀態怎麼樣、有沒有出單，他們會根據這裡的數據快速做出調整。企業可以把自己的業務拆分成不同的環節，每個環節提升5%，那加起來就不得了。

艾瑞網：企業的數字行銷通常會面臨哪些挑戰？

盛馬丁：他們最大的痛點在於數據分散，這是所有痛點的起始點。比如5-6個人的市場部門，需要用15個系統來管理自己的客戶數據，投放的時候要用到百度、360、搜狗、今日頭條，網站有客戶行為數據，微信體系裡有小程序、公眾號、企業微信，還有經營數據表單、短信行銷、CRM系統、客服系統等等，然後還有BI的需求。如果說數據分散問題不解決的話，後面所有的報表、旅程全都是不精確的，不能實現長久的數位轉型。

數位轉型要從戰略層面主導去推進的，如果是一個數位轉型的項目，一般是CEO去主導推進的工程。當然在執行過程中，有部分企業會碰到各個品牌之間互相不服。因為我們主要涉及的是行銷部門，不服的情況在快消行業比較多。集團型企業的IT希望統一所有品牌的系統，但是所有品牌的市場部門都不願意被統一，都想有自己的自留地，所以在推進數位轉型時也會受到來自企業組織架構上帶來的阻力。

數字行銷更注重靈活性和可擴展性

艾瑞網：在選型過程中，企業考察的因素有哪些？

盛馬丁：如果是成熟度高的企業，他更多是要看靈活性和可擴展性。行銷和ERP的不同在於，供應鏈的流程是比較固定的，但是行銷這裡，我們永遠不知道在下個時間點要用到什麼工具，會有層出不窮的玩法。我們永遠是不能做全集的，但是我們會想辦法把市面上流行的東西幫客戶接進來。

艾瑞網：疫情對數據驅動型企業的發展有什麼影響？

盛馬丁：疫情是一個利好的影響，本身很多線下企業覺得數位化的事情是可做可不做的，但是疫情來了以後他發現必須做線上了。如果要做線上，就需要一定的數位化推動的工具。我們有些客戶是在疫情一發生之後，過年上班第一天來找到我們，現在項目已經開始實施了，這種很大型的集團客戶，這個速度在以前是很難想像的。提供很重服務的廠商會越來越沒有市場，因為現在企業要求產品要好、標準化程度要高，大家希望數字行銷能夠快速見效，短平快地找到一些場景就變得很重要。

疫情影響下，傳統企業面向消費者端的各個環節正在加速線上化。 2020年1月至5月社會消費品零售總額同比下降14.0%，而網上零售額僅出現短暫回落隨即迎來上漲。外部環境的催化讓數位轉型越來越多的行業而言變得重要且緊急，構建以消費者為核心的全域行銷能力至關重要。未來Linkflow將繼續低代碼HubSpot，在“多連接”、“輕操作”上不斷提升產品的能力，積極聯合合作夥伴，為企業提供端到端的行銷解決方案。

Linkflow公司簡介

Linkflow是一款低代碼客戶數據中台，集第一方客戶數據池和敏捷運營平台為一體。通過連接內外部數據源，打通行銷觸點，Linkflow為企業市場及運營部門提供從客戶數據採集、分析到行銷執行的一體化客戶運營閉環，幫助企業通過數據驅動業務增長。

從2011年起，Linkflow團隊就開始深耕數字行銷領域，從App運營到全渠道零售軟件、行銷自動化都有非常深的理解。

2017年3月，Linkflow正式成立，主要成員來自於SAP，微軟，愛立信，台灣電信等大型企業，擁有豐富的創業經驗和強大的SaaS開發實力。

2017年6月，獲得了第一個500強付費客戶，並成立南京和廣州分公司。

2017年11月，獲得光速台灣與真格基金聯合天使投資。

2018年1月，南京研發中心入選南京321人才計劃。

2018年8月，獲得金沙江創投的百萬美元A輪融資。

2019年5月，在CSIC 2019年度SaaS領域的權威創新評選中，榮獲“年度最具創新SaaS產品”獎項。

2019年9月，入選微軟加速器2019秋季班。

2019年10月，榮獲「國家高新技術企業」認證。

2020年1月榮獲2019台灣零售創新峰會“年度最佳數字中台技術創新獎”。

2020年7月Linkflow榮獲第八屆TopDigital創新行銷工具獎。

截至目前，Linkflow已經服務包括平安、安聯、雅培等在內的知名企業。

The post 一句話介紹什麼是數據驅動？ appeared first on 成長駭客交流第一站 - HyperGrowths™.