大數據給我們的生活帶來了哪些改變?

大數據產業圍繞數據資產、數據分析、數據應用三個環節自下而上展開。其核心為用戶數據,包括行為數據、交易/支付數據及地理位臵數據等。海量數據經過挖掘、清洗、加工等一系列處理後形成可應用的資產,BAT美團等平台型公司天然在數據資產方面有優勢。數據分析體現在基於人工智能的分析、模型能力以及構建數據中台的能力。數據應用即在垂直行業的具體應用及對工具類的應用。工具類應用一般以SaaS或開發者服務形式出現,進一步賦能垂直行業,行銷是數據應用最重要的場景之一,也是數據產業變現主要的途徑。行銷之外,技術型公司還可涉足金融、零售等具體業務環節,變現潛力極大(類似CPS的概念)。

基於大數據及技術進步,傳統行銷升級智慧行銷/Martech。縱觀國內行銷發展歷程,我國已經歷傳統行銷階段(1995年以前)、“網路+行銷”階段(1995-2004)、“技術+行銷”階段(AdTech,2004-2012)、“AI+行銷”階段(智慧行銷,2012至今)。 

Martech是“AI+行銷”的縱深發展,國內尚未出現行業龍頭。梳理大數據產業鏈,從競爭力及變現的關鍵點理解,未來機會在大數據產業鏈深耕數據資產及技術公司,轉型的傳統代理型行銷公司及細分領域垂直行銷公司。 

Martech公司的競爭力體現在大數據產業鏈縱深能力。行銷收入受制於所處行業預算。行銷工具的技術門檻亦非難以跨越。因此,從應用/工具向數據分析及數據資產端延申方能構築企業的護城河。 

大數據並不僅是海量數據,而是大量數據通過挖掘、清洗、加工後形成數據資產的能力。擁有獨特數據源,通過外部採購豐富數據維度,並有能力將海量數據變為高質量的數據資產是競爭力的核心。從變現的角度,擁有數據資產並通過變賣數據變現,是產業鏈中更好的“生意”,邊際成本隨收入增加無限減少。騰訊、阿里、美團等平台型公司,天然擁有數字資產的優勢。除此之外,其他公司則通過擁有自己獨特數據源,通過數據挖掘、加工技術整合高質量多維度的數據,構建自己的數據資產護城河,例如極光、什麼值得買。 

數據分析能力體現在人工智能算法應用,及構建中台的能力。優質的數據資產是數據分析能力最大化的保證,穩定強大的中台是支持數據應用的基礎。數據分析/中台能力是產業鏈承上啟下的環節,技術能力本身即其競爭力的體現。各家構建中台首要是為夯實競爭基礎,在此基礎上可考慮變現。無論是分析/模型或構建中台,都需要深入與客戶企業系統/數據,因此大部分為項目部署制。標品的開發需要時間的打磨及行業積累。在Martech企業中,微盟、極光均具備較強的中台能力,微盟已經對外輸出其中台能力。 

數據工具及數據應用環節,入局的玩家較多。工具及應用離不開場景,公司的獲客能力及對行業/場景的理解是其核心競爭力的體現,先發優勢明顯。在變現環節,由於需要持續在獲客投入且單純的應用或工具均受制於行業預算,將應用做輕,最大限度降低開發和部署成本,尋求在產業鏈縱深佈局以增加變現空間。在開發者服務端以極光、每日互動為代表,SAAS端的有贊、微盟。行銷應用層面的什麼值得買等。開發者服務工具,以推送工具為代表,即滿足開發者在“技術/成本”間平衡的需求,推送本質是增加留存,保證用戶的活躍度。

大數據具備Volume(大量)、Velocity(高速)、Variety(多樣)、Value(低價值密度)、Veracity(真實性)的特點(IBM)。隨著訊息技術不斷發展,網路快速普及,與人們的生產、生活日益緊密,全球數據亦呈現倍數級增長的特點,對經濟發展、社會治理、國家管理、人民生活都產生了重大影響。

1980年,著名未來學家阿爾文·托夫勒在其著作《第三次浪潮》中,將“大數據”描繪為“第三次浪潮的華彩樂章”。

2003年《The Google File System》、2004年《MapReduce: Simplified Data Processing on Large Clusters 》、2006年《Bigtable: A Distributed Storage System for Structured Data》谷歌大數據三大論文發布,以及2005年Hadoop項目的誕生,使得大規模處理結構化、半結構化、非結構化數據1的廉價方案成為可能,為大數據產業的快速普及創造了基礎條件。

2008年,大數據得到部分美國知名計算機研究人員認可。業界組織計算社區聯盟(Computing Community Consortium)發表白皮書《大數據計算:在商務、科學和社會領域創建革命性突破》,詳盡闡述了大數據對社會治理的推動作用,及其潛在的商業價值。大數據正式進入世界最具有價值和影響的技術行列。

2009年,美國政府為構建開放、透明機制,啟動 Data.gov網站向公眾開放多種政府數據,包括交通、經濟、醫療、教育和人口服務等。 2012年, Data.gov已累積來自172個政府機構的數據集,數量從2009年的47個暴增至40萬個以上,催化美國政府推出相關政策,加速大數據技術發展。

至此,大數據產業迎來其發展的大時代。

行行查,行業研究數據庫www.hanghangcha.com

2015年,亞馬遜市值第一次超越沃爾瑪,當前前者市值更是後者的三倍多,而亞馬遜銷售額中有1/3是依託大數據精準行銷產生。通過記錄顧客瀏覽網站時的行為數據,如所搜關鍵詞、到訪頁面、關注商品、購買訂單,以及不定期舉行活動引導客戶明確喜好,如主題投票,亞馬遜蒐集並分析客戶屬性、興趣、需求,利用聚類等大數據模型為客戶群體推薦合適商品。

以色列的環境比台灣大西北更惡劣,但將大數據引入農業後,以色列成為了“歐洲的廚房”。憑藉較高的訊息化和數位化基礎,以色列農業技術公司利用大數據幫助農民根據農場的具體情況採用更加個性化的耕種方案。如Taranis公司利用大數據分析法推出包括預測天氣、灌溉和病蟲害狀植物模型技術,指導農民合理灌溉、殺蟲;AKOL公司更是將不同區域農民工作習慣等人為因素納入農作物生長及環境狀況的大數據分析範疇,進一步優化方案。

更甚者,在體育界,植入科技和大數據之後,美國金州勇士隊在短短幾年內就實現了從一個“爛”球隊到NBA總冠軍的飛躍。勇士隊老闆拉科布作為數據分析的堅實擁躉,把數據分析思想充分融入到球隊的訓練之中,最先引入球館錄像和分析系統,同時其團隊統計歷年NBA比賽,發現最有效的進攻是眼花繚亂的傳球和準確的投籃,並創造了三分球新打法,助力勇士隊快速成長。

對於台灣大數據產業的規模,目前各個研究機構均採取間接方法估算。根據信通院數據,2017年台灣大數據產業規模(包括數據資源建設、大數據軟硬件產品的開發、銷售和租賃活動,以及相關訊息技術服務)為4700億元人民幣,同比增長30%,且預計2020年這一規模有望赶超1萬億,年均複合增速近30%。其中,大數據核心產業規模2017年為234億元,同比增長39%,預計2018年為329億。

政府部門、BAT為代表的網路企業、運營商是當前台灣大數據的主要擁有者。除此之外,利用網絡爬蟲或公開應用程序接口API等途徑對網絡數據進行採集也是一大重要來源。在大數據時代,擁有數據就擁了核心資源:工業時代,石油是最大的巨頭,數據時代,BAT等因為擁有最多、最全的搜索、電商和社交數據,也成為絕對的王者。此外,一些在細分領域擁有入口資源的公司也是稀缺標的,如已發布位置大數據平台的四維圖新等。

數據管理與分析位於產業中游,基於多種處理框架及算法,數據管理負責數據的集成、存儲、安全等環節;數據分析按應用類型包括AI、BI、可視化分析等,按數據類型包括圖像、文本、視頻、語音分析等。

其中,數據存儲是產業鏈的支撐,參與者以傳統數據庫企業為主,國際上有IBM、Oracle、Intel、Green-plum等;國內主要有華為、中興、同有、浪潮、中科曙光等,各家企業針對大數據應用的具體領域開展數據庫架構和數據組織管理研究,形成各自的優勢產品。數據安全是產業發展的重要保障,滲透數據存儲、傳輸、交互的各個環節,主要參與方包括賽門鐵克、360、啟明星辰、綠盟科技、美亞柏科等。而產業鏈最核心的當屬數據分析與挖掘,其能力直接決定著大數據應用的推廣程度和範圍。數據分析一是從大量的結構化、半結構化、非結構化數據中分析出計算機可以理解的語義訊息或知識,二是對隱性的知識,如關聯情況、意圖等進行挖掘。常用的方法包括分類、聚類、關聯規則挖掘、序列模式挖掘等,國際上主要參與者包括谷歌、亞馬遜、Facebook、IBM、甲骨文、微軟等,國內主要包括海康威視、科大訊飛、BAT 、網易、智慧星光、思必馳等。

數據處理框架按所處理的數據形式及得出結果的時效性分類,可分為批處理系統和流處理系統。批處理主要操作大規模數據集,包括將大任務分解為小任務,分別在集群中的節點上並行計算,可根據中間結果重新組合數據,再計算和組合最終結果。而流處理則是對由連續不斷的單條數據組成的數據流進行計算,強調的是處理結果的時效性。典型的批處理框架是Apache Hadoop,典型的流處理系統是Apache Storm,還有一種同時具備批處理及流處理能力的混合系統,如ApacheSpark。其中,Hadoop、Spark是應用較為廣泛的兩種框架。

常用的數據處理算法包含分類、聚類、回歸分析、關聯規則、序列模式挖掘等。算法思想源遠流長,發展到目前,可謂種類繁多,而受益於第三次人工智能浪潮,神經網絡算法近來關注度再次高漲。

行行查,行業研究數據庫www.hanghangcha.com

應用為王,對大數據分析結果進行應用是完成產業商業化目標,實現價值的終點。經過近幾年的發展,大數據應用已滲透政府、電信、金融、人力資源、醫療、物流、等多個行業,從產品角度而言,除傳統的工具/產品化服務(精準行銷、輿情監控等)外,整體式的解決方案亦愈加豐富。

大數據是提升政府治理能力的重要方式之一。近年來,電子政務、政務系統等相關文件頻發,尤其是2017年起“加快國務院部門和地方政府訊息系統互聯互通,形成全國統一政務服務平台”、“深入推進'網路+'行動和國家大數據戰略”等要求陸續提出,為國內政府大數據建設提供了良好的政策環境。

政府部門訊息化過程中積累了海量的政務數據,通過大數據應用不但可以改善對民眾、企業的公共服務,也可以為政府管理決策輔以有效參考,幫助政府工作高效化、科學化。目前,政府大數據已滲透公安、稅務、司法、金融、工商、海關、質監等多個部門,在公共安全領域如治安防控、情報研判、案情偵破等,交通管理領域如擁堵提醒、疏散管理、公交到站監測等,財稅領域如逃稅漏稅分析、稅改效果追踪、公共資源項目監管等,金融領域如企業徵信、金融市場風險管控等,正做出越來越多的貢獻。

根據貴陽大數據交易所統計,2014年台灣政府大數據應用市場規模為9.06億元,2015年,這一規模已快速增長至16億元,預計今後幾年,政府大數據應用市場規模仍將成倍增長,到2020年有望達到1908億元。

大數據是改善醫療矛盾的重要手段之一。如今,“效率較低的醫療體系、質量欠佳的醫療服務、看病難看病貴的就醫現狀”已成為民生焦點,大醫院人滿為患、社區醫院無人問津、病人就診手續繁瑣等問題大都源於醫療訊息不暢、醫療資源兩極化、醫療監督體制不健全等。而隨著網路、大數據、雲計算等訊息技術快速發展,醫療市場的種種矛盾有望逐步得到解決。

就醫療大數據而言,其應用有效提高了醫院長尾市場的訊息流通,降低了廣大受眾成本,能夠使原有醫療服務體系更加完善、精準。對於醫務人員,大數據可進行臨床輔助決策、精準診療與個性化治療、不良反應與差錯分析提醒等;對於患者,大數據可助力自我健康管理、健康預測與預警、全生命週期健康檔案建立等;對於管理者,大數據可提供精細化管理決策支持、感染爆發監控、疾病與疫情監測等;對於研究人員,大數據可服務其用藥分析、藥物研發等。

十二五“3521”工程10、十三五“開展健康台灣雲服務計劃”、《新一代人工智能發展規劃》、《關於促進“網路+醫療健康”發展的意見》、《全國醫院訊息化建設標準與規範(試行)》等,都為台灣醫療大數據應用的開展完善了訊息建設基礎。根據貴陽大數據交易所統計,2015年台灣醫療大數據應用市場規模為9.4億元,預計隨著應用領域不斷增加,市場規模將不斷擴張,到2018年形成32億的規模,2020年達到79億。

手機訪問“行行查”小程序更方便

如何看到數字時代對廣告業的衝擊?

B2B行業市場營銷從業者有哪些必讀書籍或網站?