作者 | 易觀CTO郭煒
出品 | AI科技大本營（ID:rgznai100）
本文為CSDN即將推出的《新戰場：決勝中臺》專刊的第 2 篇文章。
什麼是數據中臺？
中臺的定義來自於投資銀行，簡單說來，投行當中前臺是賺錢的、後臺是做支持賺錢的，而中臺是支持更快賺錢的。而建設大數據中臺的本質在於把過去在後臺的工作挪到中臺，進一步支持前臺更高效的做數據分析。
整體說來，數據中臺可以分成兩種建設模式：廣中臺和深中臺。
廣中臺：大部分大廠使用這種模式，在IaaS之上有大數據組件組成的PaaS中臺，可以幫助各業務團隊的研發，快速申請資源、快速研發數據相關應用，滿足業務團隊用戶需求。廣中臺的用戶基本上是各業務部門的技術人員。
深中臺：大部分小廠或者創新團隊使用這種模式，在IaaS之上，根據數據的“主題域“或者業務領域，分別建立直接給業務人員使用的PaaS，讓業務人員可以直接操作數據、進行實時計算、用戶分群、用戶營銷等等。深中臺的用戶基本上是該業務主題域的業務運營或者產品人員。
用一個不恰當的比喻，廣中臺有點像當年的數據倉庫，以整合計算算力、共享數據資源為目標，需要技術人員再次加工來提供業務應用模型，深中臺有點像當年的數據集市+ACRM，以直接驅動業務、業務用戶直接使用數據為目標。
為什麼要建立大數據中臺
數據中臺就是企業從傳統信息化到數字化演進過程中的必然產物。大數據平臺過去幾年內非常火爆，幾乎所有數字化企業都啟動了相關的大數據項目，但是，建設大數據平臺時有各種各樣的痛點：
大數據項目啟動難：大數據平臺建設週期長，成本高、人員互聯網運營經驗不足；
大數據項目效果體現難：大數據如何解決互聯網運營問題、大數據系統建設結果是更多的BI報表、大數據建設ROI無法衡量；
大數據項目執行難：數據源紛繁複雜、原有系統涉及到多部門協調溝通、以及數據治理問題；
往往一個大數據平臺建設完成後，帶來了大量的運維工作，而業務支持能力被業務部門質疑，到底如何衡量大數據的ROI是一個行業的痛點。
在這個背景情況下大數據中臺營運而生，數據中臺的目標就是：
1、把業務分析還給業務，讓業務人員、數據科學家直接使用數據，而不是傳統軟件提需求出報表的方式；
2、實時數據分析，即時滿足運營人員的各種推測和分析需求。
3、數據治理要在業務端進行，而不是在技術端進行梳理。
從大數據平臺到數據中臺是一次從大數據從技術到業務的飛躍，過去我們只看技術，到中臺時期，是從業務端看技術。
如何建設大數據中臺
易觀在建設大數據中臺過程中，主要從這三個方面來進行：面向業務、開放連接、共享共建。
面向業務
易觀的大數據中臺是一個“深中臺“模式，也就是中臺的目標是定位在直接賦能業務用戶使用，減輕大數據人員重複勞動上下功夫。因此，易觀的數據中臺產品“方舟”是以智能用戶數據中臺為目標，定位在於用戶數據為中心的相關業務。深入業務用戶的使用場景，提供留存、轉化等等實際的業務場景，讓業務人員使用。同時，根據業務人員反饋的需求、基於開放的用戶數據PaaS快速打磨迭代
上面的場景和應用。
易觀智能用戶數據中臺——方舟
開放連接
如果要支持上述提到的快速迭代，底層的大數據PaaS就需要非常靈活，開放接入各種組件、支持多種靈活的二次開發方式，還要支持多雲，這裡易觀採用的是“大數據IOTA”架構的數據PaaS：
大數據IOTA架構
它的基本思路就是把數據計算分佈在所有節點上，從數據採集開始就進行邊緣計算，這樣一來定義數據採集原子口徑，將業務口徑歸還業務部門，更加快速的支持業務調整：
統一格式/口徑的數據接入（前後端採集、數據上傳）方式
抽象為“主-謂-賓”數據標準化模型數據計算
秒算引擎滿足實時多維度多模型數據查詢
支持業務系統數據接入，整合企業數據
支持外部系統導出數據，滿足更多應用場景
得益於IOTA架構，易觀的用戶數據中臺，支持4大類、10小類、近百個API，還支持JDBC接口，讓業務人員和技術人員都可以快速根據自己的實際情況進行二次開發——授人以魚不如授人以漁，最瞭解業務的還是業務用戶自己，數據中臺就是幫助它實現自主完成相關業務分析和數據驅動的工具。
數據中臺還要選擇具有聯通型的組件，這樣可以快速和企業內部的各種組件對接，易觀選取的是Presto，它具有的特性是可以快速鏈接多種大數據組件的能力，天然支持Mysql，HDFS和Cassandra，而易觀又擴展了它的能力，開源了自主研發的Kudu Connector，Hbase Connector等，讓企業可以快速通過易觀的數據中臺聯通自己的內部大數據組件。
開放性還體現在多雲支持上，目前，公有云、私有云多種形態並存，大數據中臺組件要適配當前的多種雲方式，目前易觀自己的用戶數據中臺方舟採用了IOTA架構中“計算-存儲分離”的模式已經支持了阿里、AWS、騰訊等主流雲廠商，這樣可以幫助企業順利使用多雲模式。
共享共建
大數據平臺組件繁多，如何可以讓數據中臺與大數據平臺有效配合，易觀的思路是從開放API、開放組件到開源佈局，下圖是易觀免費的用戶數據中臺Argo和大數據平臺生態佈局的關係。
免費的用戶數據中臺Argo與大數據平臺的關係
作為免費用戶數據中臺，Argo幫助初創企業和創新團隊建立自己的用戶行為中颱，完成業務分析部分，但是大的企業有自己的大數據平臺，直接如何方便互聯互通。這個情況非常複雜，很難通過一家企業來完成所有的生態，易觀的思路是開源，共享共建。大數據平臺中的核心ETL調度組件，易觀3月份正式開源了分佈式易擴展的可視化DAG工作流任務調度系統Dolphin Scheduler，在眾多用戶期待和全球技術專家投標的肯定下，8月底正式加入Apache孵化器，成為國內唯一的一家Apache大數據調度引擎，10月底A10峰會上，易觀正式開源了“可視化埋點SDK”，旨在幫助企業解決數據埋點這個痛點。
數據中臺作為一個可內聚的產品，周邊的組件是要通過開源、共建生態來完成的，無論是甲方的企業還是乙方的專業公司，中臺的建設都需要開放心態，共享使用場景、經驗，共同打造開源社區，共享行業資源才可以真正做好。
數據中臺的未來展望
每一個技術架構的升級，其實背後是管理思路的變革，數據中臺將過去數據決策迭代週期從數月到數天乃至數天，是“精益”理論和敏捷開發在數據行業裡的具體實現。更多的讓業務用戶可以直接使用數據、利用數據進行運營、測試，形成精益閉環是未來大勢所驅。
技術上，大數據中臺的發展，也對大數據平臺工程師提出了更高的業務需求，最終會形成一個新的工程師種類——大數據中臺工程師，他們是瞭解業務、懂得數據分析，還會使用大數據技術來實現大數據中臺的技術人員。
大數據中臺，只是數據從後臺走向前臺的過渡階段，最終在IOT、5G、AI的助力下，數據技術會成為一個公司的“前臺”業務，最終讓數據和人工智能替代前臺人員直接為業務變現。
《新戰場：決勝中臺》專刊文章鏈接：
平安科技智能認知的“中臺戰事”
（*本文為AI科技大本營約稿文章，轉載請微信聯繫 1092722531）
閱讀更多 AI科技大本營 的文章
