雲原生+微服務,實現「DataFlux」快速交付!

DataFlux 是由駐雲最新重磅打造一款

實時大數據分析平臺,可以通過對任何來源、類型、規模的實時數據進行監控、分析和處理,釋放數據價值。

雲原生+微服務,實現「DataFlux」快速交付!

為什麼說是“實時”?

因為是實時的數據採集,通過自研的數據網關,實時打入 InfluxDB 時序數據庫,依託於 InfluxDB 時序數據庫的強大查詢分析能力,實時數據分析展示。

為什麼說是“統一”?

萬物皆數據,數據皆可被採集。企業內,從員工考勤數據到 IT 設備數據,從客戶關係數據到銷售數據,從市場外部大環境數據到企業內部管理數據等,皆可匯聚,進行統一綜合分析,提升數據價值。

五大硬核組件

  • 數據採集器:目前支持200多種數據的採集,還在大量開發擴充中。
  • 數據網關:數據的核心功能模塊,採用 golang 語言開發,高效處理數據,並且有消息隊列保障數據的可靠性與一致性。
  • DataFlux Studio:強大的場景構建能力,豐富的圖表組件,隨心所欲展示數據。
雲原生+微服務,實現「DataFlux」快速交付!

  • 函數開發平臺:賦予用戶無限擴展能力,可基於 Python 編寫數據處理函數,簡便易入手。與 DataFlux Studio緊密結合,進行數據預測分析,並且內置大量官方函數,也可以配合其他應用,作為其他應用的數據來源。
  • 強大的實時預警能力:可配置多指標實時檢測,支持多種預警行為輸出途徑。

如何實現快速交付

DataFlux 強大的功能背後是運行著的幾十個應用服務,這些應用服務如何穩定且高效有序運行,並且能夠快速部署與持續交付,原因之一是 DataFlux 完全基於雲原生的微服務架構。

PS:雲原生是一種理念和應用交付模式,是一套技術體系和方法論,它充分發揮和利用雲計算模型的優勢構建和運行可彈性擴展的應用。雲原生的三大特徵:微服務化、容器化、動態管理。

雲原生+微服務,實現「DataFlux」快速交付!

容器技術為基礎,發揮資源最大力量

整個DataFlux 核心後面是運行著的幾十個微服務,實現了使用不同開發語言開發、不同環境要求的應用服務在一個服務器上運行;搭配Kubernetes技術,動態資源編排與調度,最大化利用服務器資源。

但是如果只有 Kubernetes,我們還是無法快速的完成一套產品的交付,因為幾十個應用服務需要手工創建和配置,也是一個巨大的工作量,那麼如何解決這一個問題對於快速交付來說就至關重要。

自研工具,實現1+1>2

Kubernetes 可以使用 YAML語言去描述所有類型的資源,如 pvc、deployment、service、ingress、confiogmap等,再利用 kubectl (kubernetes 的命令行客戶端工具)執行這些 YAML 文件的應用,去創建或修改資源。

雲原生+微服務,實現「DataFlux」快速交付!

正是利用這一點,我們開發了一個DataFlux 的安裝配置工具 Launcher,在準備好硬件資源的情況下,可以做到10分鐘完成整個應用的部署與配置。整個安裝過程變得非常簡單,根據 Launcher 的引導步驟,完成MySQL數據庫、Redis、InfluxDB 等信息的輸入,Launcher 根據用戶輸入的信息,自動完成數據庫表結構的初始化有及數據的初始化,並且根據準備好的模板自動生成Kubernetes 的 YAML資源描述文件,以及 DataFlux 的服務應用配置文件,然後利用 kubectl 命令行工具執行 YAML 文件的導入。


分享到:


相關文章: