DataFlux是上海駐雲自研發的一套大數據統一分析平臺,可以通過對任何來源、類型、規模的實時數據進行監控、分析和處理,釋放數據價值。
DataFlux包含五大功能模塊:
- Datakit 採集器
- Dataway 數據網關
- DataFlux Studio 實時數據洞察平臺
- DataFlux Admin Console 管理後臺
- DataFlux.f(x) 實時數據處理開發平臺
面向企業提供全場景的數據洞察分析能力, 具有實時性、靈活性、易擴展、易部署等特點。
安裝DataKit
PS:以Linux系統為例
第一步:執行安裝命令
DataKit 安裝命令:
<code>DK_FTDATAWAY
=[你的 DataWay 網關地址] bash -c"$(curl https://static.dataflux.cn/datakit/install.sh)"
/<code>
補充安裝命令中的 DataWay 網關地址,然後複製安裝命令到主機上執行即可。
例如:如果的 DataWay 網關地址 IP 為 1.2.3.4,端口為 9528(9528為默認端口),則網關地址為
<code>DK_FTDATAWAY
=http://1.2
.3.4
:9528
/v1/write/metrics bash -c"$(curl https://static.dataflux.cn/datakit/install.sh)"
/<code>
安裝完成後,DataKit 默認會自動運行,並且會在終端中提示 DataKit 的狀態管理命令
Kafka 監控指標採集
採集 kafka 指標上報到 DataFlux 中
前置條件
- 已安裝 DataKit(DataKit 安裝文檔)
- 已配置 Jolokia 指標採集
配置
打開 DataKit 採集源配置文件夾(默認路徑為 DataKit 安裝目錄的 conf.d 文件夾),找到 jolokia2_agent文件夾,打開裡面的 jolokia2_agent.conf。
設置:
<code>[[inputs.jolokia2_agent]]
name_prefix ="kafka_"
urls = ["http://localhost:8080/jolokia"
][[inputs.jolokia2_agent.metric]]
name ="controller"
mbean ="kafka.controller:name=*,type=*"
field_prefix ="$1."
[[inputs.jolokia2_agent.metric]]
name ="replica_manager"
mbean ="kafka.server:name=*,type=ReplicaManager"
field_prefix ="$1."
[[inputs.jolokia2_agent.metric]]
name ="purgatory"
mbean ="kafka.server:delayedOperation=*,name=*,type=DelayedOperationPurgatory"
field_prefix ="$1."
field_name ="$2"
[[inputs.jolokia2_agent.metric]]
name ="client"
mbean ="kafka.server:client-id=*,type=*"
tag_keys = ["client-id"
,"type"
][[inputs.jolokia2_agent.metric]]
name ="request"
mbean ="kafka.network:name=*,request=*,type=RequestMetrics"
field_prefix ="$1."
tag_keys = ["request"
][[inputs.jolokia2_agent.metric]]
name ="topics"
mbean ="kafka.server:name=*,type=BrokerTopicMetrics"
field_prefix ="$1."
[[inputs.jolokia2_agent.metric]]
name ="topic"
mbean ="kafka.server:name=*,topic=*,type=BrokerTopicMetrics"
field_prefix ="$1."
tag_keys = ["topic"
][[inputs.jolokia2_agent.metric]]
name ="partition"
mbean ="kafka.log:name=*,partition=*,topic=*,type=Log"
field_name ="$1"
tag_keys = ["topic"
,"partition"
][[inputs.jolokia2_agent.metric]]
name ="partition"
mbean ="kafka.cluster:name=UnderReplicated,partition=*,topic=*,type=Partition"
field_name ="UnderReplicatedPartitions"
tag_keys = ["topic"
,"partition"
]/<code>
配置好後,重啟 DataKit 即可生效
驗證數據上報
完成數據採集操作後,我們需要驗證數據是否採集成功並且上報到DataWay,以便後續能正常進行數據分析及展示
操作步驟:登錄DataFlux——數據管理——指標瀏覽——驗證數據是否採集成功
使用DataFlux實現數據洞察
根據獲取到的指標項進行數據洞察設計,例如:
Kafka 性能監控視圖
DataFlux基於自研的DataKit數據(採集器)目前已經可以對接超過200種數據協議,包括:雲端數據採集、應用數據採集、日誌數據採集、時序數據上報、常用數據庫的數據匯聚,幫助企業實現最便捷的IT 統一監控。