使用 DataFlux 採集 Kafka 監控指標並展示

DataFlux是上海駐雲自研發的一套大數據統一分析平臺,可以通過對任何來源、類型、規模的實時數據進行監控、分析和處理,釋放數據價值。

DataFlux包含五大功能模塊:

- Datakit 採集器

- Dataway 數據網關

- DataFlux Studio 實時數據洞察平臺

- DataFlux Admin Console 管理後臺

- DataFlux.f(x) 實時數據處理開發平臺

使用 DataFlux 採集 Kafka 監控指標並展示

面向企業提供全場景的數據洞察分析能力, 具有實時性、靈活性、易擴展、易部署等特點。

安裝DataKit

PS:以Linux系統為例

第一步:執行安裝命令

DataKit 安裝命令:

<code>

DK_FTDATAWAY

=[你的 DataWay 網關地址] bash -c

"$(curl https://static.dataflux.cn/datakit/install.sh)"

/<code>

補充安裝命令中的 DataWay 網關地址,然後複製安裝命令到主機上執行即可。

例如:如果的 DataWay 網關地址 IP 為 1.2.3.4,端口為 9528(9528為默認端口),則網關地址為

<code>

DK_FTDATAWAY

=http://

1.2

.

3.4

:

9528

/v1/write/metrics bash -c

"$(curl https://static.dataflux.cn/datakit/install.sh)"

/<code>

安裝完成後,DataKit 默認會自動運行,並且會在終端中提示 DataKit 的狀態管理命令

使用 DataFlux 採集 Kafka 監控指標並展示

Kafka 監控指標採集

採集 kafka 指標上報到 DataFlux 中

前置條件

  • 已安裝 DataKit(DataKit 安裝文檔)
  • 已配置 Jolokia 指標採集

配置

打開 DataKit 採集源配置文件夾(默認路徑為 DataKit 安裝目錄的 conf.d 文件夾),找到 jolokia2_agent文件夾,打開裡面的 jolokia2_agent.conf。

設置:

<code>

[[inputs.jolokia2_agent]]

name_prefix =

"kafka_"

urls = [

"http://localhost:8080/jolokia"

]

[[inputs.jolokia2_agent.metric]]

name =

"controller"

mbean =

"kafka.controller:name=*,type=*"

field_prefix =

"$1."

[[inputs.jolokia2_agent.metric]]

name =

"replica_manager"

mbean =

"kafka.server:name=*,type=ReplicaManager"

field_prefix =

"$1."

[[inputs.jolokia2_agent.metric]]

name =

"purgatory"

mbean =

"kafka.server:delayedOperation=*,name=*,type=DelayedOperationPurgatory"

field_prefix =

"$1."

field_name =

"$2"

[[inputs.jolokia2_agent.metric]]

name =

"client"

mbean =

"kafka.server:client-id=*,type=*"

tag_keys = [

"client-id"

,

"type"

]

[[inputs.jolokia2_agent.metric]]

name =

"request"

mbean =

"kafka.network:name=*,request=*,type=RequestMetrics"

field_prefix =

"$1."

tag_keys = [

"request"

]

[[inputs.jolokia2_agent.metric]]

name =

"topics"

mbean =

"kafka.server:name=*,type=BrokerTopicMetrics"

field_prefix =

"$1."

[[inputs.jolokia2_agent.metric]]

name =

"topic"

mbean =

"kafka.server:name=*,topic=*,type=BrokerTopicMetrics"

field_prefix =

"$1."

tag_keys = [

"topic"

]

[[inputs.jolokia2_agent.metric]]

name =

"partition"

mbean =

"kafka.log:name=*,partition=*,topic=*,type=Log"

field_name =

"$1"

tag_keys = [

"topic"

,

"partition"

]

[[inputs.jolokia2_agent.metric]]

name =

"partition"

mbean =

"kafka.cluster:name=UnderReplicated,partition=*,topic=*,type=Partition"

field_name =

"UnderReplicatedPartitions"

tag_keys = [

"topic"

,

"partition"

]/<code>

配置好後,重啟 DataKit 即可生效

驗證數據上報

完成數據採集操作後,我們需要驗證數據是否採集成功並且上報到DataWay,以便後續能正常進行數據分析及展示

操作步驟:登錄DataFlux——數據管理——指標瀏覽——驗證數據是否採集成功

使用DataFlux實現數據洞察

根據獲取到的指標項進行數據洞察設計,例如:

Kafka 性能監控視圖

使用 DataFlux 採集 Kafka 監控指標並展示

DataFlux基於自研的DataKit數據(採集器)目前已經可以對接超過200種數據協議,包括:雲端數據採集、應用數據採集、日誌數據採集、時序數據上報、常用數據庫的數據匯聚,幫助企業實現最便捷的IT 統一監控。

使用 DataFlux 採集 Kafka 監控指標並展示


分享到:


相關文章: