DataFlux是上海驻云自研发的一套大数据统一分析平台,可以通过对任何来源、类型、规模的实时数据进行监控、分析和处理,释放数据价值。
DataFlux包含五大功能模块:
- Datakit 采集器
- Dataway 数据网关
- DataFlux Studio 实时数据洞察平台
- DataFlux Admin Console 管理后台
- DataFlux.f(x) 实时数据处理开发平台
面向企业提供全场景的数据洞察分析能力, 具有实时性、灵活性、易扩展、易部署等特点。
ntpq命令可以用来处理各种时间之间的同步和换算,非常强大。今天跟大家分享一个监控SAAS平台,只需要简单配置,就可以实现站点以及业务监控——使用DataFlux采集NTPQ性能指标并分析展示。
安装DataKit
PS:以Linux系统为例
第一步:执行安装命令
DataKit 安装命令:
<code>DK_FTDATAWAY=[你的 DataWay 网关地址] bash -c "$(curl https://static.dataflux.cn/datakit/install.sh)"/<code>
补充安装命令中的 DataWay 网关地址,然后复制安装命令到主机上执行即可。
例如:如果的 DataWay 网关地址 IP 为 1.2.3.4,端口为 9528(9528为默认端口),则网关地址为
<code>DK_FTDATAWAY=http://1.2.3.4:9528/v1/write/metrics bash -c "$(curl https://static.dataflux.cn/datakit/install.sh)"/<code>
安装完成后,DataKit 默认会自动运行,并且会在终端中提示 DataKit 的状态管理命令
NTPQ 监控指标采集
采集 ntpq 指数上报到 DataFlux 中
前置条件
已安装 DataKit(DataKit 安装文档)配置
打开 DataKit 采集源配置文件夹(默认路径为 DataKit 安装目录的 conf.d 文件夹),找到 ntpq文件夹,打开里面的 ntpq.conf。
设置:
<code>[[inputs.jolokia2_agent]] name_prefix = "kafka_" urls = ["http://localhost:8080/jolokia"] [[inputs.jolokia2_agent.metric]] name = "controller" mbean = "kafka.controller:name=*,type=*" field_prefix = "$1." [[inputs.jolokia2_agent.metric]] name = "replica_manager" mbean = "kafka.server:name=*,type=ReplicaManager" field_prefix = "$1." [[inputs.jolokia2_agent.metric]] name = "purgatory" mbean = "kafka.server:delayedOperation=*,name=*,type=DelayedOperationPurgatory" field_prefix = "$1." field_name = "$2" [[inputs.jolokia2_agent.metric]] name = "client" mbean = "kafka.server:client-id=*,type=*" tag_keys = ["client-id", "type"] [[inputs.jolokia2_agent.metric]] name = "request" mbean = "kafka.network:name=*,request=*,type=RequestMetrics" field_prefix = "$1." tag_keys = ["request"] [[inputs.jolokia2_agent.metric]] name = "topics" mbean = "kafka.server:name=*,type=BrokerTopicMetrics" field_prefix = "$1." [[inputs.jolokia2_agent.metric]] name = "topic" mbean = "kafka.server:name=*,topic=*,type=BrokerTopicMetrics" field_prefix = "$1." tag_keys = ["topic"] [[inputs.jolokia2_agent.metric]] name = "partition" mbean = "kafka.log:name=*,partition=*,topic=*,type=Log" field_name = "$1" tag_keys = ["topic", "partition"] [[inputs.jolokia2_agent.metric]] name = "partition" mbean = "kafka.cluster:name=UnderReplicated,partition=*,topic=*,type=Partition" field_name = "UnderReplicatedPartitions" tag_keys = ["topic", "partition"]/<code>
配置好后,重启 DataKit 即可生效
采集指标
验证数据上报
完成数据采集操作后,我们需要验证数据是否采集成功并且上报到DataWay,以便后续能正常进行数据分析及展示
操作步骤:登录DataFlux——数据管理——指标浏览——验证数据是否采集成功
使用DataFlux实现数据洞察
根据获取到的指标项进行数据洞察设计,例如:
NTPQ 性能监控视图
DataFlux基于自研的DataKit数据(采集器)目前已经可以对接超过200种数据协议,包括:云端数据采集、应用数据采集、日志数据采集、时序数据上报、常用数据库的数据汇聚,帮助企业实现最便捷的IT 统一监控。