2019-04-11 21:46:23 Hadoop實操

1.文档编写目的

本篇文章主要介绍在Cloudera Manager 界面图表简单说明以及如何在CM界面通过tsquery创建自定义图表

内容概述

1.文档说明

2.图表及tsquery简述

3.自定义图表示例

测试环境

1.CM和CDH版本为CDH 5.16.1

2.操作系统版本为RedHat 7.2

2.图表及tsquery简述

在Cloudera Manager(以下简称CM) 中我们可以看到各种类型的图表，包括CPU、HDFS IO、Impala 已完成队列的等等，而这些在CM界面都可以通过tsquery语句(tsquery是Cloudera Manager按时间序列的方式从存储数据中检索数据的语句) 来进行构建。

2.1.图表操作简介

在CM主页中当安装完hadoop核心组件后默认会有如下图表:

需要查看图表明细也可以通过将鼠标放在图表上，点击如下图所示的放大图表查看

也可以在图表右上角的

图表中在图表生成器中打开，选择要查看图表的时间段和图表类型等

另外在每个组件中状态和图表库中也有很丰富的图表内容

2.2.自定义图表简介

除了上述的图表外，也可以在CM主页中选择 图表>图表生成器 中或者点击下图圈出的标签，在图表生成器页面通过tsquery来构建自定义图表。

使用自定义图表，首先需要对tsquery 有所了解，以下是tsquery一些常见的查询

1、按时间序列检索所有DataNode的所有指标。

select * where roleType = DATANODE

2、按时间序列检索所有DataNode的 cpu_user_rate(用户cpu时间)

select cpu_user_rate where roleType=DATANODE

3、按时间序列检索主机名为“cdh2.macro.com”的主机上运行的所有角色 jvm_heap_used_mb(已使用的jvm堆内存) 除以1024和 jvm_heap_committed_mb(提交的jvm堆内存) ，除以1024。

select jvm_heap_used_mb/1024, jvm_heap_committed_mb/1024 where category=ROLE and hostname="cdh2.macro.com"

4、按时间序列检索 Cloudera Manager收集 jvm_total_threads(jvm线程总数) 和 jvm_blocked_threads(被阻止的jvm线程数)两个指标

select jvm_total_threads,jvm_blocked_threads

下图是tsquery支持的部分函数，完整列表请查看参考文档：

下图是where 语句后可以添加的筛选条件：

3.自定义图表示例

除了上述简单官网介绍的示例外，下面简单介绍几个自定义的图表

3.1.集群整体内存使用情况图表示例

SELECT physical_memory_used_across_hosts WHERE entityName = "1" AND category = CLUSTER

在CM 提供的查询语法中可以看到如下的关键字匹配

输入完成后点击构建图表，放大后查看可以看到如下图表，以及每个节点的内存使用分配信息和详细信息等

在图表生成器中生成后，可点保存，比如将图表保存到主页中

保存后如下：

3.2.某个或者某些主机的CPU使用情况示例

如果你需要对某个或者某些主机或者某个机架进行CPU使用情况图表进行查看，语句如下:

SELECT cpu_percent where entityName="f1ee68ed-debb-4119-a398-44edb84eaabd" OR entityName="1d3296c7-5121-4dd4-8cb2-ef81913c7bd5"
#或者使用hostname 方式，与上一个tsquery 的结果一致
SELECT cpu_percent where hostname="cdh1.macro.com" OR hostname="cdh3.macro.com"
#查看机架/rack1 中的机器CPU 使用率
SELECT cpu_percent WHERE rackId="/rack1"

或者查询所有的cpu_percent ,然后通过下面圈出来的部分进行筛选

3.3.yarn:root资源池下所有YARN 作业情况查看示例

SELECT apps_running_cumulative,apps_killed_cumulative_rate,apps_failed_cumulative_rate,apps_completed_rate WHERE entityName = "yarn:root" AND category = YARN_POOL