一. 准备安装包

CM

cloudera-manager-centos7-cm5.16.1_x86_64.tar.gz

Parcel

CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel

CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel.sha1

manifest.json

JDK

https://www.oracle.com/technetwork/java/javase/downloads/java-archive-javase8-2177648.html

下载jdk-8u202-linux-x64.tar.gz

MySQL

https://dev.mysql.com/downloads/mysql/5.7.html#downloads

下载mysql-5.7.26-el7-x86_64.tar.gz

MySQL jdbc jar

mysql-connector-java-5.1.47.jar

注意：下载完成后要重命名去掉版本号，如果不去掉 启动CDH时报mysql连接不到错误

mv mysql-connector-java-5.1.47.jar mysql-connector-java.jar

二. 集群节点初始化

2.1 阿里云上海区购买3台，按量付费虚拟机,并修改主机名

在阿里云上购买机器

在阿里云上购买和选择服务器

修改主机名hostname

阿里云新机器的机器名是一个实例的名字，对于用户来说这个名字是很不友好的，需要根据用途重新定义机器名

在hadoop001机器上执行 hostnamectl set-hostname hadoop001

在hadoop002机器上执行 hostnamectl set-hostname hadoop002

在hadoop003机器上执行 hostnamectl set-hostname hadoop003

2.2 当前笔记本或台式机配置hosts文件

2.3 设置所有节点的hosts文件

三台服务器内网地址:

2.4 关闭所有节点的防火墙及清空规则

2.5 关闭所有节点的selinux

vi /etc/selinux/config

将SELINUX=enforcing改为SELINUX=disabled

设置后需要重启才能生效

2.7 部署集群的JDK

mkdir /usr/java

tar -xzvf jdk-8u45-linux-x64.gz -C /usr/java/

#切记必须修正所属用户及用户组

chown -R root:root /usr/java/jdk1.8.0_45

echo "export JAVA_HOME=/usr/java/jdk1.8.0_45" >> /etc/profile

#echo "export PATH=${JAVA_HOME}/bin:${PATH}" >> /etc/profile 这样写 找不到${JAVA_HOME}，最后找不到jdk

echo "export PATH=/usr/java/jdk1.8.0_45/bin:${PATH}" >> /etc/profile

source /etc/profile

which java

2.8 hadoop001节点离线部署MySQL5.7

2.9 创建CDH的元数据库和用户、amon服务的数据库及用户

create database cmf DEFAULT CHARACTER SET utf8;

create database amon DEFAULT CHARACTER SET utf8;

grant all on cmf.* TO 'cmf'@'%' IDENTIFIED BY '123456';

grant all on amon.* TO 'amon'@'%' IDENTIFIED BY '123456';

flush privileges;

2.10 hadoop001节点部署mysql jdbc jar

mkdir -p /usr/share/java/

cp mysql-connector-java.jar /usr/share/java/

三.CDH部署

3.1 离线部署cm server及agent

3.1.1 所有节点创建目录及解压

mkdir /opt/cloudera-manager

tar -zxvf cloudera-manager-centos7-cm5.16.1_x86_64.tar.gz -C

3.1.2 所有节点修

sed -i "s/server_host=localhost/server_host=hadoop001/g" /opt/cloudera-manager/cm-5.16.1/etc/cloudera-scm-agent/config.ini

3.1.3 主节点修改server的配置

vi /opt/cloudera-manager/cm-5.16.1/etc/cloudera-scm-server/db.properties

com.cloudera.cmf.db.type=mysql

com.cloudera.cmf.db.host=hadoop001

com.cloudera.cmf.db.name=cmf

com.cloudera.cmf.db.user=cmf

com.cloudera.cmf.db.password=123456

com.cloudera.cmf.db.setupType=EXTERNAL

3.1.4 所有节点创建用户

useradd --system --home=/opt/cloudera-manager/cm-5.16.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

3.1.5 目录修改用户及用户组

chown -R cloudera-scm:cloudera-scm /opt/cloudera-manager

3.2 hadoop001节点部署离线parcel源

3.2.1 部署离线parcel源

#切记cp时，重命名去掉1，不然在部署过程CM认为如上文件下载未完整，会持续下载

$ cp CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel.sha1 /opt/cloudera/parcel-repo/CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel.sha

$ cp manifest.json /opt/cloudera/parcel-repo/

3.2.2 目录修改用户及用户组

$ chown -R cloudera-scm:cloudera-scm /opt/cloudera/

3.3 所有节点创建软件安装目录、用户及用户组权限

mkdir -p /opt/cloudera/parcels

chown -R cloudera-scm:cloudera-scm /opt/cloudera/

3.4 hadoop001节点启动Server

3.4.1 启动server

/opt/cloudera-manager/cm-5.16.1/etc/init.d/cloudera-scm-server start

3.4.2 阿里云web界面，设置该hadoop001节点防火墙放开7180端口，如果设置固定ip登录不成功，可以试试 0.0.0.0/0,开放所有Ip

3.4.3.等待1min，打开 http://hadoop001:7180 账号密码:admin/admin

3.4.4.假如打不开，去看server的log，根据错误仔细排查错误

3.5 所有节点启动Agent

/opt/cloudera-manager/cm-5.16.1/etc/init.d/cloudera-scm-agent start

3.6 接下来，全部Web界面操作

http://hadoop001:7180/
账号密码:admin/admin

四. 在 UI 界面安装集群

特别注意一点，在选择安装源后，一定要仔细检查hadoop001这台机器上 /opt/cloudera/parcel-repo 这个路径下的安装包是否少了，名字是否有细微差别

CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel

CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel.sha

manifest.json，这些文件一个都不能差，差了第二张图就卡在从外网下载文件中，我安装时遇到CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel这个文件，文件上传时没传完，文件名为CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel.part，安装时一直卡在下载文件。最后反复比对文件发现这个CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel是损坏的文件。重新上传，重新启动cm,安装就顺利完成了。

具体视频请看：