CDH安裝hadoop集羣之50分鐘搭建hadoop集羣

安裝配置CDH

1、安裝 Cloudera Manager Server&Agent

拷貝cloudera-manager-el6-cm5.4.3_x86_64.tar.gz 到所有 Server、Agent節點

scp cloudera-manager-el6-cm5.4.3_x86_64.tar.gz hadoop002:/home/chenjian/

scp cloudera-manager-el6-cm5.4.3_x86_64.tar.gz hadoop003:/home/chenjian/

scp cloudera-manager-el6-cm5.4.3_x86_64.tar.gz hadoop004:/home/chenjian/

在所以機器上創建cm(cloudera-manager)目錄:

mkdir /opt/cloudera-manager

解壓cm壓縮包:

tar -zxvf cloudera-manager-el6-cm5.4.3_x86_64.tar.gz -C /opt/cloudera-manager

2、創建用戶 cloudera-scm(所有節點)

執行:

useradd --system --home=/opt/cloudera-manager/cm-5.4.3/run/cloudera-scm --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

3、配置 CM Agent

修改文件/opt/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent/config.ini中

server_host(cm所在的機器,一般第一臺的主機名或者ip地址)以及 server_port(7182)

4、配置 CM Server 的數據庫

create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

將驅動包拷貝到目錄下(注意拷貝過去的驅動包名字一定要和下邊的一樣,否則會報錯)在所有機器操作 :

cp mysql-connector-java-5.1.26-bin.jar /usr/share/java/mysql-connector-java.jar

CDH安裝hadoop集群之50分鐘搭建hadoop集群

5,準備cm安裝程序所依賴的數據庫

cd /opt/cloudera-manager/cm-5.4.3/share/cmf/schema

[root@hadoop001 schema]# ./scm_prepare_database.sh mysql -h hadoop001 -uroot -pchenjian --scm-host hadoop001 scm scm scm

執行之後,查看數據庫是否創建成功。

CDH安裝hadoop集群之50分鐘搭建hadoop集群

6、創建 Parcel 目錄

1) Manager節點創建目錄/opt/cloudera/parcel-repo,執行:

mkdir -p /opt/cloudera/parcel-repo

chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

2) 將下載好的文件(CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel、CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha、manifest.json)拷貝到該目錄下。

3) Agent節點創建目錄/opt/cloudera/parcels,執行:

mkdir -p /opt/cloudera/parcels

chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

7、啟動 CM Manager&Agent 服務

執行:

Manager機器:

/opt/cloudera-manager/cm-5.4.3/etc/init.d/cloudera-scm-server start

Agents機器:

/opt/cloudera-manager/cm-5.4.3/etc/init.d/cloudera-scm-agent start

8,cloudera-scm-server服務運行大概需要3分鐘左右,運行之後,打開瀏覽器輸入url地址:http://192.168.153.171:7180,用戶名admin 密碼admin

CDH安裝hadoop集群之50分鐘搭建hadoop集群

CDH安裝hadoop集群之50分鐘搭建hadoop集群

CDH安裝hadoop集群之50分鐘搭建hadoop集群

CDH安裝hadoop集群之50分鐘搭建hadoop集群

CDH安裝hadoop集群之50分鐘搭建hadoop集群

CDH安裝hadoop集群之50分鐘搭建hadoop集群 CDH安裝hadoop集群之50分鐘搭建hadoop集群

CDH安裝hadoop集群之50分鐘搭建hadoop集群

CDH安裝hadoop集群之50分鐘搭建hadoop集群

CDH安裝hadoop集群之50分鐘搭建hadoop集群

CDH安裝hadoop集群之50分鐘搭建hadoop集群

CDH安裝hadoop集群之50分鐘搭建hadoop集群

CDH安裝hadoop集群之50分鐘搭建hadoop集群

CDH安裝hadoop集群之50分鐘搭建hadoop集群

測試hadoop環境

CDH安裝hadoop集群之50分鐘搭建hadoop集群

CDH安裝hadoop集群之50分鐘搭建hadoop集群


分享到:


相關文章: