1.文檔編寫目的

Cloudera在2019年1月29日發佈CDSW1.5，CDSW1.5的一個最大的更新就是支持CDH6和HDP，在1.5之前，CDSW是不能安裝到CDH6.x的。CDH5.13版本以後支持CDSW的Parcel安裝，本篇文章Fayson就主要講述如何通過CM6.1使用Parcel包安裝CDSW1.5。

CDSW需要DNS服務和泛域名解析，可以參考Fayson以前的文章《 》、《 》、《 》，《 》或《 》，CDSW1.5的新功能可以參考《 》。。搭建DNS服務推薦Dnsmasq，小巧可愛特方便。

• 內容概述

1.部署CDSW parcel及安裝CSD文件

2.添加CDSW節點到集群並部署Gateway角色

3.安裝DNS服務並配置泛域名解析

4.安裝CDSW服務

5.測試CDSW

• 測試環境

1.Redhat7.4

2.採用root用戶操作

3.CM/CDH6.1

4.CDSW版本1.5

• 前置條件

1.CM和CDH已安裝且正常運行

2.集群已部署Spark2 On Yarn模式

3.集群已部署Anaconda

4.集群已配置好DNS服務並配置CDSW節點的泛域名解析

5.CDSW節點已經通過CM加入到集群中

2.部署CDSW Parcel包

1.下載CDSW的Parcel，下載地址如下

https://archive.cloudera.com/cdsw1/1.5.0/parcels/CDSW-1.5.0.p1.849870-el7.parcel
https://archive.cloudera.com/cdsw1/1.5.0/parcels/CDSW-1.5.0.p1.849870-el7.parcel.sha
https://archive.cloudera.com/cdsw1/1.5.0/parcels/manifest.json

2.將下載的文件部署在Apache所在服務器的/var/www/html/cdsw1.5目錄下

[root@ip-172-31-6-83 ~]# cd /var/www/html/cdsw1.5
[root@ip-172-31-6-83 cdsw1.5]# ll
total 4398800
-rw-r--r-- 1 root root 4504355994 Jan 29 04:43 CDSW-1.5.0.p1.849870-el7.parcel
-rw-r--r-- 1 root root 41 Jan 29 04:43 CDSW-1.5.0.p1.849870-el7.parcel.sha
-rw-r--r-- 1 root root 4231 Jan 29 04:43 manifest.json
[root@ip-172-31-6-83 cdsw1.5]#

3.通過瀏覽器測試是否部署成功

看到以上界面說明部署成功。

3.安裝CSD文件

1.下載CSD文件，使CM支持CDSW安裝，文件下載地址

https://archive.cloudera.com/cdsw1/1.5.0/csd/CLOUDERA_DATA_SCIENCE_WORKBENCH-CDH6-1.5.0.jar

2.將下載CLOUDERA_DATA_SCIENCE_WORKBENCH-CDH5-1.5.0.jar文件放在CM所在服務器的/opt/cloudera/csd目錄下

[root@ip-172-31-6-83 ~]# cd /opt/cloudera/csd/
[root@ip-172-31-6-83 csd]# ll
total 12
-rw-r--r-- 1 root root 10789 Jan 29 04:43 CLOUDERA_DATA_SCIENCE_WORKBENCH-CDH6-1.5.0.jar
[root@ip-172-31-6-83 csd]#

3.重啟Cloudera-scm-server服務

[root@ip-172-31-6-83 csd]# systemctl restart cloudera-scm-server
[root@ip-172-31-6-83 csd]# systemctl status cloudera-scm-server 
● cloudera-scm-server.service - Cloudera CM Server Service
 Loaded: loaded (/usr/lib/systemd/system/cloudera-scm-server.service; enabled; vendor preset: disabled)
 Active: active (running) since Sat 2019-04-13 11:43:51 CST; 1min 8s ago
 Main PID: 18788 (java)
 CGroup: /system.slice/cloudera-scm-server.service
 └─18788 /usr/lib/jvm/java-1.8.0-openjdk/bin/java -cp .:/usr/share/java/mysql-connector-java.jar:/usr/share/java/oracle-connector-java.jar:/usr/share/java/postgresql-connector-java.jar:lib/* -server -Dlog4j.configuration...
Apr 13 11:43:51 ip-172-31-6-83.ap-southeast-1.compute.internal systemd[1]: Started Cloudera CM Server Service.
Apr 13 11:43:51 ip-172-31-6-83.ap-southeast-1.compute.internal systemd[1]: Starting Cloudera CM Server Service...
Apr 13 11:43:51 ip-172-31-6-83.ap-southeast-1.compute.internal cm-server[18788]: JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
Apr 13 11:43:51 ip-172-31-6-83.ap-southeast-1.compute.internal cm-server[18788]: OpenJDK 64-Bit Server VM warning: ignoring option MaxPermSize=256m; support was removed in 8.0
Apr 13 11:43:53 ip-172-31-6-83.ap-southeast-1.compute.internal cm-server[18788]: ERROR StatusLogger No log4j2 configuration file found. Using default configuration: logging only errors to the console. Set system prope...tion logging.
Apr 13 11:44:10 ip-172-31-6-83.ap-southeast-1.compute.internal cm-server[18788]: Security framework of XStream not initialized, XStream is probably vulnerable.
Apr 13 11:44:20 ip-172-31-6-83.ap-southeast-1.compute.internal cm-server[18788]: Security framework of XStream not initialized, XStream is probably vulnerable.
Hint: Some lines were ellipsized, use -l to show in full.
[root@ip-172-31-6-83 csd]#

4.添加CDSW節點到集群

1.登錄CM，新建一個主機模板

2.選擇模板擁有的角色

3.完成主機模板創建

4.使用添加主機引導，進行主機添加，將cdsw master主機添加到集群，如下圖所示為cdsw.fayson.com新節點，關於如何擴容，請參考Fayson以前的文章《 》

5.選擇cdsw master主機，應用主機模板

應用成功

5.配置CDSW的Parcle庫

1.配置Parcel庫

2.下載、分配並激活

3.完成激活

6.安裝DNS服務並配置泛域名解析

1.安裝dnsmasq

[root@cdsw ~]# yum -y install dnsmasq

2.驗證安裝

[root@cdsw ~]# dnsmasq -v

3.配置DNS服務以及泛域名解析，在/etc/dnsmasq.conf文件末尾增加以下配置。

[root@cdsw ~]# vim /etc/dnsmasq.conf
strict-order
listen-address=172.31.13.133
addn-hosts=/etc/hosts
address=/cdsw.fayson.com/172.31.13.133
address=/cdsw/172.31.13.133

配置說明：

resolve-file：定義Dnsmasq從哪裡獲取上游DNS服務器的地址， 默認是從/etc/resolv.conf獲取。

strict-order：表示嚴格按照resolv-file文件中的順序從上到下進行DNS解析，直到第一個解析成功為止。

listen-address：定義Dnsmasq監聽的地址，默認是監控DNS本機的所有網卡上。如果想讓局域網內的其他機器使用Dnsmasq解析域名的話，需要添加本機的IP地址。

address：自定義域名解析的IP地址，在此以cdsw-demo.cloudera.com這個域名為例。注意Dnsmasq是支持泛域名解析的，以上配置就是一個典型的泛域名解析實例。

address：也可以過濾某些網站，比如如果不想讓客戶端解析youk.com這個域名的話，我們則把該域名解析到一臺不存在的服務器上或者解析到127.0.0.1這個地址。如：address=/ cdsw-demo.cloudera.com/127.0.0.1

4.啟動dnsmasq服務

[root@cdsw ~]# systemctl start dnsmasq
[root@cdsw ~]# systemctl enable dnsmasq

5.修改/etc/resolv.conf文件配置，在nameserver中增加創建的DNS服務器IP地址，Fayson這裡是將cdsw本機配置為dns服務器，所以將cdsw這臺機器的內網IP地址配置到該文件中。

[root@cdsw ~]# vim /etc/resolv.conf

6.泛域名解析測試

nslookup 172.31.13.133
nslookup cdsw.fayson.com
nslookup xxx.cdsw.fayson.com

7.安裝CDSW服務

1.進入CM主頁，選擇集群點擊“添加服務”

2.進入添加服務引導界面, 選擇“Cloudera Data Science Workbench”,點擊“繼續”

3.選擇Master和Worker，點擊“繼續”，Fayson的環境只有一臺機器，Worker節點不用選擇，為空即可。

4.輸入Domain和Block Device，點擊“繼續”

注意：/dev/xvdf必須是一塊大於100GB的裸盤，生產環境建議500GB以上，並配置多塊。

5.首次運行CDSW，點擊“繼續”

6.完成CDSW安裝

主頁顯示

CDSW啟動需要一段時間，等待10-20分鐘後再訪問CDSW控制檯。

8.測試CDSW功能

1.Fayson使用的是AWS環境，訪問CDSW需要用內網的裡的Windows機器，我們這裡先配置Windows機器連接到我們剛配置的DNS服務。

2.進入CDSW服務，點擊鏈接登錄CDSW控制檯

3.點擊CDSW Web UI進入CDSW登錄界面

4.點擊“Sign Up fo a New Account”註冊，首次註冊的賬號默認為管理員賬號

5.使用admin用戶登錄CDSW

6.點擊New Project創建一個Python工程

7.工程創建完成後，打開“Open Workbench”，啟動一個python的會話

8.執行示例代碼

這裡Fayson就簡單的創建一個Python工程，運行工程裡的示例代碼測試，更多的功能及用法可以看看Fayson前面寫的關於CDSW的一些文章。

8.總結

• CDSW訪問時需要用到泛域名，因此必須為CDSW Master節點配置泛域名解析，具體可參看Fayson前面講的《 》、《 》、《 》，《 》或《 》
• CDSW節點是運行在CM管理的Gateway節點上的，所有CDSW的節點需要滿足CDH的前置條件檢查，具體可以參考《 》
• CDSW所有節點需要加入CDH集群，並部署HDFS 、Yarn、Spark2的Gateway
• CDSW Master節點需要有多塊DISK，磁盤空間大於100G，不需要對磁盤進行格式化分區操作。
• 注意CDH6的CDSW的csd文件與CDH5的是不相同的。

閱讀更多 Hadoop實操 的文章

關鍵字: Cloudera 安裝 DNS