大數據開發前要做什麼準備?8臺Hadoop服務器進行集群規劃前配置

大數據開發前要做什麼準備?8臺Hadoop服務器進行集群規劃前配置


前期準備

安裝好CentOS Linux 8 並升級完內核和軟件包之後再進行Hadoop的安裝。

參考文章:

1、

2、

大數據開發前要做什麼準備?8臺Hadoop服務器進行集群規劃前配置


手裡有一臺3年前的服務器Dell R620,上面安裝了兩路CPU型號是Xeon E5-2603 V2 1.8GHz,內存沒有插滿只有64GB,8個硬盤位插滿共8塊SAS硬盤。為了後續的測試方便,8塊硬盤沒有組RAID,在每塊硬盤上放一個VMWare的CentOS Linux 8虛擬機。後續的所有的大數據相關的測試都是在這臺服務器上進行。服務器配置不高,但是足夠咱們在上面折騰各種服務了。

大數據開發前要做什麼準備?8臺Hadoop服務器進行集群規劃前配置

通過VMware將虛擬機分佈在這8塊硬盤上,模擬在一個機架上的8臺服務器:

編號:/BJ0/LG0/hadoop221-228

其中:221-222:NameNode,223-228:DataNode

大數據開發前要做什麼準備?8臺Hadoop服務器進行集群規劃前配置

集群規劃

集群規劃如下:(服務器編號為hadoop221-hadoop228)

大數據開發前要做什麼準備?8臺Hadoop服務器進行集群規劃前配置

注:

1、NameNodes和zkfc一一對應;

2、DataNode和NodeManager都是works文件配置;

3、Zookeeper至少3個,必須奇數臺;

4、journalnode至少3個,必須奇數;

5、NameNodes一個active另一個Standby;

6、ResourceManager一個active另一個Standby;

7、zkfc :DFSZKFailoverControlle作為一個ZK集群的客戶端,用來監控NN的狀態信息。

大數據開發前要做什麼準備?8臺Hadoop服務器進行集群規劃前配置

特別提示

我們以下所有操作都可以先在一臺服務器上操作,完畢以後再將這個虛擬服務器複製成出來7份,完成最終的部署。

大數據開發前要做什麼準備?8臺Hadoop服務器進行集群規劃前配置

安裝時間同步軟件chrony

根據上面的集群規劃,在221-228這8臺服務器上安裝chrony。從CentOS7開始已經默認使用chrony作為網絡時間同步軟件了,ntpd作為過時的產品,我們也就不在研究使用了。

若要安裝使用Chrony,參考下面這篇文章:

配置時我們把服務端server都配置成192.168.1.222,這樣後面複製出來的其它服務器就能直接在222服務器上獲取時間了。


防火牆和SELINUX設置

因為Hadoop需要開啟的端口很多,而且牽涉到很多的權限,所以我們在測試時將防火牆和SELINUX都關掉。

在生產環境中,需要針對不同的開放端口做針對性的設置。

關閉防火牆

運行以下命令,關閉防火牆

systemctl stop firewalld #臨時關閉防火牆

systemctl disable firewalld #禁止開機啟動防火牆

systemctl status firewalld #查看防火牆狀態。

大數據開發前要做什麼準備?8臺Hadoop服務器進行集群規劃前配置

關閉SELINUX

運行以下命令:

vi /etc/selinux/config #SELINUX配置文件

相關參數修改如下:

#SELINUX=enforcing

SELINUX=disabled

大數據開發前要做什麼準備?8臺Hadoop服務器進行集群規劃前配置

重啟服務器,然後查看SELINUX狀態:

reboot #重啟

getenforce #查詢SELinux的運行模式,permissive(寬容模式);enforcing(強制模式);

/usr/sbin/sestatus -v #查看SELINUX的狀態

顯示如下內容,則說明SELINUX已經關閉了

大數據開發前要做什麼準備?8臺Hadoop服務器進行集群規劃前配置

hostname相關設置

運行下面的命令,修改本機的hostname:

hostnamectl set-hostname hadoop221 #修改hostname

運行下面的命令查看設置好的hostname:

cat /etc/hostname

如果顯示如下的內容,則說明修改成功

大數據開發前要做什麼準備?8臺Hadoop服務器進行集群規劃前配置

222-228服務器上的hostname修改,等服務器安裝完畢以後統一操作。


hosts相關設置

由於後續的管理需要一次次的錄入IP地址,不利於管理,我們在hosts裡面把服務器的hostname跟IP地址對應起來,輸入下面的命令開始操作:

vi /etc/hosts

內容設置成如下所示:

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4

::1 localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.1.221 hadoop221

192.168.1.222 hadoop222

192.168.1.223 hadoop223

192.168.1.224 hadoop224

192.168.1.225 hadoop225

192.168.1.226 hadoop226

192.168.1.227 hadoop227

192.168.1.228 hadoop228

192.168.1.229 hadoop229

192.168.1.230 hadoop230

大數據開發前要做什麼準備?8臺Hadoop服務器進行集群規劃前配置

添加Hadoop用戶

添加hadoop用戶,我們默認登錄的是Tristone用戶,需要切換到root用戶執行以下命令:

#useradd hadoop

錄入一遍"jiqun996"回車,再錄入一遍"jiqun996"回車後將hadoop用戶密碼設置為"jiqun996"

#passwd hadoop

大數據開發前要做什麼準備?8臺Hadoop服務器進行集群規劃前配置

大數據開發錢的準備工作就做完了,後面就可以開始安裝Zookeeper、Hadoop、HBase、Python和PHP等軟件了。

大數據開發前要做什麼準備?8臺Hadoop服務器進行集群規劃前配置


分享到:


相關文章: