前期準備
安裝好CentOS Linux 8 並升級完內核和軟件包之後再進行Hadoop的安裝。
參考文章:
1、
2、
手裡有一臺3年前的服務器Dell R620,上面安裝了兩路CPU型號是Xeon E5-2603 V2 1.8GHz,內存沒有插滿只有64GB,8個硬盤位插滿共8塊SAS硬盤。為了後續的測試方便,8塊硬盤沒有組RAID,在每塊硬盤上放一個VMWare的CentOS Linux 8虛擬機。後續的所有的大數據相關的測試都是在這臺服務器上進行。服務器配置不高,但是足夠咱們在上面折騰各種服務了。
通過VMware將虛擬機分佈在這8塊硬盤上,模擬在一個機架上的8臺服務器:
編號:/BJ0/LG0/hadoop221-228
其中:221-222:NameNode,223-228:DataNode
集群規劃
集群規劃如下:(服務器編號為hadoop221-hadoop228)
注:
1、NameNodes和zkfc一一對應;
2、DataNode和NodeManager都是works文件配置;
3、Zookeeper至少3個,必須奇數臺;
4、journalnode至少3個,必須奇數;
5、NameNodes一個active另一個Standby;
6、ResourceManager一個active另一個Standby;
7、zkfc :DFSZKFailoverControlle作為一個ZK集群的客戶端,用來監控NN的狀態信息。
特別提示
我們以下所有操作都可以先在一臺服務器上操作,完畢以後再將這個虛擬服務器複製成出來7份,完成最終的部署。
安裝時間同步軟件chrony
根據上面的集群規劃,在221-228這8臺服務器上安裝chrony。從CentOS7開始已經默認使用chrony作為網絡時間同步軟件了,ntpd作為過時的產品,我們也就不在研究使用了。
若要安裝使用Chrony,參考下面這篇文章:
配置時我們把服務端server都配置成192.168.1.222,這樣後面複製出來的其它服務器就能直接在222服務器上獲取時間了。
防火牆和SELINUX設置
因為Hadoop需要開啟的端口很多,而且牽涉到很多的權限,所以我們在測試時將防火牆和SELINUX都關掉。
在生產環境中,需要針對不同的開放端口做針對性的設置。
關閉防火牆
運行以下命令,關閉防火牆
systemctl stop firewalld #臨時關閉防火牆
systemctl disable firewalld #禁止開機啟動防火牆
systemctl status firewalld #查看防火牆狀態。
關閉SELINUX
運行以下命令:
vi /etc/selinux/config #SELINUX配置文件
相關參數修改如下:
#SELINUX=enforcing
SELINUX=disabled
重啟服務器,然後查看SELINUX狀態:
reboot #重啟
getenforce #查詢SELinux的運行模式,permissive(寬容模式);enforcing(強制模式);
/usr/sbin/sestatus -v #查看SELINUX的狀態
顯示如下內容,則說明SELINUX已經關閉了
hostname相關設置
運行下面的命令,修改本機的hostname:
hostnamectl set-hostname hadoop221 #修改hostname
運行下面的命令查看設置好的hostname:
cat /etc/hostname
如果顯示如下的內容,則說明修改成功
222-228服務器上的hostname修改,等服務器安裝完畢以後統一操作。
hosts相關設置
由於後續的管理需要一次次的錄入IP地址,不利於管理,我們在hosts裡面把服務器的hostname跟IP地址對應起來,輸入下面的命令開始操作:
vi /etc/hosts
內容設置成如下所示:
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.1.221 hadoop221
192.168.1.222 hadoop222
192.168.1.223 hadoop223
192.168.1.224 hadoop224
192.168.1.225 hadoop225
192.168.1.226 hadoop226
192.168.1.227 hadoop227
192.168.1.228 hadoop228
192.168.1.229 hadoop229
192.168.1.230 hadoop230
添加Hadoop用戶
添加hadoop用戶,我們默認登錄的是Tristone用戶,需要切換到root用戶執行以下命令:
#useradd hadoop
錄入一遍"jiqun996"回車,再錄入一遍"jiqun996"回車後將hadoop用戶密碼設置為"jiqun996"
#passwd hadoop
大數據開發錢的準備工作就做完了,後面就可以開始安裝Zookeeper、Hadoop、HBase、Python和PHP等軟件了。
閱讀更多 石哥話科技 的文章