經過多天的針對Hadoop-3.1.2的安裝,查詢了很多資料,跳了很多坑,也爬了很多坑,寫該文檔記錄下。
對服務器規劃如下
安裝好3個虛擬機好,開始安裝和部署Hadoop-3.X,過程主要分為:
第一階段:網絡配置階段
(1)配置IP網絡地址
cd /etc/sysconfig/network-scripts
vi ifcfg-ens33 //ifcfg-ens33 文件,不同的系統有不同的文件名稱
添加內容如下
(2)重啟網絡服務
systemctl restart network
(3) 停止防火牆
systemctl disable firewalld.service
(4).設置hostname
hostnamectl set-hostname master
(5) 修改hosts文件
vi /etc/hosts
(6)重啟虛擬機
reboot
第二階段:安裝和配置jdk/Hadoop階段
(1)通過xftp把jdk1.8和Hadoop-3.1.2安裝包上傳到/opt中
(2)把jdk1.8安裝到/opt中
tar -zxvf /opt/jdk-8u231-linux-x64.tar.gz -C /opt/
(3)把hadoop-3.1.2安裝到/opt中
tar -zxvf /opt/hadoop-3.1.2.tar.gz -C /opt/
(4)把文件夾權限複製給root用戶
chown -R root /opt/
(5)把jdk和hadoop的安裝路徑配置在環境變量中
vi /etc/profile
添加內容為
export JAVA_HOME=/opt/jdk1.8.0_231export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$CLASSPATHexport PATH=$JAVA_HOME/bin:$PATH
export HADOOP_HOME=/opt/hadoop-3.1.2export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATHexport JAVA_LIBRARY_PATH=/opt/hadoop-3.1.2/lib/native
(6)使配置生效
source /etc/profile
(7)查看jdk和hadoop是否安裝成功
查看jdk和hadoop是否安裝成功
(8) 配置hadoop配置文件中的java路徑
(9)配置hadoop xml文件
cd /opt/hadoop-3.1.2/etc/hadoop
(I) core-site.xml
(II)hdfs-site.xml
(III)mapred-site.xml
(IV)yarn-site.xml
(V)worker
(10) 配置start-dfs.sh stop-dfs.sh 和start-yarn.sh stop-yarn.sh
(I) start-dfs.sh stop-dfs.sh
(II) start-yarn.sh stop-yarn.sh
第三階段:克隆以構建集群
(1).把配置好的master虛擬機克隆,並生成兩個slaver01 slaver02
(2)修改slaver01 和slaver02的 IP 和hostname
第四階段:SSH登錄配置
(1)分別在master/ slaver01/slaver02 運行命令以生產RSA密文
ssh-keygen -t rsa
(2)把文件copy到認證的服務器中
第五階段:Hadoop初始化和常用命令
(1). 進行初始化
hdfs namenode -format
(2) 常用命令
(I)啟動hadoop start-all.sh
(II)停止hadoop stop-all.sh
(III)查看啟動進程 jp
可以通過192.168.1.20:9870 查看hadoop運行情況,在Hadoop-3.X開始,默認端口號為9870
這些配置文件沒有上傳,需要的用戶可以私信我,我把xml文件配置發給你