Centos7+Hadoop-3.X+JDK1.8 完全分佈式詳細步驟

經過多天的針對Hadoop-3.1.2的安裝,查詢了很多資料,跳了很多坑,也爬了很多坑,寫該文檔記錄下。

對服務器規劃如下


Centos7+Hadoop-3.X+JDK1.8 完全分佈式詳細步驟

安裝好3個虛擬機好,開始安裝和部署Hadoop-3.X,過程主要分為:

第一階段:網絡配置階段

(1)配置IP網絡地址

cd /etc/sysconfig/network-scripts

vi ifcfg-ens33 //ifcfg-ens33 文件,不同的系統有不同的文件名稱

添加內容如下

Centos7+Hadoop-3.X+JDK1.8 完全分佈式詳細步驟

(2)重啟網絡服務

systemctl restart network

(3) 停止防火牆

systemctl disable firewalld.service

(4).設置hostname

hostnamectl set-hostname master

(5) 修改hosts文件

vi /etc/hosts

Centos7+Hadoop-3.X+JDK1.8 完全分佈式詳細步驟

(6)重啟虛擬機

reboot

第二階段:安裝和配置jdk/Hadoop階段

(1)通過xftp把jdk1.8和Hadoop-3.1.2安裝包上傳到/opt中

(2)把jdk1.8安裝到/opt中

tar -zxvf /opt/jdk-8u231-linux-x64.tar.gz -C /opt/

(3)把hadoop-3.1.2安裝到/opt中

tar -zxvf /opt/hadoop-3.1.2.tar.gz -C /opt/

(4)把文件夾權限複製給root用戶

chown -R root /opt/

(5)把jdk和hadoop的安裝路徑配置在環境變量中

vi /etc/profile

添加內容為

export JAVA_HOME=/opt/jdk1.8.0_231export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$CLASSPATHexport PATH=$JAVA_HOME/bin:$PATH

export HADOOP_HOME=/opt/hadoop-3.1.2export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATHexport JAVA_LIBRARY_PATH=/opt/hadoop-3.1.2/lib/native

Centos7+Hadoop-3.X+JDK1.8 完全分佈式詳細步驟

(6)使配置生效

source /etc/profile

(7)查看jdk和hadoop是否安裝成功

查看jdk和hadoop是否安裝成功

(8) 配置hadoop配置文件中的java路徑

Centos7+Hadoop-3.X+JDK1.8 完全分佈式詳細步驟

(9)配置hadoop xml文件

cd /opt/hadoop-3.1.2/etc/hadoop

(I) core-site.xml

Centos7+Hadoop-3.X+JDK1.8 完全分佈式詳細步驟

(II)hdfs-site.xml

Centos7+Hadoop-3.X+JDK1.8 完全分佈式詳細步驟

(III)mapred-site.xml

Centos7+Hadoop-3.X+JDK1.8 完全分佈式詳細步驟

(IV)yarn-site.xml

Centos7+Hadoop-3.X+JDK1.8 完全分佈式詳細步驟

(V)worker

Centos7+Hadoop-3.X+JDK1.8 完全分佈式詳細步驟

(10) 配置start-dfs.sh stop-dfs.sh 和start-yarn.sh stop-yarn.sh

(I) start-dfs.sh stop-dfs.sh

Centos7+Hadoop-3.X+JDK1.8 完全分佈式詳細步驟

(II) start-yarn.sh stop-yarn.sh

Centos7+Hadoop-3.X+JDK1.8 完全分佈式詳細步驟

第三階段:克隆以構建集群

(1).把配置好的master虛擬機克隆,並生成兩個slaver01 slaver02

(2)修改slaver01 和slaver02的 IP 和hostname

第四階段:SSH登錄配置

(1)分別在master/ slaver01/slaver02 運行命令以生產RSA密文

ssh-keygen -t rsa

(2)把文件copy到認證的服務器中

Centos7+Hadoop-3.X+JDK1.8 完全分佈式詳細步驟


第五階段:Hadoop初始化和常用命令

(1). 進行初始化

hdfs namenode -format

(2) 常用命令

(I)啟動hadoop start-all.sh

(II)停止hadoop stop-all.sh

(III)查看啟動進程 jp


可以通過192.168.1.20:9870 查看hadoop運行情況,在Hadoop-3.X開始,默認端口號為9870

這些配置文件沒有上傳,需要的用戶可以私信我,我把xml文件配置發給你



分享到:


相關文章: