一般大數據集群都是由Hadoop組成的，本文的最終目標是安裝和配置兩臺Ubuntu服務器，讓他們組成Hadoop的集群 。
首先要安裝vmware workstation虛擬軟件，這個安裝方法和一般的軟件一樣，這裡附一個安裝版本，供大家下載。
鏈接:https://pan.baidu.com/s/1qY9LBGC 密碼:21w9
1、用vmware workstation建立虛擬機，開始先不選擇安裝包
內存選擇：如果本機是4G內存，則分配虛擬機1G內存
2、按默認要求來，完成虛擬機的初步配置
3、開始ubuntu的安裝
選擇鏡像文件（我用的版本也在上面的網盤裡下載），然後一步步的安裝
4、選擇電腦名稱為hd1，密碼為123456。注意Your name設置為ubuntu
5、打開Ubuntu虛擬機，打開終端編輯器
6、安裝並進入VMware Tools。安裝通過點擊虛擬機->安裝VMware Tools進行安裝。
7、複製VMware Tools的壓縮包到另一個文件目錄下。這裡放到了tmp目錄下。
8、解壓VMWare Tools
9、解壓後進入vmware-tools-distrib
10、繼續編寫命令進行安裝 sudo./vmware-install.pl
11、安裝VMware Tools成功
12、利用 sudo aptinstall vim安裝vim。安裝完成後如下圖。
13、輸入reboot重啟，同時重啟後輸入init 0關閉虛擬機
14、複製hd1文件夾，命名為hd2，放在存虛擬機的文件夾下
15、用記事本打開hd2文件夾下的hd1.vmx。修改其中的displayName為hd2.
再用VMware WorkStation打開hd1.vmx
16、分別啟動兩臺虛擬機
17、根據電腦的ip配置/etc/hosts文件，給IP地址一個別名，方便後面操作。注意ip地址為你兩臺虛擬機的ip地址。用ifconfig命令可以查看本機IP。一般是191.168.開頭的一串IP地址。我配置如下。
sudo vim /etc/hosts
192.168.241.132 hd1
192.168.241.130 hd2
18、安裝openssh-server
19、啟動ssh
20、保證每次開機時自動啟動ssh
21、多機互信，兩臺虛擬機都要執行ssh-keygen-t rsa命令。
22、進行密鑰的互信，兩臺虛擬機都要執行cat id_rsa.pub >> authorized_keys命令。
23、將hd1的文件拷到hd2上，同時把hd2的文件拷到hd1上
24、驗證已經實現雙機互信
25、在hd1上進行hadoop的安裝
26、在hd1和hd2上進行java的安裝。
兩臺主機都要執行sudo apt install default-jre命令。
27、在hd1和hd2上分別進行相關目錄的創建
接下來需要配置hadoop集群文件
配置文件有7個：
/home/ubuntu/hadoop/hadoop/etc/hadoop/hadoop-env.sh
/home/ubuntu/hadoop/hadoop/etc/hadoop/yarn-env.sh
/home/ubuntu/hadoop/hadoop/etc/hadoop/slaves
/home/ubuntu/hadoop/hadoop/etc/hadoop/core-site.xml
/home/ubuntu/hadoop/hadoop/etc/hadoop/hdfs-site.xml
/home/ubuntu/hadoop/hadoop/etc/hadoop/mapred-site.xml
/home/ubuntu/hadoop/hadoop/etc/hadoop/yarn-site.xml
28、配置env文件。28-34步只在hd1上完成
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64/
export HADOOP_HOME=/home/hadoop/hadoop
29、配置yarn-env文件
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64/
30、配置slave文件
hd1
hd2
31、配置core-site文件
<property>
<name>fs.defaultFS/<name>
<value>hdfs://hd1:9000/<value>
<property> /<property>
<name>io.file.buffer.size/<name>
<value>131072/<value>
<property>
<name>hadoop.tmp.dir/<name>
<value>file:/home/ubuntu/hadoop/tmp/<value>
<property>
<name>hadoop.proxyuser.hduser.hosts/<name>
<value>*/<value>
<property>
<name>hadoop.proxyuser.hduser.groups/<name>
<value>*/<value>
32、配置hdfs-site文件
<configuration>
<property>
<name>dfs.namenode.http-address/<name>
<value>hd1:50070/<value>
<property>
<name>dfs.namenode.secondary.http-address/<name>
<value>hd1:9001/<value>
<property>
<name>dfs.namenode.name.dir/<name>
<value>file:/home/ubuntu/hadoop/namenode/<value>
<property>
<name>dfs.datanode.data.dir/<name>
<value>file:/home/ubuntu/hadoop/hdfs/<value>
<property>
<name>dfs.replication/<name>
<value>1/<value>
<property>
<name>dfs.webhdfs.enabled/<name>
<value>true/<value>
<property>
<name>dfs.support.append/<name>
<value>true/<value>
<property>
<name>dfs.support.broken.append/<name>
<value>true/<value>
<property>
<name>dfs.permissions.enabled/<name>
<value>false/<value>
33、配置mapred-site文件
注意先將mapred-site.xml.template文件拷出，然後再使用vim命令
<property>
<name>mapreduce.framework.name/<name>
<value>yarn/<value>
<property>
<name>mapreduce.jobhistory.address/<name>
<value>hd1:10020/<value>
<property>
<name>mapreduce.jobhistory.webapp.address/<name>
<value>hd1:19888/<value>
34、配置yarn-site文件
<property>
<name>yarn.nodemanager.aux-services/<name>
<value>mapreduce_shuffle/<value>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class/<name>
<value>org.apache.hadoop.mapred.ShuffleHandler/<value>
<property>
<name>yarn.resourcemanager.address/<name>
<value>hd1:8032/<value>
<property>
<name>yarn.resourcemanager.scheduler.address/<name>
<value>hd1:8030/<value>
<property>
<name>yarn.resourcemanager.resource-tracker.address/<name>
<value>hd1:8031/<value>
<property>
<name>yarn.resourcemanager.admin.address/<name>
<value>hd1:8033/<value>
<property>
<name>yarn.resourcemanager.webapp.address/<name>
<value>hd1:8088/<value>
35、在hd1和hd2上配置路徑文件。執行下面兩條命令
sudo vim /etc/profile
export PATH=$PATH:/home/ubuntu/hadoop/hadoop/bin:/home/ubuntu/hadoop/hadoop/sbin
36、在hd1上加入hadoop路徑到path路徑下
37、在hd1上格式化namenode，執行hadoop namenode -format命令
38、在hd1上進行文件的分發，注意命令行當前所在的位置。
39、驗證是否安裝成功
在hd1上建一個a.txt文件
拷到hdfs文件裡面去
打印顯示
自此安裝成功
大數據開發高薪必備全套資源【免費獲取】
Oracle高級技術總監多年精心創作一套完整課程體系【大數據、人工智能開發必看】，全面助力大數據開發
零基礎+入門+提升+項目=高薪！
「大數據零基礎入門」
「大數據架構系統組件」
「大數據全套系統工具安裝包」
Java必備工具
大數據必備工具
「大數據行業必備知資訊」
「大數據精品實戰案例」
「大數據就業指導方案」
最後說一下的，也就是以上教程的獲取方式！
領取方法：
還是那個萬年不變的老規矩
1.評論文章，沒字數限制，一個字都行！
3.私信小編：“大數據開發教程”即可！
謝謝大家，祝大家學習愉快！（拿到教程後一定要好好學習，多練習哦!)
閱讀更多 微笑數據工程師 的文章
