Hadoop 第一课 安装JDK & Hadoop 启动

本人将从零开始讲hadoop的搭建进行梳理。（如相关---大数据&java疑问可以私信)

hadoop从零开始到放弃

1、安装和配置JDK

Hadoop是基于java语言环境的，所以需要设置java运行环境。

1.1、安装包下载地址--->Oracle官方

<code>https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html/<code>

jdk

1.2、创建干净的目录

<code>mkdir  usr/java/<code>

1.3、假设下载的是.gz文件

<code>tar -zxvf jdk-8u152-linux-x64.tar.gz/<code>

1.4、假设下载的是.rmp 文件

<code>rmp -ivh  jdk-8u152-linux-x64.rmp/<code>

1.5、安装完成删除安装文件

<code>rm  jdk-8u152-linux-x64.tar.gz/<code>

1.6、配置环境变量

记住这个文件以后要经常用到 /etc/profile

<code>vim /etc/profile/<code>

插入如下参数：

<code>export JAVA_HOME=/usr/java/jdk1.8.0_152
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATH
export JAVA_PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin
export PATH=$PATH:${JAVA_PATH}/<code>

编辑完成后保存退出 命令 :wq。

1.7 刷新系统配置文件使配置参数生效

<code> source /etc/profile/<code>

1.8、验证JDK是否安装成功

<code>java -version/<code>

java

1.9 在线下载（网络良好时推荐）

<code>wget http://download.oracle.com/otn-pub/java/jdk/8u131-b11/d54c1d3a095b4ff2b6607d096fa80163/jdk-8u131-linux-x64.tar.gz/<code>

以上完成JDK 的安装。

2、安装hadoop

2.1、下载安装包

官网链接：

<code>http://mirrors.hust.edu.cn/apache/hadoop/core/stable/hadoop-2.5.2.tar.gz/<code>

在线下载

<code>wget http://mirrors.hust.edu.cn/apache/hadoop/core/stable/hadoop-2.5.2.tar.gz/<code>

2.2、解压安装

<code>tar -zxvf hadoop-2.5.2.tar.gz/<code>

2.3、配置hadoop的bin和sbin文件夹到环境变量

记住这个文件以后要经常用到 /etc/profile

<code>vim /etc/profile/<code>

添加以下参数

<code>export HADOOP_HOME=/home/hadoop/hadoop-2.5.2
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/jre/bin:$PATH/<code>

安装完成可以启动！！！

<code>hadoop version  -- 查看是否安装成功/<code>

3、hadoop伪分布式

3.1、修改hadoop文件 hadoop-env.sh

需要在etc/hadoop/hadoop-env.sh中配置JAVA_HOME 否则在start-dfs.sh 启动会报错。

<code>ERROR:JAVA_HOME is not set and cloud not be found/<code>

添加配置：

<code>export JAVA_HOME =/usr/java/jdk1.8.0_152/<code>

3.2、修改hadoop文件 core-site.xml

文件路径

<code>/home/bigdata/hadoop-2.5.2/etc/hadoop/<code>

修改内容

<code>
     
          fs.defaultFS 
          hdfs://master:7000
    
/<code>

解释：core-site.xml:主要配置访问hadoop集群的主要信息，master代表主机名称可以用IP替换，

7000表示端口号。

外部配置hdfs://master:7000就可以访问到集群。

3.3、修改hadoop文件hdfs-site.xml

文件路径

<code>/home/bigdata/hadoop-2.5.2/etc/hadoop/<code>

添加参数

<code>
       
          dfs.replication
          1
       
/<code>

解释：hdfs-site.xml ：主要配置hdfs相关的信息。

dfs.replication ：表示副本，value=1表示副本数为1

3.4、初始化集群配置

基本配置完成后就可以初始化集群。

<code>hdfs namenode -format /<code>

hadoop format

初始化成功的日志

hadoop初始化成功

3.5、启动HDFS

<code>./start-dfs.sh/<code>

每日一图

下一节：《完全分布式安装&DFS和HDFS的介绍》