Windows + Eclipse + 远程Hadoop-3.X集群 Java Api

开发人员在Window下开发调用远程Hadoop时,一般是通过Eclipse或者Idea,本文章针对在Window下的开发

步骤1:下载Eclipse,并安装 本文使用版本为(Version: 2019-09 R (4.13.0))

(1)下载Eclipse

(2)安装Eclipse, 双击下载的文件,进行安装

Windows + Eclipse + 远程Hadoop-3.X集群   Java Api

Windows + Eclipse + 远程Hadoop-3.X集群   Java Api

步骤2 把Hadoop-3.1.2(hadoop-3.1.2.tar.gz)包解压到window的一个文件夹中


Windows + Eclipse + 远程Hadoop-3.X集群   Java Api

步骤3 从网上下载hadoop.dll文件,并把hadoop.dll拷贝到C:\\Windows\\System32


Windows + Eclipse + 远程Hadoop-3.X集群   Java Api


步骤4 从网上下一个hadoop-eclipse-plugin-3.1.2.jar文件,或者自己生成一个,自己生成一个时,容易出现很多问题,并把hadoop-eclipse-plugin-3.1.2.jar文件复制到Eclipse安装下的dropins文件夹中


Windows + Eclipse + 远程Hadoop-3.X集群   Java Api


步骤5打开Eclipse并配置

(1) File->New->Other

Windows + Eclipse + 远程Hadoop-3.X集群   Java Api

(2) 配置hadoop路径

Windows + Eclipse + 远程Hadoop-3.X集群   Java Api

在弹出的界面中选择hadoop包解压的路径


Windows + Eclipse + 远程Hadoop-3.X集群   Java Api

(3) 配置完hadoop解压路径后,重写回到原界面,输入项目名称

Windows + Eclipse + 远程Hadoop-3.X集群   Java Api

步骤6 配置下eclipse使用的jdk,windos电脑上也需要安装jdk


Windows + Eclipse + 远程Hadoop-3.X集群   Java Api


Windows + Eclipse + 远程Hadoop-3.X集群   Java Api


步骤7 添加hdfs的jar包

(1)右键项目->build path->configu build path,添加需要的jar包

Windows + Eclipse + 远程Hadoop-3.X集群   Java Api

(2) 弹出界面中选择Add External Jar


Windows + Eclipse + 远程Hadoop-3.X集群   Java Api

(3)选择需要的jar包 share->hadoop中的client common hdfs mapreduce yarn包中的jar需要添加进来


Windows + Eclipse + 远程Hadoop-3.X集群   Java Api


(4)写测试代码


hdfs 上传文件/下载文件/删除文件

Windows + Eclipse + 远程Hadoop-3.X集群   Java Api


Windows + Eclipse + 远程Hadoop-3.X集群   Java Api


分享到:


相關文章: