开发人员在Window下开发调用远程Hadoop时,一般是通过Eclipse或者Idea,本文章针对在Window下的开发
步骤1:下载Eclipse,并安装 本文使用版本为(Version: 2019-09 R (4.13.0))
(1)下载Eclipse
(2)安装Eclipse, 双击下载的文件,进行安装
步骤2 把Hadoop-3.1.2(hadoop-3.1.2.tar.gz)包解压到window的一个文件夹中
步骤3 从网上下载hadoop.dll文件,并把hadoop.dll拷贝到C:\\Windows\\System32
步骤4 从网上下一个hadoop-eclipse-plugin-3.1.2.jar文件,或者自己生成一个,自己生成一个时,容易出现很多问题,并把hadoop-eclipse-plugin-3.1.2.jar文件复制到Eclipse安装下的dropins文件夹中
步骤5打开Eclipse并配置
(1) File->New->Other
(2) 配置hadoop路径
在弹出的界面中选择hadoop包解压的路径
(3) 配置完hadoop解压路径后,重写回到原界面,输入项目名称
步骤6 配置下eclipse使用的jdk,windos电脑上也需要安装jdk
步骤7 添加hdfs的jar包
(1)右键项目->build path->configu build path,添加需要的jar包
(2) 弹出界面中选择Add External Jar
(3)选择需要的jar包 share->hadoop中的client common hdfs mapreduce yarn包中的jar需要添加进来
(4)写测试代码
hdfs 上传文件/下载文件/删除文件
閱讀更多 Louis大數據技術站 的文章
關鍵字: Eclipse 2019科技之光 MapReduc