Windows + Eclipse + 遠程Hadoop-3.X集群 Java Api

開發人員在Window下開發調用遠程Hadoop時,一般是通過Eclipse或者Idea,本文章針對在Window下的開發

步驟1:下載Eclipse,並安裝 本文使用版本為(Version: 2019-09 R (4.13.0))

(1)下載Eclipse

(2)安裝Eclipse, 雙擊下載的文件,進行安裝

Windows + Eclipse + 遠程Hadoop-3.X集群   Java Api

Windows + Eclipse + 遠程Hadoop-3.X集群   Java Api

步驟2 把Hadoop-3.1.2(hadoop-3.1.2.tar.gz)包解壓到window的一個文件夾中


Windows + Eclipse + 遠程Hadoop-3.X集群   Java Api

步驟3 從網上下載hadoop.dll文件,並把hadoop.dll拷貝到C:\\Windows\\System32


Windows + Eclipse + 遠程Hadoop-3.X集群   Java Api


步驟4 從網上下一個hadoop-eclipse-plugin-3.1.2.jar文件,或者自己生成一個,自己生成一個時,容易出現很多問題,並把hadoop-eclipse-plugin-3.1.2.jar文件複製到Eclipse安裝下的dropins文件夾中


Windows + Eclipse + 遠程Hadoop-3.X集群   Java Api


步驟5打開Eclipse並配置

(1) File->New->Other

Windows + Eclipse + 遠程Hadoop-3.X集群   Java Api

(2) 配置hadoop路徑

Windows + Eclipse + 遠程Hadoop-3.X集群   Java Api

在彈出的界面中選擇hadoop包解壓的路徑


Windows + Eclipse + 遠程Hadoop-3.X集群   Java Api

(3) 配置完hadoop解壓路徑後,重寫回到原界面,輸入項目名稱

Windows + Eclipse + 遠程Hadoop-3.X集群   Java Api

步驟6 配置下eclipse使用的jdk,windos電腦上也需要安裝jdk


Windows + Eclipse + 遠程Hadoop-3.X集群   Java Api


Windows + Eclipse + 遠程Hadoop-3.X集群   Java Api


步驟7 添加hdfs的jar包

(1)右鍵項目->build path->configu build path,添加需要的jar包

Windows + Eclipse + 遠程Hadoop-3.X集群   Java Api

(2) 彈出界面中選擇Add External Jar


Windows + Eclipse + 遠程Hadoop-3.X集群   Java Api

(3)選擇需要的jar包 share->hadoop中的client common hdfs mapreduce yarn包中的jar需要添加進來


Windows + Eclipse + 遠程Hadoop-3.X集群   Java Api


(4)寫測試代碼


hdfs 上傳文件/下載文件/刪除文件

Windows + Eclipse + 遠程Hadoop-3.X集群   Java Api


Windows + Eclipse + 遠程Hadoop-3.X集群   Java Api


分享到:


相關文章: