Spark 安裝教程

Spark是Hadoop的子項目。 因此,最好將Spark安裝到基於Linux的系統中。 以下步驟說明如何安裝Apache Spark。

步驟1:驗證Java安裝

Java安裝是安裝Spark的強制性要求之一。 嘗試使用以下命令驗證JAVA版本。

Spark 安裝教程

如果Java已經,安裝在系統上,你能看到以下響應 。

Spark 安裝教程

如果您沒有在系統上安裝Java,請在繼續下一步之前安裝Java。

步驟2:驗證Scala安裝

你應該使用Scala語言來實現Spark。 因此,讓我們使用以下命令驗證Scala安裝。


Spark 安裝教程

如果Scala是已經安裝在系統中,你能看到以下響應


Spark 安裝教程

如果您沒有在系統上安裝Scala,請繼續執行Scala安裝的下一步。

步驟3:下載Scala

通過訪問以下鏈接下載Scala的最新版本:下載Scala。 對於本教程,我們使用scala-2.11.6版本。 下載後,您將在下載文件夾中找到Scala tar文件。

步驟4:安裝Scala

按照以下給出的安裝Scala的步驟。提取Scala tar文件鍵入以下命令以解壓縮Scala tar文件。


Spark 安裝教程

移動Scala軟件文件
使用以下命令將Scala軟件文件移動到相應的目錄(/ usr / local / scala)。


Spark 安裝教程

移動Scala軟件文件

使用以下命令將Scala軟件文件移動到相應的目錄(/ usr / local / scala)。


Spark 安裝教程

為Scala設置PATH

使用以下命令設置Scala的PATH。


Spark 安裝教程

驗證Scala安裝

安裝後,最好驗證它。 使用以下命令驗證Scala安裝。


Spark 安裝教程

如果Scala是已經安裝在系統中,你能看到以下響應


Spark 安裝教程

步驟5:下載Apache Spark

通過訪問以下鏈接下載Spark的最新版本。 對於本教程,我們使用spark-1.3.1-bin-hadoop2.6版本。 下載後,你會在下載文件夾中找到Spark tar文件。

步驟6:安裝Spark

按照以下步驟安裝Spark。

提取Spark tar以下命令用於提取spark tar文件。


Spark 安裝教程


移動Spark tar軟件文件

以下命令用於將Spark軟件文件移動到相應的目錄(/ usr / local / spark)。


Spark 安裝教程

設置Spark的環境

將以下行添加到〜/ .bashrc文件。 這意味著將spark軟件文件所在的位置添加到PATH變量。


Spark 安裝教程


使用以下命令獲取〜/ .bashrc文件。


Spark 安裝教程

步驟7:驗證Spark安裝

編寫以下命令以打開Spark shell。


Spark 安裝教程

如果spark安裝成功,那麼您將找到以下輸出。


Spark 安裝教程


分享到:


相關文章: