Spark-local本地環境搭建

承接上一個文檔《 》

解壓spark編譯好的壓縮包

<code>sudo tar -zxvf spark-2.0.2-bin-2.7.3.tgz -C /opt/bigdata/spark/<code>

修改配置文件

添加內容

啟動hdfs

namenode和datanode

測試spark自帶的例子

計算圓周率

<code>./bin/run-example SparkPi/<code>

第二個測試

<code>./bin/run-example SparkPi 100/<code>

啟動sparkshell

退出spark shell的命令是 :quit

修改日誌打印級別(可選)

修改文件

<code>修改log4j.logger.org.apache.spark.repl.Main=INFO這句話就可以了/<code>

閱讀更多 分享電腦學習 的文章

關鍵字: HDFS 源碼 編譯