第七章 Hadoop 常用的 shell 命令

<code># 啟動 HDFS 集群
[bigdata@bigdata101 hadoop-2.7.5]$ sbin/start-dfs.sh
​
# 啟動 YARN 集群 

[bigdata@bigdata101 hadoop-2.7.5]$ sbin/start-yarn.sh
​
# 查看 HDFS 系統根目錄
[bigdata@bigdata101 hadoop-2.7.5]$ hadoop fs -ls /
​
# 創建文件夾
[bigdata@bigdata101 hadoop-2.7.5]$ hadoop fs -mkdir /user
​
# 級聯創建文件夾
[bigdata@bigdata101 hadoop-2.7.5]$ hadoop fs -mkdir /user/bigdata/input
​
# 查看hsdf系統根目錄下的所有文件包括子文件夾裡面的文件
[bigdata@bigdata101 hadoop-2.7.5]$ hadoop fs -ls -R /user
​
# 上傳文件
[bigdata@bigdata101 hadoop-2.7.5]$ hadoop fs -put wcinput/wc.input /user/bigdata/input
[bigdata@bigdata101 hadoop-2.7.5]$ hadoop fs -copyFromLocal wcinput/wc.input /user/bigdata/input
​
# 下載文件
[bigdata@bigdata101 hadoop-2.7.5]$ hadoop fs -get /user/bigdata/input/wc.input ./
[bigdata@bigdata101 hadoop-2.7.5]$ hadoop fs -get /user/bigdata/input/wc.input ./new_wc.input
​
# 合併下載
[bigdata@bigdata101 hadoop-2.7.5]$ hadoop fs -getmerge /user/bigdata/input/wc.input /user/bigdata/word.txt ./words.txt
​
# 從HDFS一個路徑拷貝到HDFS另一個路徑
[bigdata@bigdata101 hadoop-2.7.5]$ hadoop fs -cp /user/bigdata/input/wc.input /user
​
# 在HDFS目錄中移動文件
[bigdata@bigdata101 hadoop-2.7.5]$ hadoop fs -mv /user/bigdata/input/wc.input /user/bigdata
​
# 刪除文件或文件夾
[bigdata@bigdata101 hadoop-2.7.5]$ hadoop fs -rm /user/bigdata/input/wc.input
​
# 刪除空目錄
[bigdata@bigdata101 hadoop-2.7.5]$ hadoop fs -rmdir /user/bigdata/input/
​
# 強制刪除
[bigdata@bigdata101 hadoop-2.7.5]$ hadoop fs -rm -r /user/bigdata/input/
​
# 從本地剪切文件到HDFS上 

[bigdata@bigdata101 hadoop-2.7.5]$ hadoop fs -moveFromLocal hello.txt /user/bigdata/input
​
# 查看文件內容
[bigdata@bigdata101 hadoop-2.7.5]$ hadoop fs -cat /user/bigdata/input/wc.input
​
# 顯示目錄中所有文件的大小，或者當只指定一個文件時，顯示此文件的大小。
[bigdata@bigdata101 hadoop-2.7.5]$ hadoop fs -du /user/bigdata/input
​
# 顯示文件的大小
[bigdata@bigdata101 hadoop-2.7.5]$ hadoop fs -du -s /user/bigdata/input
[bigdata@bigdata101 hadoop-2.7.5]$ hadoop fs -du -s -h /user/bigdata/input
​
# 清空回收站（慎用，跟開發溝通好，以免不能恢復）
[bigdata@bigdata101 hadoop-2.7.5]$ hadoop fs -expunge
​
# 改變一個文件的副本系數。-R選項用於遞歸改變目錄下所有文件的副本系數。
# 這裡設置的副本數只是記錄在NameNode的元數據中，是否真的會有這麼多副本，還得看DataNode的數量。因為目前只有3臺設備，最多也就3個副本，只有節點數的增加到10臺時，副本數才能達到10。
[bigdata@bigdata101 hadoop-2.7.5]$ hadoop fs -setrep -w 3 -R /user/hadoop/dir1
​
# 將文件尾部1K字節的內容輸出到stdout。支持-f選項，行為和Unix中一致。
[bigdata@bigdata101 hadoop-2.7.5]$ hadoop fs -tail /user/bigdata/input/wc.input
​
# test
# 使用方法：hadoop fs -test -[ezd] URI
# 選項：
    -e 檢查文件是否存在。如果存在則返回0。
    -z 檢查文件是否是0字節。如果是則返回0。  

    -d 如果路徑是個目錄，則返回1，否則返回0。
​
# 關閉安全模式
[bigdata@bigdata101 hadoop-2.7.5]$ hdfs dfsadmin -safemode leave/<code>

閱讀更多 大數據漫路求索 的文章

關鍵字: Hadoop HDFS 臺時