鏈接：https://mp.weixin.qq.com/s/fOdrwyq_zzhWsmMB6EVY8A
今天給大家推薦一個GitHub開源項目《The Art of Command Line（命令行的藝術）》，這個開源項目曾經雄踞過 GitHub TOP 周榜，現在 69.5K Star ！
GitHub地址：
https://github.com/jlevy/the-art-of-command-line
以下是其中文版README-zh.md內容，有需要的小夥伴趕緊去關注一波！
命令行的藝術
前言基礎日常使用文件及數據處理系統調試單行腳本冷門但有用僅限 OS X 系統僅限 Windows 系統更多資源免責聲明熟練使用命令行是一種常常被忽視，或被認為難以掌握的技能，但實際上，它會提高你作為工程師的靈活性以及生產力。本文是一份我在 Linux 上工作時，發現的一些命令行使用技巧的摘要。有些技巧非常基礎，而另一些則相當複雜，甚至晦澀難懂。這篇文章並不長，但當你能夠熟練掌握這裡列出的所有技巧時，你就學會了很多關於命令行的東西了。這篇文章是許多作者和譯者共同的成果。這裡的部分內容 首次 出現 於 Quora， 但已經遷移到了 Github，並由眾多高手做出了許多改進。如果你在本文中發現了錯誤或者存在可以改善的地方，請貢獻你的一份力量。
一、前言
涵蓋範圍：
這篇文章不僅能幫助剛接觸命令行的新手，而且對具有經驗的人也大有裨益。本文致力於做到覆蓋面廣（涉及所有重要的內容），具體（給出具體的最常用的例子），以及簡潔（避免冗餘的內容，或是可以在其他地方輕鬆查到的細枝末節）。在特定應用場景下，本文的內容屬於基本功或者能幫助您節約大量的時間。本文主要為 Linux 所寫，但在僅限 OS X 系統章節和僅限 Windows 系統章節中也包含有對應操作系統的內容。除去這兩個章節外，其它的內容大部分均可在其他類 Unix 系統或 OS X，甚至 Cygwin 中得到應用。本文主要關注於交互式 Bash，但也有很多技巧可以應用於其他 shell 和 Bash 腳本當中。除去“標準的”Unix 命令，本文還包括了一些依賴於特定軟件包的命令（前提是它們具有足夠的價值）。注意事項：
為了能在一頁內展示儘量多的東西，一些具體的信息可以在引用的頁面中找到。我們相信機智的你知道如何使用 Google 或者其他搜索引擎來查閱到更多的詳細信息。文中部分命令需要您使用 apt-get，yum，dnf，pacman，pip 或 brew（以及其它合適的包管理器）來安裝依賴的程序。遇到問題的話，請嘗試使用 Explainshell 去獲取相關命令、參數、管道等內容的解釋。二、基礎
學習 Bash 的基礎知識。具體地，在命令行中輸入 man bash 並至少全文瀏覽一遍; 它理解起來很簡單並且不冗長。其他的 shell 可能很好用，但 Bash 的功能已經足夠強大並且到幾乎總是可用的（ 如果你只學習 zsh，fish 或其他的 shell 的話，在你自己的設備上會顯得很方便，但過度依賴這些功能會給您帶來不便，例如當你需要在服務器上工作時）。熟悉至少一個基於文本的編輯器。通常而言 Vim （vi） 會是你最好的選擇，畢竟在終端中編輯文本時 Vim 是最好用的工具（甚至大部分情況下 Vim 要比 Emacs、大型 IDE 或是炫酷的編輯器更好用）。學會如何使用 man 命令去閱讀文檔。學會使用 apropos 去查找文檔。知道有些命令並不對應可執行文件，而是在 Bash 內置好的，此時可以使用 help 和 help -d 命令獲取幫助信息。你可以用 type 命令 來判斷這個命令到底是可執行文件、shell 內置命令還是別名。學會使用 > 和 < 來重定向輸出和輸入，學會使用 | 來重定向管道。明白 > 會覆蓋了輸出文件而 >> 是在文件末添加。瞭解標準輸出 stdout 和標準錯誤 stderr。學會使用通配符 * （或許再算上 ? 和 [...]） 和引用以及引用中 ' 和 " 的區別（後文中有一些具體的例子）。熟悉 Bash 中的任務管理工具：&，ctrl-z，ctrl-c，jobs，fg，bg，kill 等。學會使用 ssh 進行遠程命令行登錄，最好知道如何使用 ssh-agent，ssh-add 等命令來實現基礎的無密碼認證登錄。學會基本的文件管理工具：ls 和 ls -l （瞭解 ls -l 中每一列代表的意義），less，head，tail 和 tail -f（甚至 less +F），ln 和 ln -s （瞭解硬鏈接與軟鏈接的區別），chown，chmod，du （硬盤使用情況概述：du -hs *）。關於文件系統的管理，學習 df，mount，fdisk，mkfs，lsblk。知道 inode 是什麼（與 ls -i 和 df -i 等命令相關）。學習基本的網絡管理工具：ip 或 ifconfig，dig。學習並使用一種版本控制管理系統，例如 git。熟悉正則表達式，學會使用 grep／egrep，它們的參數中 -i，-o，-v，-A，-B 和 -C 這些是很常用並值得認真學習的。學會使用 apt-get，yum，dnf 或 pacman （具體使用哪個取決於你使用的 Linux 發行版）來查找和安裝軟件包。並確保你的環境中有 pip 來安裝基於 Python 的命令行工具 （接下來提到的部分程序使用 pip 來安裝會很方便）。三、日常使用
在 Bash 中，可以通過按 Tab 鍵實現自動補全參數，使用 ctrl-r 搜索命令行歷史記錄（按下按鍵之後，輸入關鍵字便可以搜索，重複按下 ctrl-r 會向後查找匹配項，按下 Enter 鍵會執行當前匹配的命令，而按下右方向鍵會將匹配項放入當前行中，不會直接執行，以便做出修改）。在 Bash 中，可以按下 ctrl-w 刪除你鍵入的最後一個單詞，ctrl-u 可以刪除行內光標所在位置之前的內容，alt-b 和 alt-f可以以單詞為單位移動光標，ctrl-a 可以將光標移至行首，ctrl-e 可以將光標移至行尾，ctrl-k 可以刪除光標至行尾的所有內容，ctrl-l 可以清屏。鍵入 man readline 可以查看 Bash 中的默認快捷鍵。內容有很多，例如 alt-. 循環地移向前一個參數，而 alt-* 可以展開通配符。你喜歡的話，可以執行 set -o vi 來使用 vi 風格的快捷鍵，而執行 set -o emacs 可以把它改回來。為了便於編輯長命令，在設置你的默認編輯器後（例如 export EDITOR=vim），ctrl-x ctrl-e 會打開一個編輯器來編輯當前輸入的命令。在 vi 風格下快捷鍵則是 escape-v。鍵入 history 查看命令行歷史記錄，再用 !n（n 是命令編號）就可以再次執行。其中有許多縮寫，最有用的大概就是 !$， 它用於指代上次鍵入的參數，而 !! 可以指代上次鍵入的命令了（參考 man 頁面中的“HISTORY EXPANSION”）。不過這些功能，你也可以通過快捷鍵 ctrl-r 和 alt-. 來實現。cd 命令可以切換工作路徑，輸入 cd ~ 可以進入 home 目錄。要訪問你的 home 目錄中的文件，可以使用前綴 ~（例如 ~/.bashrc）。在 sh 腳本里則用環境變量 $HOME 指代 home 目錄的路徑。回到前一個工作路徑：cd -。如果你輸入命令的時候中途改了主意，按下 alt-# 在行首添加 # 把它當做註釋再按下回車執行（或者依次按下 ctrl-a， #， enter）。這樣做的話，之後藉助命令行歷史記錄，你可以很方便恢復你剛才輸入到一半的命令。使用 xargs （ 或 parallel）。他們非常給力。注意到你可以控制每行參數個數（-L）和最大並行數（-P）。如果你不確定它們是否會按你想的那樣工作，先使用 xargs echo 查看一下。此外，使用 -I{} 會很方便。例如：<code> find . -name '*.py' | xargs grep some_function
cat hosts | xargs -I{} ssh root@{} hostname
/<code>pstree -p 以一種優雅的方式展示進程樹。使用 pgrep 和 pkill 根據名字查找進程或發送信號（-f 參數通常有用）。瞭解你可以發往進程的信號的種類。比如，使用 kill -STOP [pid] 停止一個進程。使用 man 7 signal 查看詳細列表。使用 nohup 或 disown 使一個後臺進程持續運行。使用 netstat -lntp 或 ss -plat 檢查哪些進程在監聽端口（默認是檢查 TCP 端口; 添加參數 -u 則檢查 UDP 端口）或者 lsof -iTCP -sTCP:LISTEN -P -n (這也可以在 OS X 上運行)。lsof 來查看開啟的套接字和文件。使用 uptime 或 w 來查看系統已經運行多長時間。使用 alias 來創建常用命令的快捷形式。例如：alias ll='ls -latr' 創建了一個新的命令別名 ll。可以把別名、shell 選項和常用函數保存在 ~/.bashrc，具體看下這篇文章。這樣做的話你就可以在所有 shell 會話中使用你的設定。把環境變量的設定以及登陸時要執行的命令保存在 ~/.bash_profile。而對於從圖形界面啟動的 shell 和 cron 啟動的 shell，則需要單獨配置文件。要想在幾臺電腦中同步你的配置文件（例如 .bashrc 和 .bash_profile），可以藉助 Git。當變量和文件名中包含空格的時候要格外小心。Bash 變量要用引號括起來，比如 "$FOO"。儘量使用 -0 或 -print0選項以便用 NULL 來分隔文件名，例如 locate -0 pattern | xargs -0 ls -al 或 find / -print0 -type d | xargs -0 ls -al。如果 for 循環中循環訪問的文件名含有空字符（空格、tab 等字符），只需用 IFS=$'\\n' 把內部字段分隔符設為換行符。在 Bash 腳本中，使用 set -x 去調試輸出（或者使用它的變體 set -v，它會記錄原始輸入，包括多餘的參數和註釋）。儘可能地使用嚴格模式：使用 set -e 令腳本在發生錯誤時退出而不是繼續運行；使用 set -u 來檢查是否使用了未賦值的變量；試試 set -o pipefail，它可以監測管道中的錯誤。當牽扯到很多腳本時，使用 trap 來檢測 ERR 和 EXIT。一個好的習慣是在腳本文件開頭這樣寫，這會使它能夠檢測一些錯誤，並在錯誤發生時中斷程序並輸出信息：
<code>set -euo pipefail
trap "echo 'error: Script failed: see failed command above'" ERR
/<code>在 Bash 腳本中，子 shell（使用括號 (...)）是一種組織參數的便捷方式。一個常見的例子是臨時地移動工作路徑，代碼如下：
<code># do something in current dir
(cd /some/other/dir && other-command)
# continue in original dir
/<code>在 Bash 中，變量有許多的擴展方式。${name:?error message} 用於檢查變量是否存在。此外，當 Bash 腳本只需要一個參數時，可以使用這樣的代碼 input_file=${1:?usage: $0 input_file}。在變量為空時使用默認值：${name:-default}。如果你要在之前的例子中再加一個（可選的）參數，可以使用類似這樣的代碼 output_file=${2:-logfile}，如果省略了 (( (i + 1) % 5 ))。序列：{1..10}。截斷字符串：{var#prefix}。例如，假設var=foo.pdf，那麼echo ${var%.pdf}.txt將輸出foo.txt`。使用括號擴展（{...}）來減少輸入相似文本，並自動化文本組合。這在某些情況下會很有用，例如 mv foo.{txt,pdf} some-dir（同時移動兩個文件），cp somefile{,.bak}（會被擴展成 cp somefile somefile.bak）或者 mkdir -p test-{a,b,c}/subtest-{1,2,3}（會被擴展成所有可能的組合，並創建一個目錄樹）。通過使用
<code>diff /etc/hosts /<code>編寫腳本時，你可能會想要把代碼都放在大括號裡。缺少右括號的話，代碼就會因為語法錯誤而無法執行。如果你的腳本是要放在網上分享供他人使用的，這樣的寫法就體現出它的好處了，因為這樣可以防止下載不完全代碼被執行。
<code>{
# 在這裡寫代碼
}
/<code>瞭解 Bash 中的“here documents”，例如 cat <在 Bash 中，同時重定向標準輸出和標準錯誤：some-command >logfile 2>&1 或者 some-command &>logfile。通常，為了保證命令不會在標準輸入裡殘留一個未關閉的文件句柄捆綁在你當前所在的終端上，在命令後添加 使用 man ascii 查看具有十六進制和十進制值的ASCII表。man unicode，man utf-8，以及 man latin1 有助於你去了解通用的編碼信息。使用 screen 或 tmux 來使用多份屏幕，當你在使用 ssh 時（保存 session 信息）將尤為有用。而 byobu 可以為它們提供更多的信息和易用的管理工具。另一個輕量級的 session 持久化解決方案是 dtach。ssh 中，瞭解如何使用 -L 或 -D（偶爾需要用 -R）開啟隧道是非常有用的，比如當你需要從一臺遠程服務器上訪問 web 頁面。對 ssh 設置做一些小優化可能是很有用的，例如這個 ~/.ssh/config 文件包含了防止特定網絡環境下連接斷開、壓縮數據、多通道等選項：
<code> TCPKeepAlive=yes
ServerAliveInterval=15
ServerAliveCountMax=6
Compression=yes
ControlMaster auto
ControlPath /tmp/%r@%h:%p
ControlPersist yes
/<code>一些其他的關於 ssh 的選項是與安全相關的，應當小心翼翼的使用。例如你應當只能在可信任的網絡中啟用 StrictHostKeyChecking=no，ForwardAgent=yes。考慮使用 mosh 作為 ssh 的替代品，它使用 UDP 協議。它可以避免連接被中斷並且對帶寬需求更小，但它需要在服務端做相應的配置。獲取八進制形式的文件訪問權限（修改系統設置時通常需要，但 ls 的功能不那麼好用並且通常會搞砸），可以使用類似如下的代碼：
<code>stat -c '%A %a %n' /etc/timezone
/<code>使用 percol 或者 fzf 可以交互式地從另一個命令輸出中選取值。使用 fpp（PathPicker）可以與基於另一個命令(例如 git）輸出的文件交互。將 web 服務器上當前目錄下所有的文件（以及子目錄）暴露給你所處網絡的所有用戶，使用： python -m SimpleHTTPServer 7777 （使用端口 7777 和 Python 2）或python -m http.server 7777 （使用端口 7777 和 Python 3）。以其他用戶的身份執行命令，使用 sudo。默認以 root 用戶的身份執行；使用 -u 來指定其他用戶。使用 -i 來以該用戶登錄（需要輸入你自己的密碼）。將 shell 切換為其他用戶，使用 su username 或者 sudo - username。加入 - 會使得切換後的環境與使用該用戶登錄後的環境相同。省略用戶名則默認為 root。切換到哪個用戶，就需要輸入哪個用戶的密碼。瞭解命令行的 128K 限制。使用通配符匹配大量文件名時，常會遇到“Argument list too long”的錯誤信息。（這種情況下換用 find 或 xargs 通常可以解決。）當你需要一個基本的計算器時，可以使用 python 解釋器（當然你要用 python 的時候也是這樣）。例如：
<code>>>> 2+3
5
/<code>
四、文件及數據處理
在當前目錄下通過文件名查找一個文件，使用類似於這樣的命令：find . -iname '*something*'。在所有路徑下通過文件名查找文件，使用 locate something （但注意到 updatedb 可能沒有對最近新建的文件建立索引，所以你可能無法定位到這些未被索引的文件）。使用 ag 在源代碼或數據文件裡檢索（grep -r 同樣可以做到，但相比之下 ag 更加先進）。將 HTML 轉為文本：lynx -dump -stdin。Markdown，HTML，以及所有文檔格式之間的轉換，試試 pandoc。當你要處理棘手的 XML 時候，xmlstarlet 算是上古時代流傳下來的神器。使用 jq 處理 JSON。使用 shyaml 處理 YAML。要處理 Excel 或 CSV 文件的話，csvkit 提供了 in2csv，csvcut，csvjoin，csvgrep 等方便易用的工具。當你要處理 Amazon S3 相關的工作的時候，s3cmd 是一個很方便的工具而 s4cmd 的效率更高。Amazon 官方提供的 aws以及 saws 是其他 AWS 相關工作的基礎，值得學習。瞭解如何使用 sort 和 uniq，包括 uniq 的 -u 參數和 -d 參數，具體內容在後文單行腳本節中。另外可以瞭解一下 comm。瞭解如何使用 cut，paste 和 join 來更改文件。很多人都會使用 cut，但遺忘了 join。瞭解如何運用 wc 去計算新行數（-l），字符數（-m），單詞數（-w）以及字節數（-c）。瞭解如何使用 tee 將標準輸入複製到文件甚至標準輸出，例如 ls -al | tee file.txt。要進行一些複雜的計算，比如分組、逆序和一些其他的統計分析，可以考慮使用 datamash。注意到語言設置（中文或英文等）對許多命令行工具有一些微妙的影響，比如排序的順序和性能。大多數 Linux 的安裝過程會將 LANG 或其他有關的變量設置為符合本地的設置。要意識到當你改變語言設置時，排序的結果可能會改變。明白國際化可能會使 sort 或其他命令運行效率下降許多倍。某些情況下（例如集合運算）你可以放心的使用 export LC_ALL=C 來忽略掉國際化並按照字節來判斷順序。你可以單獨指定某一條命令的環境，只需在調用時把環境變量設定放在命令的前面，例如 TZ=Pacific/Fiji date 可以獲取斐濟的時間。瞭解如何使用 awk 和 sed 來進行簡單的數據處理。參閱 One-liners 獲取示例。替換一個或多個文件中出現的字符串：<code> perl -pi.bak -e 's/old-string/new-string/g' my-files-*.txt
/<code>使用 repren 來批量重命名文件，或是在多個文件中搜索替換內容。（有些時候 rename 命令也可以批量重命名，但要注意，它在不同 Linux 發行版中的功能並不完全一樣。）
<code># 將文件、目錄和內容全部重命名 foo -> bar:
repren --full --preserve-case --from foo --to bar .
# 還原所有備份文件 whatever.bak -> whatever:
repren --renames --from '(.*)\\.bak' --to '\\1' *.bak
# 用 rename 實現上述功能（若可用）:
rename 's/\\.bak$//' *.bak
/<code>根據 man 頁面的描述，rsync 是一個快速且非常靈活的文件複製工具。它聞名於設備之間的文件同步，但其實它在本地情況下也同樣有用。在安全設置允許下，用 rsync 代替 scp 可以實現文件續傳，而不用重新從頭開始。它同時也是刪除大量文件的最快方法之一：
<code>mkdir empty && rsync -r --delete empty/ some-dir && rmdir some-dir
/<code>若要在複製文件時獲取當前進度，可使用 pv，pycp，progress，rsync --progress。若所執行的複製為block塊拷貝，可以使用 dd status=progress。使用 shuf 可以以行為單位來打亂文件的內容或從一個文件中隨機選取多行。瞭解 sort 的參數。顯示數字時，使用 -n 或者 -h 來顯示更易讀的數（例如 du -h 的輸出）。明白排序時關鍵字的工作原理（-t 和 -k）。例如，注意到你需要 -k1，1 來僅按第一個域來排序，而 -k1 意味著按整行排序。穩定排序（sort -s）在某些情況下很有用。例如，以第二個域為主關鍵字，第一個域為次關鍵字進行排序，你可以使用 sort -k1，1 | sort -s -k2，2。如果你想在 Bash 命令行中寫 tab 製表符，按下 ctrl-v [Tab] 或鍵入 $'\\t' （後者可能更好，因為你可以複製粘貼它）。標準的源代碼對比及合併工具是 diff 和 patch。使用 diffstat 查看變更總覽數據。注意到 diff -r 對整個文件夾有效。使用 diff -r tree1 tree2 | diffstat 查看變更的統計數據。vimdiff 用於比對並編輯文件。對於二進制文件，使用 hd，hexdump 或者 xxd 使其以十六進制顯示，使用 bvi，hexedit 或者 biew 來進行二進制編輯。同樣對於二進制文件，strings（包括 grep 等工具）可以幫助在二進制文件中查找特定比特。製作二進制差分文件（Delta 壓縮），使用 xdelta3。使用 iconv 更改文本編碼。需要更高級的功能，可以使用 uconv，它支持一些高級的 Unicode 功能。例如，這條命令移除了所有重音符號：
<code> uconv -f utf-8 -t utf-8 -x '::Any-Lower; ::Any-NFD; [:Nonspacing Mark:] >; ::Any-NFC; ' < input.txt > o
/<code>拆分文件可以使用 split（按大小拆分）和 csplit（按模式拆分）。操作日期和時間表達式，可以用 dateutils 中的 dateadd、datediff、strptime 等工具。使用 zless、zmore、zcat 和 zgrep 對壓縮過的文件進行操作。文件屬性可以通過 chattr 進行設置，它比文件權限更加底層。例如，為了保護文件不被意外刪除，可以使用不可修改標記：sudo chattr +i /critical/directory/or/file使用 getfacl 和 setfacl 以保存和恢復文件權限。例如：
<code>getfacl -R /some/path > permissions.txt
setfacl --restore=permissions.txt
/<code>為了高效地創建空文件，請使用 truncate（創建稀疏文件），fallocate（用於 ext4，xfs，btrf 和 ocfs2 文件系統），xfs_mkfile（適用於幾乎所有的文件系統，包含在 xfsprogs 包中），mkfile（用於類 Unix 操作系統，比如 Solaris 和 Mac OS）。
五、系統調試
curl 和 curl -I 可以被輕鬆地應用於 web 調試中，它們的好兄弟 wget 也是如此，或者也可以試試更潮的 httpie。獲取 CPU 和硬盤的使用狀態，通常使用使用 top（htop 更佳），iostat 和 iotop。而 iostat -mxz 15 可以讓你獲悉 CPU 和每個硬盤分區的基本信息和性能表現。使用 netstat 和 ss 查看網絡連接的細節。dstat 在你想要對系統的現狀有一個粗略的認識時是非常有用的。然而若要對系統有一個深度的總體認識，使用 glances，它會在一個終端窗口中向你提供一些系統級的數據。若要了解內存狀態，運行並理解 free 和 vmstat 的輸出。值得留意的是“cached”的值，它指的是 Linux 內核用來作為文件緩存的內存大小，而與空閒內存無關。Java 系統調試則是一件截然不同的事，一個可以用於 Oracle 的 JVM 或其他 JVM 上的調試的技巧是你可以運行 kill -3同時一個完整的棧軌跡和堆概述（包括 GC 的細節）會被保存到標準錯誤或是日誌文件。JDK 中的 jps，jstat，jstack，jmap 很有用。SJK tools 更高級。使用 mtr 去跟蹤路由，用於確定網絡問題。用 ncdu 來查看磁盤使用情況，它比尋常的命令，如 du -sh *，更節省時間。查找正在使用帶寬的套接字連接或進程，使用 iftop 或 nethogs。ab 工具（Apache 中自帶）可以簡單粗暴地檢查 web 服務器的性能。對於更復雜的負載測試，使用 siege。wireshark，tshark 和 ngrep 可用於複雜的網絡調試。瞭解 strace 和 ltrace。這倆工具在你的程序運行失敗、掛起甚至崩潰，而你卻不知道為什麼或你想對性能有個總體的認識的時候是非常有用的。注意 profile 參數（-c）和附加到一個運行的進程參數 （-p）。瞭解使用 ldd 來檢查共享庫。但是永遠不要在不信任的文件上運行。瞭解如何運用 gdb 連接到一個運行著的進程並獲取它的堆棧軌跡。學會使用 /proc。它在調試正在出現的問題的時候有時會效果驚人。比如：/proc/cpuinfo，/proc/meminfo，/proc/cmdline，/proc/xxx/cwd，/proc/xxx/exe，/proc/xxx/fd/，/proc/xxx/smaps（這裡的 xxx 表示進程的 id 或 pid）。當調試一些之前出現的問題的時候，sar 非常有用。它展示了 cpu、內存以及網絡等的歷史數據。關於更深層次的系統分析以及性能分析，看看 stap（SystemTap），perf，以及sysdig。查看你當前使用的系統，使用 uname，uname -a（Unix／kernel 信息）或者 lsb_release -a（Linux 發行版信息）。無論什麼東西工作得很歡樂（可能是硬件或驅動問題）時可以試試 dmesg。如果你刪除了一個文件，但通過 du 發現沒有釋放預期的磁盤空間，請檢查文件是否被進程佔用： lsof | grep deleted | grep "filename-of-my-big-file"
六、單行腳本
一些命令組合的例子：
當你需要對文本文件做集合交、並、差運算時，sort 和 uniq 會是你的好幫手。具體例子請參照代碼後面的，此處假設 a 與 b 是兩內容不同的文件。這種方式效率很高，並且在小文件和上 G 的文件上都能運用（注意儘管在 /tmp 在一個小的根分區上時你可能需要 -T 參數，但是實際上 sort 並不被內存大小約束），參閱前文中關於 LC_ALL 和 sort 的 -u參數的部分。<code>sort a b | uniq > c # c 是 a 並 b
sort a b | uniq -d > c # c 是 a 交 b
sort a b b | uniq -u > c # c 是 a - b
/<code>使用 grep . *（每行都會附上文件名）或者 head -100 *（每個文件有一個標題）來閱讀檢查目錄下所有文件的內容。這在檢查一個充滿配置文件的目錄（如 /sys、/proc、/etc）時特別好用。計算文本文件第三列中所有數的和（可能比同等作用的 Python 代碼快三倍且代碼量少三倍）：
<code>awk '{ x += $3 } END { print x }' myfile
/<code>如果你想在文件樹上查看大小/日期，這可能看起來像遞歸版的 ls -l 但比 ls -lR 更易於理解：
<code>find . -type f -ls
/<code>假設你有一個類似於 web 服務器日誌文件的文本文件，並且一個確定的值只會出現在某些行上，假設一個 acct_id 參數在 URI 中。如果你想計算出每個 acct_id 值有多少次請求，使用如下代碼：
<code>egrep -o 'acct_id=[0-9]+' access.log | cut -d= -f2 | sort | uniq -c | sort -rn
/<code>要持續監測文件改動，可以使用 watch，例如檢查某個文件夾中文件的改變，可以用 watch -d -n 2 'ls -rtlh | tail'；或者在排查 WiFi 設置故障時要監測網絡設置的更改，可以用 watch -d -n 2 ifconfig。運行這個函數從這篇文檔中隨機獲取一條技巧（解析 Markdown 文件並抽取項目）：
<code>function taocl() {
curl -s https://raw.githubusercontent.com/jlevy/the-art-of-command-line/master/README-zh.md|
pandoc -f markdown -t html |
iconv -f 'utf-8' -t 'unicode' |
xmlstarlet fo --html --dropdtd |
xmlstarlet sel -t -v "(html/body/ul/li[count(p)>0])[$RANDOM mod last()+1]" |
xmlstarlet unesc | fmt -80
}
/<code>
七、冷門但有用
expr：計算表達式或正則匹配m4：簡單的宏處理器yes：多次打印字符串cal：漂亮的日曆env：執行一個命令（腳本文件中很有用）printenv：打印環境變量（調試時或在寫腳本文件時很有用）look：查找以特定字符串開頭的單詞或行cut，paste 和 join：數據修改fmt：格式化文本段落pr：將文本格式化成頁／列形式fold：包裹文本中的幾行column：將文本格式化成多個對齊、定寬的列或表格expand 和 unexpand：製表符與空格之間轉換nl：添加行號seq：打印數字bc：計算器factor：分解因數gpg：加密並簽名文件toe：terminfo 入口列表nc：網絡調試及數據傳輸socat：套接字代理，與 netcat 類似slurm：網絡流量可視化dd：文件或設備間傳輸數據file：確定文件類型tree：以樹的形式顯示路徑和文件，類似於遞歸的 lsstat：文件信息time：執行命令，並計算執行時間timeout：在指定時長範圍內執行命令，並在規定時間結束後停止進程lockfile：使文件只能通過 rm -f 移除logrotate：切換、壓縮以及發送日誌文件watch：重複運行同一個命令，展示結果並／或高亮有更改的部分when-changed：當檢測到文件更改時執行指定命令。參閱 inotifywait 和 entr。tac：反向輸出文件shuf：文件中隨機選取幾行comm：一行一行的比較排序過的文件strings：從二進制文件中抽取文本tr：轉換字母iconv 或 uconv：文本編碼轉換split 和 csplit：分割文件sponge：在寫入前讀取所有輸入，在讀取文件後再向同一文件寫入時比較有用，例如 grep -v something some-file | sponge some-fileunits：將一種計量單位轉換為另一種等效的計量單位（參閱 /usr/share/units/definitions.units）apg：隨機生成密碼xz：高比例的文件壓縮ldd：動態庫信息nm：提取 obj 文件中的符號ab 或 wrk：web 服務器性能分析strace：調試系統調用mtr：更好的網絡調試跟蹤工具cssh：可視化的併發 shellrsync：通過 ssh 或本地文件系統同步文件和文件夾wireshark 和 tshark：抓包和網絡調試工具ngrep：網絡層的 grephost 和 dig：DNS 查找lsof：列出當前系統打開文件的工具以及查看端口信息dstat：系統狀態查看glances：高層次的多子系統總覽iostat：硬盤使用狀態mpstat：CPU 使用狀態vmstat：內存使用狀態htop：top 的加強版last：登入記錄w：查看處於登錄狀態的用戶id：用戶/組 ID 信息sar：系統歷史數據iftop 或 nethogs：套接字及進程的網絡利用情況ss：套接字數據dmesg：引導及系統錯誤信息sysctl：在內核運行時動態地查看和修改內核的運行參數hdparm：SATA/ATA 磁盤更改及性能分析lsblk：列出塊設備信息：以樹形展示你的磁盤以及磁盤分區信息lshw，lscpu，lspci，lsusb 和 dmidecode：查看硬件信息，包括 CPU、BIOS、RAID、顯卡、USB設備等lsmod 和 modinfo：列出內核模塊，並顯示其細節fortune，ddate 和 sl：額，這主要取決於你是否認為蒸汽火車和莫名其妙的名人名言是否“有用”八、僅限 OS X 系統
以下是僅限於 OS X 系統的技巧。
用 brew （Homebrew）或者 port （MacPorts）進行包管理。這些可以用來在 OS X 系統上安裝以上的大多數命令。用 pbcopy 複製任何命令的輸出到桌面應用，用 pbpaste 粘貼輸入。若要在 OS X 終端中將 Option 鍵視為 alt 鍵（例如在上面介紹的 alt-b、alt-f 等命令中用到），打開 偏好設置 -> 描述文件 -> 鍵盤 並勾選“使用 Option 鍵作為 Meta 鍵”。用 open 或者 open -a /Applications/Whatever.app 使用桌面應用打開文件。Spotlight：用 mdfind 搜索文件，用 mdls 列出元數據（例如照片的 EXIF 信息）。注意 OS X 系統是基於 BSD UNIX 的，許多命令（例如 ps，ls，tail，awk，sed）都和 Linux 中有微妙的不同（ Linux 很大程度上受到了 System V-style Unix 和 GNU 工具影響）。你可以通過標題為 "BSD General Commands Manual" 的 man 頁面發現這些不同。在有些情況下 GNU 版本的命令也可能被安裝（例如 gawk 和 gsed 對應 GNU 中的 awk 和 sed ）。如果要寫跨平臺的 Bash 腳本，避免使用這些命令（例如，考慮 Python 或者 perl ）或者經過仔細的測試。用 sw_vers 獲取 OS X 的版本信息。九、僅限 Windows 系統
以下是僅限於 Windows 系統的技巧。
9.1、在 Winodws 下獲取 Unix 工具
可以安裝 Cygwin 允許你在 Microsoft Windows 中體驗 Unix shell 的威力。這樣的話，本文中介紹的大多數內容都將適用。在 Windows 10 上，你可以使用 Bash on Ubuntu on Windows，它提供了一個熟悉的 Bash 環境，包含了不少 Unix 命令行工具。好處是它允許 Linux 上編寫的程序在 Windows 上運行，而另一方面，Windows 上編寫的程序卻無法在 Bash 命令行中運行。如果你在 Windows 上主要想用 GNU 開發者工具（例如 GCC），可以考慮 MinGW 以及它的 MSYS 包，這個包提供了例如 bash，gawk，make 和 grep 的工具。MSYS 並不包含所有可以與 Cygwin 媲美的特性。當製作 Unix 工具的原生 Windows 端口時 MinGW 將特別地有用。另一個在 Windows 下實現接近 Unix 環境外觀效果的選項是 Cash。注意在此環境下只有很少的 Unix 命令和命令行可用。9.2、實用 Windows 命令行工具
可以使用 wmic 在命令行環境下給大部分 Windows 系統管理任務編寫腳本以及執行這些任務。Windows 實用的原生命令行網絡工具包括 ping，ipconfig，tracert，和 netstat。可以使用 Rundll32 命令來實現許多有用的 Windows 任務 。9.3、Cygwin 技巧
通過 Cygwin 的包管理器來安裝額外的 Unix 程序。使用 mintty 作為你的命令行窗口。要訪問 Windows 剪貼板，可以通過 /dev/clipboard。運行 cygstart 以通過默認程序打開一個文件。要訪問 Windows 註冊表，可以使用 regtool。注意 Windows 驅動器路徑 C:\\ 在 Cygwin 中用 /cygdrive/c 代表，而 Cygwin 的 / 代表 Windows 中的 C:\\cygwin。要轉換 Cygwin 和 Windows 風格的路徑可以用 cygpath。這在需要調用 Windows 程序的腳本里很有用。學會使用 wmic，你就可以從命令行執行大多數 Windows 系統管理任務，並編成腳本。要在 Windows 下獲得 Unix 的界面和體驗，另一個辦法是使用 Cash。需要注意的是，這個環境支持的 Unix 命令和命令行參數非常少。要在 Windows 上獲取 GNU 開發者工具（比如 GCC）的另一個辦法是使用 MinGW 以及它的 MSYS 軟件包，該軟件包提供了 bash、gawk、make、grep 等工具。然而 MSYS 提供的功能沒有 Cygwin 完善。MinGW 在創建 Unix 工具的 Windows 原生移植方面非常有用。十、更多資源
1、awesome-shell：一份精心組織的命令行工具及資源的列表。
https://github.com/alebcay/awesome-shell
2、awesome-osx-command-line：一份針對 OS X 命令行的更深入的指南。
https://github.com/herrbischoff/awesome-osx-command-line
3、Strict mode：為了編寫更好的腳本文件。
http://redsymbol.net/articles/unofficial-bash-strict-mode/
4、shellcheck：一個靜態 shell 腳本分析工具，本質上是 bash／sh／zsh 的 lint。
https://github.com/koalaman/shellcheck
5、Filenames and Pathnames in Shell：有關如何在 shell 腳本里正確處理文件名的細枝末節。
http://www.dwheeler.com/essays/filenames-in-shell.html
6、Data Science at the Command Line：用於數據科學的一些命令和工具，摘自同名書籍。
http://datascienceatthecommandline.com/#tools