概述

awk是一個報告生成器，它擁有強大的文本格式化的能力，這就是專業的說法。

你可能不理解所謂的報告生成器中的"報告"是什麼，你可以把"報告"理解為"報表"或者"表格",也就是說，我們可以利用awk命令，將一些文本整理成我們想要的樣子，比如把一些文本整理成"表"的樣子，然後再展示出來，剛才概念中提到的"文本格式化的能力"，也就是這個意思，其實這樣說可能還是不太容易理解，不用著急，當你看到後面的"示例"時，自然會明白awk所擅長的"文本格式化"能力是什麼。

分享一下awk的3個例子，也通過這三個awk例子來幫助大家理解awk的一些命令語法。

awk基礎

awk基本語法如下，看不懂沒關係，我們會慢慢舉例。

awk [options] 'program' file1 , file2 , ```

對於上述語法中的program來說，又可以細分成pattern和action，也就是說，awk的基本語法如下

awk [options] 'Pattern{Action}' file

從字面上理解 ，action指的就是動作，awk擅長文本格式化，並且將格式化以後的文本輸出，所以awk最常用的動作就是print和printf，因為awk要把格式化完成後的文本輸出啊，所以，這兩個動作最常用。

awk是逐行處理的，逐行處理的意思就是說，當awk處理一個文本時，會一行一行進行處理，處理完當前行，再處理下一行，awk默認以"換行符"為標記，識別每一行，也就是說，awk跟我們人類一樣，每次遇到"回車換行"，就認為是當前行的結束，新的一行的開始，awk會按照用戶指定的分割符去分割當前行，如果沒有指定分割符，默認使用空格作為分隔符。

ps:grep 、sed、awk被稱為linux中的"三劍客"。

grep 更適合單純的查找或匹配文本

awk 更適合格式化文本，對文本進行較複雜格式處理

一、類似數據庫中的left join查詢

基礎信息

[root@nwppdb opt]# cat a.txt 
111 aaa
222 bbb
333 cccc
444 ddd
[root@nwppdb opt]# cat b.txt 
111 123 456
2 abc cbd
444 rts 786

需求：輸出結果是：

111,aaa,123,456
444,ddd,rts,786

實現方法1：

[root@nwppdb opt]# awk 'NR==FNR{a[$1]=$2;}NR!=FNR && a[$1]{print $1","a[$1]","$2","$3}' a.txt b.txt
111,aaa,123,456
444,ddd,rts,786

解釋：當NR和FNR相同時,這就說明在對第一個文件進行操作，a[$1]=$2表示，建立一個數組，以第一個字段為下標，第二個字段為值。當NR!=FNR時,說明在對第二個文件進行操作，注意：這個時候的$1和前面的$1不是同一個東西了，前面的$1表示的是a.txt的第一個字段，而後面的$1表示的是b.txt的第一個字段。a[$1]表示以b.txt中第一個字段的為下標的值，如果a[$1]有值的話，說明也存在於a.txt文件中，這樣就把數據print出來就行了。

實現方法2，

[root@nwppdb opt]# awk -v OFS="," 'NR==FNR{a[$1]=$2;} NR!=FNR && $1 in a { print $1,a[$1],$2,$3}' a.txt b.txt
111,aaa,123,456
444,ddd,rts,786

解釋：-v OFS=","這個是設置輸出時的列分割符，$1 in a這個是b.txt文件中的第一列的值是不是在數組a的key中，這個對做程序的來說很好理解，各種語言當中都有這樣的用法，或者函數。例如，php中有in_array函數。比較一下，方法1和方法2中的print，方法1我加了雙引號，方法2我卻沒有加，但是輸出的效果卻是一樣的。

二、去除重複的值

基礎信息：

[root@nwppdb opt]# cat c.txt 
a b
c d
e f
b d
b a
f e
1 2
2 1

需求：如果有a,b和b,a這樣的情況，就刪除b,a，即去除重複值，當然數字也一樣;

實現方法1：

[root@nwppdb opt]# awk '{for(i=1;i<=NF;i++)a[i]=$i;asort(a);for(i=1;i<=length(a);i++)printf a[i]"\t";printf "\n"}' c.txt|sort|uniq
1	2	
a	b	
b	d	
c	d	
e	f	

解釋：for(i=1;i<=NF;i++)a[i]=$i;

實現方法2:

[root@nwppdb opt]# awk '{a[$0]=$0;if (!($2 OFS $1 in a)) print a[$0] }' c.txt
a b
c d
e f
b d
1 2
[root@nwppdb opt]# awk '{a[$0];if (!($2 OFS $1 in a)) print }' c.txt
a b
c d
e f
b d
1 2

解釋：方法2的二種寫法，出來的結果是一樣的，a[$0];沒有賦值也沒有報錯，為什麼呢？awk在遇到這樣沒有定義的變量時，會給它一個初值。if (!($2 OFS $1 in a))表示返轉字段不在數組a中，這裡所說的在，表示key是不是存在，不是值。print 不寫默認是一行。

實現方法3：

[root@nwppdb opt]# awk '!a[$1_$2]++&&!a[$2_$1]++' c.txt
a b
c d
e f
b d
1 2
[root@nwppdb opt]# awk '{if(!a[$1_$2]++&&!a[$2_$1]++)print $0;}' c.txt
a b
c d
e f
b d
1 2

解釋：!a[$1_$2]++&&!a[$2_$1]++等於if(!a[$1_$2]++&&!a[$2_$1]++),對於首次出現的記錄，a[$2_$1]的值是未定義的，由於後面的 ++ 是數學計算，所以a[$2_$1]會被賦值成數字0，也是由於 ++ 操作符，會先取值，再計算，從左到右 ++ 運算符的優先級大於！運算符的，所以對於第一行記錄實際上是if(! 0) print $0 ! 是取反，0 是假，! 0 就是真，那麼就會執行後面的 print $0對於後面出現的重複記錄，a[$0] 經過 ++ 的計算已經變為 1、2、3 。。。而 ! 1 ! 2 ! 3 ... 都為假，不會打印。

三、awk的局部變量

下面用例子來說明一下，awk怪異的局部變量

基本信息：

[root@nwppdb opt]# cat d.txt 
1 2
2 3
a b
3 2
4 1
3 r

需求：把都是數字的行，最大的那個數字加起來，第一行是2，第二行是3，每四行是3，第五行是4，總和是12

實現方法：

[root@nwppdb opt]# cat add.sh 
function max(one,two){ 
if(one > two){ 
sum = sum + one;
}else{ 
sum = sum + two;
}
}
{if($1~"[0-9]" && $2~"[0-9]") max($1,$2);} 
END{print "sum="sum}

在max方法裡面，變量sum是會影響外面的，這裡的sum是全局的。

[root@nwppdb opt]# awk -f add.sh d.txt
sum=12

篇幅有限，所以拿3個比較經典的awk例子來做演示，大家可以多看幾遍，深入掌握的話對awk用法基本就七七八八了~

後面會分享更多linux命令的一些用法，感興趣的朋友可以關注下！

閱讀更多 波波說運維 的文章

關鍵字: Linux 整理 AWK