awk處理過程: 依次對每一行進行處理，然後輸出。
awk命令形式:
awk [-F|-f|-v] ‘BEGIN{} //{command1; command2} END{}’ file
[-F|-f|-v] 大參數，-F指定分隔符，-f調用腳本，-v定義變量 var=value
-F'[:#/]' 定義三個分隔符
' ' 引用代碼塊
BEGIN 初始化代碼塊，在對每一行進行處理之前，初始化代碼，主要是引用全局變量，設置FS分隔符
// 匹配代碼塊，可以是字符串或正則表達式
{} 命令代碼塊，包含一條或多條命令
； 多條命令使用分號分隔
END 結尾代碼塊，在對每一行進行處理之後再執行的代碼塊，主要是進行最終計算或輸出結尾摘要信息
常用例子
格式 awk 'BEGIN{print "列一","列二"} /kim/ {print NR,$0} END{print "總共"}'
ls -l | awk '{print $9}' #打印第九列
ls -l | awk '{print $NF}' #打印最右邊的字段
ls -l | awk '{print $4,$NF}' OFS="\t " #打印最右邊的字段,製表符分隔
ls -l | awk '{print NR,$0}' #在輸出的內容打印行號 ， 也可以用命令 ls -l | nl
ls-l |awk 'NR!=1{print $0}' #不打印第一行 相當於 sed -n '2,$p' 或者 ls -l |awk 'NR>2{print}'
ls -l |awk 'NR==2{print}' #打印第2行 相當於ls -l |awk '{if(NR==2) print}'
ls -l |awk '/root|kim/{print}' #區間匹配root或者kim的行並打印
ls -l |awk '!/root/{print}' #區間匹配沒有root的行並打印
ls -l |awk '$9~/6988/ {print}' 字段匹配並打印
ls -l |awk '$9~/6988/||$9~/txt/ {print}' #字段匹配並打印
ls -l |awk '{if($9~6988) print($0)}' #字段匹配並打印
ls -l |awk '{if(NR==2 && $9~/6988/) print}' #if語句字段匹配並打印
#打印網絡連接狀態數量
netstat -ant|awk 'NR>2{a[$6]++} END{for(i in a) print a[i],i}'
[root@fedora18 ~]# netstat -ant|awk 'NR>2{a[$6]++} END{for(i in a) print i,a[i]}'
8 LISTEN
1 CLOSE_WAIT
7 ESTABLISHED
#統計nginx日誌的IP的訪問的數量
cat access_https_me2you_online.log|awk '{array[$1]++} END{for(i in array) print i,array[i]}'
特殊要點:
$0 表示整個當前行
$1 每行第一個字段
NF 字段數量變量
NR 每行的記錄號，多文件記錄遞增
FNR 與NR類似，不過多文件記錄不遞增，每個文件都從1開始
\t 製表符
\n 換行符
FS BEGIN時定義分隔符
RS 輸入的記錄分隔符， 默認為換行符(即文本是按一行一行輸入)
~ 匹配，與==相比不是精確比較
!~ 不匹配，不精確比較
== 等於，必須全部相等，精確比較
!= 不等於，精確比較
&& 邏輯與
|| 邏輯或
+ 匹配時表示1個或1個以上
/[0-9][0-9]+/ 兩個或兩個以上數字
/[0-9][0-9]*/ 一個或一個以上數字
FILENAME 文件名
OFS 輸出字段分隔符， 默認也是空格，可以改為製表符等
ORS 輸出的記錄分隔符，默認為換行符,即處理結果也是一行一行輸出到屏幕
print & $0
print 是awk打印指定內容的主要命令
awk '{print}' /etc/passwd == awk '{print $0}' /etc/passwd
awk '{print " "}' /etc/passwd //不輸出passwd的內容，而是輸出相同個數的空行，進一步解釋了awk是一行一行處理文本
awk '{print "a"}' /etc/passwd //輸出相同個數的a行，一行只有一個a字母
awk -F":" '{print $1}' /etc/passwd
awk -F: '{print $1; print $2}' /etc/passwd //將每一行的前二個字段，分行輸出，進一步理解一行一行處理文本
awk -F: '{print $1,$3,$6}' OFS="\t" /etc/passwd //輸出字段1,3,6，以製表符作為分隔符
-F指定分隔符
$1 指指定分隔符後，第一個字段，$3第三個字段， \t是製表符
一個或多個連續的空格或製表符看做一個定界符，即多個空格看做一個空格
awk -F":" '{print $1}' /etc/passwd
awk -F":" '{print $1 $3}' /etc/passwd //$1與$3相連輸出，不分隔
awk -F":" '{print $1,$3}' /etc/passwd //多了一個逗號，$1與$3使用空格分隔
awk -F":" '{print $1 " " $3}' /etc/passwd //$1與$3之間手動添加空格分隔
awk -F":" '{print "Username:" $1 "\t\t Uid:" $3 }' /etc/passwd //自定義輸出
awk -F: '{print NF}' /etc/passwd //顯示每行有多少字段
awk -F: '{print $NF}' /etc/passwd //將每行第NF個字段的值打印出來
awk -F: 'NF==4 {print }' /etc/passwd //顯示只有4個字段的行
awk -F: 'NF>2{print $0}' /etc/passwd //顯示每行字段數量大於2的行
awk '{print NR,$0}' /etc/passwd //輸出每行的行號
awk -F: '{print NR,NF,$NF,"\t",$0}' /etc/passwd //依次打印行號，字段數，最後字段值，製表符，每行內容
awk -F: 'NR==5{print}' /etc/passwd //顯示第5行
awk -F: 'NR==5 || NR==6{print}' /etc/passwd //顯示第5行和第6行
//匹配代碼塊
//純字符匹配 !//純字符不匹配 ~//字段值匹配 !~//字段值不匹配 ~/a1|a2/字段值匹配a1或a2
awk '/mysql/' /etc/passwd
awk '/mysql/{print }' /etc/passwd
awk '/mysql/{print $0}' /etc/passwd //三條指令結果一樣
awk '!/mysql/{print $0}' /etc/passwd //輸出不匹配mysql的行
awk '/mysql|mail/{print}' /etc/passwd
awk '!/mysql|mail/{print}' /etc/passwd
awk -F: '/mail/,/mysql/{print}' /etc/passwd //區間匹配
awk '/[2][7][7]*/{print $0}' /etc/passwd //匹配包含27為數字開頭的行，如27，277，2777...
awk -F: '$1~/mail/{print $1}' /etc/passwd //$1匹配指定內容才顯示
awk -F: '{if($1~/mail/) print $1}' /etc/passwd //與上面相同
awk -F: '$1!~/mail/{print $1}' /etc/passwd //不匹配
awk -F: '$1!~/mail|mysql/{print $1}' /etc/passwd
IF語句
必須用在{}中，且比較內容用()擴起來
awk -F: '{if($1~/mail/) print $1}' /etc/passwd //簡寫
awk -F: '{if($1~/mail/) {print $1}}' /etc/passwd //全寫
awk -F: '{if($1~/mail/) {print $1} else {print $2}}' /etc/passwd //if...else...
條件表達式
== != > >=
awk -F":" '$1=="mysql"{print $3}' /etc/passwd
awk -F":" '{if($1=="mysql") print $3}' /etc/passwd //與上面相同
awk -F":" '$1!="mysql"{print $3}' /etc/passwd //不等於
awk -F":" '$3>1000{print $3}' /etc/passwd //大於
awk -F":" '$3>=100{print $3}' /etc/passwd //大於等於
awk -F":" '$3<1{print $3}' /etc/passwd //小於
awk -F":" '$3<=1{print $3}' /etc/passwd //小於等於
邏輯運算符
&& ||
awk -F: '$1~/mail/ && $3>8 {print }' /etc/passwd //邏輯與，$1匹配mail，並且$3>8
awk -F: '{if($1~/mail/ && $3>8) print }' /etc/passwd
awk -F: '$1~/mail/ || $3>1000 {print }' /etc/passwd //邏輯或
awk -F: '{if($1~/mail/ || $3>1000) print }' /etc/passwd
數值運算
awk -F: '$3 > 100' /etc/passwd
awk -F: '$3 > 100 || $3 < 5' /etc/passwd
awk -F: '$3+$4 > 200' /etc/passwd
awk -F: '/mysql|mail/{print $3+10}' /etc/passwd //第三個字段加10打印
awk -F: '/mysql/{print $3-$4}' /etc/passwd //減法
awk -F: '/mysql/{print $3*$4}' /etc/passwd //求乘積
awk '/MemFree/{print $2/1024}' /proc/meminfo //除法
awk '/MemFree/{print int($2/1024)}' /proc/meminfo //取整
數組統計
netstat -ant|awk 'NR!=1{a[$6]++} END{for (i in a) print i,"\t",a[i]}'
統計netstat -anp 狀態為LISTEN和CONNECT的連接數量分別是多少
netstat -anp|awk '$6~/LISTEN|CONNECTED/{sum[$6]++} END{for (i in sum) printf "%-10s %-6s %-3s \n", i," ",sum[i]}'
閱讀更多 pengpeng2008 的文章
