1. 程式人生 > >AWK單行指令碼快速參考

AWK單行指令碼快速參考

首先我經常會嘗試去寫一個最短字元的指令碼。為了省空間,我通常使用

'1'來代替'{print}'去列印每行,兩種寫法都能正確執行。

文字間隔:

 # 每行後面增加一行空行

 awk '1;{print""}'

 awk'BEGIN{ORS="\n\n"};1'

 # 每行後面增加一行空行。輸出檔案不會包含連續的兩個或兩個以上的空行

 # 注意:在Unix系統, DOS行包括的 CRLF (\r\n)通常會被作為非空行對待

 # 因此 'NF' 將會返回TRUE。

 awk 'NF{print $0"\n"}'

 # 每行後面增加兩行空行

 awk '1;{print"\n"}'

編號和計算:

 # 以檔案為單位,在每句行前加上編號 (左對齊)

 # 使用製表符 (\t)來代替空格可以有效保護頁變的空白。

 awk '{print FNR"\t" $0}' files*

 # 用製表符 (\t)給所有檔案加上連貫的編號。

 awk '{print NR"\t" $0}' files*

 # 以檔案為單位,在每句行前加上編號 (編號在左,右對齊)

 # 如果在DOS環境下,需要寫兩個'%'

 awk '{printf("%5d: %s\n", NR,$0)}'

 # 給非空白行的行加上編號

 # 記得Unix對於 \r 的處理的特殊之處。(上面已經提到)

 awk 'NF{$0=++a ":" $0};{print}'

 awk '{print (NF? ++a" :" :"") $0}'

 # 計算行數 (模擬"wc -l")

 awk 'END{print NR}'

 # 計算每行每個區域之和

 awk '{s=0; for (i=1;i<=NF; i++) s=s+$i; print s}'

 # 計算所有行所有區域的總和

 awk '{for (i=1;i<=NF; i++) s=s+$i}; END{print s}'

 # 列印每行每區域的絕對值

 awk '{for (i=1;i<=NF; i++) if ($i < 0) $i = -$i; print }'

 awk '{for (i=1;i<=NF; i++) $i = ($i < 0) ? -$i : $i; print }'

 # 計算所有行所有區域(詞)的個數

 awk '{ total = total +NF }; END {print total}' file

 # 列印包含"Beth" 的行數

 awk '/Beth/{n++}; END{print n+0}' file

 # 列印第一列最大的行

 # 並且在行前打印出這個最大的數

 awk '$1 > max{max=$1; maxline=$0}; END{ print max, maxline}'

 # 列印每行的列數,並在後面跟上此行內容

 awk '{ print NF":" $0 } '

 # 列印每行的最後一列

 awk '{ print $NF }'

 # 列印最後一行的最後一列

 awk '{ field = $NF };END{ print field }'

 # 列印列數超過4的行

 awk 'NF > 4'

 # 列印最後一列大於4的行

 awk '$NF > 4'

構建字串:

 # 構建一指定長度的字串(比如,513個空格)

 awk 'BEGIN{while(a++<513) s=s " "; print s}'

 # 在某一位置中插入以特定長度的字串

 # 例子:在每行第6列後插入49個空格

 gawk --re-interval'BEGIN{while(a++<49)s=s " "};{sub(/^.{6}/,"&" s)};1'

構建陣列:

 # 以下兩個部分並不是一句話指令碼,但是這些技巧相當便捷所以也包括進來

 # 構建一個叫"month"的陣列,以數字為索引,month[1]就是'Jan',month[2]就是

 # 'Feb',month[3]就是'Mar',以此類推。

 split("Jan FebMar Apr May Jun Jul Aug Sep Oct Nov Dec", month, " ")

 # 構建一個叫"mdigit"的陣列,以字串為索引,mdigit["Jan"] 等於 1,

 #mdigit["Feb"] 等於 2,等等。需要有"month"陣列。

 for (i=1; i<=12;i++) m_digit[month[i]] = i

文字轉換和替代:

 # 在Unix環境:轉換DOS新行 (CR/LF) 為Unix格式

 awk'{sub(/\r$/,"")};1'   # 假設每行都以Ctrl-M結尾

 # 在Unix環境:轉換Unix新行 (LF) 為DOS格式

 awk'{sub(/$/,"\r")};1'

 # 在DOS環境:轉換Unix新行 (LF) 為DOS格式

 awk 1

 # 在DOS環境:轉換DOS新行 (CR/LF) 為Unix格式

 # DOS版本的awk不能執行, 只能用gawk:

 gawk -vBINMODE="w" '1' infile >outfile

 # 用"tr" 替代的方法。

 tr -d \r <infile>outfile            # GNU tr 版本為 1.22 或者更高

 # 刪除每行前的空白(包括空格符和製表符)

 # 使所有文字左對齊

 awk '{sub(/^[ \t]+/,"")};1'

 # 刪除每行結尾的空白(包括空格符和製表符)

 awk '{sub(/[ \t]+$/,"")};1'

 # 刪除每行開頭和結尾的所有空白(包括空格符和製表符)

 awk '{gsub(/^[ \t]+|[\t]+$/,"")};1'

 awk '{$1=$1};1'           # 每列之間的空白也被刪除

 # 在每一行開頭處插入5個空格(做整頁的左位移)

 awk '{sub(/^/,"     ")};1'

 # 用79個字元為寬度,將全部文字右對齊

 awk '{printf"%79s\n", $0}' file*

 # 用79個字元為寬度,將全部文字居中對齊

 awk'{l=length();s=int((79-l)/2); printf "%"(s+l)"s\n",$0}'file*

 # 每行用"bar" 查詢替換 "foo"

 awk'{sub(/foo/,"bar")}; 1'          # 僅僅替換第一個找到的"foo"

 gawk'{$0=gensub(/foo/,"bar",4)}; 1' # 僅僅替換第四個找到的"foo"

 awk'{gsub(/foo/,"bar")}; 1'         # 全部替換

 # 在包含"baz" 的行裡,將 "foo" 替換為 "bar"

 awk '/baz/{gsub(/foo/,"bar")}; 1'

 # 在不包含"baz" 的行裡,將 "foo" 替換為 "bar"

 awk '!/baz/{gsub(/foo/,"bar")}; 1'

 # 將"scarlet" 或者 "ruby" 或者 "puce" 替換為 "red"

 awk'{gsub(/scarlet|ruby|puce/, "red")}; 1'

 # 倒排文字 (模擬"tac")

 awk '{a[i++]=$0} END{for (j=i-1; j>=0;) print a[j--] }' file*

 # 如果一行結尾為反斜線符,將下一行接到這行後面

 # (如果有連續多行後面帶反斜線符,將會失敗)

 awk '/\\$/{sub(/\\$/,""); getline t; print $0 t; next}; 1' file*

 # 排序並列印所有登入使用者的姓名

 awk -F ":"'{ print $1 | "sort" }' /etc/passwd

 # 以相反的順序打印出每行的前兩列

 awk '{print $2, $1}'file

 # 調換前兩列的位置

 awk '{temp = $1; $1 =$2; $2 = temp}' file

 # 列印每行,並刪除第二列

 awk '{ $2 =""; print }'

 # 倒置每行並列印

 awk '{for (i=NF;i>0; i--) printf("%s ",i);printf ("\n")}' file

 # 用逗號連結每5行

 awk'ORS=NR%5?",":"\n"' file

選擇性的列印某些行:

 # 列印檔案的前十行 (模擬 "head")

 awk 'NR < 11'

 # 列印檔案的第一行 (模擬 "head -1")

 awk 'NR>1{exit};1'

  # 列印檔案的最後兩行 (模擬 "tail -2")

 awk '{y=x"\n" $0; x=$0};END{print y}'

 # 列印檔案的最後一行 (模擬 "tail -1")

 awk 'END{print}'

 # 列印匹配正則表示式的行 (模擬 "grep")

 awk '/regex/'

 # 列印不匹配正則表示式的行 (模擬 "grep -v")

 awk '!/regex/'

 # 列印第5列等於"abc123"的行

 awk '$5 =="abc123"'

 # 列印第5列不等於"abc123"的行

 # 這個同樣可以用於列印少於5列的行

 awk '$5 !="abc123"'

 awk '!($5 =="abc123")'

 # 用正則匹配某一列

 awk '$7  ~ /^[a-f]/'   # 列印第7列匹配的行

 awk '$7 !~/^[a-f]/'    # 列印第7列不匹配的行

 # 列印匹配正則表示式的前一行,但是不列印當前行

 awk '/regex/{printx};{x=$0}'

 awk '/regex/{print(x=="" ? "match on line 1" : x)};{x=$0}'

 # 列印匹配正則表示式的後一行,但是不列印當前行

 awk'/regex/{getline;print}'

 # 以任何順序查詢包含AAA、BBB 和 CCC 的行

 awk '/AAA/; /BBB/;/CCC/'

 # 以指定順序查詢包含AAA、BBB 和 CCC 的行

 awk '/AAA.*BBB.*CCC/'

 # 列印長度大於64個位元組的行

 awk 'length > 64'

 # 列印長度小於64個位元組的行

 awk 'length < 64'

 # 列印從匹配正則起到檔案末尾的內容

 awk '/regex/,0'

 awk '/regex/,EOF'

 # 列印指定行之間的內容 (8-12行, 包括第8和第12行)

 awk 'NR==8,NR==12'

 # 列印第52行

 awk 'NR==52'

 awk 'NR==52{print;exit}'          # 對於大檔案更有效率

 # 列印兩個正則匹配間的內容 (包括正則的內容)

 awk'/Iowa/,/Montana/'             # 大小寫敏感

選擇性的刪除某些行:

 # 刪除所有空白行 (類似於 "grep '.' ")

 awk NF

 awk '/./'

 # 刪除重複連續的行 (模擬 "uniq")

 awk 'a !~ $0; {a=$0}'

 # 刪除重複的、非連續的行

 awk '! a[$0]++'                     # 最簡練

 awk '!($0 in a) {a[$0];print}'      # 最有效

致謝:

特別感謝 Peter S. Tillier 幫助我完成了一版的FAQ。同樣感謝Daniel Jana、

董一粟和其他提出建議和修正的人。

更多的語法指令,包括用檔案指令碼來使用awk,可以參考如下:

"sed & awk, 2nd Edition," by Dale Dougherty andArnold Robbins

  O'Reilly, 1997

"UNIX Text Processing," by Dale Dougherty and TimO'Reilly

  Hayden Books, 1987

  "GAWK: Effectiveawk Programming," 3d edition, by Arnold D. Robbins

  (O'Reilly, 2003) 或者網址http://www.gnu.org/software/gawk/manual/

為了能開發awk的強大功能,開發人員必須知道 "正則表示式"。關於正則

的詳細討論,可以檢視

"Mastering Regular Expressions, 3d edition" byJeffrey Friedl (O'Reilly,

2006).

在Unix系統下info和幫助手冊("man")會非常有幫助(嘗試使用"man awk"、

"man nawk"、"man gawk"、"man regexp"或者"man ed"裡面的正則表示式章節)。

在awk腳本里面使用 '\t':為了使文件變得清晰,我們在腳本里使用了表示式'\t'

來顯示一個製表符(0x99)。所有awk的版本,甚至UNIX系統7的版本應該能認出

'\t'這種縮寫。

#---檔案結尾---