本篇部落格主要介紹linux常用命令中的對文字和資料進行處理的命令awk的用法。

awk命令

awk是一種程式語言，用於在linux/unix下對文字和資料進行處理。資料可以來自標準輸入(stdin)、一個或多個檔案，或其它命令的輸出。它支援使用者自定義函式和動態正則表示式等先進功能，是linux/unix下的一個強大程式設計工具。它在命令列中使用，但更多是作為指令碼來使用。awk有很多內建的功能，比如陣列、函式等，這是它和C語言的相同之處，靈活性是awk最大的優勢。

awk命令格式和選項

語法格式

1. awk [options] 'script' var=value file(s) 
2. awk [options] -f scriptfile var=value file(s) 

常用命令選項

• -F fs fs 指定輸入分隔符，fs可以時字串或正則表示式

• -v var=value 賦值一個使用者定義變數，將外部變數傳遞給awk

• -f scriptfile 從指令碼檔案中讀取awk命令

awk指令碼

awk指令碼是由模式和操作組成的。

模式與操作

模式

模式可以是以下任意一種：

• 正則表示式：使用萬用字元的擴充套件集

• 關係表示式：使用運算子進行操作，可以是字串或數字的比較測試

• 模式匹配表示式：用運算子～（匹配）和~!不匹配

• BEGIN 語句塊， pattern語句塊， END語句塊

操作

操作由一個或多個命令、函式、表示式組成，之間由換行符或分號隔開，並位於大刮號內，主要部分是：變數或陣列賦值、輸出命令、內建函式、控制流語句。

awk指令碼基本格式

1. awk 'BEGIN{ commands } pattern{ commands } END{ commands }' file 

一個awk指令碼通常由BEGIN， 通用語句塊，END語句塊組成，三部分都是可選的。 指令碼通常是被單引號或雙引號包住。

1. awk 'BEGIN{ i=0 } { i++ } END{ print i }' filename  
2. awk "BEGIN{ i=0 } { i++ } END{ print i }" filename 

awk執行過程分析

• 第一步： 執行BEGIN { commands } pattern 語句塊中的語句

  BEGIN語句塊：在awk開始從輸入輸出流中讀取行之前執行，在BEGIN語句塊中執行如變數初始化，列印輸出表頭等操作。

• 第二步：從檔案或標準輸入中讀取一行，然後執行pattern{ commands }語句塊。它逐行掃描檔案，從第一行到最後一行重複這個過程，直到全部檔案都被讀取完畢。

  pattern語句塊：pattern語句塊中的通用命令是最重要的部分，它也是可選的。如果沒有提供pattern語句塊，則預設執行{ print }，即列印每一個讀取到的行。{ }類似一個迴圈體，會對檔案中的每一行進行迭代，通常將變數初始化語句放在BEGIN語句塊中，將列印結果等語句放在END語句塊中。

• 第三步：當讀至輸入流末尾時，執行END { command }語句塊

  END語句塊:在awk從輸入流中讀取完所有的行之後即被執行，比如列印所有行的分析結果這類資訊彙總都是在END語句塊中完成，它也是一個可選語句塊。

AWK內建變數

• $n : 當前記錄的第n個欄位，比如n為1表示第一個欄位，n為2表示第二個欄位。

• $0 : 這個變數包含執行過程中當前行的文字內容。

• ARGC : 命令列引數的數目。

• ARGIND : 命令列中當前檔案的位置（從0開始算）。

• ARGV : 包含命令列引數的陣列。

• CONVFMT : 數字轉換格式（預設值為%.6g）。

• ENVIRON : 環境變數關聯陣列。

• ERRNO : 最後一個系統錯誤的描述。

• FIELDWIDTHS : 欄位寬度列表（用空格鍵分隔）。

• FILENAME : 當前輸入檔案的名。

• NR : 表示記錄數，在執行過程中對應於當前的行號

• FNR : 同NR :，但相對於當前檔案。

• FS : 欄位分隔符（預設是任何空格）。

• IGNORECASE : 如果為真，則進行忽略大小寫的匹配。

• NF : 表示欄位數，在執行過程中對應於當前的欄位數。 print $NF答應一行中最後一個欄位

• OFMT : 數字的輸出格式（預設值是%.6g）。

• OFS : 輸出欄位分隔符（預設值是一個空格）。

• ORS : 輸出記錄分隔符（預設值是一個換行符）。

• RS : 記錄分隔符（預設是一個換行符）。

• RSTART : 由match函式所匹配的字串的第一個位置。

• RLENGTH : 由match函式所匹配的字串的長度。

• SUBSEP : 陣列下標分隔符（預設值是34）。

將外部變數值傳遞給awk

• 藉助 -v 選項，可以將來自外部值（非stdin）傳遞給awk

  VAR=10000
  echo | awk -v VARIABLE=$VAR '{ print VARIABLE }'

• 定義內部變數接收外部變數

  var1="aaa"
  var2="bbb"
  echo | awk '{ print v1,v2 }' v1=$var1 v2=$var2

• 當輸入來自檔案時

  awk '{ print v1,v2 }' v1=$var1 v2=$var2 filename

awk運算

• 算術運算：（+，-，*，/，&，！，……，++，--）

  所有用作算術運算子進行操作時，運算元自動轉為數值，所有非數值都變為0

• 賦值運算：（=， +=， -=，*=，/=，%=，……=，**=）

• 邏輯運算子: (||, &&)

• 關係運算符：（<, <=, >,>=,!=, ==）

• 正則運算子：（～，～!）(匹配正則表示式，與不匹配正則表示式)

  awk 'BEGIN{a="100testa";if(a ~ /^100*/){print "ok";}}'
  ok

awk高階輸入輸出

讀取下一條記錄：next 語句

awk中next語句使用：在迴圈逐行匹配，如果遇到next，就會跳過當前行，直接忽略下面語句。而進行下一行匹配。net語句一般用於多行合併：

awk 'NR%2==1{next}{print NR,$0;}' text.txt
說明： 當記錄行號除以2餘1，就跳過當前行。下面的print NR,$0也不會執行。下一行開始，程式有開始判斷NR%2值。這個時候記錄行號是：2 ，就會執行下面語句塊：print NR,$0

讀取一行記錄：getline 語句

awk getline用法：輸出重定向需用到getline函式。getline從標準輸入、管道或者當前正在處理的檔案之外的其他輸入檔案獲得輸入。它負責從輸入獲得下一行的內容，並給NF,NR和FNR等內建變數賦值。如果得到一條記錄，getline函式返回1，如果到達檔案的末尾就返回0，如果出現錯誤，例如開啟檔案失敗，就返回-1。
語法格式：getline var 變數var包含了特定行的內容
用法說明：

• 當其左右無重定向符時|，<時：getline作用於當前檔案，讀入當前檔案的第一行給其後跟的變數var或$0（無變數），應該注意到，由於awk在處理getline之前已經讀入了一行，所以getline得到的返回結果是隔行的。

• 當其左右有重定向符時|，<時：getline則作用於定向輸入檔案，由於該檔案是剛開啟，並沒有被awk讀入一行，只是getline讀入，那麼getline返回的是該檔案的第一行，而不是隔行。

檔案操作

• 開啟檔案 open("filename")

• 關閉檔案 close("filename")

• 輸出到檔案 重定向到檔案，如echo | awk '{printf("hello word!n") > "datafile"}'

迴圈結構

for迴圈

1. for(變數 in 陣列)  
2. {語句} 
3. for(變數;條件;表示式) 
4. {語句} 

while迴圈

1. while(表示式) 
2.     {語句} 

do...while迴圈

1. do  
2. {語句} while(條件) 

其他相關語句

• break：退出程式迴圈

• continue: 進入下一次迴圈

• next：讀取下一個輸入行

• exit：退出主輸入迴圈，進入END，若沒有END或END中有exit語句，則退出指令碼。

陣列

在awk中陣列叫做關聯陣列(associative arrays)。awk 中的陣列不必提前宣告，也不必宣告大小。陣列元素用0或空字串來初始化，這根據上下文而定。

1. awk 'BEGIN{ 
2.         Array[1]="sun"  
3.         Array[2]="kai" 
4.         Array["first"]="www"  
5.         Array["last"]="name"  
6.         Array["birth"]="1987" 
7.         info = "it is a test"; 
8.         lens = split(info,tA," "); 
9.         for(item in tA) 
10.         {print tA[item];} 
11.         for(i=1;i<=lens;i++) 
12.         {print tA[i];} 
13.         print length(tA[lens]); 
14.         } { 
15.         print "item in array"; 
16.         for(item in Array) {print Array[item]}; 
17.         print "print in i++"; 
18.         for(i=1;i<=length(Array);i++) {print Array[i]};   
19.         }' 

• 獲取陣列長度

1. awk 'BEGIN{ 
2.         info="it is a test"; 
3.         lens=split(info,tA," ");    #使用split函式獲取陣列長度 
4.         print length(tA),lens;      #使用length函式獲取陣列長度（版本有要求） 
5.         }' 

**說明：** **版本夠高**的awk當中，支援直接得到陣列長度的方法length()，如果awk的版本過低，則不支援。另外，如果傳給length的變數是一個字串，那麼length返回的則字串的長度。

• 輸出陣列內容

  • 有序輸出 for...in

    因為陣列時關聯陣列，預設是無序的

  • 無序輸出 for(i=1;i<l=ens;i++)

    陣列下標從1開始

• 判斷鍵值是否存在

1. #錯誤的判斷方法，awk陣列是關聯陣列，只要通過陣列引用它的KEY，就會自動建立。 
2. awk 'BEGIN{ 
3.     tB["a"]="a1"; 
4.     tB["b"]="b1"; 
5.     if(tB["c"]!="1"){   #tB["c"]沒有定義，但是迴圈的時候會輸出 
6.         print "no found"; 
7.     }; 
8.     for(k in tB){ 
9.         print k,tB[k]; 
10.     }}' 
11. #正確的判定方法：使用 if ( key in array) 判斷陣列中是否包含 鍵值 
12. awk 'BEGIN{ 
13.         tB["a"]="a1"; 
14.         tB["b"]="b1"; 
15.         if( "c" in tB){ 
16.             print "ok"; 
17.         }; 
18.         for(k in tB){ 
19.             print k,tB[k]; 
20.         }}' 

• 刪除鍵值
  delete array[key]可以刪除，對應陣列key的，序列值。

1. awk 'BEGIN{ 
2.         tB["a"]="a1"; 
3.         tB["b"]="b1"; 
4.         delete tB["a"]; 
5.         for(k in tB){ 
6.             print k,tB[k]; 
7.         }}' 

• 二維，多維陣列
  awk的多維陣列在本質上是一維陣列，更確切一點，awk在儲存上並不支援多維陣列。awk提供了邏輯上模擬二維陣列的訪問方式。例如，array[2,4]=1這樣的訪問是允許的。awk使用一個特殊的字串SUBSEP作為分割欄位。 類似一維陣列的成員測試，多維陣列可以使用if ( (i,j) in array)這樣的語法，但是下標必須放置在圓括號中。類似一維陣列的迴圈訪問，多維陣列使用for ( item in array )這樣的語法遍歷陣列。與一維陣列不同的是，多維陣列必須使用split()函式來訪問單獨的下標分量。

1. awk 'BEGIN{  
2.     for(i=1;i<=9;i++){  
3.         for(j=1;j<=9;j++){  
4.             tarr[i,j]=i*j;  
5.             print i,"*",j,"=",tarr[i,j];  
6.             } 
7.         } 
8.      }' 
9. awk 'BEGIN{  
10.         for(i=1;i<=9;i++){  
11.             for(j=1;j<=9;j++){  
12.                     tarr[i,j]=i*j; } } 
13.         for(m in tarr){  
14.             split(m,tarr2,SUBSEP);  
15.             print tarr2[1],"*",tarr2[2],"=",tarr[m]; } }' 

內建函式

算術函式

1. awk 'BEGIN{ 
2.         OFMT="%.3f";    #OFMT 設定輸出資料格式是保留3位小數。 
3.         fs=sin(1); 
4.         fe=exp(10); 
5.         fl=log(10); 
6.         fi=int(3.1415); 
7.         print fs,fe,fl,fi; 
8.         }' 
9. 輸出結果為：0.841 22026.466 2.303 3 
10. awk 'BEGIN{ 
11.         srand(); 
12.         fr=int(100*rand()); 
13.         print fr; 
14.         }'  
15. 輸出：78 

字串函式

說明： Ere都可以是正則表示式。

時間函式

strftime日期和時間格式說明符 :