linux awk命令使用例項
AWK是一個優良的文字處理工具，Linux及Unix環境中現有的功能最強大的資料處理引擎之一。這種程式設計及資料操作語言（其名稱得自於它的創始人阿爾佛雷德·艾侯、彼得·溫伯格和布萊恩·柯林漢姓氏的首個字母）的最大功能取決於一個人所擁有的知識。
使用方法
awk '{pattern + action}' {filenames}
儘管操作可能會很複雜，但語法總是這樣，其中 pattern 表示 AWK 在資料中查詢的內容，而 action 是在找到匹配內容時所執行的一系列命令。花括號（{}）不需要在程式中始終出現，但它們用於根據特定的模式對一系列指令進行分組。 pattern就是要表示的正則表示式，用斜槓括起來。
awk語言的最基本功能是在檔案或者字串中基於指定規則瀏覽和抽取資訊，awk抽取資訊後，才能進行其他文字操作。完整的awk指令碼通常用來格式化文字檔案中的資訊。
通常，awk是以檔案的一行為處理單位的。awk每接收檔案的一行，然後執行相應的命令，來處理文字。
示例：
列印系統帶有java欄位的所有程序的第7列：
ps -ef | grep java | awk '{print $7}'-bash-4.1$ ps -ef | grep java | awk '{print $7}'
02:14:53
00:00:00
00:53:49
00:56:24
00:39:20
01:00:56
05:19:08
列印系統帶有java欄位的所有程序的第三行，顯示數值為當前行與上面所有行疊加的結果:
-bash-4.1$ ps -ef | grep java | awk '{print sum=sum+$3}'
1
20812
20813
20814
20815
20816
44796列印系統帶有java欄位的所有程序的第三行的值的總和:
-bash-4.1$ ps -ef | grep java | awk '{sum=sum+$3};END {print sum}'
44796顯示/etc/passwd的賬戶 用:做分隔符
-bash-4.1$ cat /etc/passwd | awk -F ':' '{print $1}'
root
bin
daemon
adm
lpBEGIN 和 END 連用示例:
-bash-4.1$ ps -ef | grep java | awk 'BEGIN {print "UID,PPID"} {print $1","$3};END {print "The End"}'
UID,PPID
root,1
qauser,20811
root,1
root,1
root,1
root,1
root,23980
The End
搜尋並顯示包含關鍵字的資訊：
-bash-4.1$ ps -ef | awk '/kth/'
root 2 0 0 2015 ? 00:00:00 [kthreadd]
root 88 2 0 2015 ? 00:00:00 [kthrotld/0]
root 89 2 0 2015 ? 00:00:00 [kthrotld/1]
root 90 2 0 2015 ? 00:00:00 [kthrotld/2]
root 91 2 0 2015 ? 00:00:00 [kthrotld/3]
qauser 21831 20811 0 17:26 pts/0 00:00:00 awk /kth/
-bash-4.1$awk內建變數
awk有許多內建變數用來設定環境資訊，這些變數可以被改變，下面給出了最常用的一些變數。
ARGC 命令列引數個數
ARGV 命令列引數排列
ENVIRON 支援佇列中系統環境變數的使用
FILENAME awk瀏覽的檔名
FNR 瀏覽檔案的記錄數
FS 設定輸入域分隔符，等價於命令列 -F選項
NF 瀏覽記錄的域的個數
NR 已讀的記錄數
OFS 輸出域分隔符
ORS 輸出記錄分隔符
RS 控制記錄分隔符使用內建變數例項:
列印程序資訊包含"java"的程序的列數 和 命令列引數個數:
-bash-4.1$ ps -ef | awk '/java/{print "NF:" NF " ARGC:" ARGC}'
NF:22 ARGC:1
NF:14 ARGC:1
NF:22 ARGC:1
NF:22 ARGC:1
NF:22 ARGC:1
NF:22 ARGC:1
NF:30 ARGC:1print和printf
awk中同時提供了print和printf兩種列印輸出的函式。
其中print函式的引數可以是變數、數值或者字串。字串必須用雙引號引用，引數用逗號分隔。如果沒有逗號，引數就串聯在一起而無法區分。這裡，逗號的作用與輸出檔案的分隔符的作用是一樣的，只是後者是空格而已。
printf函式，其用法和c語言中printf基本相似,可以格式化字串,輸出複雜時，printf更加好用，程式碼更易懂。
修改上面例項如下:-bash-4.1$ ps -ef | awk '/java/{printf("NF: %s ARGC: %s\n",NF,ARGC)}'
NF: 22 ARGC: 1
NF: 12 ARGC: 1
NF: 22 ARGC: 1
NF: 22 ARGC: 1
NF: 22 ARGC: 1
NF: 22 ARGC: 1
NF: 30 ARGC: 1關於awk程式設計因時間關係引用別人的一段博文簡單介紹一下:
awk程式設計
變數和賦值
除了awk的內建變數，awk還可以自定義變數。
下面統計/etc/passwd的賬戶人數
awk '{count++;print $0;} END{print "user count is ", count}' /etc/passwd root:x:0:0:root:/root:/bin/bash ...... user count is 40
count是自定義變數。之前的action{}裡都是隻有一個print,其實print只是一個語句，而action{}可以有多個語句，以;號隔開。
這裡沒有初始化count，雖然預設是0，但是妥當的做法還是初始化為0:
awk 'BEGIN {count=0;print "[start]user count is ", count} {count=count+1;print $0;} END{print "[end]user count is ", count}' /etc/passwd [start]user count is 0 root:x:0:0:root:/root:/bin/bash ... [end]user count is 40
統計某個資料夾下的檔案佔用的位元組數
ls -l |awk 'BEGIN {size=0;} {size=size+$5;} END{print "[end]size is ", size}' [end]size is 8657198
如果以M為單位顯示:
ls -l |awk 'BEGIN {size=0;} {size=size+$5;} END{print "[end]size is ", size/1024/1024,"M"}' [end]size is 8.25889 M
注意，統計不包括資料夾的子目錄。
條件語句
awk中的條件語句是從C語言中借鑑來的，見如下宣告方式：
if (expression) { statement; statement; ... ... } if (expression) { statement; } else { statement2; } if (expression) { statement1; } else if (expression1) { statement2; } else { statement3; }
統計某個資料夾下的檔案佔用的位元組數,過濾4096大小的檔案(一般都是資料夾):
ls -l |awk 'BEGIN {size=0;print "[start]size is ", size} {if($5!=4096){size=size+$5;}} END{print "[end]size is ", size/1024/1024,"M"}' [end]size is 8.22339 M
迴圈語句
awk中的迴圈語句同樣借鑑於C語言，支援while、do/while、for、break、continue，這些關鍵字的語義和C語言中的語義完全相同。
陣列
因為awk中陣列的下標可以是數字和字母，陣列的下標通常被稱為關鍵字(key)。值和關鍵字都儲存在內部的一張針對key/value應用hash的表格裡。由於hash不是順序儲存，因此在顯示陣列內容時會發現，它們並不是按照你預料的順序顯示出來的。陣列和變數一樣，都是在使用時自動建立的，awk也同樣會自動判斷其儲存的是數字還是字串。一般而言，awk中的陣列用來從記錄中收集資訊，可以用於計算總和、統計單詞以及跟蹤模板被匹配的次數等等。
顯示/etc/passwd的賬戶
awk -F ':' 'BEGIN {count=0;} {name[count] = $1;count++;}; END{for (i = 0; i < NR; i++) print i, name[i]}' /etc/passwd 0 root 1 daemon 2 bin 3 sys 4 sync 5 games ......
這裡使用for迴圈遍歷陣列