一、工作原理

• 逐行讀取文字，預設以空格或tab鍵為分隔符進行分隔，將分隔所得的各個欄位儲存到內建變數中，並按模式或者條件執行編輯命令

• sed命令常用於一整行的處理，而awk比較傾向於將一行分成多個“欄位”然後再進行處理。awk資訊的讀入也是逐行讀取的，執行結果可以通過print的功能將欄位資料列印顯示

• 在使用awk命令的過程中，可以使用邏輯操作符“&&”表示“與”、“| |”表示“或”、“!“表示“非”;還可以進行簡單的數學運算，如+、-、*、/、%、^分別表示加、減、乘、除、取餘和乘方

1、命令格式

awk 選項 '模式或條件 {操作}'檔案1 檔案2 ...
awk -f  指令碼檔案 檔案1 檔案2 ...
 

2、awk常見的內建變數(可直接用)如下所示

FS: 列分割符。指定每行文字的欄位分隔符，預設為空格或製表位。與"-F"作用相同

NF: 當前處理的行的欄位個數

NR: 當前處理的行的行號(序數)

$0: 當前處理的行的整行內容

$n: 當前處理行的第n個欄位(第n列)

FILENAME: 被處理的檔名

RS: 行分隔符。awk從檔案.上讀取資料時,將根據RS的定義把資料切割成許多條記錄,而awk-次僅讀入一條記錄,以進行處理。預設值是'\n'

二、按行輸出文字

awk '{print}' testfile2                  #輸出所有內容
awk '{print $0}' testfile2               #輸出所有內容

awk 'NR==1,NR==3{print}' testfile2       #輸出第1~3行內容
awk '(NR>=1)&& (NR<=3){print}' testfile2 #輸出第1~3 行內容

awk 'NR==1||NR==3{print}' testfile2      #輸出第1行、第3行內容

awk '(NR%2)==1{print}' testfile2        #輸出所有奇數行的內容
awk '(NR%2)==0{print}'testfile2         #輸出所有偶數行的內容

awk '/^root/{print}' /etc/passwd         #輸出以root開頭的行
awk '/nologin$/{print}' /etc/passwd      #輸出以nologin 結尾的行

awk 'BEGIN {x=0};/\/bin\/bash$/{x++};END{print x}' /etc/passwd    #統計以/bin/bash結尾的行數，等同於grep -c "/bin/bash$" /etc/passwd
BEGIN模式表示，在處理指定的文字之前，需要先執行BEGIN模式中指定的動作; awk再處理指定的文字，之後再執行END模式中指定的動作,END{}語句塊中，
往往會放入列印結果等語句
 

三、按欄位輸出文字

awk -F ":" '{print $3}' /etc/passwd   #輸出每行中(以空格或製表位分隔)的第3個欄位

awk -F ":" '{print $1,$3}' /etc/passwd   #輸出每行中的第1、3個欄位

awk -F ":" '$3<5{print $1,$3}' /etc/passwd #輸出第3個欄位的值小於5的第1、3個欄位內容

awk -F ":" '!($3<200){print}' /etc/passwd  #輸出第3個欄位的值不小於200的行

awk 'BEGIN {FS=":"}; {if($3>=1000){print}}' /etc/passwd #先處理完BEGIN的內容， 再列印文本里面的內容

awk -F ":" '{max=($3>=$4)?$3:$4;{print max}}' /etc/passwd  # ($3>$4)?$3:$4三元運算子，如果第3個欄位的值大於等於第4個欄位的值，則把第3個欄位的值賦給max，否則第4個欄位的值賦給max

awk -F ":" '{print NR,$0}' /etc/passwd   #輸出每行內容和行號，每處理完一條記錄，NR值加1

awk -F ":" '$7~"/bash"{print $1}' /etc/passwd   #輸出以冒號分隔且第7個欄位中包含/bash的行的第1個欄位

awk -F ":" '($1~"root")&&(NF==7){print $1, $2}' /etc/passwd #輸出第1個欄位中包含root且有7個欄位的行的第1、2個欄位

awk -F ":" '($7!="/bin/bash")&&($7!="/sbin/nologin"){print}' /etc/passwd #輸出第7個欄位既不為/bin/bash，也不為/sbin/nologin的所有行
 

四、通過管道，雙引號呼叫shall命令

echo $PATH | awk 'BEGIN{RS=":"};END{print NR}'   #統計以冒號分隔的文字段落數，END{}語句塊中，往往會放入列印結果等語句

awk -F: '/bash$/{print | "wc -l"}' /etc/passwd   #呼叫wc -1命令統計使用bash 的使用者個數,等同於grep -c "bash$" /etc/passwd

free -m | awk '/Mem:/ {print int($3/($3+$4)*100)"%"}'  #檢視當前 記憶體使用百分比

top -b -n 1| grep Cpu | awk -F ',' '{print$4}'| awk '{print$1}'   #檢視當前CPU空閒率，(-b-n 1 表示只需要1次的輸出結果)

date -d "$(awk -F "." '{print $1}' /proc/uptime) second ago" +"%F %H:%M:%S"     #顯示上次系統重啟時間，等同於upt ime; second ago為顯示多少秒前的時間，+"%F %H: %M:%S"等同於+"*Y-%m-%d %H:%M:%S"的時間格式

awk 'BEGIN {n=0 ; while ("w" | getline) n++ ; {print n-2}}' #呼叫w命令,並用來統計線上使用者數

awk 'BEGIN {"hostname" | getline ; {print $0}}'  #呼叫hostname, 並輸出當前的主機名

CPU使用率

cpu_us=`top -b -n 1 | grep Cpu | awk '{print $2}'`
cpu_sy=`top -b -n 1 | grep Cpu | awk -F ',' '{print $2}' | awk '{print $1}'`
cpu_sum=$(($cpu_us+$cpu_sy))
echo $cpu_sum

• 當getline左右無重定向符“<”或“1”時，awk首先讀取到了第一行，就是1，然後getline， 就得到了1下面的第二行，就是2，因為getline之後，awk會改變對應的NF, NR, FNR和$0等內部變數，所以此時的$0的值就不再是1，而是2了，然後將它打印出來

• 當getline左右有重定向符“<”或“|”時，getline則作用於定向輸入檔案，由於該檔案是剛開啟，並沒有被awk讀入一行，只是getline讀入，那麼getline返回的是該檔案的第一 行，而不是隔行

seq 10 | awk '{getline; print $0}'
seq 10 | awk '{print $0; getline}'

注：seq 用於生成從一個數到另一個數之間的所有整數

echo "A B C D" | awk '{OFS="|";print $0;$1=$1;print $0}'
ABCD
AIBICID
$1=$1是用來啟用$0的重新賦值，也就是說欄位$1...和欄位數NF的改變會促使awk重新計算$0的值,通常是在改變OFS後而需要輸出$0時這樣做

五、使用awk統計httpd訪問日誌中每個客戶端IP的出現次數

awk '{ip[$1]++}END{for(i in ip) {print ip[i],i}}' /var/log/httpd/access_log | sort -r

備註:定義陣列，陣列名稱為ip，數字的下標為日誌檔案的第1列(也就是客戶端的IP地址)，++的目的在於對客戶端進行統計計數，客戶端.
IP出現一次計數器就加1。END中的指令在讀取完檔案後執行，通過迴圈將所有統計資訊輸出，for 迴圈遍歷的是陣列名ip的下標

六、cpu負載,記憶體容量,硬碟空間,網絡卡流量,安裝的軟體包數量,賬戶數量,當前登入的賬戶數量,程序數量,輸錯密碼的主機

uptime, free -m,df -h, ifconfig ens33, rpm -qa|wc -l, /etc/passwd, who,ps aux, /var/log/secure

#!/bin/bash
#cpu負載,記憶體容量,硬碟空間,網絡卡流量,安裝的軟體包數量,賬戶數量,當前登入的賬戶數量,程序數量,輸錯密碼的主機
#uptime，free -m,df -h, ifconfig ens33,rpm -qa | wc -l,/etc/passwd,who,ps aux,ar/logcure
ip=`ifconfig ens33 | awk '/inet /{print $2}'`
echo "本地IP地址是:" $ip

cpu=`uptime |awk '{print $NF}'`
#awk中NF為當前行的列數，$NF是最後一-列
echo "本機CPU最近15分鐘的負載是:" $cpu

net_in=`ifconfig ens33 | awk '/RX p/{print $5}'`
echo "入站網絡卡流量為:" $net_in

net_out=`ifconfig ens33 | awk '/TX p/{print $5}'`
echo "出站網絡卡流量為:" $net_out

mem=`free -m | awk '/^Mem/ {print $4}'`
echo "記憶體剩餘容量為:" $mem

disk=`df -h| awk '/sda1/{print $4}'`
echo "根分割槽剩餘容量為:" $disk

user=`cat /etc/passwd| wc -l`
echo "本地賬戶數量為:" $user

login=`who | wc -l`
echo "當前登陸計算機的賬戶數量為:" $login

process=`ps aux | wc -l`
echo "當前計算機啟動的程序數量為:" $process

soft=`rpm -qa | wc -l`
echo "當前計算機己安裝的軟體數量為:" $soft

七、過濾密碼失敗的命令

awk 'BEGIN {ip[$11]=0}; /Failed password/ {ip[$11]++};END {for(i in ip){print i,ip[i]}}' /var/log/secure

八、cpu 使用情況

#!/bin/bash

us=`top -b -n 1 | grep Cpu | awk '{print $2}'`
echo "使用者佔用率為：" $us
sy=`top -b -n 1 | grep Cpu | awk -F "," '{print $2}' | awk '{print $1}'`
echo "核心佔用率為：" $sy
id=`top -b -n 1 | grep Cpu | awk -F ',' '{print $4}'| awk '{print $1}'`
echo "cpu空閒率為：" $id