awk：格式化文字輸出
awk是逐行處理的，逐行處理的意思就是說，當awk處理一個文字時，會一行一行進行處理，處理完當前行，再處理下一行，awk預設以"換行符"為標記，識別每一行，也就是說，awk跟我們人類一樣，每次遇到"回車換行"，就認為是當前行的結束，新的一行的開始，awk會按照使用者指定的分割符去分割當前行，如果沒有指定分割符，預設使用空格或者tab鍵作為分隔符。

基本用法：
awk [options] ‘program’ var=value file…
awk [options] -f programfile var=value file…
awk [options] ‘BEGIN{ action;… } pattern{ action;… } END{ action;… }’ file …
awk 程式通常由：BEGIN語句塊、能夠使用模式匹配的通用語句塊、END語句塊，共3部分組成
program通常是被單引號或雙引號中

常用選項
-F：指定分隔符
-v：後面帶變數
-f：引用program指令碼

欄位
把每一行用指定的分隔符隔開，每一小段就稱為一個欄位。
$1：表示第一個欄位
$N：表示第N個欄位
$NF：表示最後一個欄位
$(NF-1)：表示倒數第二個欄位

記錄
1.平時不指定記錄分隔符的話，預設每一行就是一條記錄。我們也可以指定記錄分隔符。
2.RS：可以定義一條記錄的分隔符，預設是\n
3.記錄不一定是在同一行的，也有有可能跨多行
4.通常不會指定分隔符，都是以一行作為一條記錄，瞭解一下即可

例子：
[[email protected]_101 data]#cat temp.txt
1,2,3;A,B,C;a,b,c 如果以";“作為記錄分隔符的話，這一行有3條記錄。
[

變數
變數：分為內建和自定義變數。

常見變數：
FS：輸入欄位分隔符，預設為空白字元
OFS：輸出欄位分隔符，預設為空白字元
RS：輸入記錄分隔符，指定輸入時的換行符
ORS：輸出記錄分隔符，輸出時用指定符號代替換行符
NF：欄位數量
NR：記錄號
FNR：各檔案分別計數,記錄號
FILENAME：當前檔名

例子：
1.如果是awk內變數，直接寫上變數名即可
#awk -v FS=":" ‘{print $1FS$4}’ /etc/passwd

2.也可以引用shell中的變數，KaTeX parse error: Expected 'EOF', got '#' at position 5: var #̲fs=:;awk -v FS=fs ‘{print $1FS$4}’ /etc/passwd

3.指定輸出分隔符為tab鍵:\t
#awk -v FS=":" -v OFS="\t" ‘{print $1,$4}’ /etc/passwd

自定義變數
1.格式：-v var=" "
2.直接在program內定義

例子：
#awk -F":" -v USER=“username” -v UID=“userid” ‘{print USER":"$1,UID":"$3}’ /etc/passwd

另一中寫法：
#awk -F":" ‘{USER=“username”;UID=“userid”;print USER":"$1,UID":"$3}’ /etc/passwd

printf格式化列印
定義格式化輸出。
格式化輸出：printf “FORMAT”, 欄位1, 欄位2, …
(1) 必須指定FORMAT
(2) 不會自動換行，需要顯式給出換行控制符，\n

FORMAT中需要分別為後面每個欄位指定格式符
格式符：與欄位一一對應
%c: 顯示字元的ASCII碼
%d, %i: 顯示十進位制整數
%e, %E:顯示科學計數法數值
%f：顯示為浮點數
%g, %G：以科學計數法或浮點形式顯示數值
：顯示字串
%u：無符號整數
%%: 顯示%自身

修飾符：
#[.#]：第一個數字控制顯示的總寬度；第二個#表示小數點位數，沒有四捨五入：%3.1f
-: 左對齊（預設右對齊） %-15s
+：顯示數值的正負符號 %+d

同時使用多個分隔符
1.下例使用"空格 和 :“作為分隔符
[[email protected]_101 data]#echo “a:c b;1:2 3” |awk -v RS=”;" -F"[ :]" ‘{print $1,$2,$3}’
a c b
1 2 3

2.一個或者多個空格和%作為分隔符
[[email protected]_101 ~]#df | awk -F" +|%" ‘/^/dev/sda/{print $1,$5}’
/dev/sda2 21
/dev/sda5 1
/dev/sda1 17

例子：
1.-表示左對齊
#awk -F":" ‘{printf “%-30s %-10d\n”,$1,$3}’ /etc/passwd

操作符
1.算術操作符：
x+y, x-y, x*y, x/y, x^y, x%y

• x：轉換為負數
  +x：將字串轉換為數值

2.字串操作符：沒有符號的操作符，字串連線
賦值操作符：
=, +=, -=, *=, /=, %=, ^=，++, –

例子：
•awk ‘BEGIN{i=0;print ++i,i}’：先運算加1，再列印
•awk ‘BEGIN{i=0;print i++,i}’：先列印，再運算加1

3.比較操作符：
==, !=, >, >=, <, <=
例子：
[[email protected]_101 ~]#awk -F: ‘$3==0{print $0}’ /etc/passwd
root❌0:0:root:/root:/bin/bash

[[email protected]_101 ~]#awk -F: ‘$3>=1000{print $0}’ /etc/passwd
nfsnobody❌65534:65534:Anonymous NFS User:/var/lib/nfs:/sbin/nologin
chen❌1000:1000:chen:/home/chen:/bin/bash
bash❌1001:1002::/home/test:/bin/bash

==和=的區別
#awk -F: ‘$3==1{print $0}’ /etc/passwd ：這個查詢$3的值等於1的行
#awk -F: ‘$3=1{print $0}’ /etc/passwd：這個是把所有$3的值賦值等於1

4.模式匹配符：
~：左邊是否和右邊匹配包含 !~：是否不匹配
匹配內容用//，//內可以使用正則表示式
例子：
[[email protected]_101 ~]#awk -F: ‘$0~/root/{print $1}’ /etc/passwd
root
operator

[[email protected]_101 ~]#awk -F: ‘/bash$/{print $0}’ /etc/passwd
root❌0:0:root:/root:/bin/bash
chen❌1000:1000:chen:/home/chen:/bin/bash
bash❌1001:1002::/home/test:/bin/bash

5.邏輯操作符
與&&：條件同時滿足
或||：其他一個條件滿足即可
非!：條件結果取反

例子：
[[email protected]_101 ~]#awk -F: ‘$3>=0 && $3 <=100{print $1}’ /etc/passwd
[[email protected]_101 ~]#awk -F: ‘$3==0 || $3>=1000{print $1}’ /etc/passwd

下面2兩種等價
[[email protected]_101 ~]#awk -F: ‘!($3==0){print $1}’ /etc/passwd
[[email protected]_101 ~]#awk -F: ‘$3!=0{print $1}’ /etc/passwd

取反操作
[[email protected]_101 ~]#awk -F: ‘$3>=500{print $1}’ /etc/passwd
[[email protected]_101 ~]#awk -F: ‘!($3>=500){print $1}’ /etc/passwd

6.條件表示式（三目表示式）
selector?if-true-expression:if-false-expression
A?B:C–表示A為真，執行B，A為假，執行C
例子：
[[email protected]_101 ~]#awk -F: ‘{$3>=1000?usertype=“Common User”:usertype=“SysUser”;printf “%30s:%-s\n”,$1,usertype }’ /etc/passwd

awk的PATTERN
PATTERN:根據pattern條件，過濾匹配的行，再做處理
(1)如果未指定：空模式，匹配每一行
(2) /regular expression/：僅處理能夠模式匹配到的行，需要用/ /括起來

例子：
awk ‘/^UUID/{print $1}’ /etc/fstab
awk ‘!/^UUID/{print $1}’ /etc/fstab

統計連線IP數
[[email protected]_101 ~]#netstat -nt | awk -F" +|:" ‘/^tcp/{print $6}’ | sort |uniq -c |sort -rn
3 172.20.34.100
1 172.20.34.102

指定某一行匹配正則表示式
[[email protected]_101 data]#awk -F: ‘$NF ~ /bash$/{print $1,$NF}’ /etc/passwd

(3) relational expression: 關係表示式，結果為“真”才會被處理
真：結果為非0值，非空字串
假：結果為空字串或0值

例子：
[[email protected]_101 data]#awk –F: ‘$3>=1000{print $1,$3}’ /etc/passwd
[[email protected]_101 data]#awk -F: ‘$3<1000{print $1,KaTeX parse error: Expected 'EOF', got '}' at position 2: 3}̲' /etc/passwd […NF=="/bin/bash"{print $1,$NF}’ /etc/passwd

(4) line ranges：行範圍
startline,endline：/pat1/,/pat2/ 不支援直接給出數字格式

例子:
[[email protected]_101 data]#awk -F: ‘/^root>/,/nobody>/{print $1}’ /etc/passwd
[[email protected]_101 data]#awk -F: ‘(NR>=10&&NR<=20){print NR,$1}’ /etc/passwd
[[email protected]_101 data]#awk -F: ‘/^b/,/f/’ /etc/passwd

(5) BEGIN/END模式
格式：‘BEGIN{ action;… } pattern{ action;… } END{ action;… }’
BEGIN{}: 僅在開始處理檔案中的文字之前執行一次
END{}：僅在文字處理完成之後執行一次

例子：
[[email protected]_101 data]#awk -F: ‘BEGIN{print “USER USERID”}{print $1":"$3}END{print “end file”}’ /etc/passwd

[[email protected]_101 data]#awk -F: ‘{print “USER USERID”;print $1":"$3} END{print “end file”}’ /etc/passwd

[[email protected]_101 data]#awk -F: ‘BEGIN{print “USER UID \n----------”}END{print “USER UID\n==========”}’ /etc/passwd

[[email protected]_101 data]#seq 10 | awk ‘i=!i’
1
3
5
7
9
[[email protected]_101 data]#seq 10 | awk -v i=1 ‘i=!i’
2
4
6
8
10

等價於：
#seq 10 | sed -n ‘1~2p’
#seq 10 | sed -n ‘2~2p’
#seq 1 2 10