精通awk系列(8)：awk劃分欄位的3種方式
回到：
- Linux系列文章
- Shell系列文章
- Awk系列文章
詳細分析awk欄位分割
awk讀取每一條記錄之後，會將其賦值給$0，同時還會對這條記錄按照預定義變數FS劃分欄位，將劃分好的各個欄位分別賦值給$1 $2 $3 $4...$N，同時將劃分的欄位數量賦值給預定義變數NF。
引用欄位的方式
$N引用欄位：
N=0：即$0，引用記錄本身
0<N<=NF：引用對應欄位
N>NF：表示引用不存在的欄位，返回空字串
N<0：報錯
可使用變數或計算的方式指定要獲取的欄位序號。
awk '{n = 5;print $n}' a.txt awk '{print $(2+2)}' a.txt # 括號必不可少，用於改變優先順序 awk '{print $(NF-3)}' a.txt
分割欄位的方式
讀取record之後，將使用預定義變數FS、FIELDWIDTHS或FPAT中的一種來分割欄位。分割完成之後，再進入main程式碼段(所以，在main中設定FS對本次已經讀取的record是沒有影響的，但會影響下次讀取)。
劃分欄位方式(一)：FS或-F
FS或者-F：欄位分隔符
- FS為單個字元時，該字元即為欄位分隔符
- FS為多個字元時，則採用正則表示式模式作為欄位分隔符
- 特殊的，也是FS預設的情況，FS為單個空格時，將以連續的空白（空格、製表符、換行符）作為欄位分隔符
- 特殊的，FS為空字串""時，將對每個字元都進行分隔，即每個字元都作為一個欄位
- 設定預定義變數IGNORECASE為非零值，正則匹配時表示忽略大小寫(隻影響正則，所以FS為單字時無影響)
- 如果record中無法找到FS指定的分隔符(例如將FS設定為"\n")，則整個記錄作為一個欄位，即
$1和$0相等
# 欄位分隔符指定為單個字元 awk -F":" '{print $1}' /etc/passwd awk 'BEGIN{FS=":"}{print $1}' /etc/passwd # 欄位分隔符指定為正則表示式 awk 'BEGIN{FS=" +|@"}{print $1,$2,$3,$4,$5,$6}' a.txt
劃分欄位方式(二)：FIELDWIDTHS
指定預定義變數FIELDWIDTHS按字元寬度分割欄位，這是gawk提供的高階功能。在處理某欄位缺失時非常好用。
用法：
示例1：
# 沒取完的字串DDD被丟棄，且NF=3
$ awk 'BEGIN{FIELDWIDTHS="2 3 2"}{print $1,$2,$3,$4}' <<<"AABBBCCDDDD"
AA BBB CC
# 字串不夠長度時無視
$ awk 'BEGIN{FIELDWIDTHS="2 3 2 100"}{print $1,$2,$3,$4"-"}' <<<"AABBBCCDDDD"
AA BBB CC DDDD-
# *號取剩餘所有，NF=3
$ awk 'BEGIN{FIELDWIDTHS="2 3 *"}{print $1,$2,$3}' <<<"AABBBCCDDDD"
AA BBB CCDDDD
# 欄位數多了，則取完字串即可，NF=2
$ awk 'BEGIN{FIELDWIDTHS="2 30 *"}{print $1,$2,NF}' <<<"AABBBCCDDDD"
AA BBBCCDDDD 2示例2：處理某些欄位缺失的資料。
如果按照常規的FS進行欄位分割，則對於缺失欄位的行和沒有缺失欄位的行很難統一處理，但使用FIELDWIDTHS則非常方便。
假設a.txt文字內容如下：
ID name gender age email phone
1 Bob male 28 [email protected] 18023394012
2 Alice female 24 [email protected] 18084925203
3 Tony male 21 [email protected] 17048792503
4 Kevin male 21 [email protected] 17023929033
5 Alex male 18 18185904230
6 Andy female 22 [email protected] 18923902352
7 Jerry female 25 [email protected] 18785234906
8 Peter male 20 [email protected] 17729348758
9 Steven female 23 [email protected] 15947893212
10 Bruce female 27 [email protected] 13942943905因為email欄位有的是空欄位，所以直接用FS劃分欄位不便處理。可使用FIELDWIDTHS。
# 欄位1：4字元
# 欄位2：8字元
# 欄位3：8字元
# 欄位4：2字元
# 欄位5：先跳過3字元，再讀13字元，該欄位13字元
# 欄位6：先跳過2字元，再讀11字元，該欄位11字元
awk '
BEGIN{FIELDWIDTHS="4 8 8 2 3:13 2:11"}
NR>1{
print "<"$1">","<"$2">","<"$3">","<"$4">","<"$5">","<"$6">"
}' a.txt
# 如果email為空，則輸出它
awk '
BEGIN{FIELDWIDTHS="4 8 8 2 3:13 2:11"}
NR>1{
if($5 ~ /^ +$/){print $0}
}' a.txt劃分欄位方式(三)：FPAT
FS是指定欄位分隔符，來取得除分隔符外的部分作為欄位。
FPAT是取得匹配的字元部分作為欄位。它是gawk提供的一個高階功能。
FPAT根據指定的正則來全域性匹配record，然後將所有匹配成功的部分組成$1、$2...，不會修改$0。
awk 'BEGIN{FPAT="[0-9]+"}{print $3"-"}' a.txt
- 之後再設定FS或FPAT，該變數將失效
FPAT常用於欄位中包含了欄位分隔符的場景。例如，CSV檔案中的一行資料如下：
Robbins,Arnold,"1234 A Pretty Street, NE",MyTown,MyState,12345-6789,USA其中逗號分隔每個欄位，但雙引號包圍的是一個欄位整體，即使其中有逗號。
這時使用FPAT來劃分各欄位比使用FS要方便的多。
echo 'Robbins,Arnold,"1234 A Pretty Street, NE",MyTown,MyState,12345-6789,USA' |\
awk '
BEGIN{FPAT="[^,]*|(\"[^\"]*\")"}
{
for (i=1;i<NF;i++){
print "<"$i">"
}
}
'最後，patsplit()函式和FPAT的功能一樣。
檢查欄位劃分的方式
有FS、FIELDWIDTHS、FPAT三種獲取欄位的方式，可使用PROCINFO陣列來確定本次使用何種方式獲得欄位。
PROCINFO是一個數組，記錄了awk程序工作時的狀態資訊。
如果：
PROCINFO["FS"]=="FS"，表示使用FS分割獲取欄位
PROCINFO["FPAT"]=="FPAT"，表示使用FPAT匹配獲取欄位
PROCINFO["FIELDWIDTHS"]=="FIELDWIDTHS"，表示使用FIELDWIDTHS分割獲取欄位
例如：
if(PROCINFO["FS"]=="FS"){
...FS spliting...
} else if(PROCINFO["FPAT"]=="FPAT"){
...FPAT spliting...
} else if(PROCINFO["FIELDWIDTHS"]=="FIELDWIDTHS"){
...FIELDWIDTHS spliting...
}