2. 程式人生 > >文本三劍客之awk

文本三劍客之awk

阿新 • • 發佈：2018-09-01
urn 邏輯或 mark bre 取出 整數 空格 讀取文件 val

awk是一種報告生成器，能夠格式化輸出文本，有著多種版本，我們主要使用的是GNU awk，通常也稱之為gawk，可以進行模式掃描和處理的語言。

1.awk語法

awk的基本語法如下:

awk [options] ‘program’ var=value file…
awk [options] -f programfile var=value file…
awk [options]  ‘BEGIN{ action;… } pattern{ action;… } END{ action;… }‘  file

第一句的語法是awk加上選項，加上程序部分，加上變量，最後是要操作的文件路徑
第二句的語法是awk加上選項，接一個-f，後面是程序部分，不過此處的程序不在是一串代碼，而是一個文件，這個文件的內容是程序代碼，後面是變量和要操作的文件名

第三句的代碼是awk加上選項，後面接的是程序部分，它由BEGIN，pattern，END三部分中的部分組成，後面接的是要操作的文件名。
程序代碼部分是需要用單引號或者雙引號引起來，這樣能夠將awk的代碼和shell語言分隔開。
BEGIN部分
BEGIN部分代碼是在程序執行過程中最先被執行的部分，是可以選擇執行的，他執行是在讀文件之前，所以單獨的一個BEGIN是不需要文件的，例如：

awk ‘BEGIN{print“hello world”}’

執行結果如下：
技術分享圖片
BEGIN主要用來打印生成表的表頭等其他語句。
pattern部分
pattern是對文件處理的部分，他會按照記錄一個一個的掃描，知道所以的記錄都被掃描過結束，pattern是程序中最重要的部分，他也是可以選擇執行的，如果沒有pattern部分，則默認執行{print}，即打印文件中的每一行，讀取文件中的每一行都會執行該語句，例如：

awk ‘1‘ /etc/fstab

執行結果如下：
技術分享圖片
END部分
END部分語句是在讀至輸入流末尾時執行的語句，這部分代碼也是可以選擇執行的，比如打印所有行的分析結果這類的信息匯總，例如

awk ‘{print}END{print "hello world"}‘ /etc/fstab

執行結果如下：
技術分享圖片

2.分割符、域和記錄

awk執行時，由分隔符分隔的字段（域）標記$1,$2..$n稱為域標識，我們可以選擇打印輸出這些域的內容。例如

awk -F‘ ‘ ‘{print $1,$3}‘ /etc/fstab

執行結果如下：
技術分享圖片
$0為所有域，例如：

awk -F‘ ‘ ‘{print $0}‘ /etc/fstab

執行結果如下：

技術分享圖片
文件按記錄來進行執行awk操作，在shell中每一行稱為一條記錄，awk中可以指定特定的文件記錄分割符。在shell中$是引用變量，而在awk中$的作用是引用記錄中的第幾個片段。
省略action，則默認執行 print $0 的操作，如果程序代碼中的內容為空或0，是什麽都不會執行的，因為空也是0，如果是非0，就默認執行{print}，例如：

awk -F‘ ‘ ‘0‘ /etc/fstab

執行結果如下：
技術分享圖片
-F選項可以指定記錄中域的分割符，可以是任何東西。

3.awk內置變量

1.FS：輸入字段分隔符，默認為空白字符，例如：

awk ‘{print $1"  "$3}‘ /etc/fstab

執行結果如下：
技術分享圖片
我們設置輸入字段分隔符為/,例如：

awk -v FS=‘/‘ ‘{print $1"  "$3}‘ /etc/fstab

執行結果如下：
技術分享圖片
因為FS是內置變量，所以在awk中可以引用，例如

awk -v FS=‘/‘ ‘{print $1FS$3}‘ /etc/fstab

執行結果如下：
技術分享圖片
2.OFS：輸出字段分隔符，默認為空白字符，復制出一部分password內容用來演示，例如：
技術分享圖片

awk -v FS=: -v OFS=# ‘{print $1,$3}‘ /app/passwd

執行結果如下：
技術分享圖片
","表示引用輸出字段分割符，默認是空格，當定義了OFS後就是OFS了。
3.RS：輸入記錄分隔符，指定輸入時的換行符，原換行符仍有效，例如：

awk -v FS=: -v RS=‘nologin‘ ‘{print $1,$3}‘ /app/passwd

執行結果如下：
技術分享圖片
可以看出整個文件被nologin分割為5段，稱為5個記錄，然後每個記錄以:作為域分割符，取出第1個域和第3個域。原有的換行符不再作為輸入記錄分割符，但是仍舊有效，輸出的內容中依然可以換行，例如：

awk -v OFS=‘:‘ -v FS=: -v RS=‘sbin‘ ‘{print $1,$3}‘ /app/passwd

執行結果如下：
技術分享圖片
/nologin加換行符和daemon被作為第二個記錄的第一個域輸出，域之間以：作為分割符，2是第三個域的內容。
4.ORS：輸出記錄分隔符，輸出時用指定符號代替輸入記錄分割符，例如：

awk -v ORS=‘#‘ -v RS=‘/sbin‘ ‘{print}‘ /app/passwd

執行結果如下：
技術分享圖片
可以看到原來的輸入記錄分割符‘/sbin’在輸出時被#替換，原來的換行符還有效，只是不作為記錄分割符
5.NF：字段數量，例如：

awk -v FS=: -v RS=‘/sbin‘ ‘{print NF}‘ /app/passwd

執行結果如下：
技術分享圖片
記錄按“/sbin”分割，而字段或者域用：分割。
6.NR：記錄號，例如：

awk -v RS=‘/sbin‘ ‘END{print NR}‘ /app/passwd

技術分享圖片
記錄被“/sbin”分割，然後用END生成統計結果，一共有11條記錄
7.FNR：各文件分別計數,記錄號，例如：

awk -v RS=‘/sbin‘ ‘{print FNR};END{print NR}‘ /app/passwd /app/passwd

技術分享圖片
記錄以"/sbin"分割，兩次對/app/passwd計數，最後用END生成統計結果，共有22條。
8.FILENAME：當前文件名，例如：

awk ‘{print FILENAME}‘ /app/passwd

技術分享圖片
9.ARGC：命令行參數的個數，例如：

awk ‘END{print ARGC}‘ /app/passwd /etc/passwd

執行結果如下：
技術分享圖片
一共有三個參數，第一個是awk，第二個是/app/passwd第三個是/etc/passwd
10.ARGV：數組，保存的是命令行所給定的各參數，例如：

 awk ‘END{print ARGV[0] }‘ /app/passwd /etc/passwd

打印命令行第一個參數，執行結果如下：
技術分享圖片

awk ‘END{print ARGV[ARGC-1] }‘ /app/passwd /etc/passwd

打印命令行的最後一個參數，執行結果如下：
技術分享圖片

4.自定義變量

自定義變量的方法如下：

awk -v test=123 ‘BEGIN{print test}‘

如上，定義了一個test變量，執行結果如下：
技術分享圖片
還可以在程序中定義變量，例如：

awk -v ‘test=134{print test,tooth;tooth=23}‘ /etc/fstab

執行結果如下：
技術分享圖片

5.格式化輸出

格式化輸出使用的是printf，當使用printf時，必須要為每一個輸出指定格式，例如：

awk -F: ‘{printf "UNAME:%-15s UID:%s\n",$1,$3}‘ /app/passwd

執行結果如下:
技術分享圖片

%s表示顯示字符串，-15表示左對齊15字符，\n代表換行，下面是常用的格式化控制符：
%c: 顯示字符的ASCII碼
%d: %i: 顯示十進制整數
%e: %E:顯示科學計數法數值
%f: 顯示為浮點數
%g: %G：以科學計數法或浮點形式顯示數值
%s: 顯示字符串
%u: 無符號整數
%%: 顯示%自身

還有一些修飾符：

    #[.#]：第一個數字控制顯示的寬度；第二個#表示小數點後精度，%3.1f
-: 左對齊（默認右對齊） %-15s
+：顯示數值的正負符號 %+d

6.操作符

1.算術操作符

+加-減*乘/除%取余^乘方
-x轉換為負數
+x轉換為數值

2.賦值操作符

=, +=, -=, *=, /=, %=, ^=
++, --

3.邏輯操作符

&&邏輯與
||邏輯或
!邏輯非

4.比較操作符

==等於
!=不等於
>大於
>=大於等於
<小於
<=小於等於

5.模式匹配符

~：左邊是否和右邊匹配包含
!~：是否不匹配

例如：

awk -F: ‘$0 ~ /root/    {print $1}‘  /etc/passwd

執行結果如下：
技術分享圖片
awk支持正則表達式，例如

awk -F: ‘$0 ~ "^root"    {print $1}‘  /etc/passwd

技術分享圖片
6.三目表達式
三目表達式的格式如下：

判斷?語句1：語句2

最開始先進行判斷，如果判斷結果為真，則執行語句1，如果判斷結果為假，則執行語句2，例如：

awk ‘BEGIN{1>3?a=1:a=3;print a}‘

執行結果如下：
技術分享圖片

7.awk action

1.awk循環
while循環
循環在條件為真開始循環，在條件為假時結束循環，例如：

awk  ‘BEGIN{i=1;while(i<10){ print i;i++}}‘

執行結果如下：
技術分享圖片
for循環
循環在滿足for的條件時開始循環，在不滿足for條件時結束循環，例如：

awk ‘BEGIN{for(i=1;i<10;i++)print i}‘

執行結果如下：
技術分享圖片
2.awk選擇
if選擇
如果滿足if後面條件，則執行之後的語句，否則不執行，進行其他的if判斷，最多有一個if被執行，例如：

awk -v i=9 ‘BEGIN{if(i<=5){print "小於等於5"}else if(i>5 && i<=10){print "大於5小於等於10"}else{print "大於10"}}‘

執行結果如下：
技術分享圖片
3.awk控制
continue控制
continue控制是結束當前這一次循環，直接進行下一次循環，例如：

awk ‘BEGIN{i=0;while(i<10){i++;if(i==5){continue} print i}}‘

執行結果如下：
技術分享圖片
當執行到i=5時，結束了循環，沒有輸出5，繼續下一次循環，即i=6的循環。
break控制
break控制是結束當前這一層循環，返還到上一級，例如：

awk ‘BEGIN{i=0;while(i<10){i++;if(i==5){break} print i}}‘

技術分享圖片
當執行到i=5時，結束了當前循環，退出當前的循環，沒有再進行打印5的操作以及之後的循環。
4.awk數組
我們常常用數組來看文件中某一列內容的重復次數，例如：

awk -F: ‘{line[$7]++}END{for(i in line){print i,line[i]}}‘ /etc/passwd

執行結果如下：
技術分享圖片
5.awk函數
awk函數一般是寫在一個文件中的，當需要時調用這個函數文件，例如：

function max(v1,v2) {
v1>v2?var=v1:var=v2
return var
}
BEGIN{a=3;b=2;print max(a,b)}

技術分享圖片
執行結果如下：
技術分享圖片
6.awk腳本
在awk中可以用system調用shell命令，例如：

awk ‘BEGIN{score=100; system("echo  your score is " score) }‘

執行結果如下：
技術分享圖片
我們可以用執行腳本的方法來執行awk例如：

#!/bin/awk –f
{if($3>=1000)print $1,$3}

將上面代碼寫入文件：
技術分享圖片
加上執行權限，並執行，結果如下：
技術分享圖片

文本三劍客之awk

相關推薦

linux 文本三劍客之awk

linux awk 練習awk簡介 awk同sed、grep被稱為linux文本處理三劍客，都起源於行編輯器ed。awk繼承了行編輯器的特點,循環的讀取文本的每一行（或者是分隔符分割的每一段文本）直至文本結束，但是awk加入了段分割符的概念.將每次讀入的行進行再次分割.awk每次讀取的行都只是未

文本三劍客之awk基礎操作

line 範圍 item之間 $nf 可選 小數點 expr i++ 科學計數法 1. awk基本介紹 功能說明：gawk - pattern scanning and processing languageawk是GNU項目，所以其實際的命令為gawk，因awk命令的二進

文本三劍客之awk

urn 邏輯或 mark bre 取出 整數 空格 讀取文件 val awk是一種報告生成器，能夠格式化輸出文本，有著多種版本，我們主要使用的是GNU awk，通常也稱之為gawk，可以進行模式掃描和處理的語言。 1.awk語法 awk的基本語法如下: awk [optio

linux基礎篇-文本三劍客之AWK

filename %u $1 ++i options else if day pri regexp awk介紹 ? awk：Aho, Weinberger, Kernighan，報告生成器，格式化文本輸出 ? 有多種版本：New awk（nawk），GNU awk（ ga

文本三劍客之awk-從入門到入土

tables 鏈接 ces i++ .sh 數組長度 nta iptables 比較 awk命令格式和選項 語法形式 awk [options] ‘program‘ file… Program：pattern{action statements;..} 命令選項 -F

文本三劍客之二：sed

常用 追加 space 實現 span 換行符 擴展正則 表達 程序 一：sed是一種流編輯器，它一次處理一行內容。處理時，把當前處理的行存儲在臨時緩沖區中，稱為“模式空間”（pattern space），接著用sed命令處理緩沖區中的內容，處理完成後，把緩沖區的內容送往屏

文本三劍客之 sed

sedsed,Stream EDitor 流編輯器.工作機制:從文件中分別取出每一行至模式空間(pattern)進行編輯處理,並輸出至屏幕.命令格式:sed [option] ‘script’ file_nameoption:-n,--quient,--silent ,靜默模式,不輸出模式空間中的內容.-

文本三劍客之grep加vim編輯器

lease 所在 替換 三劍客 禁用 red 直接 打開文件 pre 好幾周沒寫博客了，今天又時間就隨便寫了點。 linux文本處理三劍客： grep:文本過濾工具 grep ,egrep,fgrep(用來打印各種行，patten模式） 它需要標準輸入，CentOS6裏也

文本三劍客之sed

數據 sed som 默認 如果 模式 開始 新的 一行 sed自帶行編輯器，系統默認行為。 sed用法： sed [option].. ‘script‘ inputfile... 常用選項： -n:不輸出模式空間內容到屏幕，即不自動打印 -e:多點編輯 -f: /PAT

文本處理三劍客之awk

awk文本處理三劍客之awk awk: 報告生成器，格式化文檔輸出； awk(gawk):pattern scanning and processing language 格式：awk [options...] 'program' file progra

文本處理三劍客之awk（原創）

創建 兩個 位置 正則 ack 最大 align common 因此 文本處理三劍客之awk（原創）AWK是一種優良的文本處理工具，Linux及Unix環境中現有的功能最強大的數據處理引擎之一。這種編程及數據操作語言（其名稱得自於它的創始人阿爾佛雷德·艾侯(Alfred A

Linux文本處理三劍客之awk（一）

awk變量 信息 tro 不同 當前 block 文件中 是否 定義變量   AWK是一個優良的文本處理工具，Linux及Unix環境中現有的功能最強大的數據處理引擎之一。其名稱得自於它的創始人阿爾佛雷德·艾侯、彼得·溫伯格和布萊恩·柯林漢姓氏的首個字母

linux之文本處理工具awk

ger -h 控制 bbb NPU 可用 最重要的 進制 mod 文本處理工具awk用法(介紹在最後) awk -v FS=: ‘{print $1,FS,$3}‘ /etc/passwd {FS}可省略 awk -v FS=: -v OFS=^^^ ‘{p

機器學習文本挖掘之spherical k-means algorithm初識

ise align lar global product com matrix ati hms Spherical K-Means 法によるクラスタ分析の実験検証 1.1研究背景、目的： インターネットの普及などにより、膨大なデータの中からデータ間の関係を見つけ出したり

jQuery獲取文本節點之 text()/val()/html() 方法區別

exist clas multipl not found 個數 jquery代碼 多選 sel content 在jquery中val,text,html都能取到值,或加一個參數來賦值,那麽它們有些什麽區別?下面我們來舉例說明： 首先，html屬性中有兩個方法，一個有參，

linux三劍客之awk必殺技一例   linux命令

linux 三劍客 awk []:有框表示從最開始計算（小分隔符），否則從數據開始計算，無[] +:加號則從最開始計算，否則從數據開始計算[] +: 加號則從最開始計算，否則從數據最開始計算請執行命令取出linux中eth0的IP地址(請用cut，有能力者也可分別用awk,sed命令答)。解答：說

awk && sed (4)====linux 三劍客之awk 命令

awkhttp://www.cnblogs.com/ginvip/p/6352157.html這是我發現的一篇博客，關於awk 的內容寫的很好，需要的可以看看awk 關於！號（1）取奇數行[root@localhost shell]# seq 10 | awk ‘i=!i‘13579(2)取偶數行[root@

Linux系統命令三劍客之 awk

linux 命令 awk命令名稱：awk作用： 對文本和數據進行處理詳細說明： awk 是一種編程語言，用於在linux/unix下對文本和數據進行處理。 數據可以來自標準輸入(stdin)、一個或多個文件，或其它命令的輸出。 它在命令行中使用，但更多是作為腳本來使用。awk有很多內建的

Linux文本處理命令“awk”簡解

linux awk awk 格式： awk [option] ‘條件1{動作1}條件2{動作2}...‘ 文件名 條件：正則表達式；邏輯判斷式 動作：格式化輸出；流程控制語句 選項： -F 指定分割符 變量： $1 $2 ... 第某列 NR 行號

三劍客之awk

pdu 復制 同時 begin 等等 字母 mon inpu 排列 短介：awk是一個強大的文本分析工具，相當於grep查找，sed替換。awk再其對數據分析以及生成報告時顯得尤其強大。 awk有3個不同的版本：awk nawk gawk，一般指gawk，gawk是awk的