linux文字處理三劍客(三):awk命令詳解
簡介
awk是一個強大的文字分析工具,相對於grep的查詢,sed的編輯,awk在其對資料分析並生成報告時,顯得尤為強大。簡單來說awk就是把檔案逐行的讀入,以空格為預設分隔符將每行切片,切開的部分再進行各種分析處理。
awk有3個不同版本: awk、nawk和gawk,未作特別說明,一般指gawk,gawk 是 AWK 的 GNU 版本。
awk其名稱得自於它的創始人 Alfred Aho 、Peter Weinberger 和 Brian Kernighan 姓氏的首個字母。實際上 AWK 的確擁有自己的語言: AWK 程式設計語言 , 三位建立者已將它正式定義為“樣式掃描和處理語言”。它允許您建立簡短的程式,這些程式讀取輸入檔案、為資料排序、處理資料、對輸入執行計算以及生成報表,還有無數其他的功能。
使用方法
awk '{pattern + action}' {filenames}
儘管操作可能會很複雜,但語法總是這樣,其中 pattern 表示 AWK 在資料中查詢的內容,而 action 是在找到匹配內容時所執行的一系列命令。花括號({})不需要在程式中始終出現,但它們用於根據特定的模式對一系列指令進行分組。 pattern就是要表示的正則表示式,用斜槓括起來。
awk語言的最基本功能是在檔案或者字串中基於指定規則瀏覽和抽取資訊,awk抽取資訊後,才能進行其他文字操作。完整的awk指令碼通常用來格式化文字檔案中的資訊。
通常,awk是以檔案的一行為處理單位的。awk每接收檔案的一行,然後執行相應的命令,來處理文字。
呼叫awk
有三種方式呼叫awk
1.命令列方式 awk [-F field-separator] 'commands' input-file(s) 其中,commands 是真正awk命令,[-F域分隔符]是可選的。 input-file(s) 是待處理的檔案。 在awk中,檔案的每一行中,由域分隔符分開的每一項稱為一個域。通常,在不指名-F域分隔符的情況下,預設的域分隔符是空格。 2.shell指令碼方式 將所有的awk命令插入一個檔案,並使awk程式可執行,然後awk命令直譯器作為指令碼的首行,一遍通過鍵入指令碼名稱來呼叫。 相當於shell指令碼首行的:#!/bin/sh 可以換成:#!/bin/awk 3.將所有的awk命令插入一個單獨檔案,然後呼叫: awk -f awk-script-file input-file(s) 其中,-f選項載入awk-script-file中的awk指令碼,input-file(s)跟上面的是一樣的。
本章重點介紹命令列方式。
入門例項
假設last -n 5的輸出如下
[[email protected] ~]# last -n 5 <==僅取出前五行
root pts/1 192.168.1.100 Tue Feb 10 11:21 still logged in
root pts/1 192.168.1.100 Tue Feb 10 00:46 - 02:28 (01:41)
root pts/1 192.168.1.100 Mon Feb 9 11:41 - 18:30 (06:48)
dmtsai pts/1 192.168.1.100 Mon Feb 9 11:41 - 11:41 (00:00)
root tty1 Fri Sep 5 14:09 - 14:10 (00:01)
如果只是顯示最近登入的5個帳號
#last -n 5 | awk '{print $1}'
root
root
root
dmtsai
root
awk工作流程是這樣的:讀入有'\n'換行符分割的一條記錄,然後將記錄按指定的域分隔符劃分域,填充域,$0則表示所有域,$1表示第一個域,$n表示第n個域。預設域分隔符是"空白鍵" 或 "[tab]鍵",所以$1表示登入使用者,$3表示登入使用者ip,以此類推。
如果只是顯示/etc/passwd的賬戶
#cat /etc/passwd |awk -F ':' '{print $1}'
root
daemon
bin
sys
這種是awk+action的示例,每行都會執行action{print $1}。
-F指定域分隔符為':'。
如果只是顯示/etc/passwd的賬戶和賬戶對應的shell,而賬戶與shell之間以tab鍵分割
#cat /etc/passwd |awk -F ':' '{print $1"\t"$7}'
root /bin/bash
daemon /bin/sh
bin /bin/sh
sys /bin/sh
如果只是顯示/etc/passwd的賬戶和賬戶對應的shell,而賬戶與shell之間以逗號分割,而且在所有行新增列名name,shell,在最後一行新增"blue,/bin/nosh"。
cat /etc/passwd |awk -F ':' 'BEGIN {print "name,shell"} {print $1","$7} END {print "blue,/bin/nosh"}'
name,shell
root,/bin/bash
daemon,/bin/sh
bin,/bin/sh
sys,/bin/sh
....
blue,/bin/nosh
awk工作流程是這樣的:先執行BEGING,然後讀取檔案,讀入有/n換行符分割的一條記錄,然後將記錄按指定的域分隔符劃分域,填充域,$0則表示所有域,$1表示第一個域,$n表示第n個域,隨後開始執行模式所對應的動作action。接著開始讀入第二條記錄······直到所有的記錄都讀完,最後執行END操作。
搜尋/etc/passwd有root關鍵字的所有行
#awk -F: '/root/' /etc/passwd
root:x:0:0:root:/root:/bin/bash
這種是pattern的使用示例,匹配了pattern(這裡是root)的行才會執行action(沒有指定action,預設輸出每行的內容)。
搜尋支援正則,例如找root開頭的: awk -F: '/^root/' /etc/passwd
搜尋/etc/passwd有root關鍵字的所有行,並顯示對應的shell
# awk -F: '/root/{print $7}' /etc/passwd
/bin/bash
這裡指定了action{print $7}
awk內建變數
awk有許多內建變數用來設定環境資訊,這些變數可以被改變,下面給出了最常用的一些變數。
ARGC 命令列引數個數
ARGV 命令列引數排列
ENVIRON 支援佇列中系統環境變數的使用
FILENAME awk瀏覽的檔名
FNR 瀏覽檔案的記錄數
FS 設定輸入域分隔符,等價於命令列 -F選項
NF 瀏覽記錄的域的個數
NR 已讀的記錄數
OFS 輸出域分隔符
ORS 輸出記錄分隔符
RS 控制記錄分隔符
此外,$0變數是指整條記錄。$1表示當前行的第一個域,$2表示當前行的第二個域,......以此類推。
統計/etc/passwd:檔名,每行的行號,每行的列數,對應的完整行內容:
#awk -F ':' '{print "filename:" FILENAME ",linenumber:" NR ",columns:" NF ",linecontent:"$0}' /etc/passwd
filename:/etc/passwd,linenumber:1,columns:7,linecontent:root:x:0:0:root:/root:/bin/bash
filename:/etc/passwd,linenumber:2,columns:7,linecontent:daemon:x:1:1:daemon:/usr/sbin:/bin/sh
filename:/etc/passwd,linenumber:3,columns:7,linecontent:bin:x:2:2:bin:/bin:/bin/sh
filename:/etc/passwd,linenumber:4,columns:7,linecontent:sys:x:3:3:sys:/dev:/bin/sh
使用printf替代print,可以讓程式碼更加簡潔,易讀
awk -F ':' '{printf("filename:%10s,linenumber:%s,columns:%s,linecontent:%s\n",FILENAME,NR,NF,$0)}' /etc/passwd
print和printf
awk中同時提供了print和printf兩種列印輸出的函式。
其中print函式的引數可以是變數、數值或者字串。字串必須用雙引號引用,引數用逗號分隔。如果沒有逗號,引數就串聯在一起而無法區分。這裡,逗號的作用與輸出檔案的分隔符的作用是一樣的,只是後者是空格而已。
printf函式,其用法和c語言中printf基本相似,可以格式化字串,輸出複雜時,printf更加好用,程式碼更易懂。
awk程式設計
變數和賦值
除了awk的內建變數,awk還可以自定義變數。
下面統計/etc/passwd的賬戶人數
awk '{count++;print $0;} END{print "user count is ", count}' /etc/passwd
root:x:0:0:root:/root:/bin/bash
......
user count is 40
count是自定義變數。之前的action{}裡都是隻有一個print,其實print只是一個語句,而action{}可以有多個語句,以;號隔開。
這裡沒有初始化count,雖然預設是0,但是妥當的做法還是初始化為0:
awk 'BEGIN {count=0;print "[start]user count is ", count} {count=count+1;print $0;} END{print "[end]user count is ", count}' /etc/passwd
[start]user count is 0
root:x:0:0:root:/root:/bin/bash
...
[end]user count is 40
統計某個資料夾下的檔案佔用的位元組數
ls -l |awk 'BEGIN {size=0;} {size=size+$5;} END{print "[end]size is ", size}'
[end]size is 8657198
如果以M為單位顯示:
ls -l |awk 'BEGIN {size=0;} {size=size+$5;} END{print "[end]size is ", size/1024/1024,"M"}'
[end]size is 8.25889 M
注意,統計不包括資料夾的子目錄。
條件語句
awk中的條件語句是從C語言中借鑑來的,見如下宣告方式:
if (expression) {
statement;
statement;
... ...
}
if (expression) {
statement;
} else {
statement2;
}
if (expression) {
statement1;
} else if (expression1) {
statement2;
} else {
statement3;
}
統計某個資料夾下的檔案佔用的位元組數,過濾4096大小的檔案(一般都是資料夾):
ls -l |awk 'BEGIN {size=0;print "[start]size is ", size} {if($5!=4096){size=size+$5;}} END{print "[end]size is ", size/1024/1024,"M"}'
[end]size is 8.22339 M
迴圈語句
awk中的迴圈語句同樣借鑑於C語言,支援while、do/while、for、break、continue,這些關鍵字的語義和C語言中的語義完全相同。
陣列
因為awk中陣列的下標可以是數字和字母,陣列的下標通常被稱為關鍵字(key)。值和關鍵字都儲存在內部的一張針對key/value應用hash的表格裡。由於hash不是順序儲存,因此在顯示陣列內容時會發現,它們並不是按照你預料的順序顯示出來的。陣列和變數一樣,都是在使用時自動建立的,awk也同樣會自動判斷其儲存的是數字還是字串。一般而言,awk中的陣列用來從記錄中收集資訊,可以用於計算總和、統計單詞以及跟蹤模板被匹配的次數等等。
顯示/etc/passwd的賬戶
awk -F ':' 'BEGIN {count=0;} {name[count] = $1;count++;}; END{for (i = 0; i < NR; i++) print i, name[i]}' /etc/passwd
0 root
1 daemon
2 bin
3 sys
4 sync
5 games
......
這裡使用for迴圈遍歷陣列
轉自:http://www.cnblogs.com/ggjucheng/archive/2013/01/13/2858470.html
相關推薦
linux文字處理三劍客(三):awk命令詳解
簡介 awk是一個強大的文字分析工具,相對於grep的查詢,sed的編輯,awk在其對資料分析並生成報告時,顯得尤為強大。簡單來說awk就是把檔案逐行的讀入,以空格為預設分隔符將每行切片,切開的部分再進行各種分析處理。 awk有3個不同版本: awk、nawk和gaw
Ambari系列(三): Ambari架構詳解
前言 Hadoop叢集的管控一直是一個熱門的話題,對於這樣的一個應用場景,我所知道國內很早就有人研究並且取得不錯的成績,這就是EasyHadoop。它的功能主要有叢集安裝,管理,監控等功能,有興趣的朋友可以百度,這位作者的部落格有很詳細的介紹。今天,我所要重點介紹的Apac
Redis(三)Redis常用命令詳解
前言 在前面一篇的文章中,講解了Redis的資料型別和使用方式。感覺是不是用起來很簡單! 當然它還是有很多其他的特性的,接下來我們慢慢了解它! 一、Redis安全設定 編輯Redis的配置檔案redis-conf 我的配置檔案在:/opt/red
Linux驅動入門篇(三):基本的字符設備模塊(2)
連接 truct ace alloc orm 負數 -s tabs idt 上一節中介紹了設備號的申請和釋放,這一節開始了解字符設備的相關操作。 首先定位到<linux/cdev.h>文件,查看內核提供給字符設備的接口。 cdev結構 str
Linux 學習之路 (三):使用者管理命令詳解
使用者管理命令詳解 useradd [options] USERNAME -u UID(>=500,並且與其他使用者無重複) -g GID(基本組,組必須事先存在) -G GID,… (附加組,組必須事先存在) useradd -G mygroup us
數字影象處理筆記(三):使用OpenCV檢測影象特徵
1 - 引言 在數字影象處理中還提供了許多檢測影象簡單特徵的方法,例如邊緣檢測、輪廓檢測、直線檢測、圓檢測等。讓我們用OpenCV實現以下這些演算法吧 2 - Canny邊緣檢測 OpenCV提供了一個非常方便的Canny函式(以演算法的發明者命名) import cv2 i
Spring Cloud Stream消費失敗後的處理策略(三):使用DLQ佇列(RabbitMQ)
應用場景 前兩天我們已經介紹了兩種Spring Cloud Stream對訊息失敗的處理策略: 自動重試:對於一些因環境原因(如:網路抖動等不穩定因素)引發的問題可以起到比較好的作用,提高訊息處理的成功率。 自定義錯誤處理邏輯:如果業務上,訊息處理失敗之後有明確的降級邏輯可以彌補的,可以採用這種
Spring Cloud Stream消費失敗後的處理策略(三):使用DLQ隊列(RabbitMQ)
messages tap ica hello 方式 應用 manage oot 輸入 應用場景 前兩天我們已經介紹了兩種Spring Cloud Stream對消息失敗的處理策略: 自動重試:對於一些因環境原因(如:網絡抖動等不穩定因素)引發的問題可以起到比較好的作用,提
數字訊號處理實驗(三):連續時間訊號的數字處理
目錄 一、實驗目的: 二、實驗內容及要求: 1. 連續時間訊號的抽樣及重構: 2. 模擬濾波器的設計: 三、實驗結果及問題回答: 1. 連續時間訊號的抽樣及重構: 2. 模擬濾波器的設計: 一、實驗目的: 掌握通過週期
Python-OpenCV 處理影象(三):影象畫素點操作
https://segmentfault.com/a/1190000003742442 0x01. 畫素 有兩種直接操作圖片畫素點的方法: 第一種辦法就是將一張圖片看成一個多維的list,例如對於一張圖片im,想要操作第四行第四列的畫素點就直接 im[3,3] 就可以獲取到這個點的RGB值。 第二種就是
嵌入式Linux——nand flash 驅動(三):原始碼分析
再次宣告:本文是看過一些文章後寫的,如果與你的文章有相同的地方,敬請告知,如果對你有幫助,是我的榮幸。 接下來的這篇文章我們將要分析一下nand flash在S3C2440中的驅動函式。下面我們以一張圖來引入: 從上圖可以看出,MTD裝置層與原始裝置層
Linux就業技術指導(三):IDC機房解密
輕松 ron 生產環境 身份證 分配 dell r710 試題 關機 我們 1.1 IDC機房 1.1.1 帶寬計算 帶寬流量計算公式: 1 Byte=8bit,1KB=1024B,1MB=1024KB,1GB=1024MB B表示Byte,工業標準是1000.
理解JVM(三):JVM命令工具
jps(JVM Process Status Tool) 虛擬機器程序狀況工具,可以列出正在執行的虛擬機器程序,並顯示虛擬機器執行主類(MainClass,main()函式所在的類)名稱以及這些程序的本地虛擬機器唯一ID(Local Virtual Machi
linux系統程式設計之程序(八):守護程序詳解及建立,daemon()使用
一,守護程序概述 Linux Daemon(守護程序)是執行在後臺的一種特殊程序。它獨立於控制終端並且週期性地執行某種任務或等待處理某些發生的事件。它不需要使用者輸入就能執行而且提供某種服務,不是對整個系統就是對某個使用者程式提供服務。Linux系統的大多數伺服器就是通過守護程序實現的。常見的守護程序包括系
Linux 學習之路(二):常用命令之檔案與目錄管理
ls:顯示目標列表 -a 顯示所有檔案和目錄 -l 單列顯示詳細資訊 cd:切換工作目錄 cd 進入使用者主目錄 cd ~ 進入使用者主目錄
shell文字過濾程式設計(六):awk之迴圈判斷及陣列
與上一節printf一樣,awk的迴圈判斷和C語言的迴圈判斷語法極其類似。 1、 While迴圈 #!/bin/sh awk ' BEGIN { ORS="" } { i=0 while (i < NF) { printf
緩沖區溢出實戰教程系列(三):利用OllyDbg了解程序運行機制
成了 代碼段 下界 urn 方便 htm oca 相差 14. 想要進行緩沖區溢出的分析與利用,當然就要懂得程序運行的機制。今天我們就用動態分析神器ollydbg來了解一下在windows下程序是如何運行的。 戳這裏看之前發布的文章: 緩沖區溢出實戰教程系列(一):
java加密算法入門(三)-非對稱加密詳解
共享數據 net clas 實例 查看 安全性 自己的 generator mir 1、簡單介紹 這幾天一直在看非對稱的加密,相比之前的兩篇內容,這次看了兩倍多的時間還雲裏霧裏的,所以這篇文章相對之前的兩篇,概念性的東西多了些,另外是代碼的每一步我都做了介紹,方便自己以後
爬蟲(二):Urllib庫詳解
lib lwp ces lin 設置 內置 col http測試 url 什麽是Urllib: python內置的HTTP請求庫 urllib.request : 請求模塊 urllib.error : 異常處理模塊 urllib.parse: url解析模塊 urllib
Linux 學習之路(二):使用者及許可權詳解
作業: 1.ls 命令是否可以顯示某目錄的整體大小,即包括其內部的所有檔案的整體大小? 可以,使用ls -s xxx 2.通過幫助手冊,學習使用du命令: # du 估計檔案空間使用量 -s 分割資料夾,不包括子目錄大小 -h 以可讀格式展示