Linux之4——測試必會之 Linux 三劍客之 grep

阿新 • • 發佈：2021-07-18

grep (global search regular expression(RE) and print out the line,全面搜尋正則表示式並把行打印出來)是一種強大的文字搜尋工具，它能使用正則表示式搜尋文字，並把匹配的行打印出來

可用於資料查詢定位

先列舉出測試工作常用的grep命令和意義：

grep pattern file
grep -i pattern file 	# 忽略大小寫
grep -v pattern file	 # 不顯示匹配行
grep -o pattern file	 # 只把每個匹配的內容獨立的行顯示
grep -E pattern file	 # 使用拓展正則表示式,相當於egrep 

#注意：grep 'a[0-9]\{10\}' 等同於 grep -E 'a[0-9]{10}' 
grep  -B, --before-context=NUM  	# 列印以文字起始的NUM 行
grep  -A, --after-context=NUM   	# 列印以文字結尾的NUM 行
grep  -C, --context=NUM        	 # 列印輸出文字NUM 行
grep pattern -r dir/ 	# 遞迴搜尋
grep -m1	 # 匹配匹配中的第一個
grep -n 	# 順便輸出行號
grep -P 	# 可以讓grep使用perl的正則表示式語法

BRE基本正則表示式：

^:以...開頭
$:以...結尾
[a-z] [0-9]:區間，如果開頭帶有^表示不能匹配區間內的元素
*:0個或多個
.:表示任意字元
ERE:擴充套件正則表示式

ERE擴充套件表示式是基本正則表示式（BRE）基礎上的擴充套件

？：非貪婪匹配
+: 一個或多個
(): 分組
{}: 範圍約束
|: 匹配多個表示式的任意一個

話不多說，先舉例

假設有如下檔案，名稱為nginx.log，該檔案下載連結：https://files.cnblogs.com/files/feng0815/nginx.log.tar.gz ，可下載後解壓使用

40.77.192.252 - - [05/Dec/2018:00:08:51 +0000] "GET /uploads/photo/2017/ed39a6f0-8111-48bc-88e0-604939b1dca1.png!large HTTP/1.1" 
 200 10065 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534+ (KHTML, like Gecko) BingPreview/1.0b" 0.000 0.000 .
220.181.108.187 - - [05/Dec/2018:00:09:04 +0000] "GET /topics/15275?locale=en HTTP/1.1" 200 28527 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)" 0.090 0.090 .
116.25.42.125 - - [05/Dec/2018:00:09:17 +0000] "GET /cable HTTP/1.1" 101 1473 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3622.0 Safari/537.36" 108.100 108.100 .
123.127.112.18 - - [05/Dec/2018:00:09:18 +0000] "GET /cable HTTP/1.1" 101 1017 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36" 70.577 70.577 .
139.180.132.174 - - [05/Dec/2018:00:09:20 +0000] "GET /bbs.zip HTTP/1.1" 404 1264 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36" 0.011 0.011 .
139.180.132.174 - - [05/Dec/2018:00:09:12 +0000] "GET /__zep__/js.zip HTTP/1.1" 500 2183 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36" 0.018 0.018 .
141.8.142.131 - - [05/Dec/2018:00:09:12 +0000] "GET /topics/14442 HTTP/1.1" 200 21980 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" 0.195 0.195 .
220.181.108.181 - - [05/Dec/2018:00:09:13 +0000] "GET /syyair/following?locale=zh-CN HTTP/1.1" 200 13355 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)" 0.035 0.035 .
139.180.132.174 - - [05/Dec/2018:00:09:13 +0000] "GET /admin.rar HTTP/1.1" 401 50 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36" 0.006 0.006 .
40.77.167.1 - - [05/Dec/2018:00:09:17 +0000] "GET /topics/2547/replies/17243/reply_suggest HTTP/1.1" 404 3530 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)" 0.014 0.014 .
139.180.132.174 - - [05/Dec/2018:00:09:17 +0000] "GET /admin.tar.gz HTTP/1.1" 404 1264 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36" 0.052 0.052 .

找出500錯誤時候的上下文

chenshifengdeMacBook-Pro:~ chenshifeng$ grep -A 2 ' 500 ' nginx.log    # 顯示500錯誤及其後2行
139.180.132.174 - - [05/Dec/2018:00:09:12 +0000] "GET /__zep__/js.zip HTTP/1.1" 500 2183 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36" 0.018 0.018 .
141.8.142.131 - - [05/Dec/2018:00:09:12 +0000] "GET /topics/14442 HTTP/1.1" 200 21980 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" 0.195 0.195 .
220.181.108.181 - - [05/Dec/2018:00:09:13 +0000] "GET /syyair/following?locale=zh-CN HTTP/1.1" 200 13355 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)" 0.035 0.035 .
chenshifengdeMacBook-Pro:~ chenshifeng$ grep -B 2 ' 500 ' nginx.log    # 顯示500錯誤及其前2行
123.127.112.18 - - [05/Dec/2018:00:09:18 +0000] "GET /cable HTTP/1.1" 101 1017 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36" 70.577 70.577 .
139.180.132.174 - - [05/Dec/2018:00:09:20 +0000] "GET /bbs.zip HTTP/1.1" 404 1264 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36" 0.011 0.011 .
139.180.132.174 - - [05/Dec/2018:00:09:12 +0000] "GET /__zep__/js.zip HTTP/1.1" 500 2183 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36" 0.018 0.018 .
chenshifengdeMacBook-Pro:~ chenshifeng$ grep -C 2 ' 500 ' nginx.log    # 顯示500錯誤及其前後2行
123.127.112.18 - - [05/Dec/2018:00:09:18 +0000] "GET /cable HTTP/1.1" 101 1017 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36" 70.577 70.577 .
139.180.132.174 - - [05/Dec/2018:00:09:20 +0000] "GET /bbs.zip HTTP/1.1" 404 1264 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36" 0.011 0.011 .
139.180.132.174 - - [05/Dec/2018:00:09:12 +0000] "GET /__zep__/js.zip HTTP/1.1" 500 2183 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36" 0.018 0.018 .
141.8.142.131 - - [05/Dec/2018:00:09:12 +0000] "GET /topics/14442 HTTP/1.1" 200 21980 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" 0.195 0.195 .
220.181.108.181 - - [05/Dec/2018:00:09:13 +0000] "GET /syyair/following?locale=zh-CN HTTP/1.1" 200 13355 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)" 0.035 0.035 .

1、先訪問部落格主頁，利用 grep href 過濾出所有包含 url 的內容。命令：

chenshifengdeMacBook-Pro:~ chenshifeng$ curl -s https://www.cnblogs.com/feng0815/ | grep -o "https:[^\"]*"
https://www.cnblogs.com/feng0815/rss
https://www.cnblogs.com/feng0815/rsd.xml
https://www.cnblogs.com/feng0815/wlwmanifest.xml
https://common.cnblogs.com/scripts/jquery-2.2.0.min.js
https://mathjax.cnblogs.com/2_7_5/MathJax.js?config=TeX-AMS-MML_HTMLorMML&amp;v=20200504
https://www.cnblogs.com/
https://news.cnblogs.com/
https://q.cnblogs.com/
https://brands.cnblogs.com/
https://ing.cnblogs.com/
https://edu.cnblogs.com/
https://zzk.cnblogs.com/s
https://passport.cnblogs.com/GetBlogApplyStatus.aspx
https://msg.cnblogs.com/
https://home.cnblogs.com/
https://passport.cnblogs.com/GetBlogApplyStatus.aspx
https://home.cnblogs.com/
https://account.cnblogs.com/settings/account
https://account.cnblogs.com/signup/
......

再用grep命令匹配"200 OK"作為判斷條件，篩選出成功的url並列印，然後將失敗的 url 加上 ERR 標記也一起打印出來。

chenshifengdeMacBook-Pro:~ chenshifeng$ curl -s https://www.cnblogs.com/feng0815/ | grep -o "https:[^\"]*"| while read line;do curl -s -I $line | grep ' 200 ' && echo $line || echo ERR $line;done
ERR https://www.cnblogs.com/feng0815/rss
HTTP/1.1 200 OK
https://www.cnblogs.com/feng0815/rsd.xml
HTTP/1.1 200 OK
https://www.cnblogs.com/feng0815/wlwmanifest.xml
HTTP/1.1 200 OK
https://common.cnblogs.com/scripts/jquery-2.2.0.min.js
HTTP/1.1 200 OK
https://mathjax.cnblogs.com/2_7_5/MathJax.js?config=TeX-AMS-MML_HTMLorMML&amp;v=20200504
HTTP/1.1 200 OK
https://www.cnblogs.com/
HTTP/1.1 200 OK
https://news.cnblogs.com/
HTTP/1.1 200 OK
https://q.cnblogs.com/
HTTP/1.1 200 OK
https://brands.cnblogs.com/
HTTP/1.1 200 OK
https://ing.cnblogs.com/
HTTP/1.1 200 OK
https://edu.cnblogs.com/
HTTP/1.1 200 OK
https://zzk.cnblogs.com/s
ERR https://passport.cnblogs.com/GetBlogApplyStatus.aspx
ERR https://msg.cnblogs.com/
HTTP/1.1 200 OK
https://home.cnblogs.com/
ERR https://passport.cnblogs.com/GetBlogApplyStatus.aspx
......

Linux之4——測試必會之 Linux 三劍客之 grep

Linux之6——測試必會之 Linux 三劍客之 sed

1. sed簡介 sed 是一種線上編輯器，它一次處理一行內容。處理時，把當前處理的行儲存在臨時緩衝區中，稱為“模式空間”（pattern space），接著用sed命令處理緩衝區中的內容，處理完成後，把緩衝區的內容送往螢幕。

Linux之5——測試必會之 Linux 三劍客之 awk

awk = \"Aho Weiberger and Kernighan\" 三個作者的姓的第一個字母 awk 是 Linux 下的一個命令，同時也是一種語言解析引擎

必會的Linux命令

有些常用的Linux命令必須掌握。即時平時開發過程中不使用Linux（Unix）或者mac系統，也需要熟練掌握Linux命令。因為很多伺服器上都是Linux系統。所以，要和伺服器機器互動，就要通過shell命令。

29 條運維工程師必會實用 Linux 命令

分享一篇文章，原文出自：29 Linux Commands You Must Know，譯文出自：http://www.ido321.com。

自動化測試必會—資料驅動DDT

技術標籤：自動化測試引言你是否有過這種感受，在做自動化測試過程中，不論是API 自動化測試還是UI 自動化測試，我們寫測試指令碼有很大一部分時間都是在準備資料（setUp）、清理資料（tearDown）。因為資

測試必會 Docker 實戰（一）：掌握高頻命令，夯實內功基礎

在 Dokcer 橫空出世之前，應用打包一直是大部分研發團隊的痛點。在工作中，面對多種服務，多個伺服器，以及多種環境，如果還繼續用傳統的方式打包部署，會浪費大量時間精力。

Linux三劍客之grep，awk，sed命令必知必會

Linux中的Grep，Awk和Sed命令之間有什麼區別？ Grep命令用於查詢檔案中的特定模式，並輸出包含搜尋模式的所有結果。

linux 虛擬機器安裝之 4：安裝虛擬機器

目錄1.開啟虛擬機器2.滑鼠點選虛擬機器3.選擇Install CentOS4.語言選擇5.設定時間6. 軟體選擇7.安裝源選擇8.關閉檔案轉存9.網路配置10.開始安裝11.配置管理員密碼12.安裝完成重啟

高階測試工程師必會之狀態遷移法？

1、概念狀態遷移法主要關注在測試狀態轉移的正確性上面。對於一個有限狀態機，通過測試驗證其在給定的條件內是否能夠產生需要的狀態變化，有沒有不可達的狀態和非法的狀態，是否可能產生非法的狀態轉移等。通過構造

入門學習Linux常用必會60個命令例項詳解

系統資訊 arch 顯示機器的處理器架構(1) uname -m 顯示機器的處理器架構(2) uname -r 顯示正在使用的核心版本 dmidecode -q 顯示硬體系統部件 - (SMBIOS / DMI) hdparm -i /dev/hda 羅列一個磁碟的架構特性 hdpa

Windows平臺Python程式設計必會模組之pywin32介紹

在Windows平臺上，從原來使用C/C++編寫原生EXE程式，到使用Python編寫一些常用指令碼程式，成熟的模組的使用使得程式設計效率大大提高了。

Linux 程式必知必會

上一篇文章只是簡單的描述了一下 Linux 基本概念，通過幾個例子來說明 Linux 基本應用程式，然後以 Linux 基本核心構造來結尾。那麼本篇文章我們就深入理解一下 Linux 核心來理解 Linux 的基本概念之程式和執行緒。系

MySQL基礎之MySQL必知必會(二)MySQL簡介

什麼是MySQL MySQL是一種DBMS(資料庫管理系統), 即它是一種資料庫軟體 MySQL得到廣泛使用的原因:

MySQL基礎之MySQL必知必會(三)使用MySQL

連線 MySQL與其他所有客戶機-伺服器DBMS一樣, 要求在能執行命令之前登入到DBMS。MySQL在內部儲存自己的使用者列表, 並且把每個使用者與各種許可權關聯起來

MySQL基礎之MySQL必知必會(四)檢索資料

SELECT語句每個SQL語句都是由一個或多個關鍵字構成的。最常使用的SQL語句是SELECT語句。它的用途是從一個或多個表中檢索資訊。

MySQL基礎之MySQL必知必會(五)排序檢索資料

排序資料使用SELECT檢索出來的順序並不是以純粹的隨機順序顯示的, 如果不排序, 資料一般將以它在底層表中出現的順序顯示。這可以是資料最初新增到表的順序。但是, 如果資料後來進行過更新和刪除, 則此順序將會受到M

MySQL基礎之MySQL必知必會(六)過濾資料

使用WHERE子句通常會根據操作或報告的需要提取表中的資料的子集。只檢索所需資料需要指定的搜尋條件, 搜尋條件也稱為過濾條件

MySQL基礎之MySQL必知必會(七)資料過濾

組合WHERE子句為了進行更強的過濾控制, MySQL允許給出多個WHERE子句。這些子句可以兩種方式使用: 以AND子句的方式或OR子句的方式使用。

MySQL基礎之MySQL必知必會(八)用萬用字元進行過濾

LIKE操作符利用萬用字元可建立比較特定資料的搜尋模式。萬用字元(wildcard): 用來匹配值的一部分的特殊字元。

Linux之4——測試必會之 Linux 三劍客之 grep

相關推薦