1. 程式人生 > >Sed 命令詳解 & 正則表示式

Sed 命令詳解 & 正則表示式

1.簡介 sed是非互動式的編輯器。它不會修改檔案,除非使用shell重定向來儲存結果。預設情況下,所有的輸出行都被列印到螢幕上。 sed編輯器逐行處理檔案(或輸入),並將結果傳送到螢幕。具體過程如下:首先sed把當前正在處理的行儲存在一個臨時快取區中(也稱為模式空間),然後處理臨時緩衝區中的行,完成後把該行傳送到螢幕上。sed每處理完一行就將其從臨時緩衝區刪除,然後將下一行讀入,進行處理和顯示。處理完輸入檔案的最後一行後,sed便結束執行。sed把每一行都存在臨時緩衝區中,對這個副本進行編輯,所以不會修改原檔案。 2.定址 定址用於決定對哪些行進行編輯。地址的形式可以是數字、正則表示式、或二者的結合。如果沒有指定地址,sed將處理輸入檔案的所有行。 地址是一個數字,則表示行號;是“$"符號,則表示最後一行。例如: 

sed -

'3p' datafile
只打印第三行

  只顯示指定行範圍的檔案內容,例如:

# 只檢視檔案的第100行到第200行
sed -n '100,200p' mysql_slow_query.log

 地址是逗號分隔的,那麼需要處理的地址是這兩行之間的範圍(包括這兩行在內)。範圍可以用數字、正則表示式、或二者的組合表示。例如:

sed '2,5d' datafile
#刪除第二到第五行
sed '/My/,/You/d' datafile
#刪除包含"My"行到包含"You"行之間的行
sed '/My/,10d' datafile
#刪除包含"My"行到第十行的內容

 3.命令與選項

sed命令告訴sed如何處理由地址指定的各輸入行,如果沒有指定地址則處理所有的輸入行。

 3.1 sed命令

 命令  功能
 a\

 在當前行後新增一行或多行。多行時除最後一行外,每行末尾需用“\”續行

 c\  用此符號後的新文字替換當前行中的文字。多行時除最後一行外,每行末尾需用"\"續行
 i\  在當前行之前插入文字。多行時除最後一行外,每行末尾需用"\"續行
 d  刪除行
 h  把模式空間裡的內容複製到暫存緩衝區
 H  把模式空間裡的內容追加到暫存緩衝區
 g  把暫存緩衝區裡的內容複製到模式空間,覆蓋原有的內容
 G  把暫存緩衝區的內容追加到模式空間裡,追加在原有內容的後面
 l  列出非列印字元
 p  列印行
 n  讀入下一輸入行,並從下一條命令而不是第一條命令開始對其的處理
 q  結束或退出sed
 r  從檔案中讀取輸入行
 !  對所選行以外的所有行應用命令
 s  用一個字串替換另一個
 g  在行內進行全域性替換
 w  將所選的行寫入檔案
 x  交換暫存緩衝區與模式空間的內容
 y  將字元替換為另一字元(不能對正則表示式使用y命令)

 3.2 sed選項

 選項  功能
 -e  進行多項編輯,即對輸入行應用多條sed命令時使用
 -n  取消預設的輸出
 -f  指定sed指令碼的檔名
 4.退出狀態 sed不向grep一樣,不管是否找到指定的模式,它的退出狀態都是0。只有當命令存在語法錯誤時,sed的退出狀態才不是0。 5.正則表示式元字元  與grep一樣,sed也支援特殊元字元,來進行模式查詢、替換。不同的是,sed使用的正則表示式是括在斜槓線"/"之間的模式。 如果要把正則表示式分隔符"/"改為另一個字元,比如o,只要在這個字元前加一個反斜線,在字元後跟上正則表示式,再跟上這個字元即可。例如:sed -n '\o^Myop' datafile
 元字元  功能  示例
 ^  行首定位符  /^my/  匹配所有以my開頭的行
 $  行尾定位符  /my$/  匹配所有以my結尾的行
 .  匹配除換行符以外的單個字元  /m..y/  匹配包含字母m,後跟兩個任意字元,再跟字母y的行
 *  匹配零個或多個前導字元  /my*/  匹配包含字母m,後跟零個或多個y字母的行
 []  匹配指定字元組內的任一字元  /[Mm]y/  匹配包含My或my的行
 [^]  匹配不在指定字元組內的任一字元  /[^Mm]y/  匹配包含y,但y之前的那個字元不是M或m的行
 ..  儲存已匹配的字元  1,20s/youself/\1r/  標記元字元之間的模式,並將其儲存為標籤1,之後可以使用\1來引用它。最多可以定義9個標籤,從左邊開始編號,最左邊的是第一個。此例中,對第1到第20行進行處理,you被儲存為標籤1,如果發現youself,則替換為your。
 &  儲存查詢串以便在替換串中引用  s/my/**&**/  符號&代表查詢串。my將被替換為**my**
 \<  詞首定位符  /\<my/  匹配包含以my開頭的單詞的行
 \>  詞尾定位符  /my\>/  匹配包含以my結尾的單詞的行
 x\{m\}  連續m個x  /9\{5\}/ 匹配包含連續5個9的行
 x\{m,\}  至少m個x  /9\{5,\}/  匹配包含至少連續5個9的行
 x\{m,n\}  至少m個,但不超過n個x  /9\{5,7\}/  匹配包含連續5到7個9的行
6.範例 6.1 p命令 命令p用於顯示模式空間的內容。預設情況下,sed把輸入行列印在螢幕上,選項-n用於取消預設的列印操作。當選項-n和命令p同時出現時,sed可列印選定的內容。

sed '/my/p' datafile
#預設情況下,sed把所有輸入行都列印在標準輸出上。如果某行匹配模式my,p命令將把該行另外列印一遍。


sed -'/my/p' datafile
#選項-n取消sed預設的列印,p命令把匹配模式my的行列印一遍。

 6.2 d命令

命令d用於刪除輸入行。sed先將輸入行從檔案複製到模式空間裡,然後對該行執行sed命令,最後將模式空間裡的內容顯示在螢幕上。如果發出的是命令d,當前模式空間裡的輸入行會被刪除,不被顯示。

sed '$d' datafile
#刪除最後一行,其餘的都被顯示

sed '/my/d' datafile
#刪除包含my的行,其餘的都被顯示

 6.3 s命令

sed 's/^My/You/g' datafile
#命令末端的g表示在行內進行全域性替換,也就是說如果某行出現多個My,所有的My都被替換為You。

sed -'1,20s/My$/You/gp' datafile
#取消預設輸出,處理1到20行裡匹配以My結尾的行,把行內所有的My替換為You,並列印到螢幕上。

sed 's#My#Your#g' datafile
#緊跟在s命令後的字元就是查詢串和替換串之間的分隔符。分隔符預設為正斜槓,但可以改變。無論什麼字元(換行符、反斜線除外),只要緊跟s命令,就成了新的串分隔符。

6.4 e選項

-e是編輯命令,用於sed執行多個編輯任務的情況下。在下一行開始編輯前,所有的編輯動作將應用到模式緩衝區中的行上。

sed -'1,10d' -'s/My/Your/g' datafile

#選項-e用於進行多重編輯。第一重編輯刪除第1-3行。第二重編輯將出現的所有My替換為Your。因為是逐行進行這兩項編輯(即這兩個命令都在模式空間的當前行上執行),所以編輯命令的順序會影響結果。

 6.5 r命令

r命令是讀命令。sed使用該命令將一個文字檔案中的內容加到當前檔案的特定位置上。

sed '/My/r introduce.txt' datafile
#如果在檔案datafile的某一行匹配到模式My,就在該行後讀入檔案introduce.txt的內容。如果出現My的行不止一行,則在出現My的各行後都讀入introduce.txt檔案的內容。

6.6 w命令

sed -'/hrwang/w me.txt' datafile

 6.7 a\ 命令

a\ 命令是追加命令,追加將新增新文字到檔案中當前行(即讀入模式緩衝區中的行)的後面。所追加的文字行位於sed命令的下方另起一行。如果要追加的內容超過一行,則每一行都必須以反斜線結束,最後一行除外。最後一行將以引號和檔名結束。

sed '/^hrwang/a\
>hrwang and mjfan are husband\
>and wife'
 datafile
#如果在datafile檔案中發現匹配以hrwang開頭的行,則在該行下面追加hrwang and mjfan are husband and wife

 6.8 i\ 命令

i\ 命令是在當前行的前面插入新的文字。

 6.9 c\ 命令

sed使用該命令將已有文字修改成新的文字。

 6.10 n命令

sed使用該命令獲取輸入檔案的下一行,並將其讀入到模式緩衝區中,任何sed命令都將應用到匹配行緊接著的下一行上。

sed '/hrwang/{n;s/My/Your/;}' datafile

注:如果需要使用多條命令,或者需要在某個地址範圍內巢狀地址,就必須用花括號將命令括起來,每行只寫一條命令,或這用分號分割同一行中的多條命令。  6.11 y命令 該命令與UNIX/Linux中的tr命令類似,字元按照一對一的方式從左到右進行轉換。例如,y/abc/ABC/將把所有小寫的a轉換成A,小寫的b轉換成B,小寫的c轉換成C。

sed '1,20y/hrwang12/HRWANG^$/' datafile
#將1到20行內,所有的小寫hrwang轉換成大寫,將1轉換成^,將2轉換成$
#正則表示式元字元對y命令不起作用。與s命令的分隔符一樣,斜線可以被替換成其它的字元。

 6.12 q命令

q命令將導致sed程式退出,不再進行其它的處理。

sed '/hrwang/{s/hrwang/HRWANG/;q;}' datafile

 6.13 h命令和g命令

#cat datafile

My name is hrwang.

Your name is mjfan.

hrwang is mjfan's husband.

mjfan is hrwang's wife.

sed -'/hrwang/h' -'$G' datafile

sed -e '/hrwang/H' -e '$G' datafile

#通過上面兩條命令,你會發現h會把原來暫存緩衝區的內容清除,只儲存最近一次執行h時儲存進去的模式空間的內容。而H命令則把每次匹配hrwnag的行都追加儲存在暫存緩衝區。

sed -e '/hrwang/H' -e '$g' datafile

sed -e '/hrwang/H' -e '$G' datafile

#通過上面兩條命令,你會發現g把暫存緩衝區中的內容替換掉了模式空間中當前行的內容,此處即替換了最後一行。而G命令則把暫存緩衝區的內容追加到了模式空間的當前行後。此處即追加到了末尾。

 7. sed指令碼

sed指令碼就是寫在檔案中的一列sed命令。指令碼中,要求命令的末尾不能有任何多餘的空格或文字。如果在一行中有多個命令,要用分號分隔。執行指令碼時,sed先將輸入檔案中第一行復制到模式緩衝區,然後對其執行指令碼中所有的命令。每一行處理完畢後,sed再複製檔案中下一行到模式緩衝區,對其執行指令碼中所有命令。使用sed指令碼時,不再用引號來確保sed命令不被shell解釋。例如sed指令碼script:

#handle datafile
3i\
~~~~~~~~~~~~~~~~~~~~~
3,$s/\(hrwang\) is
 \(mjfan\)/\2 is \1/
$a\
We will love eachother forever!!

 

 #sed -f script datafile
My name is hrwang
Your name is mjfan
~~~~~~~~~~~~~~~~~~~~~
mjfan is hrwang's husband.         
mjfan is hrwang'
s wife.
We will love eachother forever!!

整理自網路

相關推薦

Sed 命令 & 表示式

1.簡介 sed是非互動式的編輯器。它不會修改檔案,除非使用shell重定向來儲存結果。預設情況下,所有的輸出行都被列印到螢幕上。 sed編輯器逐行處理檔案(或輸入),並將結果傳送到螢幕。具體過程如下:首先sed把當前正在處理的行儲存在一個臨時快取區中(也稱為模式空間

表示式實現二代身份證號碼驗證

最近專案需要對身份證進行比較合理的篩選,並不想用到第三方介面,所以寫了個方法: 包括支援身份證號合法性驗證, 支援18位身份證號,支援地址編碼、出生日期、校驗位驗證. 基本上這樣就可以了. IdCodeValid:function(code){ //身份證號合法性驗證 //支援15位和18位

Java學習筆記之Pattern類的用法 (表示式)

Implements: Serializable 正則表示式的編譯表示形式。 指定為字串的正則表示式必須首先被編譯為此類的例項。然後,可將得到的模式用於建立 Matcher 物件,依照正則表示式,該物件可以與任意字元序列匹配。執行匹配所涉及的所有狀態都駐留在匹配器中,

表示式中的\B和\b

對於正則表示式的中\B和\b 有些地方會出現弄不懂的情況 或許你看了下面這篇部落格 你就能夠對\B和\b認識加深了 根據檢視API可以知道 \B和\b都是邊界匹配符 先說說\b這個單詞邊界吧!竟然想了解 首先必須清楚什麼叫單詞邊界!我們可以以\b為分

Linux 常用命令sed/awk/grep及表示式

sed 主要功能 sed,stream editor。是一個”非互動式“字元流編輯器。輸入流通過程式並輸出到標準輸出端。 sed主要用來自動編輯一個或者多個檔案(替換,插入,刪除,追加,更改) 常見應用 抽區域匹配正則表示式比較域增加,附加,替換 執行過程 sed一次處理一行或多行內容。處理時,把

sed命令

sed命令1.sed命令參數詳解sed [options] [function] [input-file]sed 選項動作輸入文件選項與參數:-n :使用安靜(silent)模式。在一般 sed 的用法中,所有來自 STDIN 的數據一般都會被列出到終端上。但如果加上 -n 參數後,則只有經過sed 特殊處理

sed命令 vim高級技巧 shell編程上

initial zhang 快捷鍵 顯示 cls $2 五步 pos ack 第1章 sed命令詳解 1.1 查找固定的某一行 1.1.1 awk命令方法 [[email protected] ~]# awk ‘!/oldboy/‘ person.txt

liunx的sed命令

模式 取出 passwd 一行 roo 命令詳解 strong 進行 常用 一丶簡介 sed是一種流編輯器,它一次處理一行內容。處理時,把當前處理的行存儲在臨時緩沖區中,稱為“模式空間“(patternspace),接著用sed命令處理緩沖區中的內容,處理完成後,把緩沖區的

Linux sed命令

world 正則 技術分享 earch yum shutdown height 註意 備註 sed是一種流編編器,它是文本處理中非常中的工具,能夠完美的配合正則表達式便用,功物能不同凡響。 處理時,把當前處理的行存儲在臨時緩沖區中,稱為”模式空間”( oat

玩轉LINUX之sed命令

用戶 常見 mail 括號 {} int 緩沖 復雜 commands Linux sed命令是利用script來處理文本文件。 sed可依照script的指令,來處理、編輯文本文件。 Sed主要用來自動編輯一個或多個文件;簡化對文件的反復操作;編寫轉換程序等。 執行時,s

grep、awk、sed命令2

sed -n 10個 \n 命令 時間 his jpg acc log grep、awk、sed命令詳解 上一篇對grep、awk、sed命令的基本參數做了介紹,這一篇寫一些例子。 1.分析access.log日誌內,當天訪問次數最多的10個頁面,並且按降序排列。 # ca

2017.10.12 shell sed命令

http://www.cnblogs.com/mchina/archive/2012/06/30/2570523.html 感謝原作者 流編輯器sed 8.1 sed簡介 sed是stream editor的縮寫,一種流編輯器,它一次處理一行內容。處理時,把當前處理的行儲存在臨時緩衝區中

shell-----sed命令

Table of Contents 1. Sed簡介 2. 定址 3. Sed命令 4. 選項 5. 元字符集 6. 例項 7. 指令碼 1. Sed簡介 sed是一種線上編輯器,它一次處理一行內容。處理時,把當前處理的行儲存在臨時緩衝區中,稱為“模式空間”(pattern space),接著用

linux的sed命令

sed 's/[ ][ ]*/ /g' 如果空格與tab共存時用sed -e 's/[[:space:]][[:space:]]*/ /g' filename替換文件名中的空格newfile=${oldfile// /_} 用 tr : find . -type f -name "* *" -print |

Linux Sed命令+如何替換換行符"\n"(很多面試問道)

SedSed是一個強大的文字處理工具可以採用正則匹配,對文字進行插入刪除修改等操作Sed處理的時候,一次處理一行,每一次把當前處理的存放在臨時緩衝區,處理完後輸出緩衝區內容到螢幕,然後把下一行讀入緩衝區,如此重複,直到結尾。1、命令格式和引數sed [-nefr] [動作]

Linux之sed命令

sed是一種流編輯器,它是文字處理中非常好的工具,能夠完美的配合正則表示式使用,功能不同凡響。處理時,把當前處理的行儲存在臨時緩衝區中,稱為“模式空間”(pattern space),接著用sed命令處理緩衝區中的內容,處理完成後,把緩衝區的內容送往螢幕。接著處理下一行,

linux sed命令2

簡介 sed 是一種線上編輯器,它一次處理一行內容。處理時,把當前處理的行儲存在臨時緩衝區中,稱為“模式空間”(pattern space),接著用sed命令處理緩衝區中的內容,處理完成後,把緩衝區的內容送往螢幕。接著處理下一行,這樣不斷重複,直到檔案末尾。檔案內容並沒有 改變,除非你使用重定向儲存輸出。S

Linux Shell指令碼程式設計--sed命令

簡介 sed 是一種線上編輯器,它一次處理一行內容。處理時,把當前處理的行儲存在臨時緩衝區中,稱為“模式空間”(pattern space),接著用sed命令處理緩衝區中的內容,處理完成後,把緩衝區的內容送往螢幕。接著處理下一行,這樣不斷重複,直到檔案末尾。檔案內容並沒有

sed 命令

簡介 sed 是一種線上編輯器,它一次處理一行內容。處理時,把當前處理的行儲存在臨時緩衝區中,稱為“模式空間”(pattern space),接著用sed命令處理緩衝區中的內容,處理完成後,把緩衝區的內容送往螢幕。接著處理下一行,這樣不斷重複,直到檔案末尾。檔

Jmeter系列(27)- 提取器

如果你想從頭學習Jmeter,可以看看這個系列的文章哦 https://www.cnblogs.com/poloyy/category/1746599.html   有了 JSON 提取器為啥還要用正則提取器? JSON 提取器只針對介面返回的響應內容 如果想提取的是響應頭、請求頭的值,而非響應內