1. 程式人生 > 其它 >Linux之6——測試必會之 Linux 三劍客之 sed

Linux之6——測試必會之 Linux 三劍客之 sed

1. sed簡介

sed 是一種線上編輯器,它一次處理一行內容。處理時,把當前處理的行儲存在臨時緩衝區中,稱為“模式空間”(pattern space),接著用sed命令處理緩衝區中的內容,處理完成後,把緩衝區的內容送往螢幕。接著處理下一行,這樣不斷重複,直到檔案末尾。檔案內容並沒有 改變,除非你使用重定向儲存輸出。Sed主要用來自動編輯一個或多個檔案;簡化對檔案的反覆操作;編寫轉換程式等。

2. 定址

可以通過定址來定位你所希望編輯的行,該地址用數字構成,用逗號分隔的兩個行數表示以這兩行為起止的行的範圍(包括行數表示的那兩行)。如1,3表示1,2,3行,美元符號($)表示最後一行。範圍可以通過資料,正則表示式或者二者結合的方式確定 。

3. sed命令

sed [-nefri] [動作]

引數:

  • -n :使用安靜(slient)模式。只有經過sed特殊處理的那一行(或者操作)才會被列出來。一般與p配合使用
  • -e :多點編輯
  • -f :直接將sed動作寫在一個檔案內,-f filename則可以執行filename 內的sed動作。
  • -r :sed的動作支援的是拓展正則表示式的語法(預設是基礎正則表示式的語法)
  • -i :直接修改讀取的檔案內容,而不是由螢幕輸出
  • -V或--version: 顯示版本資訊

動作說明:[[n1],[n2]]function
n1,n2 :不見得會存在,一般代表選擇進行動作的行數,舉例來說,如果我的動作是需要在10到20之間進行的,則"10,20[動作行為]"
function有下面這些引數:

  • a :新增,在當前行下一行
  • d :刪除 (比較重要,測試工作中對資料處理時可快速去除無用資訊,比如註釋行,空白行等)
  • i :插入,在當前行上一行
  • p :列印 (一般與-n配合使用)
  • s :替換(重中之重!!!,s引數可以說是日常測試工作中對資料用sed清理過濾時使用率最高的了)
  • c :取代, c 的後面可以接字串,這些字串可以取代 n1,n2 之間的行!

sed 修改表示式: sed 's/待修改/修改結果/'

注意說明:
表示式單引號中的s表示修改,/ 符號表示分隔,實際上將/換成其他符號也可以,只要能起到分隔作用就OK

chenshifengdeMacBook-Pro:~ chenshifeng$ echo
"aaa|bbb}|cccbbb" | sed 's/bbb/BBB/' aaa|BBB}|cccbbb chenshifengdeMacBook-Pro:~ chenshifeng$ echo "aaa|bbb}|cccbbb" | sed 's#bbb#BBB#' aaa|BBB}|cccbbb

若想將目標中所有的欄位都替換,需要在命令最後加上g:

chenshifengdeMacBook-Pro:~ chenshifeng$ echo "aaa|bbb}|cccbbb" | sed 's/bbb/BBB/g'
aaa|BBB}|cccBBB

sed還可以修改檔案中的內容,現在有檔案text.txt,內容如下:

chenshifengdeMacBook-Pro:~ chenshifeng$ cat text.txt 
hello bash world
hi~ tester
go go go go!

用 sed 's/hello/HELLO/' text.txt 命令將檔案中的 hello 替換成 HELLO :

chenshifengdeMacBook-Pro:~ chenshifeng$ sed 's/hello/HELLO/' text.txt 
HELLO bash world
hi~ tester
go go go go!

但是此時我們開啟源text.txt檔案發下原始檔內容並未改變:

chenshifengdeMacBook-Pro:~ chenshifeng$ cat text.txt 
hello bash world
hi~ tester
go go go go!

注意說明:
sed 在修改檔案內容時,是另外開闢了一塊模式空間,將修改後的內容放入並輸出,原始檔並未修改;

這時如果想要修改原始檔就需要藉助 -i 命令,另外為了防止誤操作修改檔案,一般可以採取這種寫法: sed -i.bak 's/hello/HELLO/' text.txt ,這種寫法在修改原始檔的同時還會生成一份以.bak結尾的備份檔案,相較安全。

chenshifengdeMacBook-Pro:~ chenshifeng$ sed -i.bak 's/hello/HELLO/' text.txt
chenshifengdeMacBook-Pro:~ chenshifeng$ ls
Applications              Library                   Pictures                  text.txt
Desktop                   Movies                    Public                    text.txt.bak
Documents                 Music                     html
Downloads                 MyCode                    iCloud 雲盤(歸檔)
chenshifengdeMacBook-Pro:~ chenshifeng$ cat text.txt
HELLO bash world
hi~ tester
go go go go!
chenshifengdeMacBook-Pro:~ chenshifeng$ cat text.txt.bak 
hello bash world
hi~ tester
go go go go!

sed -e 命令表示多點編輯,可以同時使用多條指令,來看一個例項:

需求: 現有一個1.txt的文字,內容如下:

a:
b:
c:
d:

要將其中每行末尾的 都替換成@,將 a 替換成A,並在文字末尾加上" Sed Test "
命令:

sed -i -e 's/:/@/g' \
-i -e 's/a/A/' \
-i -e '$a Sed Test' 1.txt

$a:$:最後一行,a:新增
例項演示:

[chenshifengdeMacBook-Pro:~ chenshifeng]$ sed -i -e 's/:/@/g' -i -e 's/a/A/' -i -e '$a Sed Test' 1.txt
[cchenshifengdeMacBook-Pro:~ chenshifeng]$ cat 1.txt 
A@
b@
c@
d@
Sed Test 

以行為單位的替換與顯示
將第2-5行的內容取代成為『No 2-5 number』

[chenshifengdeMacBook-Pro:~ chenshifeng ~]$ nl /etc/passwd | sed  '2,5c No 2-5 number'
     1    root:x:0:0:root:/root:/bin/bash
No 2-5 number
     6    sync:x:5:0:sync:/sbin:/bin/sync
     7    shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
    ...........

4. 例項

刪除:d命令

$ sed '2d' example   //刪除example檔案的第二行。

$ sed '2,$d' example   //刪除example檔案的第二行到末尾所有行。

$ sed '$d' example   //刪除example檔案的最後一行。

$ sed '/test/'d example   //刪除example檔案所有包含test的行。

替換:s命令

$ sed 's/test/mytest/g' example   //在整行範圍內把test替換為mytest。如果沒有g標記,則只有每行第一個匹配的test被替換成mytest。

$ sed -n 's/^test/mytest/p' example   //(-n)選項和p標誌一起使用表示只打印那些發生替換的行。也就是說,如果某一行開頭的test被替換成mytest,就列印它。

$ sed 's/^192.168.0.1/&localhost/' example   //&符號表示替換換字串中被找到的部份,但不刪除原字元。所有以192.168.0.1開頭的行末尾都是加上 localhost,變成192.168.0.1localhost。

$ sed -n 's/(love)able/\1rs/p' example   //love被標記為1,所有loveable會被替換成lovers,而且替換的行會被打印出來。

$ sed 's#10#100#g' example   //不論什麼字元,緊跟著s命令的都被認為是新的分隔符,所以,“#”在這裡是分隔符,代替了預設的“/”分隔符。表示把所有10替換成100。

選定行的範圍:逗號

$ sed -n '/test/,/check/p' example  //所有在模板test和check所確定的範圍內的行都被列印。

$ sed -n '5,/^test/p' example //列印從第五行開始到第一個包含以test開始的行之間的所有行。

$ sed '/test/,/check/s/$/sed test/' example //對於模板test和west之間的行,每行的末尾用字串sed test替換。

多點編輯:e命令

$ sed -e '1,5d' -e 's/test/check/' example  //(-e)選項允許在同一行裡執行多條命令。如例子所示,第一條命令刪除1至5行,第二條命令用check替換test。命令的執 行順序對結果有影響。如果兩個命令都是替換命令,那麼第一個替換命令將影響第二個替換命令的結果。

$ sed --expression='s/test/check/' --expression='/love/d' example //一個比-e更好的命令是--expression。它能給sed表示式賦值。
從檔案讀入:r命令

$ sed '/test/r file' example //file裡的內容被讀進來,顯示在與test匹配的行後面,如果匹配多行,則file的內容將顯示在所有匹配行的下面。

寫入檔案:w命令

$ sed -n '/test/w file' example  //在example中所有包含test的行都被寫入file裡。

追加命令:a命令

$ sed '/^test/a\\--->this is a example' example   //'this is a example'被追加到以test開頭的行後面,sed要求命令a後面有一個反斜槓。

插入:i命令

$ sed '/test/i\\
new line
-------------------------' example   //如果test被匹配,則把反斜槓後面的文字插入到匹配行的前面。

下一個:n命令

$ sed '/test/{ n; s/aa/bb/; }' example  //如果test被匹配,則移動到匹配行的下一行,替換這一行的aa,變為bb,並列印該行,然後繼續。

變形:y命令

$ sed '1,10y/abcde/ABCDE/' example  //把1--10行內所有abcde轉變為大寫,注意,正則表示式元字元不能使用這個命令。

退出:q命令

$ sed '10q' example  //列印完第10行後,退出sed。

保持和獲取:h命令和G命令

$ sed -e '/test/h' -e '$G' example-----

在sed處理檔案的時候,每一行都被儲存在一個叫模式空間的臨時緩衝區中,除非行被刪除或者輸出被取消,否則所有被處理的行都將 列印在螢幕上。接著模式空間被清空,並存入新的一行等待處理。在這個例子裡,匹配test的行被找到後,將存入模式空間,h命令將其複製並存入一個稱為保 持快取區的特殊緩衝區內。第二條語句的意思是,當到達最後一行後,G命令取出保持緩衝區的行,然後把它放回模式空間中,且追加到現在已經存在於模式空間中 的行的末尾。在這個例子中就是追加到最後一行。簡單來說,任何包含test的行都被複制並追加到該檔案的末尾。
保持和互換:h命令和x命令

$ sed -e '/test/h' -e '/check/x' example -----互換模式空間和保持緩衝區的內容。也就是把包含test與check的行互換。

5. 指令碼

Sed指令碼是一個sed的命令清單,啟動Sed時以-f選項引導指令碼檔名。Sed對於指令碼中輸入的命令非常挑剔,在命令的末尾不能有任何空白或文字,如果在一行中有多個命令,要用分號分隔。以#開頭的行為註釋行,且不能跨行。

6. 小技巧

在sed的命令列中引用shell變數時要使用雙引號,而不是通常所用的單引號。下面是一個根據name變數的內容來刪除named.conf檔案中zone段的指令碼:name='zone\ "localhost"'
sed "/$name/,/};/d" named.conf