Linux之6——測試必會之 Linux 三劍客之 sed
1. sed簡介
sed 是一種線上編輯器,它一次處理一行內容。處理時,把當前處理的行儲存在臨時緩衝區中,稱為“模式空間”(pattern space),接著用sed命令處理緩衝區中的內容,處理完成後,把緩衝區的內容送往螢幕。接著處理下一行,這樣不斷重複,直到檔案末尾。檔案內容並沒有 改變,除非你使用重定向儲存輸出。Sed主要用來自動編輯一個或多個檔案;簡化對檔案的反覆操作;編寫轉換程式等。
2. 定址
可以通過定址來定位你所希望編輯的行,該地址用數字構成,用逗號分隔的兩個行數表示以這兩行為起止的行的範圍(包括行數表示的那兩行)。如1,3表示1,2,3行,美元符號($)表示最後一行。範圍可以通過資料,正則表示式或者二者結合的方式確定 。
3. sed命令
sed [-nefri] [動作]
引數:
- -n :使用安靜(slient)模式。只有經過sed特殊處理的那一行(或者操作)才會被列出來。一般與p配合使用
- -e :多點編輯
- -f :直接將sed動作寫在一個檔案內,-f filename則可以執行filename 內的sed動作。
- -r :sed的動作支援的是拓展正則表示式的語法(預設是基礎正則表示式的語法)
- -i :直接修改讀取的檔案內容,而不是由螢幕輸出
- -V或--version: 顯示版本資訊
動作說明:[[n1],[n2]]function
n1,n2 :不見得會存在,一般代表選擇進行動作的行數,舉例來說,如果我的動作是需要在10到20之間進行的,則"10,20[動作行為]"
function有下面這些引數:
- a :新增,在當前行下一行
- d :刪除 (比較重要,測試工作中對資料處理時可快速去除無用資訊,比如註釋行,空白行等)
- i :插入,在當前行上一行
- p :列印 (一般與-n配合使用)
- s :替換(重中之重!!!,s引數可以說是日常測試工作中對資料用sed清理過濾時使用率最高的了)
- c :取代, c 的後面可以接字串,這些字串可以取代 n1,n2 之間的行!
sed 修改表示式: sed 's/待修改/修改結果/'
注意說明:
表示式單引號中的s表示修改,/ 符號表示分隔,實際上將/換成其他符號也可以,只要能起到分隔作用就OK
chenshifengdeMacBook-Pro:~ chenshifeng$ echo "aaa|bbb}|cccbbb" | sed 's/bbb/BBB/'
aaa|BBB}|cccbbb
chenshifengdeMacBook-Pro:~ chenshifeng$ echo "aaa|bbb}|cccbbb" | sed 's#bbb#BBB#'
aaa|BBB}|cccbbb
若想將目標中所有的欄位都替換,需要在命令最後加上g:
chenshifengdeMacBook-Pro:~ chenshifeng$ echo "aaa|bbb}|cccbbb" | sed 's/bbb/BBB/g'
aaa|BBB}|cccBBB
sed還可以修改檔案中的內容,現在有檔案text.txt,內容如下:
chenshifengdeMacBook-Pro:~ chenshifeng$ cat text.txt
hello bash world
hi~ tester
go go go go!
用 sed 's/hello/HELLO/' text.txt 命令將檔案中的 hello 替換成 HELLO :
chenshifengdeMacBook-Pro:~ chenshifeng$ sed 's/hello/HELLO/' text.txt
HELLO bash world
hi~ tester
go go go go!
但是此時我們開啟源text.txt檔案發下原始檔內容並未改變:
chenshifengdeMacBook-Pro:~ chenshifeng$ cat text.txt
hello bash world
hi~ tester
go go go go!
注意說明:
sed 在修改檔案內容時,是另外開闢了一塊模式空間,將修改後的內容放入並輸出,原始檔並未修改;
這時如果想要修改原始檔就需要藉助 -i 命令,另外為了防止誤操作修改檔案,一般可以採取這種寫法: sed -i.bak 's/hello/HELLO/' text.txt
,這種寫法在修改原始檔的同時還會生成一份以.bak結尾的備份檔案,相較安全。
chenshifengdeMacBook-Pro:~ chenshifeng$ sed -i.bak 's/hello/HELLO/' text.txt
chenshifengdeMacBook-Pro:~ chenshifeng$ ls
Applications Library Pictures text.txt
Desktop Movies Public text.txt.bak
Documents Music html
Downloads MyCode iCloud 雲盤(歸檔)
chenshifengdeMacBook-Pro:~ chenshifeng$ cat text.txt
HELLO bash world
hi~ tester
go go go go!
chenshifengdeMacBook-Pro:~ chenshifeng$ cat text.txt.bak
hello bash world
hi~ tester
go go go go!
sed -e 命令表示多點編輯,可以同時使用多條指令,來看一個例項:
需求: 現有一個1.txt的文字,內容如下:
a:
b:
c:
d:
要將其中每行末尾的 :
都替換成@
,將 a
替換成A
,並在文字末尾加上" Sed Test "
命令:
sed -i -e 's/:/@/g' \
-i -e 's/a/A/' \
-i -e '$a Sed Test' 1.txt
$a
:$
:最後一行,a
:新增
例項演示:
[chenshifengdeMacBook-Pro:~ chenshifeng]$ sed -i -e 's/:/@/g' -i -e 's/a/A/' -i -e '$a Sed Test' 1.txt
[cchenshifengdeMacBook-Pro:~ chenshifeng]$ cat 1.txt
A@
b@
c@
d@
Sed Test
以行為單位的替換與顯示
將第2-5行的內容取代成為『No 2-5 number』
[chenshifengdeMacBook-Pro:~ chenshifeng ~]$ nl /etc/passwd | sed '2,5c No 2-5 number'
1 root:x:0:0:root:/root:/bin/bash
No 2-5 number
6 sync:x:5:0:sync:/sbin:/bin/sync
7 shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
...........
4. 例項
刪除:d命令
$ sed '2d' example //刪除example檔案的第二行。
$ sed '2,$d' example //刪除example檔案的第二行到末尾所有行。
$ sed '$d' example //刪除example檔案的最後一行。
$ sed '/test/'d example //刪除example檔案所有包含test的行。
替換:s命令
$ sed 's/test/mytest/g' example //在整行範圍內把test替換為mytest。如果沒有g標記,則只有每行第一個匹配的test被替換成mytest。
$ sed -n 's/^test/mytest/p' example //(-n)選項和p標誌一起使用表示只打印那些發生替換的行。也就是說,如果某一行開頭的test被替換成mytest,就列印它。
$ sed 's/^192.168.0.1/&localhost/' example //&符號表示替換換字串中被找到的部份,但不刪除原字元。所有以192.168.0.1開頭的行末尾都是加上 localhost,變成192.168.0.1localhost。
$ sed -n 's/(love)able/\1rs/p' example //love被標記為1,所有loveable會被替換成lovers,而且替換的行會被打印出來。
$ sed 's#10#100#g' example //不論什麼字元,緊跟著s命令的都被認為是新的分隔符,所以,“#”在這裡是分隔符,代替了預設的“/”分隔符。表示把所有10替換成100。
選定行的範圍:逗號
$ sed -n '/test/,/check/p' example //所有在模板test和check所確定的範圍內的行都被列印。
$ sed -n '5,/^test/p' example //列印從第五行開始到第一個包含以test開始的行之間的所有行。
$ sed '/test/,/check/s/$/sed test/' example //對於模板test和west之間的行,每行的末尾用字串sed test替換。
多點編輯:e命令
$ sed -e '1,5d' -e 's/test/check/' example //(-e)選項允許在同一行裡執行多條命令。如例子所示,第一條命令刪除1至5行,第二條命令用check替換test。命令的執 行順序對結果有影響。如果兩個命令都是替換命令,那麼第一個替換命令將影響第二個替換命令的結果。
$ sed --expression='s/test/check/' --expression='/love/d' example //一個比-e更好的命令是--expression。它能給sed表示式賦值。
從檔案讀入:r命令
$ sed '/test/r file' example //file裡的內容被讀進來,顯示在與test匹配的行後面,如果匹配多行,則file的內容將顯示在所有匹配行的下面。
寫入檔案:w命令
$ sed -n '/test/w file' example //在example中所有包含test的行都被寫入file裡。
追加命令:a命令
$ sed '/^test/a\\--->this is a example' example //'this is a example'被追加到以test開頭的行後面,sed要求命令a後面有一個反斜槓。
插入:i命令
$ sed '/test/i\\
new line
-------------------------' example //如果test被匹配,則把反斜槓後面的文字插入到匹配行的前面。
下一個:n命令
$ sed '/test/{ n; s/aa/bb/; }' example //如果test被匹配,則移動到匹配行的下一行,替換這一行的aa,變為bb,並列印該行,然後繼續。
變形:y命令
$ sed '1,10y/abcde/ABCDE/' example //把1--10行內所有abcde轉變為大寫,注意,正則表示式元字元不能使用這個命令。
退出:q命令
$ sed '10q' example //列印完第10行後,退出sed。
保持和獲取:h命令和G命令
$ sed -e '/test/h' -e '$G' example-----
在sed處理檔案的時候,每一行都被儲存在一個叫模式空間的臨時緩衝區中,除非行被刪除或者輸出被取消,否則所有被處理的行都將 列印在螢幕上。接著模式空間被清空,並存入新的一行等待處理。在這個例子裡,匹配test的行被找到後,將存入模式空間,h命令將其複製並存入一個稱為保 持快取區的特殊緩衝區內。第二條語句的意思是,當到達最後一行後,G命令取出保持緩衝區的行,然後把它放回模式空間中,且追加到現在已經存在於模式空間中 的行的末尾。在這個例子中就是追加到最後一行。簡單來說,任何包含test的行都被複制並追加到該檔案的末尾。
保持和互換:h命令和x命令
$ sed -e '/test/h' -e '/check/x' example -----互換模式空間和保持緩衝區的內容。也就是把包含test與check的行互換。
5. 指令碼
Sed指令碼是一個sed的命令清單,啟動Sed時以-f選項引導指令碼檔名。Sed對於指令碼中輸入的命令非常挑剔,在命令的末尾不能有任何空白或文字,如果在一行中有多個命令,要用分號分隔。以#開頭的行為註釋行,且不能跨行。
6. 小技巧
在sed的命令列中引用shell變數時要使用雙引號,而不是通常所用的單引號。下面是一個根據name變數的內容來刪除named.conf檔案中zone段的指令碼:name='zone\ "localhost"'
sed "/$name/,/};/d" named.conf