9 處理文本的工具sed
行編輯器;
sed是一種流編輯器,它一次處理一行內容。處理時,把當前處理的行存儲在臨時緩沖區中,稱為“模式空間”(pattern space),接著用sed命令處理緩沖區中的
內容,處理完成後,把緩沖區的內容送往屏幕。然後讀入下行,執行下一個循環。如果沒有使諸如‘D’的特殊命令,那會在兩個循環之間清空模式空間,但不會清空保留空間。這樣不斷重復,直到文件末尾。文件內容並沒有改變,除非你使用重定向存儲輸出。
功能:主要用來自動編輯一個或多個文件,簡化對文件的反復操作
sed命令行格式為:
sed [-nefri] ‘command’ 輸入文本
常用選項:
-n∶使用安靜(silent)模式。在一般 sed 的用法中,所有來自 STDIN的資料一般都會被列出到螢幕上。但如果加上 -n 參數後,則只有經過sed 特殊處理的那一行(或者動作)才會被列出來。
-f∶直接將 sed 的動作寫在一個檔案內, -f filename 則可以執行 filename 內的sed 動作;
-r∶sed 的動作支援的是延伸型正規表示法的語法。(預設是基礎正規表示法語法)
-i∶-i.bak: 備份文件並原處編輯
常用命令:
c ∶取代, c 的後面可以接字串,這些字串可以取代 n1,n2 之間的行!
d ∶刪除,因為是刪除啊,所以 d 後面通常不接任何咚咚;
i ∶插入, i 的後面可以接字串,而這些字串會在新的一行出現(目前的上一行);
p ∶列印,亦即將某個選擇的資料印出。通常 p 會與參數 sed -n 一起運作~
sed在文件中查詢文本的方式:
1)使用行號,可以是一個簡單數字,或是一個行號範圍
2)使用正則表達式,擴展正則表達式(必須結合-r選項)
^ 錨點行首的符合條件的內容,用法格式"^pattern"
$ 錨點行首的符合條件的內容,用法格式"pattern$"
^$ 空白行
. 匹配任意單個字符
-
匹配緊挨在前面的字符任意次(0,1,多次)
- 匹配任意長度的任意字符
\? 匹配緊挨在前面的字符0次或1次
{m,n} 匹配其前面的字符至少m次,至多n次
{m,} 匹配其前面的字符至少m次
{m} 匹配前面的m次
{0,n} 匹配前面的0到n次
\< 錨點詞首----相當於 \b,用法格式:\
\> 錨點詞尾,用法格式:\>pattern
\<pattern\> 單詞錨點
分組,用法格式:(xy)*ab,引用\1,\2
[] 匹配指定範圍內的任意單個字符
[^] 匹配指定範圍外的任意單個字符
[:digit:] 所有數字, 相當於0-9, [0-9]---> [[:digit:]]
[:lower:] 所有的小寫字母
[:upper:] 所有的大寫字母
[:alpha:] 所有的字母
[:alnum:] 相當於0-9a-zA-Z
[:space:] 空白字符
[:punct:] 所有標點符號
3)sed的編輯命令(sed scripts):
d:刪除模式空間匹配的行,並立即啟用下一輪循環
如:seq 11 |sed ‘2~2d‘(打印出奇數)
p: 打印當前模式空間的內容,追加到默認輸出之後
如:seq 10 |sed -n ‘0~2p‘(1-10的偶數)
a \string : 在指定行後面追加文本,支持使用\n實現多行追加
如:seq 11 |sed ‘6~2axy‘(6之後每隔2行追加xy)
i \txt : 在行前面插入文本
如:sed ‘/root/i \superman‘ /etc/passwd 在包含root的行前寫入Superman
c \txt : 替換單行或多行文本
如:sed ‘/root/c \superman‘ /etc/passwd 用Superman替換包含root的行
w /path/to/file : 保存模式匹配的行至指定的文件
如:seq 10|sed ‘5,8w‘ /app/sed.log(將內容指定到文件)
r /path/to/file : 讀取指定文件的文本至模式空間中匹配到的行後
如:seq 10|sed ‘5,8r /etc/issue‘ (文件內容指定到5,6,7,8行後)
= :為模式空間中的行,打印行號
如:sed -n ‘/^$/=‘ file 顯示空行行號
!:模式空間中匹配行取反處理
如:sed ‘/bash$/!d‘ /etc/passwd 取出以bash結尾的行
s/// : 查找並替換,支持使用其他分隔符,s@@@,s
替換標記
g :全局替換
如: sed ‘s@^#@@g‘ /etc/inittab 刪除/etc/inittab文件中開頭的#號
p :顯示替換成功的行
如:sed –n ‘s/root/&superman/p’ /etc/passwd 在root單詞後加上superman
sed –n ‘s/root/superman&/p’ /etc/passwd 在root單詞前加上superman
w /path /to/file : 將替換成功的行保存至文件中
sed高級用法
高級用法中新增加了保持空間,
1)選項
P:打印模式空間開端至\n內容,並追加到默認輸出之前
h: 把模式空間中的內容覆蓋至保持空間中
H:把模式空間中的內容追加至保持空間中
g: 從保持空間取出數據覆蓋至模式空間
G:從保持空間取出內容追加至模式空間
x: 把模式空間中的內容與保持空間中的內容進行互換
n: 讀取匹配到的行的下一行覆蓋至模式空間
N:讀取匹配到的行的下一行追加至模式空間
d: 刪除模式空間中的行
D:如果模式空間包含換行符,則刪除直到第一個換行符的模式空間中的文本,並不會讀取新的輸入行,而使用合成的模式空間重新啟動循環。如果模式空間不包含換行符,則會像發出d命令那樣啟動正常的新循環
sed -n ‘n;p‘ FILE # 打印偶數行
sed ‘1!G;h;$!d‘ FILE # 倒序排列
sed -n ‘1!G;h;$p‘ FILE # 倒序排列
sed ‘N;D‘ FILE # 只保留最後一行
sed ‘$!d‘ FILE # 只保留最後一行
sed ‘$!N;$!D‘ FILE # 只保留最後兩行
sed ‘G‘ FILE # 相當於在每行的後面添加空白行
sed ‘g‘ FILE # 全替換成空白行
sed ‘/^$/d;G‘ FILE # 沒空行的加空行,有空行的不變。刪除空白行
sed ‘n;d‘ FILE # 顯示奇數行
line=6;seq 10|sed -n "$line p" #打印出變量值,用雙引號
練習實例
1、刪除centos7系統/etc/grub2.cfg文件中所有以空白開頭的行行首的空白字符
cat /etc/grub2.cfg|sed -r ‘s/^[[:space:]]+//‘
*解釋:^[[:space:]]以空白開頭的行,-r使用擴展正則,+匹配前面至少1次,將前面的行替換成空白,即刪除。
*
2、刪除/etc/fstab文件中所有以#開頭,後面至少跟一個空白字符的行的行首的#和空白字符
cat /etc/fstab|sed ‘s/^#[[:space:]]+//‘
解釋:^#[[:space:]]以#開頭的空白行,+匹配前面至少1次
3、在centos6系統/root/install.log每一行行首增加#號
sed ‘s/^/#‘ /root/install.log
解釋:^行首,替換成#
4、在/etc/fstab文件中不以#開頭的行的行首增加#號
sed ‘s/^[^#]/#&/‘ /etc/fstab
解釋:^[^#]不以#開頭,替換成#&,#&表示在^[^#]前面加#
5、處理/etc/fstab路徑,使用sed命令取出其目錄名和基名
基名:echo /etc/sysconfig/network-scripts/ |sed -r ‘s@^(/.*/)([^/]+/?)@\2@‘
目錄名:echo /etc/sysconfig/network-scripts/ |sed -r ‘s@^(/.*/)([^/]+/?)@\1@‘
解析:^/./以/開頭,[^/]+/?不以/開頭,進行分組,\1只留下^/./,\2只留下[^/]+/?
echo /etc/sysconfig/network-scripts/ |sed -r ‘s@(^./)([^/]./?)@\1\n\2@‘
解析:^./以任意字符開頭 /結尾,[^/]./?不以/開頭,進行分組。
6、利用sed 取出ifconfig命令中本機的IPv4地址
centos6:ifconfig eth2 |sed -n ‘2p‘ |sed ‘s#^.addr:##g‘ |sed ‘s# Bcas.$##g‘
解析:2p打印第2行,-n 關閉自動打印,^.addr:以addr:開頭替換成空白, Bcas.$以空白開頭以$結束
9 處理文本的工具sed