1. 程式人生 > >9 處理文本的工具sed

9 處理文本的工具sed

入行 config 寫入 ace shadow line nag 存儲 正常

sed

行編輯器;
sed是一種流編輯器,它一次處理一行內容。處理時,把當前處理的行存儲在臨時緩沖區中,稱為“模式空間”(pattern space),接著用sed命令處理緩沖區中的
內容,處理完成後,把緩沖區的內容送往屏幕。然後讀入下行,執行下一個循環。
如果沒有使諸如‘D’的特殊命令,那會在兩個循環之間清空模式空間,但不會清空保留空間。這樣不斷重復,直到文件末尾。文件內容並沒有改變,除非你使用重定向存儲輸出。

功能:主要用來自動編輯一個或多個文件,簡化對文件的反復操作

sed命令行格式為:

sed [-nefri] ‘command’ 輸入文本

常用選項:
-n∶使用安靜(silent)模式。在一般 sed 的用法中,所有來自 STDIN的資料一般都會被列出到螢幕上。但如果加上 -n 參數後,則只有經過sed 特殊處理的那一行(或者動作)才會被列出來。

-e∶直接在指令列模式上進行 sed 的動作編輯;
-f∶直接將 sed 的動作寫在一個檔案內, -f filename 則可以執行 filename 內的sed 動作;
-r∶sed 的動作支援的是延伸型正規表示法的語法。(預設是基礎正規表示法語法)
-i∶-i.bak: 備份文件並原處編輯

常用命令:

c ∶取代, c 的後面可以接字串,這些字串可以取代 n1,n2 之間的行!
d ∶刪除,因為是刪除啊,所以 d 後面通常不接任何咚咚;
i ∶插入, i 的後面可以接字串,而這些字串會在新的一行出現(目前的上一行);
p ∶列印,亦即將某個選擇的資料印出。通常 p 會與參數 sed -n 一起運作~

s ∶取代,可以直接進行取代的工作哩!通常這個 s 的動作可以搭配正規表示法!

sed在文件中查詢文本的方式:

1)使用行號,可以是一個簡單數字,或是一個行號範圍

技術分享圖片

2)使用正則表達式,擴展正則表達式(必須結合-r選項)

^ 錨點行首的符合條件的內容,用法格式"^pattern"

$ 錨點行首的符合條件的內容,用法格式"pattern$"

^$ 空白行

. 匹配任意單個字符

  • 匹配緊挨在前面的字符任意次(0,1,多次)

  • 匹配任意長度的任意字符

\? 匹配緊挨在前面的字符0次或1次

{m,n} 匹配其前面的字符至少m次,至多n次

{m,} 匹配其前面的字符至少m次

{m} 匹配前面的m次

{0,n} 匹配前面的0到n次

\< 錨點詞首----相當於 \b,用法格式:\

\> 錨點詞尾,用法格式:\>pattern

\<pattern\> 單詞錨點

分組,用法格式:(xy)*ab,引用\1,\2

[] 匹配指定範圍內的任意單個字符
[^] 匹配指定範圍外的任意單個字符

[:digit:] 所有數字, 相當於0-9, [0-9]---> [[:digit:]]

[:lower:] 所有的小寫字母

[:upper:] 所有的大寫字母

[:alpha:] 所有的字母

[:alnum:] 相當於0-9a-zA-Z

[:space:] 空白字符

[:punct:] 所有標點符號

3)sed的編輯命令(sed scripts):

d:刪除模式空間匹配的行,並立即啟用下一輪循環
如:seq 11 |sed ‘2~2d‘(打印出奇數)

p: 打印當前模式空間的內容,追加到默認輸出之後

如:seq 10 |sed -n ‘0~2p‘(1-10的偶數)

a \string : 在指定行後面追加文本,支持使用\n實現多行追加

如:seq 11 |sed ‘6~2axy‘(6之後每隔2行追加xy)

i \txt : 在行前面插入文本

如:sed ‘/root/i \superman‘ /etc/passwd 在包含root的行前寫入Superman

c \txt : 替換單行或多行文本

如:sed ‘/root/c \superman‘ /etc/passwd 用Superman替換包含root的行
w /path/to/file : 保存模式匹配的行至指定的文件

如:seq 10|sed ‘5,8w‘ /app/sed.log(將內容指定到文件)

r /path/to/file : 讀取指定文件的文本至模式空間中匹配到的行後

如:seq 10|sed ‘5,8r /etc/issue‘ (文件內容指定到5,6,7,8行後)

= :為模式空間中的行,打印行號

如:sed -n ‘/^$/=‘ file 顯示空行行號

!:模式空間中匹配行取反處理

如:sed ‘/bash$/!d‘ /etc/passwd 取出以bash結尾的行

s/// : 查找並替換,支持使用其他分隔符,s@@@,s

替換標記

g :全局替換

如: sed ‘s@^#@@g‘ /etc/inittab 刪除/etc/inittab文件中開頭的#號

p :顯示替換成功的行

如:sed –n ‘s/root/&superman/p’ /etc/passwd 在root單詞後加上superman

sed –n ‘s/root/superman&/p’ /etc/passwd 在root單詞前加上superman

w /path /to/file : 將替換成功的行保存至文件中

sed高級用法

高級用法中新增加了保持空間,

1)選項

P:打印模式空間開端至\n內容,並追加到默認輸出之前

h: 把模式空間中的內容覆蓋至保持空間中

H:把模式空間中的內容追加至保持空間中

g: 從保持空間取出數據覆蓋至模式空間

G:從保持空間取出內容追加至模式空間

x: 把模式空間中的內容與保持空間中的內容進行互換

n: 讀取匹配到的行的下一行覆蓋至模式空間

N:讀取匹配到的行的下一行追加至模式空間

d: 刪除模式空間中的行

D:如果模式空間包含換行符,則刪除直到第一個換行符的模式空間中的文本,並不會讀取新的輸入行,而使用合成的模式空間重新啟動循環。如果模式空間不包含換行符,則會像發出d命令那樣啟動正常的新循環

sed -n ‘n;p‘ FILE # 打印偶數行

sed ‘1!G;h;$!d‘ FILE # 倒序排列

sed -n ‘1!G;h;$p‘ FILE # 倒序排列

sed ‘N;D‘ FILE # 只保留最後一行

sed ‘$!d‘ FILE # 只保留最後一行

sed ‘$!N;$!D‘ FILE # 只保留最後兩行

sed ‘G‘ FILE # 相當於在每行的後面添加空白行

sed ‘g‘ FILE # 全替換成空白行

sed ‘/^$/d;G‘ FILE # 沒空行的加空行,有空行的不變。刪除空白行

sed ‘n;d‘ FILE # 顯示奇數行

line=6;seq 10|sed -n "$line p" #打印出變量值,用雙引號

練習實例

1、刪除centos7系統/etc/grub2.cfg文件中所有以空白開頭的行行首的空白字符

cat /etc/grub2.cfg|sed -r ‘s/^[[:space:]]+//‘

*解釋:^[[:space:]]以空白開頭的行,-r使用擴展正則,+匹配前面至少1次,將前面的行替換成空白,即刪除。*

2、刪除/etc/fstab文件中所有以#開頭,後面至少跟一個空白字符的行的行首的#和空白字符

cat /etc/fstab|sed ‘s/^#[[:space:]]+//‘

解釋:^#[[:space:]]以#開頭的空白行,+匹配前面至少1次

3、在centos6系統/root/install.log每一行行首增加#號

sed ‘s/^/#‘ /root/install.log
解釋:^行首,替換成#

4、在/etc/fstab文件中不以#開頭的行的行首增加#號

sed ‘s/^[^#]/#&/‘ /etc/fstab

解釋:^[^#]不以#開頭,替換成#&,#&表示在^[^#]前面加#

5、處理/etc/fstab路徑,使用sed命令取出其目錄名和基名

基名:echo /etc/sysconfig/network-scripts/ |sed -r ‘s@^(/.*/)([^/]+/?)@\2@‘

目錄名:echo /etc/sysconfig/network-scripts/ |sed -r ‘s@^(/.*/)([^/]+/?)@\1@‘

解析:^/./以/開頭,[^/]+/?不以/開頭,進行分組,\1只留下^/./,\2只留下[^/]+/?

echo /etc/sysconfig/network-scripts/ |sed -r ‘s@(^./)([^/]./?)@\1\n\2@‘

解析:^./以任意字符開頭 /結尾,[^/]./?不以/開頭,進行分組。

6、利用sed 取出ifconfig命令中本機的IPv4地址
centos6:ifconfig eth2 |sed -n ‘2p‘ |sed ‘s#^.addr:##g‘ |sed ‘s# Bcas.$##g‘

解析:2p打印第2行,-n 關閉自動打印,^.addr:以addr:開頭替換成空白, Bcas.$以空白開頭以$結束

9 處理文本的工具sed