sed不僅可以像grep過濾文件，查找想要的內容，還可以更改文件，這是grep做不到的。

一。sed介紹

• Stream EDitor, 行編輯器
• sed是一種流編輯器，它一次處理一行內容。處理時，把當前處理的行存儲在臨時緩沖區中，稱為“模式空間”（pattern space），接著用sed命令處理緩沖區中的內容，處理完成後，把緩沖區的內容送往屏幕。然後讀入下行，執行下一個循環。如果沒有使諸如‘D’的特殊命令，那會在兩個循環之間清空模式空間，但不會清空保留空間。這樣不斷重復，直到文件末尾。文件內容並沒有改變，除非你使用重定向存儲輸出。
• 功能：主要用來自動編輯一個或多個文件,簡化對文件的反復操作,編寫轉換程序等

二。sed工具

1.命令格式

sed [option]... ‘script(腳本)‘ inputfile(文件)...

2.sed工具

（1）[option]常用選項:

-n                      不輸出模式空間內容到屏幕，即不自動打印
-e                      多點編輯
-f /PATH/SCRIPT_FILE    從指定文件中讀取編輯腳本
-r                      支持使用擴展正則表達式
-i.bak                  備份文件並原處編輯

（2）‘script‘(腳本)

    腳本分為兩部分“地址”和“命令”。

    地址：定位到文本的哪一行，即把希望處理的行過濾出來。可使用各種命令包括正則表達式
    命令：可以實現搜索、替代、顯示、修改等，功能豐富

    1）地址定界：

        不給地址：對全文進行處理
        單地址：
            #：指定的行
            $：最後一行
            /pattern/：被此處模式所能夠匹配到的每一行
        地址範圍：
            #,#
            #,+#
            /pat1/,/pat2/
            #,/pat1/
        ~：步進
            1~2 奇數行
            2~2 偶數行

    2）編輯命令：

        d               刪除模式空間匹配的行，並立即啟用下一輪循環
        p               打印當前模式空間內容，追加到默認輸出之後
        a [\]text       在指定行後面追加文本，支持使用\n實現多行追加
        i [\]text       在行前面插入文本
        c [\]text       替換行為單行或多行文本
        w /path/file    保存模式匹配的行至指定文件
        r /path/file    讀取指定文件的文本至模式空間中匹配到的行後
        =               為模式空間中的行打印行號
        !               模式空間中匹配行取反處理

（3）查找替換
    s/// 查找替換,支持使用其它分隔符，[email protected]@@，s###
                還支持正則表達式的分組和後向引用
    格式：s/搜索的內容，可使用正則表達式/替換的內容，可使用正則的後向引用/

        1）替換標記：
            g 行內全局替換
            p 顯示替換成功的行
            w /PATH/FILE 將替換成功的行保存至文件中
    查找替換的示例請看下面示例21到30
 

2.sed工作原理

sed命令每次執行時，會把文件中的某一行讀入到一個sed獨有的緩存區中，術語叫“模式空間”（pattern space）。使用sed時，模式空間會把文件中的某一行，如第一行，讀入到空間裏，利用sed的指令處理這一行，如根據條件把這行的一部分數據讀出來、刪除、搜索或者替換，而且sed在處理時默認會把這行打印出來。處理完這行後，默認會把下一行讀入到空間裏，根據條件進行處理，就這樣以此類推直到處理完文件的每一行。

三。示例

1.sed的自動打印

如下所示，命令是sed，文件是passwd，地址和命令沒寫，就會繼承默認選項，自動打印文件的每一行。

格式：sed ‘地址和命令‘ 文件
[[email protected] ~]# sed ‘‘ /etc/passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
········
 

2.sed指定行

只打印/etc/passwd文件的第十行

[[email protected] ~]# sed -n ‘10p‘ /etc/passwd
operator:x:11:0:operator:/root:/sbin/nologin
[[email protected] ~]#

如果不加“-n”選項，會默認打印/etc/passwd文件，而且第10行會顯示兩行

3.sed使用正則表達式“/pattern/”

在“地址”位置，使用兩個斜線，斜線中間可以使用正則表達式
示例：打印(p命令)/etc/fstab文件以#號開頭的行

[[email protected] ~]# sed -n ‘/^#/p‘ /etc/fstab 
#
# /etc/fstab
# Created by anaconda on Wed Mar  6 18:47:21 2019
#
# Accessible filesystems, by reference, are maintained under ‘/dev/disk‘
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
[[email protected] ~]#

4.sed使用正則表達式，註意“/”要轉義

查看“df顯示結果”中以“/dev/sd”開頭的行
[[email protected] ~]# df | sed -n ‘/^\/dev\/sd/p‘
/dev/sda2      104806400  3664852 101141548   4% /
/dev/sda3       52403200    32992  52370208   1% /data
/dev/sda1        1038336   166924    871412  17% /boot
[[email protected] ~]#

5.sed顯示最後一行

顯示/etc/passwd文件的最後一行

[[email protected] ~]# sed -n ‘$p‘ /etc/passwd
niubin:x:1000:1000:niubin:/home/niubin:/bin/bash
[[email protected] ~]#

5.sed的取反

"!"感嘆號是取反的意思
1） /etc/fstab文件中，除了“#號開頭”的行都顯示
[[email protected] ~]# sed -n ‘/^#/!p‘ /etc/fstab 

UUID=a4f83d4b-f700-4b81-912f-b3d2bf1bc83b /                       xfs     defaults        0 0
UUID=864a865c-b2d2-427b-8370-42fcb8fb4c7e /boot                   xfs     defaults        0 0
UUID=b734b94b-1f32-4eab-8a02-fe442bbee43e /data                   xfs     defaults        0 0
UUID=80633a75-2496-4b44-8c4c-f196c74b1945 swap                    swap    defaults        0 0
[[email protected] ~]

2）/etc/passwd文件中，除了第2行都顯示

[[email protected] ~]# sed -n ‘2!p‘ /etc/passwd

6.sed指定第幾行到第幾行

顯示第3行到第6行
seq 10 | sed -n ‘3,6p‘

7.sed指定第幾行及其後面幾行

顯示第3行及後面2行
[[email protected] ~]# seq 10 | sed -n ‘3,+2p‘
3
4
5
[[email protected] ~]#

8.sed指定查找“模式1”到“模式2”中間的內容

顯示/etc/passwd文件中a開頭的行和s開頭的行，中間的內容

[[email protected] ~]# sed -n ‘/^a/,/^s/p‘ /etc/passwd
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
abrt:x:173:173::/etc/abrt:/sbin/nologin
rtkit:x:172:172:RealtimeKit:/proc:/sbin/nologin
pulse:x:171:171:PulseAudio System Daemon:/var/run/pulse:/sbin/nologin
chrony:x:995:990::/var/lib/chrony:/sbin/nologin
radvd:x:75:75:radvd user:/:/sbin/nologin
rpcuser:x:29:29:RPC Service User:/var/lib/nfs:/sbin/nologin
nfsnobody:x:65534:65534:Anonymous NFS User:/var/lib/nfs:/sbin/nologin
unbound:x:994:989:Unbound DNS resolver:/etc/unbound:/sbin/nologin
gluster:x:993:988:GlusterFS daemons:/run/gluster:/sbin/nologin
qemu:x:107:107:qemu user:/:/sbin/nologin
tss:x:59:59:Account used by the trousers package to sandbox the tcsd daemon:/dev/null:/sbin/nologin
usbmuxd:x:113:113:usbmuxd user:/:/sbin/nologin
geoclue:x:992:986:User for geoclue:/var/lib/geoclue:/sbin/nologin
setroubleshoot:x:991:985::/var/lib/setroubleshoot:/sbin/nologin
avahi:x:70:70:Avahi mDNS/DNS-SD Stack:/var/run/avahi-daemon:/sbin/nologin
postfix:x:89:89::/var/spool/postfix:/sbin/nologin
ntp:x:38:38::/etc/ntp:/sbin/nologin
tcpdump:x:72:72::/:/sbin/nologin
niubin:x:1000:1000:niubin:/home/niubin:/bin/bash

直到找到s開頭的行才結束，但最後一行不是s開頭的行，不過，上面卻又a開頭的行，所以找到最後一行就算不是s行開頭，也會結束，並打印。

9.還是模式到模式的應用，面試或生活中在查找日誌時會用到

查找日誌文件access.log中“9點3XX分鐘”開始，到“9點56分”結束的日誌信息
註意：以下命令是根據我的日誌格式來查找的，不適應全部的日誌文件格式

sed -n ‘/.*:09:3./,/.*:09:56./p‘ access.log

10.sed指定查找文件的第X行到模式匹配的中間行

顯示/etc/passwd文件中第3行到s開頭的行，中間的內容

[[email protected] ~]# sed -n ‘3,/^s/p‘ /etc/passwd

11.sed指定挑出文件特定的行，從第X行開始，每次只是遞增幾行

“~”波浪符號表示步進：1~2 奇數行 2~2 偶數行
說明：指定第1行，每次遞增2行，所以顯示結果是1,3,5,7等

示例：奇數行
[[email protected] ~]# seq 10 | sed -n ‘1~2p‘
1
3
5
7
9
示例：偶數行
[[email protected] ~]# seq 10 | sed -n ‘2~2p‘
2
4
6
8
10
[[email protected] ~]#

12.sed的刪除功能

“d”命令是刪除的意思。

示例1：刪除第2行  
[[email protected] ~]# seq 6 | sed ‘2d‘
1
3
4
5
6
[[email protected] ~]#
示例2：顯示/etc/fstab文件中非#號開頭的行
[[email protected] ~]# sed ‘/^#/d‘ /etc/fstab 

UUID=a4f83d4b-f700-4b81-912f-b3d2bf1bc83b /  xfs defaults 0 0
UUID=864a865c-b2d2-427b-8370-42fcb8fb4c7e /boot xfs defaults 0 0
UUID=b734b94b-1f32-4eab-8a02-fe442bbee43e /data xfs defaults 0 0
UUID=80633a75-2496-4b44-8c4c-f196c74b1945 swap swap defaults 0 0
[[email protected] ~]#

13.sed在指定行的後面追加內容

追加使用“a”，結合sed的正則表達式  

示例1：顯示用戶家目錄的bashrc文件的“# User”後面追加一行“alias ls=hostname（設置別名）”

[[email protected] ~]# sed ‘/# User/aalias ls=hostname‘ ~/.bashrc
# .bashrc

# User specific aliases and functions
alias ls=hostname

alias rm=‘rm -i‘
alias cp=‘cp -i‘
alias mv=‘mv -i‘

# Source global definitions
if [ -f /etc/bashrc ]; then
    . /etc/bashrc
fi
[[email protected] ~]#

示例2：示例1只是顯示，並沒有修改文件。想修改添加“-i.bak”選項就行，既修改了文件，又提前把原文件備份了一次。
註意如果是“-i”選項，會直接改文件，不會有備份，容易產生問題。
"-i"的後綴不一定是“bak”,可以自己添加，如“-i.backup”
sed -i.bak ‘/# User/aalias ls=hostname‘ ~/.bashrc

查看備份文件，因為bashrc是隱藏文件，所以它的備份文件也是隱藏文件
ls -a ~/

示例3：追加的內容要想有空格，需要加轉義  

[[email protected] ~]# seq 3 | sed ‘a\   xyz‘
1
   xyz
2
   xyz
3
   xyz
[[email protected] ~]#

14.sed追加好幾號

追加好幾行需要回車，“\n”在正則表達式表示回車

[[email protected] ~]# seq 3 | sed ‘a\   xyz\n     ABC\nlalala‘
1
   xyz
     ABC
lalala
2
   xyz
     ABC
lalala
3
   xyz
     ABC
lalala
[[email protected] ~]#

15.sed特殊的地方，追加變量需要用三個單引號

因為sed使用的是單引號，單引號的作用是“六親不認”，即單引號裏面的變量是字符，而不是變量。

示例：添加變量$USER即用戶  
[[email protected] ~]# seq 3 | sed ‘a‘‘‘$USER‘‘‘‘
1
root
2
root
3
root
[[email protected] ~]#

16.sed指定在行的前面插入行

在行的前面插入行使用“i”。示例：在行的前面插入行
[[email protected] ~]# seq 3 | sed ‘ixyz‘
xyz
1
xyz
2
xyz
3
[[email protected] ~]#

17.sed指定行的替換

替換使用“c”

[[email protected] ~]# seq 3 | sed ‘cxyz‘
xyz
xyz
xyz
[[email protected] ~]#

18.sed指定滿足條件的行保存到一個文件，相當於重定向

保存到一個文件用“w”

示例1：把第3行到第6行放到seq.txt文件裏
[[email protected] ~]# seq 7
1
2
3
4
5
6
7
[[email protected] ~]# seq 7 |sed ‘3,6w /data/seq1.txt‘
1
2
3
4
5
6
7
[[email protected] ~]# cat /data/seq1.txt 
3
4
5
6
[[email protected] ~]#

示例2：使用重定向
[[email protected] ~]# seq 7 |sed -n ‘3,6p‘ > /data/seq2.txt 
[[email protected] ~]# cat /data/seq2.txt 
3
4
5
6
[[email protected] ~]#

19.將文件的內容讀入到每一行

將/data/du.txt文件的內容讀入到每一行
[[email protected] ~]# cat /data/du.txt 
a
b
c
[[email protected] ~]# seq 3 | sed ‘r /data/du.txt‘
1
a
b
c
2
a
b
c
3
a
b
c
[[email protected] ~]#

20.sed指定每一行的前面打印一個行號

指定/etc/fstab文件每一行前面打印行號
[[email protected] ~]# cat /etc/fstab | sed ‘=‘
1

2
#
3
# /etc/fstab
4
# Created by anaconda on Wed Mar  6 18:47:21 2019
5
#
6
# Accessible filesystems, by reference, are maintained under ‘/dev/disk‘
7
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
8
#
9
UUID=a4f83d4b-f700-4b81-912f-b3d2bf1bc83b / xfs defaults 0 0
········

21.sed的查找替換(掌握)

示例：將abc替換為xyz
[[email protected] ~]# echo abc | sed ‘s/abc/xyz/‘
xyz
[[email protected] ~]#

22.sed查找替換的正則表達式的使用

示例1：把abc替換為a
思路：搜索部分“把a分組”，替換部分“使用後向引用”,因為正則表達式的“/”需要轉移，所以使用擴展表達式,加“-r”
[[email protected] ~]# echo abc | sed -r ‘s/(a).*/\1/‘
a
[[email protected] ~]#

示例2：把abc替換為b
有三個分組，分組1(a),分組(b),分組(c)
[[email protected] ~]# echo abc | sed -r ‘s/(a)(b)(c)/\2/‘
b
有兩個分組，分組1即第一個括號裏的內容(abc),分組2即(b)
[[email protected] ~]# echo abc | sed -r ‘s/(a(b)c)/\2/‘
b
[[email protected] ~]#

示例3
有兩個分組，分組1即第一個括號裏的內容(abc),分組2即(b)
[[email protected] ~]# echo abc | sed -r ‘s/(a(b)c)/\1/‘
abc
[[email protected] ~]#

23.指定文件某行添加內容

指定/etc/default/grub文件中GRUB_CMDLINE_LINUX行最後添加xyz

[[email protected] ~]# sed -n ‘/CMD/p‘ /etc/default/grub 
GRUB_CMDLINE_LINUX="crashkernel=auto rhgb quiet net.ifnames=0"

分組1(.*)，而"$表示0後面的雙引號和看不見的換行符，下面的命令是把0和它後面的雙引號替換為xyz和雙引號。“\1”表示分區1的內容。
[[email protected] ~]# sed -r ‘/CMD/s/(.*)"$/\1xyz"/‘ /etc/default/grub 
GRUB_TIMEOUT=5
GRUB_DISTRIBUTOR="$(sed ‘s, release .*$,,g‘ /etc/system-release)"
GRUB_DEFAULT=saved
GRUB_DISABLE_SUBMENU=true
GRUB_TERMINAL_OUTPUT="console"
GRUB_CMDLINE_LINUX="crashkernel=auto rhgb quiet net.ifnames=0xyz"
GRUB_DISABLE_RECOVERY="true"
[[email protected] ~]#

上面的結果不用後向引用也行，如下：
[[email protected] ~]# sed -r ‘/CMD/s/"$/xyz"/‘ /etc/default/grub 
GRUB_TIMEOUT=5
GRUB_DISTRIBUTOR="$(sed ‘s, release .*$,,g‘ /etc/system-release)"
GRUB_DEFAULT=saved
GRUB_DISABLE_SUBMENU=true
GRUB_TERMINAL_OUTPUT="console"
GRUB_CMDLINE_LINUX="crashkernel=auto rhgb quiet net.ifnames=0xyz"
GRUB_DISABLE_RECOVERY="true"
[[email protected] ~]#

24.sed指定奇數、偶數名的使用

把目標文件的偶數名取出來，定義“/etc/sysconfig/”是奇數，“network-scripts”是偶數

".*"表示任意字符，“/”是斜線，所以顯示為最後一個斜線，即全部目錄"
[[email protected] ~]# echo /etc/sysconfig/network-scripts/ | sed -r ‘#.*/#p‘
/etc/sysconfig/network-scripts/

"^/"表示不是斜線開頭；“[^/]+”表示不是斜線開頭的任意字符；“/?”表示斜線可有可無，“$”表示行尾。所以，下面顯示的是偶數行
[[email protected] ~]# echo /etc/sysconfig/network-scripts/ | sed -r ‘s#(.*/)([^/]+)/?$#\2#‘
network-scripts
[[email protected] ~]#

25.sed指定獲取IP地址

獲取網絡eth0的IP地址（掐頭去尾法）

方法一：
第一個sed命令：把“.*inet空格”替換為空
[[email protected] ~]# ifconfig eth0 | sed -rn ‘2s/.*inet //p‘
192.168.238.130  netmask 255.255.255.0  broadcast 192.168.238.255
第二個sed命令：匹配“空格.*”的內容替換為空
[[email protected] ~]# ifconfig eth0 | sed -rn ‘2s/.*inet //p‘ | sed ‘s/ .*//‘
192.168.238.130
[[email protected] ~]#

方法二：
“[^(0-9)]+”表示不是數字開頭的行一個以上；“([0-9.]+)”表示“數字或點”一個以上
[[email protected] ~]# ifconfig eth0 | sed -nr ‘2s/[^(0-9)]+([0-9.]+).*/\1/p‘
192.168.238.130
[[email protected] ~]#

26.sed的多點編輯

多點編輯需要用“-e”。示例：還是獲取eth0的IP地址
[[email protected] ~]# ifconfig eth0 | sed -rn -e ‘/netmask/s/.*inet //‘ -e ‘s/ netmask.*//p‘
192.168.238.130 
[[email protected] ~]#

27.sed指定搜索替換中“&”符號的使用

“&”符號在sed的搜索替換中代表前面搜索的內容。示例：搜索/etc/passwd文件中root替換為rooter
[[email protected] ~]# sed -n ‘s/root/&er/p‘ /etc/passwd
rooter:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/rooter:/sbin/nologin
[[email protected] ~]#

28.sed指定從文件中讀取腳本

使用“-f”可以指定從文件中讀取“地址命令”
[[email protected] ~]# cat /data/sedf.txt 
s/root/&er/
[[email protected] ~]# sed -f /data/sedf.txt /etc/passwd
rooter:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
·······
可以看到第一個單詞的root替換成rooter，可後面的root單詞沒有替換，想要替換請看下面的示例29

29.sed指定行內全局替換

“g”在sed代表行內全局替換

[[email protected] ~]# cat /data/sedf.txt 
s/root/&er/g

[[email protected] ~]# sed -f /data/sedf.txt /etc/passwd
rooter:x:0:0:rooter:/rooter:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
······

30.使用sed搜索修改網卡名

使用sed在/boot/grub2/grub.cfg文件搜索“linux16”開頭的行，在行尾添加“net.infnames=0”

sed -i.bak ‘/.*linux16/s#.*#a& net.infnames=0#‘ /boot/grub2/grub.cfg

Linux 篇 | 文本處理三劍客之SED