管道命令

“ | ”，豎線符號代表的就是管道符
管道是一種兩個進程間進行單向通信的機制。因為管道傳遞數據的單向性，所以又稱為半雙工管道。
介紹：

• 管道可以根據一組命令按照數據流向的方式來進行操作。簡單的說，第一個命令執行後，不回顯結果，而是把結果通過管道傳遞給第二個命令，第二個命令處理後再傳給第三個….直到沒有管道符後才終止命令，並回顯最終結果。
• 管道可以把不同的命令組合成強大的指令集合。比如，對文件夾下所有的txt結尾的文件重命名，就需要三個管道符號，四個命令完成。

缺點：

1. 數據只能從一個進程流向另一個進程（其中一個讀管道，一個寫管道）。如果要進行雙工通信，需要建立兩個管道。
2. 管道只能用於父子進程或兄弟進程間通信，也就是說管道只能用於具有親緣關系的進程間通信。
3. 管道所傳輸的是無格式的字節流。

通過管道通信的兩個進程，一個進程向管道寫數據，另一個從中讀數據。寫入的數據每次都添加到管道緩沖區的末尾，讀數據的時候都是沖緩沖區的頭部讀出數據的。

利用管道查看/root/install.log文件的內容並分頁顯示

[root@ylg ~]# cat install.log | more

對於常用的可以直接用於管道的命令，主要有：

• cut　　用來顯示行中的指定部分，刪除文件中指定字段。

• grep　　grep（global search regular expression(RE) and print out the line，全面搜索正則表達式並把行打印出來）是一種強大的文本搜索工具，它能使用正則表達式搜索文本，並把匹配的行打印出來。

• sort 用於將文本文件內容加以排序。sort可針對文本文件的內容，以行為單位來排序。

• uniq　　用於報告或忽略文件中的重復行，一般與sort命令結合使用。

• wc　　用來計算數字。利用wc指令我們可以計算文件的Byte數、字數或是列數，若不指定文件名稱，或是所給予的文件名為“-”，則wc指令會從標準輸入設備讀取數據。　

• tee　　用於讀取標準輸入的數據，並將其內容輸出成文件。tee指令會從標準輸入設備讀取數據，將其內容輸出到標準輸出設備，同時保存成文件。

• tee [-ai][--help][--version][文件...]
  
  -a或--append 　附加到既有文件的後面，而非覆蓋它．
  -i或--ignore-interrupts 　忽略中斷信號。
   
  

• tr　可以對來自標準輸入的字符進行替換、壓縮和刪除。它可以將一組字符變成另一組字符，經常用來編寫優美的單行命令，作用很強大。

• col　　用於過濾控制字符。在許多UNIX說明文件裏，都有RLF控制字符。當我們運用shell特殊字符">"和">>"，把說明文件的內容輸出成純文本文件時，控制字符會變成亂碼，col指令則能有效濾除這些控制字符。

• join　　用於將兩個文件中，指定欄位內容相同的行連接起來。找出兩個文件中，指定欄位內容相同的行，並加以合並，再輸出到標準輸出設備。

• paste　　paste命令用於合並文件的列。paste指令會把每個文件以列對列的方式，一列列地加以合並。和join命令類似。

• paste [-s][-d <間隔字符>][--help][--version][文件...]
  -d<間隔字符>或--delimiters=<間隔字符> 　用指定的間隔字符取代跳格字符。
  -s或--serial 　串列進行而非平行處理。

• expand 　　用於將文件的制表符（TAB）轉換為空白字符（space），將結果顯示到標準輸出設備。

• xargs

cut

語法

cut  [-bn] [file]
cut [-c] [file]
cut [-df] [file]

使用說明:

cut 命令從文件的每一行剪切字節、字符和字段並將這些字節、字符和字段寫至標準輸出。

如果不指定 File 參數，cut 命令將讀取標準輸入。必須指定 -b、-c 或 -f 標誌之一。

參數

指定字段的字符或者字節範圍

cut命令可以將一串字符作為列來顯示，字符字段的記法：

• N-：從第N個字節、字符、字段到結尾；
• N-M：從第N個字節、字符、字段到第M個（包括M在內）字節、字符、字段；
• -M：從第1個字節、字符、字段到第M個（包括M在內）字節、字符、字段。

上面是記法，結合下面選項將摸個範圍的字節、字符指定為字段：

• -b 表示字節；
• -c 表示字符；
• -f 表示定義字段。

實例

[root@localhost text]# cat test.txt 
abcdefghijklmnopqrstuvwxyz
abcdefghijklmnopqrstuvwxyz
abcdefghijklmnopqrstuvwxyz
abcdefghijklmnopqrstuvwxyz
abcdefghijklmnopqrstuvwxyz

打印第1個到第3個字符：

[root@localhost text]# cut -c1-3 test.txt 
abc
abc
abc
abc
abc

打印前2個字符：

[root@localhost text]# cut -c-2 test.txt 
ab
ab
ab
ab
ab

打印從第5個字符開始到結尾：

[root@localhost text]# cut -c5- test.txt 
efghijklmnopqrstuvwxyz
efghijklmnopqrstuvwxyz
efghijklmnopqrstuvwxyz
efghijklmnopqrstuvwxyz
efghijklmnopqrstuvwxyz

grep

grep（global search regular expression(RE) and print out the line，全面搜索正則表達式並把行打印出來）是一種強大的文本搜索工具，它能使用正則表達式搜索文本，並把匹配的行打印出來。

語法

grep [-abcEFGhHilLnqrsvVwxy][-A<顯示列數>][-B<顯示列數>][-C<顯示列數>][-d<進行動作>][-e<範本樣式>][-f<範本文件>][--help][範本樣式][文件或目錄...]

選項

實例

實例

1、在當前目錄中，查找後綴有 file 字樣的文件中包含 test 字符串的文件，並打印出該字符串的行。此時，可以使用如下命令：

grep test *file 

結果如下所示：

$ grep test test* #查找後綴有“test”的文件包含“test”字符串的文件  
testfile1:This a Linux testfile! #列出testfile1 文件中包含test字符的行  
testfile_2:This is a linux testfile! #列出testfile_2 文件中包含test字符的行  
testfile_2:Linux test #列出testfile_2 文件中包含test字符的行 

2、以遞歸的方式查找符合條件的文件。例如，查找指定目錄/etc/acpi 及其子目錄（如果存在子目錄的話）下所有文件中包含字符串"update"的文件，並打印出該字符串所在行的內容，使用的命令為：

grep -r update /etc/acpi 

輸出結果如下：

$ grep -r update /etc/acpi #以遞歸的方式查找“etc/acpi”  
#下包含“update”的文件  
/etc/acpi/ac.d/85-anacron.sh:# (Things like the slocate updatedb cause a lot of IO.)  
Rather than  
/etc/acpi/resume.d/85-anacron.sh:# (Things like the slocate updatedb cause a lot of  
IO.) Rather than  
/etc/acpi/events/thinkpad-cmos:action=/usr/sbin/thinkpad-keys--update 

3、反向查找。前面各個例子是查找並打印出符合條件的行，通過"-v"參數可以打印出不符合條件行的內容。

查找文件名中包含 test 的文件中不包含test 的行，此時，使用的命令為：

grep -v test *test*

結果如下所示：

$ grep-v test* #查找文件名中包含test 的文件中不包含test 的行  
testfile1:helLinux!  
testfile1:Linis a free Unix-type operating system.  
testfile1:Lin  
testfile_1:HELLO LINUX!  
testfile_1:LINUX IS A FREE UNIX-TYPE OPTERATING SYSTEM.  
testfile_1:THIS IS A LINUX TESTFILE!  
testfile_2:HELLO LINUX!  
testfile_2:Linux is a free unix-type opterating system.

4、打印出匹配文本之前或者之後的行

#顯示匹配某個結果之後的3行，使用 -A 選項：
seq 10 | grep "5" -A 3
5
6
7
8

#顯示匹配某個結果之前的3行，使用 -B 選項：
seq 10 | grep "5" -B 3
2
3
4
5

#顯示匹配某個結果的前三行和後三行，使用 -C 選項：
seq 10 | grep "5" -C 3
2
3
4
5
6
7
8

#如果匹配結果有多個，會用“--”作為各匹配結果之間的分隔符：
echo -e "a\nb\nc\na\nb\nc" | grep a -A 1
a
b
--
a
b

sort

Linux sort命令用於將文本文件內容加以排序。sort可針對文本文件的內容，以行為單位來排序。

語法

sort [-bcdfimMnr][-o<輸出文件>][-t<分隔字符>][+<起始欄位>-<結束欄位>][--help][--verison][文件]

選項

-k選項的具體語法格式：

-k選項的語法格式：

FStart.CStart Modifie,FEnd.CEnd Modifier
-------Start--------,-------End--------
 FStart.CStart 選項  ,  FEnd.CEnd 選項

　　　這個語法格式可以被其中的逗號,分為兩大部分，Start部分和End部分。Start部分也由三部分組成，其中的Modifier部分就是我們之前說過的類似n和r的選項部分。我們重點說說Start部分的FStart和C.Start。C.Start也是可以省略的，省略的話就表示從本域的開頭部分開始。FStart.CStart，其中FStart就是表示使用的域，而CStart則表示在FStart域中從第幾個字符開始算“排序首字符”。同理，在End部分中，你可以設定FEnd.CEnd，如果你省略.CEnd，則表示結尾到“域尾”，即本域的最後一個字符。或者，如果你將CEnd設定為0(零)，也是表示結尾到“域尾”。

從公司英文名稱的第二個字母開始進行排序：

$ sort -t ' ' -k 1.2 facebook.txt
baidu 100 5000
sohu 100 4500
google 110 5000
guge 50 3000

　　使用了-k 1.2，表示對第一個域的第二個字符開始到本域的最後一個字符為止的字符串進行排序。你會發現baidu因為第二個字母是a而名列榜首。sohu和 google第二個字符都是o，但sohu的h在google的o前面，所以兩者分別排在第二和第三。guge只能屈居第四了。

只針對公司英文名稱的第二個字母進行排序，如果相同的按照員工工資進行降序排序：

$ sort -t ' ' -k 1.2,1.2 -nrk 3,3 facebook.txt
baidu 100 5000
google 110 5000
sohu 100 4500
guge 50 3000

　　由於只對第二個字母進行排序，所以我們使用了-k 1.2,1.2的表示方式，表示我們“只”對第二個字母進行排序。（如果你問“我使用-k 1.2怎麽不行？”，當然不行，因為你省略了End部分，這就意味著你將對從第二個字母起到本域最後一個字符為止的字符串進行排序）。對於員工工資進行排 序，我們也使用了-k 3,3，這是最準確的表述，表示我們“只”對本域進行排序，因為如果你省略了後面的3，就變成了我們“對第3個域開始到最後一個域位置的內容進行排序” 了。

uniq

Linux uniq命令用於檢查及刪除文本文件中重復出現的行列。

uniq可檢查文本文件中重復出現的行列。

語法

uniq [-cdu][-f<欄位>][-s<字符位置>][-w<字符位置>][--help][--version][輸入文件][輸出文件]

選項

wc

語法

wc [-clw][--help][--version][文件...]

選項

tr

tr 指令從標準輸入設備讀取數據，經過字符串轉譯後，將結果輸出到標準輸出設備。

語法

tr [-cdst][--help][--version][第一字符集][第二字符集]  
tr [OPTION]…SET1[SET2]

選項

字符集合的範圍：

join

Linux join命令用於將兩個文件中，指定欄位內容相同的行連接起來。

找出兩個文件中，指定欄位內容相同的行，並加以合並，再輸出到標準輸出設備。

語法

join [-i][-a<1或2>][-e<字符串>][-o<格式>][-t<字符>][-v<1或2>][-1<欄位>][-2<欄位>][--help][--version][文件1][文件2]

選項

實例

連接兩個文件。

為了清楚地了解join命令，首先通過cat命令顯示文件testfile_1和 testfile_2 的內容。

然後以默認的方式比較兩個文件，將兩個文件中指定字段的內容相同的行連接起來，在終端中輸入命令：

join testfile_1 testfile_2 

首先查看testfile_1、testfile_2 中的文件內容：

$ cat testfile_1 #testfile_1文件中的內容  
Hello 95 #例如，本例中第一列為姓名，第二列為數額  
Linux 85  
test 30  
~$ cat testfile_2 #testfile_2文件中的內容  
Hello 2005 #例如，本例中第一列為姓名，第二列為年份  
Linux 2009  
test 2006 

然後使用join命令，將兩個文件連接，結果如下：

$ join testfile_1 testfile_2 #連接testfile_1、testfile_2中的內容  
Hello 95 2005 #連接後顯示的內容  
Linux 85 2009  
test 30 2006 

文件1與文件2的位置對輸出到標準輸出的結果是有影響的。

xargs

　　xargs命令是給其他命令傳遞參數的一個過濾器，也是組合多個命令的一個工具。它擅長將標準輸入數據轉換成命令行參數，xargs能夠處理管道或者stdin並將其轉換成特定命令的命令參數。xargs也可以將單行或多行文本輸入轉換為其他格式，例如多行變單行，單行變多行。xargs的默認命令是echo，空格是默認定界符。這意味著通過管道傳遞給xargs的輸入將會包含換行和空白，不過通過xargs的處理，換行和空白將被空格取代。xargs是構建單行命令的重要組件之一。

語法

xargs [ -p ] [ -t] [ -e[ EOFString ] ] [ -EEOFString ] [ -i[ ReplaceString ] ] [ -IReplaceString ] [ -l [ Number ] ] [ -L Number ] [ -n Number [ -x ] ] [ -s Size ] [ Command [ Argument ... ] ]

選項

實例

xargs用作替換工具，讀取輸入數據重新格式化後輸出。

定義一個測試文件，內有多行文本數據：

cat test.txt

a b c d e f g
h i j k l m n
o p q
r s t
u v w x y z

多行輸入單行輸出：

cat test.txt | xargs

a b c d e f g h i j k l m n o p q r s t u v w x y z

-n選項多行輸出：

cat test.txt | xargs -n3

a b c
d e f
g h i
......

-d選項可以自定義一個定界符：

echo "nameXnameXnameXname" | xargs -dX

name name name name

結合-n選項使用：

echo "nameXnameXnameXname" | xargs -dX -n2

name name
name name

讀取stdin，將格式化後的參數傳遞給命令

假設一個命令為 sk.sh 和一個保存參數的文件arg.txt：

#!/bin/bash
#sk.sh命令內容，打印出所有參數。

echo $*

arg.txt文件內容：

cat arg.txt

aaa
bbb
ccc

xargs的一個選項-I，使用-I指定一個替換字符串{}，這個字符串在xargs擴展時會被替換掉，當-I與xargs結合使用，每一個參數命令都會被執行一次：

cat arg.txt | xargs -I {} ./sk.sh -p {} -l

-p aaa -l
-p bbb -l
-p ccc -l

復制所有圖片文件到 /data/images 目錄下：

ls *.jpg | xargs -n1 -I cp {} /data/images

xargs結合find使用

用rm 刪除太多的文件時候，可能得到一個錯誤信息：/bin/rm Argument list too long. 用xargs去避免這個問題：

find . -type f -name "*.log" -print0 | xargs -0 rm -f

xargs -0將\0作為定界符。

統計一個源代碼目錄中所有php文件的行數：

find . -type f -name "*.php" -print0 | xargs -0 wc -l

查找所有的jpg 文件，並且壓縮它們：

find . -type f -name "*.jpg" -print | xargs tar -czvf images.tar.gz

xargs其他應用

假如你有一個文件包含了很多你希望下載的URL，你能夠使用xargs下載所有鏈接：

cat url-list.txt | xargs wget -c

Linux 管道