2. 程式人生 > >[拾 得]pipe和xargs的恩怨情仇

[拾 得]pipe和xargs的恩怨情仇

阿新 • • 發佈：2017-10-01
命令參數 字母 得到 實現 朋友 -i org 標準輸入 echo

技術分享 　　　　　　　　　　　　　　　　Photo by Joshua Sortino on Unsplash 堅持知識分享,該文章由Alopex編著, 轉載請註明源地址: http://www.cnblogs.com/alopex/ 索引:
  • pipe 與 xargs 的用途
  • 一個head 例子的引入
  • STDIN 與 argument 的關系
  • 對pipe 與 xargs的總結
知識摘要:
  • 能夠理解 pipe 和 xargs 的作用
  • 可以理解 為什麽有了 pipe後我們還需要 xargs
  • 對 stdin , argument 和 option 有較為簡單的認識
    • 涉及命令 pipe(|) , xargs, head, echo, wc
相信接觸Linux的朋友們,常會用到以下兩個命令 pipe(|) 和 xargs.
  • pipe 與 xargs 的用途
pipe (|) : 其用途是, 將前一個命令執行得到的的結果,變為下一個命令的輸入. 我們結合pipe(管道)這個生動的形象,可以這樣"合理的"假設: 一個命令就是流水線上的一臺機器, 傳入的數據是加工的材料,pipe則是流水線上的運輸帶, 當我們傳入一個原料後,機器(命令),將按照我們的意願(命令的參數)對原料進行加工. 然而基於*inux的哲學, "Make each program do one thing well" -- by Doug McIlroy. 的思想, 我們的機器(命令),只能對原材料(傳入的數據)進行一項特定的加工, 假如我希望對加工後的材料再進行二次或多次加工呢? 這時,我們就需要一條傳輸帶(pipe), 將我們毛加工後的材料送往需要二次加工的機器上
xargs : 其用途是從標準輸入中"重構"和執行命令. 基於pipe上面流水線的比喻, xargs 我們可將其看作是流水線中的一臺機器 (但這臺機器有點特殊) 首先,像 grep, sed, awk 這些機器(命令)一般都能接收來自 pipe這個傳輸帶送過來的毛加工材料, 但是如果命令是cp , echo 等機器(命令), 卻不能接收這些加工材料,輕則無視它,嚴重的直接(罷工)報錯.這個時候就需要 xargs 這臺機器(命令)先對材料進行合適的加工,再交給這些挑剔的機器(命令) 其此, 在大多數Linux kernel(可使用命令 $ uname -r 查看 )為2.6.23之前的版本, 普遍無法執行大參數過長的命令. 這時借用xargs, 就能很好地規避這個問題, 實現命令的暢通執行.
到這,善於思考的你,可能就會有這樣一個疑問,是什麽造成毛加工(命令的輸出) 後的產品,得某些機器(命令)必須要讓xargs協助他們才能繼續工作呢?
  • 一個head命令的例子引入
我們先不忙著立刻去解答,先引出一個例子 <<聲明>>: 1.終端的提示符為 ［>］ 2.為了便於展示,這裏使用[head]命令讀取, 讀者可使用[cat]命令替換[head]命令, 道理是一樣的 > head file1 file2 ==> file1 <== I am file one. ==> file2 <== I am file two. #兩份文件, 以及裏面的內容 > > echo file1 file2 | head file1 file2 # 將echo的內容傳入管道, cat 命令處理後,得到的是 echo 的內容 > echo file1 file2 | xargs head ==> file1 <== I am file one. ==> file2 <== I am file two. # 將echo的內容傳給管道, 先由xargs處理, 再送給head命令處理, 打開了兩份文件的內容 真令人驚喜, 我們將同樣的內容送進管道符, 沒有經過xargs處理的數據, head命令直接將其打印到屏幕上了. 經過xargs處理後, 我們傳入的數據,變成了兩個文件的名字, head命令將兩個文件中的內容打印了出來. 這又產生一個疑問了, bash是如何知道,我們傳入的是普通字符串還是文件名的呢?
  • STDIN 與 argument 的關系
到這裏,我們不得不提,兩個重要的概念了,這是你每天在命令行上都會接觸到,但是常常會忽略的內容.STDIN 和 argument STDIN: Standard input (stdin) , 被稱為標準輸入數據流,通常是文本信息,也就是我們用鍵盤輸入的字符. 使用這個作為輸入信息時,需要程序(命令)對輸入的信息進行"讀"的操作. 然而並不是所有的程序(命令)都對能力處理流的輸入的, 例如 dir , ls 這些命令就無法處理輸入的流 例如我們希望能夠使用 echo 輸出 file1 這個字符串, 通過管道符,將其傳輸給 ls -l 處理, 希望它能返回出 file1文件的詳細列表信息 如果我們不假思索, 命令將被寫成這樣 > echo file1 | ls -l total 12 -rw-r--r-- 1 root root 0 Sep 24 08:28 a.txt -rw-r--r-- 1 root root 0 Sep 24 08:28 b.txt -rw-r--r-- 1 root root 0 Sep 24 08:28 c.txt -rw-r--r-- 1 root root 15 Oct 1 14:27 file1 -rw-r--r-- 1 root root 15 Oct 1 14:27 file2 -rw-r-xr-t 1 root root 0 Sep 24 11:09 hello -rwxr-xr-x 1 root root 322 Sep 24 12:01 useradd.sh # 這時得到的返回值是全部的文件, 而不是我們指定的file1. 這不是我們希望的 這是例子表明, 加工後的數據通過管道符傳送給後續的命令時, 傳輸的數據是標準輸入數據(stdin), 這種數據不能被所有的命令所處理 argument 一般被稱作參數, 由於跟在命令後的緣故,也被稱作命令參數. 它可以是一個文件名,或者是一個可以提供給命令進行加工得到輸出的需要的數據. 參數 會比較容易和另外一個概念混淆, 那就是 option(選項) 在Linux中,一般的選項都會有一個flag(-)後面跟著一個單一的字母, 以此來影響程序(命令)的操作,需要註意的是, 如果文件名中存在空格, 請使用 引號(單引號/雙引號) 將參數包裹起來,一名bash 無法識別 下面以一個例子說明 argument 和 option > wc -wl "file 1" "file 2" 1 4 file 1 1 4 file 2 2 8 total #以上輸入中 , [wc] 是命令 , [-wl] 是選項 ["file 1" "file 2"] 為參數 對於我們希望通過echo 輸入 file1 字符串, 傳給管道符,將其傳輸給 ls -l 處理 的問題, 由於這裏 ls 無法stdin進行處理, 我們必須使用xargs將 stdin 轉變為 argument 讓 ls 能識別 > echo file1 | xargs ls -l -rw-r--r-- 1 root root 15 Oct 1 15:06 file1
  • pipe 和 xargs 的總結
好了說了那麽多,我們對 pipe 和 xargs 進行一個總結吧 pipe 能將我們輸入的命令產生的輸出, 轉變為stdin(標準輸入) ,傳遞給下一個命令, 再又下一個命令對其進行下一步處理 xargs 由於某些命令不具備處理 stdin(標準輸入)的能力, 它們只能處理一些argument, xargs 這個時候就需要站出來, 為這些命令提供幫助, 讓後續的操作得以繼續完成. 問題的參考解答 1.是什麽造成毛加工(命令的輸出) 後的產品,得某些機器(命令)必須要讓xargs協助他們才能繼續工作呢?
  • 命令處理後的數據為stdin, 但是有些命令無法對stdin進行處理,他們必須依賴其他工具如 xargs 對其進行加工,使的加工後的數據適合他們處理
2.bash是如何知道,我們傳入的是普通字符串還是文件名的呢?
  • 僅上面的例子分析 , head 是一既能處理stdin 又能處理 argument 的命令. 由於輸出通過管道符後,得到的是stdin, 因此 file* 就會被當作流處理, head命令就把它打印處理
  • 當流經過了 xargs 處理後, 就稱為了head 的argument, 所以 head命令就以文件的方式對待它,並將文件的內容打印到屏幕上
參考網站: http://www.linfo.org/argument.html 　　　　　　 Argument Definition https://www.wikiwand.com/en/Xargs 　　　　　　 xargs https://my.oschina.net/asay/blog/789875 　　　　　　 xargs 與 管道符的使用 https://www.wikiwand.com/en/Pipeline_(Unix) 　　　　　 pipeline https://www.wikiwand.com/en/Unix_philosophy 　　　　　 Unix philosophy https://superuser.com/questions/600253/why-is-xargs-necessary Why is xargs necessary? https://www.wikiwand.com/en/Standard_streams#/Standard_input_.28stdin.29 standard input https://unix.stackexchange.com/questions/46372/whats-the-difference-between-stdin-and-arguments-passed-to-command What‘s the difference between STDIN and arguments passed to command?

[拾 得]pipe和xargs的恩怨情仇

相關推薦

[拾 得]pipe和xargs的恩怨情仇

命令參數 字母 得到 實現 朋友 -i org 標準輸入 echo 　　　　　　　　　　　　　　　　Photo by Joshua Sortino on Unsplash 堅持知識分享,該文章由Alopex編著, 轉載請註明源地址: http://www.cnblo

深入理解hashmap（三）雜湊表和二叉搜尋樹的恩怨情仇

前面兩篇文章介紹了hashmap的原始碼和理論，今天把剩餘的部分紅黑樹講一下。理解好紅黑樹，對我們後續對hashmap或者其他資料結構的理解都是很有好處的。比方說為什麼後面jdk要把hashmap中的單鏈表更新成紅黑樹？ 要理解紅黑樹首先要弄清楚普通二叉樹的一些基本概念 父節點和子節點，這個我就不多說了。

程式設計師和專案經理之間的恩怨情仇

我本來是一個程式猿，我轉行做產品經理是為了"報復 "社會，因為我曾經被傷害過…… 段子1 程式設計師和專案經理上了火車…… 一個年輕的程式設計師和一個專案經理登上了一列在山裡行駛的火車，他們發現列車上幾乎都坐滿了，只有兩個在一起的空位，這個空位的對面是一個老奶奶和一個年輕漂亮的姑娘，兩人上前坐了

比爾蓋茨和喬布斯的35年恩怨情仇

三十多年前，那還只是一小群幾乎同齡的理科書呆子的玩具，而史蒂夫·喬布斯和比爾·蓋茨便是這個世界裡的兩位海盜...　　 　　2010年，史蒂夫·喬布斯和比爾·蓋茨都55歲了。 　　1975年，全球第一臺個人計算機Altair橫空出世，到現在，僅僅才過去了35年。彷彿就在一瞬間，

雲端計算和智慧城市的恩怨情仇

智慧城市是把新一代資訊科技充分運用在城市的各行各業之中的基於知識社會下一代創新(創新2.0)的城市資訊化高階形態。智慧城市基於物聯網、雲端計算等新一代資訊科技以及維基、社交網路、FabLab、LivingLab、綜合整合法等工具和方法的應用，營造有利於創新湧現的生態，實現全

細數研究生和導師的那些恩怨情仇

閱讀本文大概需要 5 分鐘。 作者：黃小斜 這篇文章其實我很早之前就想寫了，沒想到最近又出了一件類似的事情，事情就發生在我剛畢業不久的學校，事情始末想必大家都已經看過，震驚和惋惜之餘，更多的是思考。 去年有個新聞大家應該都聽說過，在武漢有一所學校，裡面有一個碩士生導師，和他的學生有一些矛盾，事情經過大概是這樣

我和計算機的恩怨情仇

我和計算機的恩怨情仇 專案 內容 所屬課設：北航2020年春軟體工程 班級部落格 作業要求：按要求完成一篇部落格 作業要求 個人課程目標 學習一個具備一定規模的軟體在生命週期中需要哪些工作，鍛鍊自己的團隊協作能力，並使自己具有開發一個“好軟體”的能力 這個作業在哪個具體方面幫助我實現

數據庫學習筆記_10_函數依賴詳解——函數依賴公理及其推得規律和屬性閉包

一個 說明 tro ans while 比較 接下來 子集 and 首先引入armstrong‘s axioms， 反射律（reflexivity rule）對於任何為LA(a)子集的LA(b)來說，LA(a)->LA(b)恒成立 增加律（argu

每天一個liunx命令10之nohup和xargs

add art .sh colors cin bsp sans color snap p.MsoNormal,li.MsoNormal,div.MsoNormal { margin: 0cm; margin-bottom: .0001pt; text-align: just

[拾 得]開始了

tin -s intern cred linu creat src licensed res 　　　　　　　　　　　　　　　　　Photo by Marc Guellerin on Unsplash 什麽是[ 拾得 ]? 拾得是一個概念, 一個知識分享的概念 在當今

[拾 得] zip gzip bzip2 & tar 壓縮/打包 四大金剛

減少 www pex utm mage err direct $? zip命令 堅持知識分享,該文章由Alopex編著, 轉載請註明源地址: http://www.cnblogs.com/alopex/ 索引: 介紹壓縮和打包 gzip bzip2 zip 的基本

模板：最大公約數（歐幾裏得）和最小公倍數

歐幾裏得 spa 模板 最大公約數 blog gcd type typedef 最大 1 typedef long long LL; 2 3 LL gcd(LL a,LL b){ 4 return (b==0) ? a : gcd(b,a%b); 5

說一下Servlet裏面得request和response

getmethod oca value 參數 緩存 地址 map () 封裝 當一個servlet被調用的時候，我們一般繼承帶協議的httpServlet，大方向上是下圖這樣 在這裏面request和response起了什麽作用呢？ 來細究一下。 request:1.封

find命令中的print0和xargs -0

看到命令find . -name '*.h' -print0 | xargs -0 checkout-cache -f -- 不明白其中-print0和 xargs -0的用法。查了一下，轉載一篇備忘。 xargs命令的作用是將引數列表轉換成小塊分段傳遞給其他命令，以避免參數列表過長的問題

android 真正監聽軟鍵盤得彈起和收

 在開發中我們有時需要監聽鍵盤得變化情況  Softkeyboardlistener.class 工具類   public class Softkeyboardlistener { private View rootView;//activity的根

開發-測試-產品直接的恩怨情仇

大家平常調侃開發，又去寫bug了，雖然是一句玩笑話，但是世界上真的存在沒有bug的程式嗎，不知道，最近看到一個段子寫的特別的好，一天一個程式設計師在加班加點的寫東西，然後佛看到了，對程式設計師說，看你很辛苦，天天加班加點的寫東西，我可以滿足你一個願望，然後程式設計師就許願了，說，希望在我有生

Linux中的管道和xargs

一、管道 符號：| 說明:將符號|前面的輸出內容作為後面輸入引數進行過濾 比如：ps  -ef | grep  ssh 將前面的內容通過條件ssh過濾出新的內容 二、xargs 說明：管道主要針對內容，對於一些檔案的操作是無法單單靠管道來實現的 比如：

xshell 中find和xargs一起使用

1、在當前目錄下查詢所有使用者具有讀、寫和執行許可權的檔案，並收回相應的寫許可權： find ./ -perm +777 | xargs chmod 700 2、查詢系統中的每一個普通檔案，然後使用xargs命令來測試他們分別屬於哪類檔案 find -type f | xargs f

程序間通訊之管道--pipe和fifo使用

匿名管道pipe 函式原型： #include <unistd.h> int pipe(int fildes[2]); 引數說明 fildes是我們傳入的陣列，也是一個傳出引數。fildes[0]是讀端，fildes[1]是寫端。 返回值 成功呼叫返回0。 失敗呼叫返回-1且

04_find和xargs

1、find功能，查詢目錄或檔案 查詢具有某些特徵檔案的命令。 可遍歷當前目錄甚至於整個檔案系統來查詢某些檔案或目錄。 遍歷大檔案系統時，要放在後臺執行 2、find命令格式 find pathname -options [-print -exec -ok ..