linux中的set命令: "set -e" 與 "set -o pipefail"
阿新 • • 發佈：2019-02-18
工作中經常在shell指令碼中看到set的這兩個用法，但就像生活中的很多事情，習慣導致忽視，直到出現問題才引起關注。
1. set -e
set命令的-e引數，linux自帶的說明如下：
"Exit immediately if a simple command exits with a non-zero status."
也就是說，在"set -e"之後出現的程式碼，一旦出現了返回值非零，整個指令碼就會立即退出。有的人喜歡使用這個引數，是出於保證程式碼安全性的考慮。但有的時候，這種美好的初衷，也會導致嚴重的問題。
真實案例：
指令碼a.sh開頭使用了"set -e"，且能正常執行。在幾個月或更久以後，因需求升級，在指令碼中增加了3行hadoop操作：
#!/bin/bash
set -e
...
/home/work/.../hadoop dfs -rmr /app/.../dir
/home/work/.../hadoop dfs -mkdir /app/.../dir
/home/work/.../hadoop dfs -put file_1 /app/.../dir/
...
這幾行hadoop命令邏輯很簡單：在hdfs上清除並新建一個目錄，並將一份本地檔案推送至這個目錄，供後續使用。將這幾行單拎出來，在命令列下執行，除了提示待刪除的目錄不存在，並沒有什麼問題，檔案還是會被推送到指定的地方。
但第一次執行這個指令碼的時候，卻失敗退出了，且導致呼叫該指令碼的程式整體退出，造成了嚴重的後果。原因是hdfs上還沒有這個目錄，rmr這一行會返回255，這個值被指令碼前方的"set -e"捕捉到，直接導致了指令碼退出。
新增的程式碼本身並沒有問題，先刪除再新建目錄，反而是保證資料安全的比較規範的操作，刪除命令本身的容錯性，可以保證後續命令正常執行。事實是這個指令碼有好幾百行，且邏輯比較複雜，在增加這幾行程式碼的時候，開發人員已經不記得這個腳本里還有個"set -e"埋伏著了。
可見設定"set -e"，在指令碼開發過程中可能很有幫助，而在開發完成後，特別是對於後期可能有升級的指令碼，則可能是埋下了安全隱患。
2. set -o pipefail
對於set命令-o引數的pipefail選項，linux是這樣解釋的：
"If set, the return value of a pipeline is the value of the last (rightmost) command to exit with a non-zero status,or zero if all commands in the pipeline exit successfully. This option is disabled by default."
設定了這個選項以後，包含管道命令的語句的返回值，會變成最後一個返回非零的管道命令的返回值。聽起來比較繞，其實也很簡單：
# test.sh
set -o pipefail
ls ./a.txt |echo "hi" >/dev/null
echo $?
執行test.sh，因為當前目錄並不存在a.txt檔案，輸出：
ls: ./a.txt: No such file or directory
1 #設定了set -o pipefail，返回從右往左第一個非零返回值，即ls的返回值1
註釋掉set -o pipefail這一行，再次執行，輸出：
ls: ./a.txt: No such file or directory
0 # 沒有set -o pipefail，預設返回最後一個管道命令的返回值
1. set -e
set命令的-e引數，linux自帶的說明如下：
"Exit immediately if a simple command exits with a non-zero status."
也就是說，在"set -e"之後出現的程式碼，一旦出現了返回值非零，整個指令碼就會立即退出。有的人喜歡使用這個引數，是出於保證程式碼安全性的考慮。但有的時候，這種美好的初衷，也會導致嚴重的問題。
真實案例：
指令碼a.sh開頭使用了"set -e"，且能正常執行。在幾個月或更久以後，因需求升級，在指令碼中增加了3行hadoop操作：
#!/bin/bash
set -e
...
/home/work/.../hadoop dfs -rmr /app/.../dir
/home/work/.../hadoop dfs -mkdir /app/.../dir
/home/work/.../hadoop dfs -put file_1 /app/.../dir/
...
這幾行hadoop命令邏輯很簡單：在hdfs上清除並新建一個目錄，並將一份本地檔案推送至這個目錄，供後續使用。將這幾行單拎出來，在命令列下執行，除了提示待刪除的目錄不存在，並沒有什麼問題，檔案還是會被推送到指定的地方。
但第一次執行這個指令碼的時候，卻失敗退出了，且導致呼叫該指令碼的程式整體退出，造成了嚴重的後果。原因是hdfs上還沒有這個目錄，rmr這一行會返回255，這個值被指令碼前方的"set -e"捕捉到，直接導致了指令碼退出。
新增的程式碼本身並沒有問題，先刪除再新建目錄，反而是保證資料安全的比較規範的操作，刪除命令本身的容錯性，可以保證後續命令正常執行。事實是這個指令碼有好幾百行，且邏輯比較複雜，在增加這幾行程式碼的時候，開發人員已經不記得這個腳本里還有個"set -e"埋伏著了。
可見設定"set -e"，在指令碼開發過程中可能很有幫助，而在開發完成後，特別是對於後期可能有升級的指令碼，則可能是埋下了安全隱患。
2. set -o pipefail
對於set命令-o引數的pipefail選項，linux是這樣解釋的：
"If set, the return value of a pipeline is the value of the last (rightmost) command to exit with a non-zero status,or zero if all commands in the pipeline exit successfully. This option is disabled by default."
設定了這個選項以後，包含管道命令的語句的返回值，會變成最後一個返回非零的管道命令的返回值。聽起來比較繞，其實也很簡單：
# test.sh
set -o pipefail
ls ./a.txt |echo "hi" >/dev/null
echo $?
執行test.sh，因為當前目錄並不存在a.txt檔案，輸出：
ls: ./a.txt: No such file or directory
1 #設定了set -o pipefail，返回從右往左第一個非零返回值，即ls的返回值1
註釋掉set -o pipefail這一行，再次執行，輸出：
ls: ./a.txt: No such file or directory
0 # 沒有set -o pipefail，預設返回最後一個管道命令的返回值