使用 Python 建立你自己的 Shell （上）
我很想知道一個shell（像 bash，csh 等）內部是如何工作的。於是為了滿足自己的好奇心，我使用 Python 實現了一個名為 yosh（Your Own Shell）的 Shell。本文章所介紹的概念也可以應用於其他程式語言。
（提示：你可以在這裡查詢本博文使用的原始碼，程式碼以 MIT 許可證釋出。在 Mac OS X 10.11.5 上，我使用 Python 2.7.10 和 3.4.3 進行了測試。它應該可以執行在其他類 Unix 環境，比如Linux和Windows上的Cygwin）
讓我們開始吧。
步驟 0：專案結構
對於此專案，我使用了以下的專案結構。
yosh_project yosh_project為專案根目錄（你也可以把它簡單命名為 yosh）。yosh為包目錄，且__init__.py可以使它成為與包的目錄名字相同的包（如果你不用 Python編寫的話，可以忽略它。）
shell.py是我們主要的指令碼檔案。
步驟 1：Shell迴圈
當啟動一個shell，它會顯示一個命令提示符並等待你的命令輸入。在接收了輸入的命令並執行它之後（稍後文章會進行詳細解釋），你的shell會重新回到這裡，並迴圈等待下一條指令。
在shell.py中，我們會以一個簡單的main函式開始，該函式呼叫了shell_loop()函式，如下：
def shell_loop():
# Start the loop here
def main():
shell_loop()
if __name__ == "__main__":
main()接著，在shell_loop()中，為了指示迴圈是否繼續或停止，我們使用了一個狀態標誌。在迴圈的開始，我們的shell將顯示一個命令提示符，並等待讀取命令輸入。
import sys
SHELL_STATUS_RUN = 1
SHELL_STATUS_STOP = 0
def shell_loop():
status = SHELL_STATUS_RUN
while 之後，我們切分命令（tokenize）輸入並進行執行（execute）（我們即將實現tokenize和execute 函式）。
因此，我們的 shell_loop() 會是如下這樣：
import sys
SHELL_STATUS_RUN = 1
SHELL_STATUS_STOP = 0
def shell_loop():
status = SHELL_STATUS_RUN
while status == SHELL_STATUS_RUN:
### 顯示命令提示符
sys.stdout.write('> ')
sys.stdout.flush()
### 讀取命令輸入
cmd = sys.stdin.readline()
### 切分命令輸入
cmd_tokens = tokenize(cmd)
### 執行該命令並獲取新的狀態
status = execute(cmd_tokens)這就是我們整個shell迴圈。如果我們使用python shell.py啟動我們的shell，它會顯示命令提示符。然而如果我們輸入命令並按回車，它會丟擲錯誤，因為我們還沒定義tokenize函式。
為了退出shell，可以嘗試輸入ctrl-c。稍後我將解釋如何以優雅的形式退出shell。
步驟 2：命令切分（tokenize）
當用戶在我們的shell中輸入命令並按下回車鍵，該命令將會是一個包含命令名稱及其引數的長字串。因此，我們必須切分該字串（分割一個字串為多個元組）。
咋一看似乎很簡單。我們或許可以使用cmd.split()，以空格分割輸入。它對類似ls -a my_folder的命令起作用，因為它能夠將命令分割為一個列表['ls', '-a', 'my_folder']，這樣我們便能輕易處理它們了。
然而，也有一些類似echo "Hello World"或echo 'Hello World'以單引號或雙引號引用引數的情況。如果我們使用 cmd.spilt，我們將會得到一個存有 3 個標記的列表['echo', '"Hello', 'World"']而不是 2 個標記的列表['echo', 'Hello World']。
幸運的是，Python 提供了一個名為shlex的庫，它能夠幫助我們如魔法般地分割命令。（提示：我們也可以使用正則表示式，但它不是本文的重點。）
import sys
import shlex
...
def tokenize(string):
return shlex.split(string)
...然後我們將這些元組傳送到執行程序。
步驟 3：執行
這是shell中核心而有趣的一部分。當shell執行mkdir test_dir時，到底發生了什麼？（提示：mkdir是一個帶有test_dir引數的執行程式，用於建立一個名為test_dir的目錄。）
execvp是這一步的首先需要的函式。在我們解釋execvp所做的事之前，讓我們看看它的實際效果。
import os
...
def execute(cmd_tokens):
### 執行命令
os.execvp(cmd_tokens[0], cmd_tokens)
### 返回狀態以告知在 shell_loop 中等待下一個命令
return SHELL_STATUS_RUN
...再次嘗試執行我們的 shell，並輸入mkdir test_dir命令，接著按下回車鍵。
在我們敲下回車鍵之後，問題是我們的shell會直接退出而不是等待下一個命令。然而，目錄正確地建立了。
因此，execvp實際上做了什麼？
execvp是系統呼叫exec的一個變體。第一個引數是程式名字。v表示第二個引數是一個程式引數列表（引數數量可變）。p表示將會使用環境變數PATH搜尋給定的程式名字。在我們上一次的嘗試中，它將會基於我們的PATH環境變數查詢mkdir程式。
（還有其他exec變體，比如 execv、execvpe、execl、execlp、execlpe；你可以 google 它們獲取更多的資訊。）
exec會用即將執行的新程序替換呼叫程序的當前記憶體。在我們的例子中，我們的shell程序記憶體會被替換為mkdir程式。接著，mkdir成為主程序並建立test_dir目錄。最後該程序退出。
這裡的重點在於我們的shell程序已經被mkdir程序所替換。這就是我們的shell消失且不會等待下一條命令的原因。
因此，我們需要其他的系統呼叫來解決問題：fork。
fork會分配新的記憶體並拷貝當前程序到一個新的程序。我們稱這個新的程序為子程序，呼叫者程序為父程序。然後，子程序記憶體會被替換為被執行的程式。因此，我們的 shell，也就是父程序，可以免受記憶體替換的危險。
讓我們看看修改的程式碼。
...
def execute(cmd_tokens):
### 分叉一個子shell程序
### 如果當前程序是子程序，其 `pid` 被設定為 `0`
### 否則當前程序是父程序的話，`pid` 的值
### 是其子程序的程序 ID。
pid = os.fork()
if pid == 0:
### 子程序
### 用被 exec 呼叫的程式替換該子程序
os.execvp(cmd_tokens[0], cmd_tokens)
elif pid > 0:
### 父程序
while True:
### 等待其子程序的響應狀態（以程序 ID 來查詢）
wpid, status = os.waitpid(pid, 0)
### 當其子程序正常退出時
### 或者其被訊號中斷時，結束等待狀態
if os.WIFEXITED(status) or os.WIFSIGNALED(status):
break
### 返回狀態以告知在 shell_loop 中等待下一個命令
return SHELL_STATUS_RUN
...當我們的父程序呼叫os.fork()時，你可以想象所有的原始碼被拷貝到了新的子程序。此時此刻，父程序和子程序看到的是相同的程式碼，且並行執行著。
如果執行的程式碼屬於子程序，pid將為0。否則，如果執行的程式碼屬於父程序，pid將會是子程序的程序 id。
當os.execvp在子程序中被呼叫時，你可以想象子程序的所有原始碼被替換為正被呼叫程式的程式碼。然而父程序的程式碼不會被改變。
當父程序完成等待子程序退出或終止時，它會返回一個狀態，指示繼續shell迴圈。
執行
現在，你可以嘗試執行我們的shell並輸入mkdir test_dir2。它應該可以正確執行。我們的主shell程序仍然存在並等待下一條命令。嘗試執行ls，你可以看到已建立的目錄。
但是，這裡仍有一些問題。
第一，嘗試執行cd test_dir2，接著執行ls。它應該會進入到一個空的test_dir2目錄。然而，你將會看到目錄並沒有變為test_dir2。
第二，我們仍然沒有辦法優雅地退出我們的 shell。
我們將會在下篇解決諸如此類的問題。