1. 程式人生 > 程式設計 >通過例項解析python subprocess模組原理及用法

通過例項解析python subprocess模組原理及用法

一、subprocess以及常用的封裝函式

執行python的時候,我們都是在建立並執行一個程序。像Linux程序那樣,一個程序可以fork一個子程序,並讓這個子程序exec另外一個程式。在Python中,我們通過標準庫中的subprocess包來fork一個子程序,並執行一個外部的程式。
subprocess包中定義有數個建立子程序的函式,這些函式分別以不同的方式建立子程序,所以我們可以根據需要來從中選取一個使用。另外subprocess還提供了一些管理標準流(standard stream)和管道(pipe)的工具,從而在程序間使用文字通訊。

subprocess.call()

父程序等待子程序完成

返回退出資訊(returncode,相當於Linux exit code)

subprocess.check_call()

父程序等待子程序完成

返回0

檢查退出資訊,如果returncode不為0,則舉出錯誤subprocess.CalledProcessError,該物件包含有returncode屬性,可用try…except…來檢查

subprocess.check_output()

父程序等待子程序完成

返回子程序向標準輸出的輸出結果

檢查退出資訊,如果returncode不為0,則舉出錯誤subprocess.CalledProcessError,該物件包含有returncode屬性和output屬性,output屬性為標準輸出的輸出結果,可用try…except…來檢查。

這三個函式的使用方法相類似,下面來以subprocess.call()舉例說明:

程式碼如下:

>>> import subprocess
>>> retcode = subprocess.call(["ls","-l"])
#和shell中命令ls -a顯示結果一樣
>>> print retcode
0

將程式名(ls)和所帶的引數(-l)一起放在一個表中傳遞給subprocess.call()

shell預設為False,在Linux下,shell=False時,Popen呼叫os.execvp()執行args指定的程式;shell=True時,如果args是字串,Popen直接呼叫系統的Shell來執行args指定的程式,如果args是一個序列,則args的第一項是定義程式命令字串,其它項是呼叫系統Shell時的附加引數。

上面例子也可以寫成如下:

程式碼如下:

>>> retcode = subprocess.call("ls -l",shell=True)

在Windows下,不論shell的值如何,Popen呼叫CreateProcess()執行args指定的外部程式。如果args是一個序列,則先用list2cmdline()轉化為字串,但需要注意的是,並不是MS Windows下所有的程式都可以用list2cmdline來轉化為命令列字串。

subprocess.Popen()

程式碼如下:

class Popen(args,bufsize=0,executable=None,stdin=None,stdout=None,stderr=None,preexec_fn=None,close_fds=False,shell=False,cwd=None,env=None,universal_newlines=False,startupinfo=None,creationflags=0)

實際上,上面的幾個函式都是基於Popen()的封裝(wrapper)。這些封裝的目的在於讓我們容易使用子程序。當我們想要更個性化我們的需求的時候,就要轉向Popen類,該類生成的物件用來代表子程序。

與上面的封裝不同,Popen物件建立後,主程式不會自動等待子程序完成。我們必須呼叫物件的wait()方法,父程序才會等待 (也就是阻塞block),舉例:

程式碼如下:

>>> import subprocess
>>> child = subprocess.Popen(['ping','-c','4','blog.linuxeye.com'])
>>> print 'parent process'

從執行結果中看到,父程序在開啟子程序之後並沒有等待child的完成,而是直接執行print。

對比等待的情況:

程式碼如下:

>>> import subprocess
>>> child = subprocess.Popen('ping -c4 blog.linuxeye.com',shell=True)
>>> child.wait()
>>> print 'parent process'

從執行結果中看到,父程序在開啟子程序之後並等待child的完成後,再執行print。
此外,你還可以在父程序中對子程序進行其它操作,比如我們上面例子中的child物件:程式碼如下:

child.poll() # 檢查子程序狀態
child.kill() # 終止子程序
child.send_signal() # 向子程序傳送訊號
child.terminate() # 終止子程序

子程序的PID儲存在child.pid

二、子程序的文字流控制

子程序的標準輸入、標準輸出和標準錯誤如下屬性分別表示:

程式碼如下:

child.stdin
child.stdout
child.stderr

可以在Popen()建立子程序的時候改變標準輸入、標準輸出和標準錯誤,並可以利用subprocess.PIPE將多個子程序的輸入和輸出連線在一起,構成管道(pipe),如下2個例子:

程式碼如下:

>>> import subprocess
>>> child1 = subprocess.Popen(["ls","-l"],stdout=subprocess.PIPE)
>>> print child1.stdout.read(),
#或者child1.communicate()
>>> import subprocess
>>> child1 = subprocess.Popen(["cat","/etc/passwd"],stdout=subprocess.PIPE)
>>> child2 = subprocess.Popen(["grep","0:0"],stdin=child1.stdout,stdout=subprocess.PIPE)
>>> out = child2.communicate()

subprocess.PIPE實際上為文字流提供一個快取區。child1的stdout將文字輸出到快取區,隨後child2的stdin從該PIPE中將文字讀取走。child2的輸出文字也被存放在PIPE中,直到communicate()方法從PIPE中讀取出PIPE中的文字。
注意:communicate()是Popen物件的一個方法,該方法會阻塞父程序,直到子程序完成

subprocess 模組首先推薦使用的是它的 run 方法,更高階的用法可以直接使用 Popen 介面。

run 方法語法格式如下:

subprocess.run(args,*,input=None,capture_output=False,timeout=None,check=False,encoding=None,errors=None,text=None,universal_newlines=None)

  • args:表示要執行的命令。必須是一個字串,字串引數列表。
  • stdin、stdout 和 stderr:子程序的標準輸入、輸出和錯誤。其值可以是 subprocess.PIPE、subprocess.DEVNULL、一個已經存在的檔案描述符、已經開啟的檔案物件或者 None。subprocess.PIPE 表示為子程序建立新的管道。subprocess.DEVNULL 表示使用 os.devnull。預設使用的是 None,表示什麼都不做。另外,stderr 可以合併到 stdout 裡一起輸出。
  • timeout:設定命令超時時間。如果命令執行時間超時,子程序將被殺死,並彈出 TimeoutExpired 異常。
  • check:如果該引數設定為 True,並且程序退出狀態碼不是 0,則彈 出 CalledProcessError 異常。
  • encoding: 如果指定了該引數,則 stdin、stdout 和 stderr 可以接收字串資料,並以該編碼方式編碼。否則只接收 bytes 型別的資料。
  • shell:如果該引數為 True,將通過作業系統的 shell 執行指定的命令。
  • run 方法呼叫方式返回 CompletedProcess 例項,和直接 Popen 差不多,實現是一樣的,實際也是呼叫 Popen,與 Popen 建構函式大致相同,例如:

例項

#執行ls -l /dev/null 命令
>>> subprocess.run(["ls","-l","/dev/null"])
crw-rw-rw- 1 root wheel 3,2 5 4 13:34 /dev/null
CompletedProcess(args=['ls','-l','/dev/null'],returncode=0)

returncode: 執行完子程序狀態,通常返回狀態為0則表明它已經執行完畢,若值為負值 "-N",表明子程序被終。

簡單例項:

例項

import subprocess
def runcmd(command):
  ret = subprocess.run(command,shell=True,stdout=subprocess.PIPE,stderr=subprocess.PIPE,encoding="utf-8",timeout=1)
  if ret.returncode == 0:
    print("success:",ret)
  else:
    print("error:",ret)
runcmd(["dir","/b"])#序列引數
runcmd("exit 1")#字串引數

輸出結果如下:

success: CompletedProcess(args=['dir','/b'],returncode=0,stdout='test.py\n',stderr='')
error: CompletedProcess(args='exit 1',returncode=1,stdout='',stderr='')

Popen() 方法

Popen 是 subprocess的核心,子程序的建立和管理都靠它處理。

建構函式:

class subprocess.Popen(args,bufsize=-1,
preexec_fn=None,close_fds=True,
startupinfo=None,creationflags=0,restore_signals=True,start_new_session=False,pass_fds=(),
*,errors=None)

常用引數:

args:shell命令,可以是字串或者序列型別(如:list,元組)

bufsize:緩衝區大小。當建立標準流的管道物件時使用,預設-1。

0:不使用緩衝區

1:表示行緩衝,僅當universal_newlines=True時可用,也就是文字模式

正數:表示緩衝區大小

負數:表示使用系統預設的緩衝區大小。

  • stdin,stdout,stderr:分別表示程式的標準輸入、輸出、錯誤控制代碼
  • preexec_fn:只在 Unix 平臺下有效,用於指定一個可執行物件(callable object),它將在子程序執行之前被呼叫
  • shell:如果該引數為 True,將通過作業系統的 shell 執行指定的命令。
  • cwd:用於設定子程序的當前目錄。
  • env:用於指定子程序的環境變數。如果 env = None,子程序的環境變數將從父程序中繼承。

建立一個子程序,然後執行一個簡單的命令:

例項

>>> import subprocess
>>> p = subprocess.Popen('ls -l',shell=True)
>>> total 164
-rw-r--r-- 1 root root 133 Jul 4 16:25 admin-openrc.sh
-rw-r--r-- 1 root root 268 Jul 10 15:55 admin-openrc-v3.sh
...
>>> p.returncode
>>> p.wait()
0
>>> p.returncode

這裡也可以使用 p = subprocess.Popen(['ls','-cl']) 來建立子程序。

Popen 物件方法

  • poll(): 檢查程序是否終止,如果終止返回 returncode,否則返回 None。
  • wait(timeout): 等待子程序終止。
  • communicate(input,timeout): 和子程序互動,傳送和讀取資料。
  • send_signal(singnal): 傳送訊號到子程序 。
  • terminate(): 停止子程序,也就是傳送SIGTERM訊號到子程序。
  • kill(): 殺死子程序。傳送 SIGKILL 訊號到子程序。

例項

import time
import subprocess

def cmd(command):
  subp = subprocess.Popen(command,encoding="utf-8")
  subp.wait(2)
  if subp.poll() == 0:
    print(subp.communicate()[1])
  else:
    print("失敗")
cmd("java -version")
cmd("exit 1")

輸出結果如下:

java version "1.8.0_31"
Java(TM) SE Runtime Environment (build 1.8.0_31-b13)
Java HotSpot(TM) 64-Bit Server VM (build 25.31-b07,mixed mode)

失敗

以上就是本文的全部內容,希望對大家的學習有所幫助,也希望大家多多支援我們。