Python多程序併發操作中程序池Pool的應用
阿新 • • 發佈:2019-01-05
在利用Python進行系統管理的時候,特別是同時操作多個檔案目錄,或者遠端控制多臺主機,並行操作可以節約
大量的時間。當被操作物件數目不大時,可以直接利用multiprocessing中的Process動態成生多個程序,10幾個
還好,但如果是上百個,上千個目標,手動的去限制程序數量卻又太過繁瑣,這時候程序池Pool發揮作用的時候
建立一個新的程序用來執行該請求;但如果池中的程序數已經達到規定最大值,那麼該請求就會等待,直到池中
有程序結束,才會建立新的程序來它。這裡有一個簡單的例子:
#!/usr/bin/env python
#coding=utf-8
"""
Author: Squall
Last modified: 2011-10-18 16:50
Filename: pool.py
Description: a simple sample for pool class
"""
from multiprocessing import Pool
from time import sleep
def f(x):
for i in range(10):
print '%s --- %s ' % (i, x)
sleep(1)
def main():
pool = Pool(processes=3) # set the processes max number 3
for i in range(11,20):
result = pool.apply_async(f, (i,))
pool.close()
pool.join()
if result.successful():
print 'successful'
if __name__ == "__main__":
main()
先建立容量為3的程序池,然後將f(i)依次傳遞給它,執行指令碼後利用ps aux | grep pool.py檢視程序情
況,會發現最多隻會有三個程序執行。pool.apply_async()用來向程序池提交目標請求,pool.join()是用來等待
程序池中的worker程序執行完畢,防止主程序在worker程序結束前結束。但必pool.join()必須使用在
pool.close()或者pool.terminate()之後。其中close()跟terminate()的區別在於close()會等待池中的worker進
程執行結束再關閉pool,而terminate()則是直接關閉。result.successful()表示整個呼叫執行的狀態,如果還有
大量的時間。當被操作物件數目不大時,可以直接利用multiprocessing中的Process動態成生多個程序,10幾個
還好,但如果是上百個,上千個目標,手動的去限制程序數量卻又太過繁瑣,這時候程序池Pool發揮作用的時候
就到了。
Pool可以提供指定數量的程序,供使用者呼叫,當有新的請求提交到pool中時,如果池還沒有滿,那麼就會建立一個新的程序用來執行該請求;但如果池中的程序數已經達到規定最大值,那麼該請求就會等待,直到池中
有程序結束,才會建立新的程序來它。這裡有一個簡單的例子:
#!/usr/bin/env python
#coding=utf-8
"""
Author: Squall
Last modified: 2011-10-18 16:50
Filename: pool.py
Description: a simple sample for pool class
"""
from multiprocessing import Pool
from time import sleep
def f(x):
for i in range(10):
print '%s --- %s ' % (i, x)
sleep(1)
def main():
pool = Pool(processes=3) # set the processes max number 3
for i in range(11,20):
result = pool.apply_async(f, (i,))
pool.close()
pool.join()
if result.successful():
print 'successful'
if __name__ == "__main__":
main()
先建立容量為3的程序池,然後將f(i)依次傳遞給它,執行指令碼後利用ps aux | grep pool.py檢視程序情
況,會發現最多隻會有三個程序執行。pool.apply_async()用來向程序池提交目標請求,pool.join()是用來等待
程序池中的worker程序執行完畢,防止主程序在worker程序結束前結束。但必pool.join()必須使用在
pool.close()或者pool.terminate()之後。其中close()跟terminate()的區別在於close()會等待池中的worker進
程執行結束再關閉pool,而terminate()則是直接關閉。result.successful()表示整個呼叫執行的狀態,如果還有
worker沒有執行完,則會丟擲AssertionError異常。
利用multiprocessing下的Pool可以很方便的同時自動處理幾百或者上千個並行操作,指令碼的複雜性也大大降
低。