Python多程序multiprocessing、程序池用法例項分析
阿新 • • 發佈:2020-03-25
本文例項講述了Python多程序multiprocessing、程序池用法。分享給大家供大家參考,具體如下:
內容相關:
multiprocessing:
- 程序的建立與執行
- 程序常用相關函式
程序池:
- 為什麼要有程序池
- 程序池的建立與執行:序列、並行
- 回撥函式
多程序multiprocessing:
python中的多程序需要使用multiprocessing模組
- 多程序的建立與執行:
1.程序的建立:程序物件=multiprocessing.Process(target=函式名,args=(引數,))【補充,由於args是一個元組,單個引數時要加“,”】
2.程序的執行: 程序物件.start()
程序的join跟執行緒的join一樣,意義是 “阻塞當前程序,直到呼叫join方法的那個程序執行完,再繼續執行當前程序”
注:在windows中程式碼中必須使用這個,在Linux 中不需要加這個
import multiprocessing,time,os def thread_run(): print(threading.current_thread()) def run(name): time.sleep(1) print("hello",name,"run in ",os.getpid(),"ppid:",os.getppid()) if __name__=='__main__':#必須加 obj=[] for i in range(10): p=multiprocessing.Process(target=run,args=('bob',)) obj.append(p) p.start() start_time=time.time() for i in obj: i.join() print("run in main") print("spend time :",time.time()-start_time)
- 與多執行緒同樣的:也可以通過繼承multiprocessing的Process來建立程序
繼承multiprocessing的Process類的類要主要做兩件事:
1.如果初始化自己的變數,則先要呼叫父類的__init__()【如果不呼叫,則要自己填寫相關的引數,麻煩!】然後做自己的初始化;如果不需要初始化自己的變數,那麼不需要重寫__init__,直接使用父類的__init__即可【已經繼承了】
2.重寫run函式
import multiprocessing class myProcess(multiprocessing.Process): def run(self): print("run in myProcess") if __name__=="__main__": p=myProcess() p.start() p.join()
程序常用相關函式:
- os.getpid():獲取當前程序號。
- os.getppid():獲取當前程序的父程序號。
- 程序物件.is_alive():判斷程序是否存活
- 程序物件.terminate():結束程序【不建議的方法,現實少用】
程序池:
- 為什麼需要程序池
- 如果要啟動大量的子程序,可以用程序池的方式批量建立子程序,而程序池可以限制執行的程序的數量【有太多人想要游泳,而池子的容量決定了游泳的人的數量
- Pool類可以提供指定數量的程序供使用者呼叫,當有新的請求提交到Pool中時,如果池還沒有滿,就會建立一個新的程序來執行請求。如果程序池滿了,請求就會告知先等待,直到池中有程序結束,才會建立新的程序來執行這些請求
- 程序池的建立與使用:
- 使用程序池需要匯入:from multiprocessing import Pool
- 建立程序池:程序池物件=Pool(容量)
- 給程序池新增程序:
- 序列:程序池物件.apply(func=函式名,))
from multiprocessing import Pool import time,os def func1(i): time.sleep(1) print("run in process:",os.getpid()) if __name__=="__main__": pool=Pool(5) start_time = time.time() for i in range(10): pool.apply(func=func1,args=(i,))#序列,這裡是加一個執行完再加一個 pool.close()#先close再等待 pool.join() print("main run done,spend_time:",time.time()-start_time)
- 並行:程序池物件.apply_async(func=函式名,),callback=回撥函式)
from multiprocessing import Pool import time,os.getpid()) if __name__=="__main__": pool=Pool(5) start_time = time.time() for i in range(10): pool.apply_async(func=func1,))#並行 pool.close()#先close再等待 pool.join() print("main run done,time.time()-start_time)#2.6,證明是並行
- 回撥函式的使用:在並行中,支援callback=回撥函式,當一個程序執行完畢後會呼叫該回調函式,並且引數為func中的返回值
- 注意:回撥函式是在父程序中執行的!【當兒子執行完後,會在父親裡呼叫函式】
from multiprocessing import Pool import time,os.getpid()) return "filename" def log(arg):##引數為程序建立中func的函式的返回值 print("log done :",arg) if __name__=="__main__": pool=Pool(5) start_time = time.time() for i in range(10): pool.apply_async(func=func1,callback=log,)#log的引數是func1的返回值 pool.close()#先close再等待 pool.join() print("main run done,time.time()-start_time)
- 注:對
Pool
物件呼叫join()
方法會等待所有子程序執行完畢,呼叫join()
之前必須先呼叫close()
,呼叫close()
之後就不能繼續新增新的Process
了。【意思就是比如游泳池只賣1個小時的票,約定5點關門,那麼4點多之後就不能再賣票了,就一直等著游泳池裡面的人出來再關門,程序池的close是一個關門的意思,並不是結束的意思,它只是關上了進來的門,而裡面的程序還可以執行】【程序池的join是等池子裡的所有程序執行完畢,如果後面再進來程序的話就沒完沒了了,所以需要先關閉進入,再等待程序結束】-
- 小測試:
-
更多關於Python相關內容感興趣的讀者可檢視本站專題:《Python程序與執行緒操作技巧總結》、《Python資料結構與演算法教程》、《Python函式使用技巧總結》、《Python字串操作技巧彙總》、《Python入門與進階經典教程》、《Python+MySQL資料庫程式設計入門教程》及《Python常見資料庫操作技巧彙總》
希望本文所述對大家Python程式設計有所幫助。