1. 程式人生 > 程式設計 >Python多程序multiprocessing、程序池用法例項分析

Python多程序multiprocessing、程序池用法例項分析

本文例項講述了Python多程序multiprocessing、程序池用法。分享給大家供大家參考,具體如下:

內容相關:

multiprocessing:

  • 程序的建立與執行
  • 程序常用相關函式

程序池:

  • 為什麼要有程序池
  • 程序池的建立與執行:序列、並行
  • 回撥函式

多程序multiprocessing:

python中的多程序需要使用multiprocessing模組

  • 多程序的建立與執行:

1.程序的建立:程序物件=multiprocessing.Process(target=函式名,args=(引數,))【補充,由於args是一個元組,單個引數時要加“,”】

2.程序的執行: 程序物件.start()

程序的join跟執行緒的join一樣,意義是 “阻塞當前程序,直到呼叫join方法的那個程序執行完,再繼續執行當前程序”

注:在windows中程式碼中必須使用這個image,在Linux 中不需要加這個

import multiprocessing,time,os

def thread_run():
  print(threading.current_thread())

def run(name):
  time.sleep(1)
  print("hello",name,"run in ",os.getpid(),"ppid:",os.getppid())

if __name__=='__main__':#必須加
  obj=[]
  for i in range(10):
    p=multiprocessing.Process(target=run,args=('bob',))
    obj.append(p)
    p.start()
  start_time=time.time()
  for i in obj:
    i.join()
  print("run in main")
  print("spend time :",time.time()-start_time)
  • 與多執行緒同樣的:也可以通過繼承multiprocessing的Process來建立程序

繼承multiprocessing的Process類的類要主要做兩件事:

1.如果初始化自己的變數,則先要呼叫父類的__init__()【如果不呼叫,則要自己填寫相關的引數,麻煩!】然後做自己的初始化;如果不需要初始化自己的變數,那麼不需要重寫__init__,直接使用父類的__init__即可【已經繼承了】

2.重寫run函式

import multiprocessing

class myProcess(multiprocessing.Process):
  def run(self):
    print("run in myProcess")

if __name__=="__main__":
  p=myProcess()
  p.start()
  p.join()


程序常用相關函式:

  • os.getpid():獲取當前程序號。
  • os.getppid():獲取當前程序的父程序號。
  • 程序物件.is_alive():判斷程序是否存活

image

  • 程序物件.terminate():結束程序【不建議的方法,現實少用】


程序池:

  • 為什麼需要程序池
    • 如果要啟動大量的子程序,可以用程序池的方式批量建立子程序,而程序池可以限制執行的程序的數量【有太多人想要游泳,而池子的容量決定了游泳的人的數量
    • Pool類可以提供指定數量的程序供使用者呼叫,當有新的請求提交到Pool中時,如果池還沒有滿,就會建立一個新的程序來執行請求。如果程序池滿了,請求就會告知先等待,直到池中有程序結束,才會建立新的程序來執行這些請求
  • 程序池的建立與使用:
    • 使用程序池需要匯入:from multiprocessing import Pool
    • 建立程序池:程序池物件=Pool(容量)
    • 給程序池新增程序:
      • 序列:程序池物件.apply(func=函式名,))
from multiprocessing import Pool
import time,os

def func1(i):
  time.sleep(1)
  print("run in process:",os.getpid())

if __name__=="__main__":
  pool=Pool(5)

  start_time = time.time()
  for i in range(10):
    pool.apply(func=func1,args=(i,))#序列,這裡是加一個執行完再加一個
   pool.close()#先close再等待
   pool.join()
  print("main run done,spend_time:",time.time()-start_time)
      • 並行:程序池物件.apply_async(func=函式名,),callback=回撥函式)
from multiprocessing import Pool
import time,os.getpid())


if __name__=="__main__":
  pool=Pool(5)

  start_time = time.time()
  for i in range(10):
    pool.apply_async(func=func1,))#並行
    
  pool.close()#先close再等待
  pool.join()
  print("main run done,time.time()-start_time)#2.6,證明是並行
  • 回撥函式的使用:在並行中,支援callback=回撥函式,當一個程序執行完畢後會呼叫該回調函式,並且引數為func中的返回值
  • 注意:回撥函式是在父程序中執行的!【當兒子執行完後,會在父親裡呼叫函式】
from multiprocessing import Pool
import time,os.getpid())
  return "filename"


def log(arg):##引數為程序建立中func的函式的返回值
  print("log done :",arg)

if __name__=="__main__":
  pool=Pool(5)

  start_time = time.time()
  for i in range(10):
    pool.apply_async(func=func1,callback=log,)#log的引數是func1的返回值

  pool.close()#先close再等待
  pool.join()
  print("main run done,time.time()-start_time)

image

  • 注:對Pool物件呼叫join()方法會等待所有子程序執行完畢,呼叫join()之前必須先呼叫close(),呼叫close()之後就不能繼續新增新的Process了。【意思就是比如游泳池只賣1個小時的票,約定5點關門,那麼4點多之後就不能再賣票了,就一直等著游泳池裡面的人出來再關門,程序池的close是一個關門的意思,並不是結束的意思,它只是關上了進來的門,而裡面的程序還可以執行】【程序池的join是等池子裡的所有程序執行完畢,如果後面再進來程序的話就沒完沒了了,所以需要先關閉進入,再等待程序結束
    • image
      • 小測試:image

更多關於Python相關內容感興趣的讀者可檢視本站專題:《Python程序與執行緒操作技巧總結》、《Python資料結構與演算法教程》、《Python函式使用技巧總結》、《Python字串操作技巧彙總》、《Python入門與進階經典教程》、《Python+MySQL資料庫程式設計入門教程》及《Python常見資料庫操作技巧彙總》

希望本文所述對大家Python程式設計有所幫助。