1. 程式人生 > 程式設計 >python 使用多執行緒建立一個Buffer快取器的實現思路

python 使用多執行緒建立一個Buffer快取器的實現思路

這幾天學習人臉識別的時候,雖然執行的沒有問題,但我卻意識到了一個問題

在圖片進行傳輸的時候,GPU的利用率為0

也就是說,圖片的傳輸速度和GPU的處理速度不能很好銜接

於是,我打算利用多執行緒開發一個buffer快取

實現的思路如下

定義一個Buffer類,再其建構函式中建立一個buffer空間(這裡最好使用list型別)

我們還需要的定義執行緒鎖LOCK(資料傳輸和提取的時候會用到)

因為需要兩種方法(讀資料和取資料),所以我們需要定義兩個鎖

實現的程式碼如下:

#-*-coding:utf-8-*-
import threading 

class Buffer:

  def __init__(self,size):
    self.size = size
    self.buffer = []
    self.lock = threading.Lock()
    self.has_data = threading.Condition(self.lock) # small sock depand on big sock
    self.has_pos = threading.Condition(self.lock)
  def get_size(self):
    return self.size
  def get(self):
    with self.has_data:
      while len(self.buffer) == 0:
        print("I can't go out has_data")
        self.has_data.wait()
        print("I can go out has_data")
      result = self.buffer[0]
      del self.buffer[0]
      self.has_pos.notify_all()
    return result
  def put(self,data):
    with self.has_pos:
      #print(self.count)
      while len(self.buffer)>=self.size:
        print("I can't go out has_pos")
        self.has_pos.wait()
        print("I can go out has_pos")
      # If the length of data bigger than buffer's will wait
      self.buffer.append(data)
      # some thread is wait data,so data need release
      self.has_data.notify_all()
  
if __name__ == "__main__":
	buffer = Buffer(3)
	def get():
	  for _ in range(10000):
	    print(buffer.get())
	    
	def put():
	  a = [[1,2,3,4,5,6,7,8,9],[1,9]]
	  for _ in range(10000):
	    buffer.put(a)
  th1 = threading.Thread(target=put)
  th2 = threading.Thread(target=get)
  th1.start()
  th2.start()
  th1.join()
  th2.join()

在這裡插入圖片描述

總結

到此這篇關於python 使用多執行緒建立一個Buffer快取器的文章就介紹到這了,更多相關python 多執行緒Buffer快取器內容請搜尋我們以前的文章或繼續瀏覽下面的相關文章希望大家以後多多支援我們!