python 使用多執行緒建立一個Buffer快取器的實現思路
阿新 • • 發佈:2020-07-03
這幾天學習人臉識別的時候,雖然執行的沒有問題,但我卻意識到了一個問題
在圖片進行傳輸的時候,GPU的利用率為0
也就是說,圖片的傳輸速度和GPU的處理速度不能很好銜接
於是,我打算利用多執行緒開發一個buffer快取
實現的思路如下
定義一個Buffer類,再其建構函式中建立一個buffer空間(這裡最好使用list型別)
我們還需要的定義執行緒鎖LOCK(資料傳輸和提取的時候會用到)
因為需要兩種方法(讀資料和取資料),所以我們需要定義兩個鎖
實現的程式碼如下:
#-*-coding:utf-8-*- import threading class Buffer: def __init__(self,size): self.size = size self.buffer = [] self.lock = threading.Lock() self.has_data = threading.Condition(self.lock) # small sock depand on big sock self.has_pos = threading.Condition(self.lock) def get_size(self): return self.size def get(self): with self.has_data: while len(self.buffer) == 0: print("I can't go out has_data") self.has_data.wait() print("I can go out has_data") result = self.buffer[0] del self.buffer[0] self.has_pos.notify_all() return result def put(self,data): with self.has_pos: #print(self.count) while len(self.buffer)>=self.size: print("I can't go out has_pos") self.has_pos.wait() print("I can go out has_pos") # If the length of data bigger than buffer's will wait self.buffer.append(data) # some thread is wait data,so data need release self.has_data.notify_all() if __name__ == "__main__": buffer = Buffer(3) def get(): for _ in range(10000): print(buffer.get()) def put(): a = [[1,2,3,4,5,6,7,8,9],[1,9]] for _ in range(10000): buffer.put(a) th1 = threading.Thread(target=put) th2 = threading.Thread(target=get) th1.start() th2.start() th1.join() th2.join()
總結
到此這篇關於python 使用多執行緒建立一個Buffer快取器的文章就介紹到這了,更多相關python 多執行緒Buffer快取器內容請搜尋我們以前的文章或繼續瀏覽下面的相關文章希望大家以後多多支援我們!