編程之協程
引子
本節的主題是基於單線程來實現並發,即只用一個主線程(很明顯可利用的cpu只有一個)情況下實現並發,為此我們需要先回顧下並發的本質:切換+保存狀態
cpu正在運行一個任務,會在兩種情況下切走去執行其他的任務(切換由操作系統強制控制),一種情況是該任務發生了阻塞,另外一種情況是該任務計算的時間過長或有一個優先級更高的程序替代了它
ps:在介紹進程理論時,提及進程的三種執行狀態,而線程才是執行單位,所以也可以將上圖理解為線程的三種狀態。
一:其中第二種情況並不能提升效率,只是為了讓cpu能夠雨露均沾,實現看起來所有任務都被“同時”執行的效果,如果多個任務都是純計算的,這種切換反而會降低效率。為此我們可以基於yield來驗證。yield本身就是一種在單線程下可以保存任務運行狀態的方法,我們來簡單復習一下:
1:yield 可以保存狀態,yield的狀態保存與操作系統的保存線程狀態很像,但是yield是代碼級別的控制,更輕量級 2:send可以把一個函數的結果傳給另一個函數,以此實現單線程內程序之間的切換
串行執行
import time def consumer(res): ‘‘‘ 任務一 接受數據,處理數據 :param res: :return: ‘‘‘ pass def product(): res=[] for i in range(10000000): res.append(i) return res start=time.time() # 串行執行 res=product() consumer(res) stop=time.time() print(stop-start) # # 基於yield import time def consumer(): while True: x=yield # print(x) #若是打印就是從product那裏傳給了consumer def product(): g=consumer() next(g) for i in range(100000): g.send(i) start=time.time() product() stop=time.time() print(stop-start)
二:第一種情況的切換。在任務一遇到io情況下,切到任務二去執行,這樣就可以利用任務一時阻塞的時間去執行任務二的計算,效率的提升就在於此。
import time
def consumer():
‘‘‘任務1:接收數據,處理數據‘‘‘
while True:
x=yield
def producer():
‘‘‘任務2:生產數據‘‘‘
g=consumer()
next(g)
for i in range(10000000):
g.send(i)
time.sleep(2)
start=time.time()
producer() #並發執行,但是任務producer遇到io就會阻塞住,並不會切到該線程內的其他任務去執行
stop=time.time()
print(stop-start)
yield並不能實現遇到io切換
對於單線程下,我們不可避免程序中出現io操作,但如果我們能在自己的程序中(即用戶程序級別,而非操作系統級別)控制單線程下的多個任務能在一個任務遇到io阻塞時就切換到另外一個任務去計算,這樣就保證了該線程能夠最大限度地處於就緒態,即隨時都可以被cpu執行的狀態,相當於我們在用戶程序級別將自己的io操作最大限度地隱藏起來,從而可以迷惑操作系統,讓其看到:該線程好像是一直在計算,io比較少,從而更多的將cpu的執行權限分配給我們的線程。
協程的本質就是在單線程下,由用戶自己控制一個任務遇到io阻塞了就切換另外一個任務去執行,以此來提升效率。為了實現它,我們需要找尋一種可以同時滿足以下條件的解決方案:
#1. 可以控制多個任務之間的切換,切換之前將任務的狀態保存下來,以便重新運行時,可以基於暫停的位置繼續執行。 #2. 作為1的補充:可以檢測io操作,在遇到io操作的情況下才發生切換
二協程介紹
協程:是單線程下的並發,又稱微線程,纖程。英文名Coroutine。一句話說明什麽是線程:協程是一種用戶態的輕量級線程,即協程是由用戶程序自己控制調度的。
需要強調的是:
#1. python的線程屬於內核級別的,即由操作系統控制調度(如單線程遇到io或執行時間過長就會被迫交出cpu執行權限,切換其他線程運行) #2. 單線程內開啟協程,一旦遇到io,就會從應用程序級別(而非操作系統)控制切換,以此來提升效率(!!!非io操作的切換與效率無關)
對比操作系統控制線程的切換,用戶在單線程內控制協程的切換
優點如下:
1.協程的切換更小,屬於程序級別的切換,操作系統完全感覺不到,因而更加輕量級
2.單線程內就可以實現並發的效果,最大限度地利用cpu
缺點如下:
1。協程的本質就是單線程下,無法利用多核,可以是一個程序開啟多個進程,每個進程內開啟多個線程,每個線程內在開啟協程
2。協程指的是單個線程,因而一旦協程出現阻塞,將會阻塞整個線程。
總結協程特點:
- 必須在只有一個單線程裏實現並發
- 修改共享數據不需加鎖
- 用戶程序裏自己保存多個控制流的上下文棧
- 附加:一個協程遇到IO操作自動切換到其它協程(如何實現檢測IO,yield、greenlet都無法實現,就用到了gevent模塊(select機制))
三 Greenlet
編程之協程