Python併發程式設計之從生成器使用入門協程(七)
大家好,併發程式設計
進入第七篇。
從今天開始,我們將開始進入Python的難點,那就是協程
。
為了寫明白協程的知識點,我查閱了網上的很多相關資料。發現很難有一個講得系統,講得全面的文章,導致我們在學習的時候,往往半知半解,學完還是一臉懵逼。
學習協程的第一門課程,是要認識生成器
,有了生成器
的基礎,才能更好地理解協程
。
如果你是新手,那麼你應該知道迭代器
,對生成器
應該是比較陌生的吧。沒關係,看完這系列文章,你也能從小白成功過渡為Ptyhon高手。
再次提醒:
本系列所有的程式碼均在Python3下編寫,也建議大家儘快投入到Python3的懷抱中來。
本文目錄
- 可迭代、迭代器、生成器
- 如何執行/啟用生成器
- 生成器的執行狀態
- 生成器的異常處理
- 從生成器過渡到協程:yield
. 可迭代、迭代器、生成器
初學Python的時候,對於這三貨真的是傻傻分不清。甚至還認為他們是等價的。
其實,他們是不一樣的。
可迭代的物件,很好理解,我們很熟悉的:字串
,list
,dict
,tuple
,deque
等
為了驗證我說的,需要藉助collections.abc
這個模組(Python2沒有),使用isinstance()
來類別一個物件是否是可迭代的(Iterable
),是否是迭代器(Iterator
),是否是生成器(Generator
)。
輸出結果
從結果來看,這些可迭代物件都不是迭代器,也不是生成器。它們有一個共同點,就是它們都可以使用for
擴充套件知識:
可迭代物件,是其內部實現了,__iter__
這個魔術方法。
可以通過,dir()
方法來檢視是否有__iter__
來判斷一個變數是否是可迭代的。
接下來是,迭代器
。
對比可迭代物件,迭代器
其實就只是多了一個函式而已。就是__next__()
,我們可以不再使用for
迴圈來間斷獲取元素值。而可以直接使用next()方法來實現。
迭代器,是在可迭代的基礎上實現的。要建立一個迭代器,我們首先,得有一個可迭代物件。
現在就來看看,如何建立一個可迭代物件,並以可迭代物件為基礎建立一個迭代器。
輸出
0 1 2 3 4 True False True True 0 1 2 3 4
如果上面的程式碼太多,也可以看這邊,你更能理解。
擴充套件知識:
迭代器,是其內部實現了,__next__
這個魔術方法。(Python3.x)
可以通過,dir()
方法來檢視是否有__next__
來判斷一個變數是否是迭代器的。
接下來,是我們的重點,生成器
。
生成器的概念在 Python 2.2 中首次出現,之所以引入生成器,是為了實現一個在計算下一個值時不需要浪費空間的結構。
前面我們說,迭代器,是在可迭代的基礎上,加了一個next()方法。
而生成器,則是在迭代器的基礎上(可以用for迴圈,可以使用next()
),再實現了yield
。
yield
是什麼東西呢,它相當於我們函式裡的return。在每次next(),或者for遍歷的時候,都會yield這裡將新的值返回回去,並在買二手手機平臺地圖這裡阻塞,等待下一次的呼叫。正是由於這個機制,才使用生成器在Python程式設計中大放異彩。實現節省記憶體,實現非同步程式設計。
如何建立一個生成器,主要有如下兩種方法
- 使用列表生成式
# 使用列表生成式,注意不是[],而是()
L = (x * x for x in range(10))
print(isinstance(L, Generator)) # True
- 實現yield的函式
# 實現了yield的函式
def mygen(n):
now = 0
while now < n:
yield now
now += 1
if __name__ == '__main__':
gen = mygen(10)
print(isinstance(gen, Generator)) # True
可迭代物件和迭代器,是將所有的值都生成存放在記憶體中,而生成器
則是需要元素才臨時生成,節省時間,節省空間。
. 如何執行/啟用生成器
由於生成器並不是一次生成所有元素,而是一次一次的執行返回,那麼如何刺激生成器執行(或者說啟用)呢?
啟用主要有兩個方法
- 使用
next()
- 使用
generator.send(None)
分別看下例子,你就知道了。
輸出
0
1
2
3
. 生成器的執行狀態
生成器在其生命週期中,會有如下四個狀態
GEN_CREATED
# 等待開始執行GEN_RUNNING
# 直譯器正在執行(只有在多執行緒應用中才能看到這個狀態)GEN_SUSPENDED
# 在yield表示式處暫停GEN_CLOSED
# 執行結束
通過程式碼來感受一下,為了不增加程式碼理解難度,GEN_RUNNING
這個狀態,我就不舉例了。有興趣的同學,可以去嘗試一下多執行緒。若有疑問,可在後臺回覆我。
輸出
GEN_CREATED
0
GEN_SUSPENDED
1
GEN_CLOSED
. 生成器的異常處理
在生成器工作過程中,若生成器不滿足生成元素的條件,就會
/應該
丟擲異常(StopIteration
)。
通過列表生成式構建的生成器,其內部已經自動幫我們實現了丟擲異常這一步。不信我們來看一下。
所以我們在自己定義一個生成器的時候,我們也應該在不滿足生成元素條件的時候,丟擲異常。
拿上面的程式碼來修改一下。
. 從生成器過渡到協程:yield
通過上面的介紹,我們知道生成器為我們引入了暫停函式執行(yield
)的功能。當有了暫停的功能之後,人們就想能不能在生成器暫停的時候向其傳送一點東西(其實上面也有提及:send(None)
)。這種向暫停的生成器傳送資訊的功能通過PEP 342
進入Python 2.5
中,並催生了Python
中協程
的誕生。根據wikipedia
中的定義
協程是為非搶佔式多工產生子程式的計算機程式元件,協程允許不同入口點在不同位置暫停或開始執行程式。
注意從本質上而言,協程並不屬於語言中的概念,而是程式設計模型上的概念。
協程和執行緒,有相似點
,多個協程之間和執行緒一樣,只會交叉序列執行;也有不同點
,執行緒之間要頻繁進行切換,加鎖,解鎖,從複雜度和效率來看,和協程相比,這確是一個痛點。協程通過使用yield
暫停生成器,可以將程式的執行流程交給其他的子程式,從而實現不同子程式的之間的交替執行。
下面通過一個簡明的演示來看看,如何向生成器中傳送訊息。
輸出。
0
2
3
2
這裡解釋下為什麼這麼輸出。
重點是jump = yield index
這個語句。
分成兩部分
yield index
是將indexreturn
給外部呼叫程式。jump = yield
可以接收外部程式通過send()傳送的資訊,並賦值給jump
以上這些,都是講協程併發的基礎必備知識,請一定要親自去實踐並理解它,不然後面的內容,將會變得枯燥無味,晦澀難懂。
下一章,我將講一個Python3.5新引入的語法:yield from
。篇幅也比較多,所以就單獨拿出來講。