高併發程式設計-佇列-BlockingQueue-DelayQueue
生成器的作用
通過列表⽣成式,我們可以直接建立⼀個列表。但是,受到記憶體限制,列表容量肯定是有限的。⽽且,建立⼀個包含100萬個元素的列表,不僅佔⽤很⼤的儲存空間,如果我們僅僅需要訪問前⾯⼏個元素,那後⾯絕⼤多數元素佔⽤的空間都⽩⽩浪費了。所以,如果列表元素可以按照某種演算法推算出來,那我們是否可以在迴圈的過程中不斷推算出後續的元素呢?這樣就不必建立完整的list,從⽽節省⼤量的空間。在Python中,這種⼀邊迴圈⼀邊計算的機制,稱為⽣成器:generator。
建立生成器,列表生成式,我們知道,只要將最外一層的中括號,改為小括號。
>>> # python互動式環境 >>> y = [x + 1 for x in range(10) if x % 2 == 0] >>> y [1, 3, 5, 7, 9] >>> g = (x + 1 for x in range(10) if x % 2 == 0) >>> g <generator object <genexpr> at 0x0000020EF13E79C8>
建立 y 和 g 的區別僅在於最外層的 [ ] 和 ( ) , y 是⼀個列表,⽽ g 是⼀個⽣成器。我們可以直接打印出L的每⼀個元素,但我們怎麼打印出g的每⼀個元素呢?如果要⼀個⼀個打印出來,可以通過 next() 函式獲得⽣成器的下⼀個返回值:
>>> next(g) 1 >>> next(g) 3 >>> next(g) 5 >>> next(g) 7 >>> next(g) 9 >>> next(g) Traceback (most recent call last): File "<pyshell#13>", line 1, in <module> next(g) StopIteration
也可以通過迴圈打印出來
>>> g = (x + 1 for x in range(10) if x % 2 == 0)
>>> for i in g:
print(i)
...
1
3
5
7
9
⽣成器儲存的是演算法,每次調⽤ next(g) ,就計算出 g 的下⼀個元素的值,直到計算到最後⼀個元素,沒有更多的元素時,丟擲 StopIteration 的異常。當然,這種不斷調⽤ next() 實在是太繁瑣了,雖然是點一次出現一次,但正確的⽅法是使⽤ for 迴圈,因為⽣成器也是可迭代物件。所以,我們建立了⼀個⽣成器後,基本上永遠不會調⽤next() ,⽽是通過 for 迴圈來迭代它,並且不需要關心StopIteration 異常。所以,我們建立了一個生成器後,基本上不會呼叫 next() ,而是通過 for 迴圈來迭代它,並且不需要關心StopIteration 的錯誤。generator非常強大。如果推算的演算法比較複雜,用類似列表生成式的 for 迴圈無法實現的時候,還可以用函式來實現。比如,著名的斐波拉契數列(Fibonacci),除第一個和第二個數外,任意一個數都可由前兩個數相加得到:1, 1, 2, 3, 5, 8, 13, 21, 34, ...斐波拉契數列用列表生成式寫不出來,但是,用函式把它打印出來卻很容易:
程式碼如下:
def fib_a(times):
# 初始化
n = 0
a, b = 0, 1
while n < times:
print(b)
a, b = b, a + b
n += 1
return 'done'
z = fib_a(5)
print(z)
# 列印結果:
1
1
2
3
5
done
仔細觀察,可以看出,fib_a函式實際上是定義了斐波拉契數列的推算規則,可以從第一個元素開始,推算出後續任意的元素,這種邏輯其實非常類似generator。也就是說,上面的函式和generator僅一步之遙。要把 fib 函式變成generator,只需要把 print(b) 改為 yield(b) 就可以了:
def fib_a(times):
# 初始化
n = 0
a, b = 0, 1
while n < times:
yield(b)
a, b = b, a + b
n += 1
return 'done'
在上⾯fib 的例⼦,我們在迴圈過程中不斷調⽤ yield ,就會不斷中斷。當然要給迴圈設定⼀個條件來退出迴圈,不然就會產⽣⼀個⽆限數列出來。同樣的,把函式改成generator後,我們基本上從來不會⽤ next() 來獲取下⼀個返回值,⽽是直接使⽤ for 迴圈來迭代:
for i in fib_a(5):
print(i)
1
1
2
3
5
但是⽤for迴圈調⽤generator時,發現拿不到generator的return語句的返回值。如果想要拿到返回值,必須捕獲StopIteration錯誤,返回值包含在StopIteration的value中
⽣成器是這樣⼀個函式,它記住上⼀次返回時在函式體中的位置。對⽣成器函式的第⼆次(或第 n 次)調⽤跳轉⾄該函式中間,⽽上次調⽤的所有區域性變數都保持不變。⽣成器不僅“記住”了它資料狀態;⽣成器還“記住”了它在流程控制構造(在指令式程式設計中,這種構造不只是資料值)中的位置。
⽣成器的特點:
- 節約記憶體
- 迭代到下⼀次的調⽤時,所使⽤的引數都是第⼀次所保留下的,在整個所有函式調⽤的引數都是第⼀次所調⽤時保 留的,⽽不是新建立的。