1. 程式人生 > 程式設計 >Python全域性鎖中如何合理運用多執行緒(多程序)

Python全域性鎖中如何合理運用多執行緒(多程序)

Python全域性鎖

(1)全域性鎖導致的問題

全域性鎖的英文簡稱是GIL,全稱是Global Interpreter Lock(全域性直譯器鎖),來源是python設計之初的考慮,為了資料安全所做的決定,每個執行緒在執行時候都需要先獲取GIL,保證同一時刻只有一個執行緒可以執行程式碼,即同一時刻只有一個執行緒使用CPU,也就是說多執行緒並不是真正意義上的同時執行。
每個CPU在同一時間只能執行一個執行緒(在單核CPU下的多執行緒其實都只是併發,不是並行,併發和並行從巨集觀上來講都是同時處理多路請求的概念。但併發和並行又有區別,並行是指兩個或者多個事件在同一時刻發生(多個CPU同時執行某個任務);而併發是指兩個或多個事件在同一時間間隔內發生。)

在Python多執行緒下,每個執行緒的執行方式:

1、獲取GIL

2、執行程式碼直到sleep或者是python虛擬機器將其掛起。

3、釋放GIL

可見,某個執行緒想要執行,必須先拿到GIL,我們可以把GIL看作是“通行證”,並且在一個python程序中,GIL只有一個。拿不到通行證的執行緒,就不允許進入CPU執行。

在Python2.x裡,GIL的釋放邏輯是當前執行緒遇見IO操作或者ticks計數達到100(ticks可以看作是Python自身的一個計數器,專門做用於GIL,每次釋放後歸零,這個計數可以通過 sys.setcheckinterval 來調整),進行釋放。
而每次釋放GIL鎖,執行緒進行鎖競爭、切換執行緒,會消耗資源。並且由於GIL鎖存在,python裡一個程序永遠只能同時執行一個執行緒(拿到GIL的執行緒才能執行),這就是為什麼在多核CPU上,python的多執行緒效率並不高。

(2)在有全域性鎖的情況下如何執行多執行緒、多程序

在這裡我們進行分類討論:

1、CPU密集型程式碼(各種迴圈處理、計數等等),在這種情況下,由於計算工作多,ticks計數很快就會達到閾值,然後觸發GIL的釋放與再競爭(多個執行緒來回切換當然是需要消耗資源的),所以python下的多執行緒對CPU密集型程式碼並不友好,此時可以採用多程序形式實現多工。

2、IO密集型程式碼(檔案處理、網路爬蟲等),多執行緒能夠有效提升效率(單執行緒下有IO操作會進行IO等待,造成不必要的時間浪費,而開啟多執行緒能線上程A等待時,自動切換到執行緒B,可以不浪費CPU的資源,從而能提升程式執行效率)。所以python的多執行緒對IO密集型程式碼比較友好。

而在python3.x中,GIL不使用ticks計數,改為使用計時器(執行時間達到閾值後,當前執行緒釋放GIL),這樣對CPU密集型程式更加友好,但依然沒有解決GIL導致的同一時間只能執行一個執行緒的問題,所以效率依然不盡如人意。

請注意:多核多執行緒比單核多執行緒更差,原因是單核下多執行緒,每次釋放GIL,喚醒的那個執行緒都能獲取到GIL鎖,所以能夠無縫執行,但多核下,CPU0釋放GIL後,其他CPU上的執行緒都會進行競爭,但GIL可能會馬上又被CPU0拿到,導致其他幾個CPU上被喚醒後的執行緒會醒著等待到切換時間後又進入待排程狀態,這樣會造成執行緒顛簸(thrashing),導致效率更低

回到最開始的問題:經常我們會聽到老手說:“python下想要充分利用多核CPU,就用多程序”,原因是什麼呢?
原因是:每個程序有各自獨立的GIL,互不干擾,這樣就可以真正意義上的並行執行,所以在python中,多程序的執行效率優於多執行緒(僅僅針對多核CPU而言)。

(3)程式碼例項

使用一個執行緒去計數

#encoing:utf-8
import threading
import time
def test_counter():
  i = 0
  for _ in range(100000000):
    i += 1
  return True
def main():
  start_time = time.time()
  for tid in range(2):
    t1 = threading.Thread(target=test_counter)
    t1.start()
    t1.join()
  end_time = time.time()
  print("Total time:{}".format(end_time-start_time))
if __name__ == "__main__":
  main()

結果:

在這裡插入圖片描述

使用2個執行緒,去執行非IO操作

#encoding:utf-8
import threading
import time
def test_counter():
  i = 0
  for _ in range(100000000):
    i += 1
  return True
def main():
  thread_array = {}
  start_time = time.time()
  for tid in range(2):
    t = threading.Thread(target=test_counter)
    t.start()
    thread_array[tid] = t
  for i in range(2):
    thread_array[i].join()
  end_time = time.time()
  print("Total time:{}".format(end_time-start_time))
if __name__ == "__main__":
  main()

結果:

在這裡插入圖片描述

通過上面的程式碼可以得出,對於非IO型別操作,多執行緒為了獲得GIL去相互競爭,導致程式執行效率更低,所以我們要根據實際的業務功能情況,來確定使用多執行緒、多程序!

總結

以上所述是小編給大家介紹的在Python全域性鎖中如何合理運用多執行緒(多程序),希望對大家有所幫助,如果大家有任何疑問請給我留言,小編會及時回覆大家的。在此也非常感謝大家對我們網站的支援!
如果你覺得本文對你有幫助,歡迎轉載,煩請註明出處,謝謝!