“numba”一個可以讓你的Python飛起來編譯器
本文的文字及圖片來源於網路,僅供學習、交流使用,不具有任何商業用途,版權歸原作者所有,如有問題請及時聯絡我們以作處理
本文章來自騰訊雲 作者:Python進階者
想要學習Python?有問題得不到第一時間解決?來看看這裡“1039649593”滿足你的需求,資料都已經上傳至檔案中,可以自行下載!還有海量最新2020python學習資料。
點選檢視
python由於它動態解釋性語言的特性,跑起程式碼來相比java、c++要慢很多,尤其在做科學計算的時候,十億百億級別的運算,讓python的這種劣勢更加凸顯。
辦法永遠比困難多,numba就是解決python慢的一大利器,可以讓python的執行速度提升上百倍!
1 什麼是numba?
numba是一款可以將python函式編譯為機器程式碼的JIT編譯器,經過numba編譯的python程式碼(僅限陣列運算),其執行速度可以接近C或FORTRAN語言。
python之所以慢,是因為它是靠CPython編譯的,numba的作用是給python換一種編譯器。
python、c、numba三種編譯器速度對比
使用numba非常簡單,只需要將numba裝飾器應用到python函式中,無需改動原本的python程式碼,numba會自動完成剩餘的工作。
import numpy as np import numba from numba importjit @jit(nopython=True) # jit,numba裝飾器中的一種 def go_fast(a): # 首次呼叫時,函式被編譯為機器程式碼 trace = 0 # 假設輸入變數是numpy陣列 for i in range(a.shape[0]): # Numba 擅長處理迴圈 trace += np.tanh(a[i, i]) return a + trace
以上程式碼是一個python函式,用以計算numpy陣列各個數值的雙曲正切值,我們使用了numba裝飾器,它將這個python函式編譯為等效的機器程式碼,可以大大減少執行時間。
2 numba適合科學計算
numpy是為面向numpy陣列的計算任務而設計的。
在面向陣列的計算任務中,資料並行性對於像GPU這樣的加速器是很自然的。Numba瞭解NumPy陣列型別,並使用它們生成高效的編譯程式碼,用於在GPU或多核CPU上執行。特殊裝飾器還可以建立函式,像numpy函式那樣在numpy陣列上廣播。
什麼情況下使用numba呢?
使用numpy陣列做大量科學計算時
使用for迴圈時
3 學習使用numba
第一步:匯入numpy、numba及其編譯器
import numpy as np import numba from numba import jit
第二步:傳入numba裝飾器jit,編寫函式
# 傳入jit,numba裝飾器中的一種 @jit(nopython=True) def go_fast(a): # 首次呼叫時,函式被編譯為機器程式碼 trace = 0 # 假設輸入變數是numpy陣列 for i in range(a.shape[0]): # Numba 擅長處理迴圈 trace += np.tanh(a[i, i]) # numba喜歡numpy函式 return a + trace # numba喜歡numpy廣播
nopython =
True選項要求完全編譯該函式(以便完全刪除Python直譯器呼叫),否則會引發異常。這些異常通常表示函式中需要修改的位置,以實現優於Python的效能。強烈建議您始終使用nopython
= True。
第三步:給函式傳遞實參
# 因為函式要求傳入的引數是nunpy陣列 x = np.arange(100).reshape(10, 10) # 執行函式 go_fast(x)
第四步:經numba加速的函式執行時間
% timeit go_fast(x)
輸出:
3.63 µs ± 156 ns per loop (mean ± std. dev. of 7 runs, 100000 loops each)
第五步:不經numba加速的函式執行時間
def go_fast(a): # 首次呼叫時,函式被編譯為機器程式碼 trace = 0 # 假設輸入變數是numpy陣列 for i in range(a.shape[0]): # Numba 擅長處理迴圈 trace += np.tanh(a[i, i]) # numba喜歡numpy函式 return a + trace # numba喜歡numpy廣播 x = np.arange(100).reshape(10, 10) %timeit go_fast(x)
輸出:
136 µs ± 1.09 µs per loop (mean ± std. dev. of 7 runs, 10000 loops each)
結論:
在numba加速下,程式碼執行時間為3.63微秒/迴圈。不經過numba加速,程式碼執行時間為136微秒/迴圈,兩者相比,前者快了40倍。
4 numba讓python飛起來
前面已經對比了numba使用前後,python程式碼速度提升了40倍,但這還不是最快的。
這次,我們不使用numpy陣列,僅用for迴圈,看看nunba對for迴圈到底有多鍾愛!
# 不使用numba的情況 def t(): x = 0 for i in np.arange(5000): x += i return x %timeit(t())
輸出:
408 µs ± 9.73 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each) # 使用numba的情況 @jit(nopython=True) def t(): x = 0 for i in np.arange(5000): x += i return x %timeit(t())
輸出:
1.57 µs ± 53.8 ns per loop (mean ± std. dev. of 7 runs, 1000000 loops each)
使用numba前後分別是408微秒/迴圈、1.57微秒/迴圈,速度整整提升了200多倍!
5 結語
numba對python程式碼執行速度有巨大的提升,這極大的促進了大資料時代的python資料分析能力,對資料科學工作者來說,這真是一個lucky tool !
當然numba不會對numpy和for迴圈以外的python程式碼有很大幫助,你不要指望numba可以幫你加快從資料庫取數,這點它真的做不到哈。