python使用C擴充套件
阿新 • • 發佈:2018-12-13
CPython還為開發者實現了一個有趣的特性,使用Python可以輕鬆呼叫C程式碼
開發者有三種方法可以在自己的Python程式碼中來呼叫C編寫的函式-ctypes
,SWIG
,Python/C API
。每種方式也都有各自的利弊。
首先,我們要明確為什麼要在Python中呼叫C?
常見原因如下: - 你要提升程式碼的執行速度,而且你知道C要比Python快50倍以上 - C語言中有很多傳統類庫,而且有些正是你想要的,但你又不想用Python去重寫它們 - 想對從記憶體到檔案介面這樣的底層資源進行訪問 - 不需要理由,就是想這樣做
CTypes
Python中的ctypes模組可能是Python呼叫C方法中最簡單的一種。ctypes模組提供了和C語言相容的資料型別和函式來載入dll檔案,因此在呼叫時不需對原始檔做任何的修改。也正是如此奠定了這種方法的簡單性。 示例如下 實現兩數求和的C程式碼,儲存為add.c//sample C file to add 2 numbers - int and floats #include <stdio.h> int add_int(int, int); float add_float(float, float); int add_int(int num1, int num2){ return num1 + num2; } float add_float(float num1, float num2){ return num1 + num2; } 接下來將C檔案編譯為.so檔案(windows下為DLL)。下面操作會生成adder.so檔案#For Linux $ gcc -shared -Wl,-soname,adder -o adder.so -fPIC add.c #For Mac $ gcc -shared -Wl,-install_name,adder.so -o adder.so -fPIC add.c 現在在你的Python程式碼中來呼叫它 from ctypes import * #load the shared object file adder = CDLL('./adder.so') #Find sum of integers res_int = adder.add_int(4,5)print "Sum of 4 and 5 = " + str(res_int) #Find sum of floats a = c_float(5.5) b = c_float(4.1) add_float = adder.add_float add_float.restype = c_float print "Sum of 5.5 and 4.1 = ", str(add_float(a, b)) 輸出如下 Sum of 4 and 5 = 9 Sum of 5.5 and 4.1 = 9.60000038147 在這個例子中,C檔案是自解釋的,它包含兩個函式,分別實現了整形求和和浮點型求和。 在Python檔案中,一開始先匯入ctypes模組,然後使用CDLL函式來載入我們建立的庫檔案。這樣我們就可以通過變數adder來使用C類庫中的函數了。當adder.add_int()被呼叫時,內部將發起一個對C函式add_int的呼叫。ctypes介面允許我們在呼叫C函式時使用原生Python中預設的字串型和整型。 而對於其他類似布林型和浮點型這樣的型別,必須要使用正確的ctype型別才可以。如向adder.add_float()函式傳參時, 我們要先將Python中的十進位制值轉化為c_float型別,然後才能傳送給C函式。這種方法雖然簡單,清晰,但是卻很受限。例如,並不能在C中對物件進行操作。
SWIG
SWIG是Simplified Wrapper and Interface Generator的縮寫。是Python中呼叫C程式碼的另一種方法。在這個方法中,開發人員必須編寫一個額外的介面檔案來作為SWIG(終端工具)的入口。 Python開發者一般不會採用這種方法,因為大多數情況它會帶來不必要的複雜。而當你有一個C/C++程式碼庫需要被多種語言呼叫時,這將是個非常不錯的選擇。 示例如下(來自SWIG官網) example.c檔案中的C程式碼包含了不同的變數和函式 #include <time.h> double My_variable = 3.0; int fact(int n) { if (n <= 1) return 1; else return n*fact(n-1); } int my_mod(int x, int y) { return (x%y); } char *get_time() { time_t ltime; time(<ime); return ctime(<ime); } 編譯它 unix % swig -python example.i unix % gcc -c example.c example_wrap.c \ -I/usr/local/include/python2.1 unix % ld -shared example.o example_wrap.o -o _example.so 最後,Python的輸出 >>> import example >>> example.fact(5) 120 >>> example.my_mod(7,3) 1 >>> example.get_time() 'Sun Feb 11 23:01:07 1996' >>> 我們可以看到,使用SWIG確實達到了同樣的效果,雖然下了更多的工夫,但如果你的目標是多語言還是很值得的。
Python/C API
Python/C API可能是被最廣泛使用的方法。它不僅簡單,而且可以在C程式碼中操作你的Python物件。 這種方法需要以特定的方式來編寫C程式碼以供Python去呼叫它。所有的Python物件都被表示為一種叫做PyObject的結構體,並且Python.h標頭檔案中提供了各種操作它的函式。例如,如果PyObject表示為PyListType(列表型別)時,那麼我們便可以使用PyList_Size()函式來獲取該結構的長度,類似Python中的len(list)函式。大部分對Python原生物件的基礎函式和操作在Python.h標頭檔案中都能找到。 示例 編寫一個C擴充套件,新增所有元素到一個Python列表(所有元素都是數字) 來看一下我們要實現的效果,這裡演示了用Python呼叫C擴充套件的程式碼 #Though it looks like an ordinary python import, the addList module is implemented in C import addList l = [1,2,3,4,5] print "Sum of List - " + str(l) + " = " + str(addList.add(l)) 上面的程式碼和普通的Python檔案並沒有什麼分別,匯入並使用了另一個叫做addList的Python模組。唯一差別就是這個模組並不是用Python編寫的,而是C。 接下來我們看看如何用C編寫addList模組,這可能看起來有點讓人難以接受,但是一旦你瞭解了這之中的各種組成,你就可以一往無前了。 //Python.h has all the required function definitions to manipulate the Python objects #include <Python.h> //This is the function that is called from your python code static PyObject* addList_add(PyObject* self, PyObject* args){ PyObject * listObj; //The input arguments come as a tuple, we parse the args to get the various variables //In this case it's only one list variable, which will now be referenced by listObj if (! PyArg_ParseTuple( args, "O", &listObj )) return NULL; //length of the list long length = PyList_Size(listObj); //iterate over all the elements int i, sum =0; for (i = 0; i < length; i++) { //get an element out of the list - the element is also a python objects PyObject* temp = PyList_GetItem(listObj, i); //we know that object represents an integer - so convert it into C long long elem = PyInt_AsLong(temp); sum += elem; } //value returned back to python code - another python object //build value here converts the C long to a python integer return Py_BuildValue("i", sum); } //This is the docstring that corresponds to our 'add' function. static char addList_docs[] = "add( ): add all elements of the list\n"; /* This table contains the relavent info mapping - <function-name in python module>, <actual-function>, <type-of-args the function expects>, <docstring associated with the function> */ static PyMethodDef addList_funcs[] = { {"add", (PyCFunction)addList_add, METH_VARARGS, addList_docs}, {NULL, NULL, 0, NULL} }; /* addList is the module name, and this is the initialization block of the module. <desired module name>, <the-info-table>, <module's-docstring> */ PyMODINIT_FUNC initaddList(void){ Py_InitModule3("addList", addList_funcs, "Add all ze lists"); } 逐步解釋 - Python.h標頭檔案中包含了所有需要的型別(Python物件型別的表示)和函式定義(對Python物件的操作) - 接下來我們編寫將要在Python呼叫的函式, 函式傳統的命名方式由{模組名}_{函式名}組成,所以我們將其命名為addList_add - 然後填寫想在模組內實現函式的相關資訊表,每行一個函式,以空行作為結束 - 最後的模組初始化塊簽名為PyMODINIT_FUNC init{模組名}。 函式addList_add接受的引數型別為PyObject型別結構(同時也表示為元組型別,因為Python中萬物皆為物件,所以我們先用PyObject來定義)。傳入的引數則通過PyArg_ParseTuple()來解析。第一個引數是被解析的引數變數。第二個引數是一個字串,告訴我們如何去解析元組中每一個元素。字串的第n個字母正是代表著元組中第n個引數的型別。例如,"i"代表整形,"s"代表字串型別, "O"則代表一個Python物件。接下來的引數都是你想要通過PyArg_ParseTuple()函式解析並儲存的元素。這樣引數的數量和模組中函式期待得到的引數數量就可以保持一致,並保證了位置的完整性。例如,我們想傳入一個字串,一個整數和一個Python列表,可以這樣去寫 int n; char *s; PyObject* list; PyArg_ParseTuple(args, "siO", &n, &s, &list); 在這種情況下,我們只需要提取一個列表物件,並將它儲存在listObj變數中。然後用列表物件中的PyList_Size()函式來獲取它的長度。就像Python中呼叫len(list)。 現在我們通過迴圈列表,使用PyList_GetItem(list, index)函式來獲取每個元素。這將返回一個PyObject*物件。既然Python物件也能表示PyIntType,我們只要使用PyInt_AsLong(PyObj *)函式便可獲得我們所需要的值。我們對每個元素都這樣處理,最後再得到它們的總和。 總和將被轉化為一個Python物件並通過Py_BuildValue()返回給Python程式碼,這裡的i表示我們要返回一個Python整形物件。 現在我們已經編寫完C模組了。將下列程式碼儲存為setup.py #build the modules from distutils.core import setup, Extension setup(name='addList', version='1.0', \ ext_modules=[Extension('addList', ['adder.c'])]) 並且執行 python setup.py install 現在應該已經將我們的C檔案編譯安裝到我們的Python模組中了。 在一番辛苦後,讓我們來驗證下我們的模組是否有效 #module that talks to the C code import addList l = [1,2,3,4,5] print "Sum of List - " + str(l) + " = " + str(addList.add(l)) 輸出結果如下 Sum of List - [1, 2, 3, 4, 5] = 15 如你所見,我們已經使用Python.h API成功開發出了我們第一個Python C擴充套件。這種方法看似複雜,但你一旦習慣,它將變的非常有效。 Python呼叫C程式碼的另一種方式便是使用Cython讓Python編譯的更快。但是Cython和傳統的Python比起來可以將它理解為另一種語言,所以我們就不在這裡過多描述了。