1. 程式人生 > >python使用C擴充套件

python使用C擴充套件

CPython還為開發者實現了一個有趣的特性,使用Python可以輕鬆呼叫C程式碼

開發者有三種方法可以在自己的Python程式碼中來呼叫C編寫的函式-ctypesSWIGPython/C API。每種方式也都有各自的利弊。

首先,我們要明確為什麼要在Python中呼叫C?

常見原因如下: - 你要提升程式碼的執行速度,而且你知道C要比Python快50倍以上 - C語言中有很多傳統類庫,而且有些正是你想要的,但你又不想用Python去重寫它們 - 想對從記憶體到檔案介面這樣的底層資源進行訪問 - 不需要理由,就是想這樣做

 

CTypes

Python中的ctypes模組可能是Python呼叫C方法中最簡單的一種。ctypes模組提供了和C語言相容的資料型別和函式來載入dll檔案,因此在呼叫時不需對原始檔做任何的修改。也正是如此奠定了這種方法的簡單性。

示例如下

實現兩數求和的C程式碼,儲存為add.c

//sample C file to add 2 numbers - int and floats #include <stdio.h> int add_int(int, int); float add_float(float, float); int add_int(int num1, int num2){ return num1 + num2; } float add_float(float num1, float num2){ return num1 + num2; } 接下來將C檔案編譯為.so檔案(windows下為DLL)。下面操作會生成adder.so檔案
#For Linux $ gcc -shared -Wl,-soname,adder -o adder.so -fPIC add.c #For Mac $ gcc -shared -Wl,-install_name,adder.so -o adder.so -fPIC add.c 現在在你的Python程式碼中來呼叫它 from ctypes import * #load the shared object file adder = CDLL('./adder.so') #Find sum of integers res_int = adder.add_int(4,5)
print "Sum of 4 and 5 = " + str(res_int) #Find sum of floats a = c_float(5.5) b = c_float(4.1) add_float = adder.add_float add_float.restype = c_float print "Sum of 5.5 and 4.1 = ", str(add_float(a, b)) 輸出如下 Sum of 4 and 5 = 9 Sum of 5.5 and 4.1 = 9.60000038147 在這個例子中,C檔案是自解釋的,它包含兩個函式,分別實現了整形求和和浮點型求和。 在Python檔案中,一開始先匯入ctypes模組,然後使用CDLL函式來載入我們建立的庫檔案。這樣我們就可以通過變數adder來使用C類庫中的函數了。當adder.add_int()被呼叫時,內部將發起一個對C函式add_int的呼叫。ctypes介面允許我們在呼叫C函式時使用原生Python中預設的字串型和整型。 而對於其他類似布林型和浮點型這樣的型別,必須要使用正確的ctype型別才可以。如向adder.add_float()函式傳參時, 我們要先將Python中的十進位制值轉化為c_float型別,然後才能傳送給C函式。這種方法雖然簡單,清晰,但是卻很受限。例如,並不能在C中對物件進行操作。

SWIG

SWIG是Simplified Wrapper and Interface Generator的縮寫。是Python中呼叫C程式碼的另一種方法。在這個方法中,開發人員必須編寫一個額外的介面檔案來作為SWIG(終端工具)的入口。

Python開發者一般不會採用這種方法,因為大多數情況它會帶來不必要的複雜。而當你有一個C/C++程式碼庫需要被多種語言呼叫時,這將是個非常不錯的選擇。

示例如下(來自SWIG官網)

example.c檔案中的C程式碼包含了不同的變數和函式

#include <time.h>
double My_variable = 3.0;

int fact(int n) {
    if (n <= 1) return 1;
    else return n*fact(n-1);

}

int my_mod(int x, int y) {
    return (x%y);

}

char *get_time()
{
    time_t ltime;
    time(&ltime);
    return ctime(&ltime);

}
編譯它

unix % swig -python example.i
unix % gcc -c example.c example_wrap.c \
    -I/usr/local/include/python2.1
unix % ld -shared example.o example_wrap.o -o _example.so

最後,Python的輸出

>>> import example
>>> example.fact(5)
120
>>> example.my_mod(7,3)
1
>>> example.get_time()
'Sun Feb 11 23:01:07 1996'
>>>
我們可以看到,使用SWIG確實達到了同樣的效果,雖然下了更多的工夫,但如果你的目標是多語言還是很值得的。

Python/C API

Python/C API可能是被最廣泛使用的方法。它不僅簡單,而且可以在C程式碼中操作你的Python物件。

這種方法需要以特定的方式來編寫C程式碼以供Python去呼叫它。所有的Python物件都被表示為一種叫做PyObject的結構體,並且Python.h標頭檔案中提供了各種操作它的函式。例如,如果PyObject表示為PyListType(列表型別)時,那麼我們便可以使用PyList_Size()函式來獲取該結構的長度,類似Python中的len(list)函式。大部分對Python原生物件的基礎函式和操作在Python.h標頭檔案中都能找到。

示例

編寫一個C擴充套件,新增所有元素到一個Python列表(所有元素都是數字)

來看一下我們要實現的效果,這裡演示了用Python呼叫C擴充套件的程式碼

#Though it looks like an ordinary python import, the addList module is implemented in C
import addList

l = [1,2,3,4,5]
print "Sum of List - " + str(l) + " = " +  str(addList.add(l))

上面的程式碼和普通的Python檔案並沒有什麼分別,匯入並使用了另一個叫做addList的Python模組。唯一差別就是這個模組並不是用Python編寫的,而是C。

接下來我們看看如何用C編寫addList模組,這可能看起來有點讓人難以接受,但是一旦你瞭解了這之中的各種組成,你就可以一往無前了。

//Python.h has all the required function definitions to manipulate the Python objects
#include <Python.h>

//This is the function that is called from your python code
static PyObject* addList_add(PyObject* self, PyObject* args){

    PyObject * listObj;

    //The input arguments come as a tuple, we parse the args to get the various variables
    //In this case it's only one list variable, which will now be referenced by listObj
    if (! PyArg_ParseTuple( args, "O", &listObj ))
        return NULL;

    //length of the list
    long length = PyList_Size(listObj);

    //iterate over all the elements
    int i, sum =0;
    for (i = 0; i < length; i++) {
        //get an element out of the list - the element is also a python objects
        PyObject* temp = PyList_GetItem(listObj, i);
        //we know that object represents an integer - so convert it into C long
        long elem = PyInt_AsLong(temp);
        sum += elem;
    }

    //value returned back to python code - another python object
    //build value here converts the C long to a python integer
    return Py_BuildValue("i", sum);

}

//This is the docstring that corresponds to our 'add' function.
static char addList_docs[] =
"add(  ): add all elements of the list\n";

/* This table contains the relavent info mapping -
   <function-name in python module>, <actual-function>,
   <type-of-args the function expects>, <docstring associated with the function>
 */
static PyMethodDef addList_funcs[] = {
    {"add", (PyCFunction)addList_add, METH_VARARGS, addList_docs},
    {NULL, NULL, 0, NULL}

};

/*
   addList is the module name, and this is the initialization block of the module.
   <desired module name>, <the-info-table>, <module's-docstring>
 */
PyMODINIT_FUNC initaddList(void){
    Py_InitModule3("addList", addList_funcs,
            "Add all ze lists");

}

逐步解釋 - Python.h標頭檔案中包含了所有需要的型別(Python物件型別的表示)和函式定義(對Python物件的操作) - 接下來我們編寫將要在Python呼叫的函式, 函式傳統的命名方式由{模組名}_{函式名}組成,所以我們將其命名為addList_add 
- 然後填寫想在模組內實現函式的相關資訊表,每行一個函式,以空行作為結束 - 最後的模組初始化塊簽名為PyMODINIT_FUNC init{模組名}。

函式addList_add接受的引數型別為PyObject型別結構(同時也表示為元組型別,因為Python中萬物皆為物件,所以我們先用PyObject來定義)。傳入的引數則通過PyArg_ParseTuple()來解析。第一個引數是被解析的引數變數。第二個引數是一個字串,告訴我們如何去解析元組中每一個元素。字串的第n個字母正是代表著元組中第n個引數的型別。例如,"i"代表整形,"s"代表字串型別, "O"則代表一個Python物件。接下來的引數都是你想要通過PyArg_ParseTuple()函式解析並儲存的元素。這樣引數的數量和模組中函式期待得到的引數數量就可以保持一致,並保證了位置的完整性。例如,我們想傳入一個字串,一個整數和一個Python列表,可以這樣去寫

int n;
char *s;
PyObject* list;
PyArg_ParseTuple(args, "siO", &n, &s, &list);

在這種情況下,我們只需要提取一個列表物件,並將它儲存在listObj變數中。然後用列表物件中的PyList_Size()函式來獲取它的長度。就像Python中呼叫len(list)。

現在我們通過迴圈列表,使用PyList_GetItem(list, index)函式來獲取每個元素。這將返回一個PyObject*物件。既然Python物件也能表示PyIntType,我們只要使用PyInt_AsLong(PyObj *)函式便可獲得我們所需要的值。我們對每個元素都這樣處理,最後再得到它們的總和。

總和將被轉化為一個Python物件並通過Py_BuildValue()返回給Python程式碼,這裡的i表示我們要返回一個Python整形物件。

現在我們已經編寫完C模組了。將下列程式碼儲存為setup.py

#build the modules

from distutils.core import setup, Extension

setup(name='addList', version='1.0',  \
      ext_modules=[Extension('addList', ['adder.c'])])
並且執行

python setup.py install

現在應該已經將我們的C檔案編譯安裝到我們的Python模組中了。

在一番辛苦後,讓我們來驗證下我們的模組是否有效

#module that talks to the C code
import addList

l = [1,2,3,4,5]
print "Sum of List - " + str(l) + " = " +  str(addList.add(l))
輸出結果如下

Sum of List - [1, 2, 3, 4, 5] = 15

如你所見,我們已經使用Python.h API成功開發出了我們第一個Python C擴充套件。這種方法看似複雜,但你一旦習慣,它將變的非常有效。

Python呼叫C程式碼的另一種方式便是使用Cython讓Python編譯的更快。但是Cython和傳統的Python比起來可以將它理解為另一種語言,所以我們就不在這裡過多描述了。