1. 程式人生 > >【Python開發】C和Python之間的介面實現

【Python開發】C和Python之間的介面實現


## 更新:關於ctypes,見拙作 聊聊Python ctypes 模組 - 蛇之魅惑 - 知乎專欄

屬於混合程式設計的問題。較全面的介紹一下,不僅限於題主提出的問題。
以下討論中,Python指它的標準實現,即CPython(雖然不是很嚴格)

本文分4個部分
  1. C/C++ 呼叫 Python (基礎篇)— 僅討論Python官方提供的實現方式
  2. Python 呼叫 C/C++ (基礎篇)— 僅討論Python官方提供的實現方式
  3. C/C++ 呼叫 Python (高階篇)— 使用 Cython
  4. Python 呼叫 C/C++ (高階篇)— 使用 SWIG
練習本文中的例子,需要搭建Python擴充套件開發環境。具體細節見
搭建Python擴充套件開發環境 - 蛇之魅惑 - 知乎專欄


1 C/C++ 呼叫 Python(基礎篇)
Python 本身就是一個C庫。你所看到的可執行體python只不過是個stub。真正的python實體在動態連結庫裡實現,在Windows平臺上,這個檔案位於 %SystemRoot%\System32\python27.dll。

你也可以在自己的程式中呼叫Python,看起來非常容易:

//my_python.c
#include <Python.h>

int main(int argc, char *argv[])
{
  Py_SetProgramName(argv[0]);
Py_Initialize(); PyRun_SimpleString("print 'Hello Python!'\n"); Py_Finalize(); return 0; }
在Windows平臺下,開啟Visual Studio命令提示符,編譯命令為
cl my_python.c -IC:\Python27\include C:\Python27\libs\python27.lib
在Linux下編譯命令為
gcc my_python.c -o my_python -I/usr/include/python2.7/ -lpython2.7
在Mac OS X 下的編譯命令同上

產生可執行檔案後,直接執行,結果為輸出
Hello Python!
Python庫函式PyRun_SimpleString可以執行字串形式的Python程式碼。

雖然非常簡單,但這段程式碼除了能用C語言動態生成一些Python程式碼之外,並沒有什麼用處。我們需要的是C語言的資料結構能夠和Python互動。

下面舉個例子,比如說,有一天我們用Python寫了一個功能特別強大的函式:

def great_function(a):
    return a + 1

接下來要把它包裝成C語言的函式。我們期待的C語言的對應函式應該是這樣的:

int great_function_from_python(int a) {
    int res; 
    // some magic
    return res;
}

首先,複用Python模組得做‘import’,這裡也不例外。所以我們把great_function放到一個module裡,比如說,這個module名字叫 great_module.py

接下來就要用C來呼叫Python了,完整的程式碼如下:
#include <Python.h>

int great_function_from_python(int a) {
    int res;
    PyObject *pModule,*pFunc;
    PyObject *pArgs, *pValue;
    
    /* import */
    pModule = PyImport_Import(PyString_FromString("great_module"));

    /* great_module.great_function */
    pFunc = PyObject_GetAttrString(pModule, "great_function"); 
    
    /* build args */
    pArgs = PyTuple_New(1);
    PyTuple_SetItem(pArgs,0, PyInt_FromLong(a));
      
    /* call */
    pValue = PyObject_CallObject(pFunc, pArgs);
    
    res = PyInt_AsLong(pValue);
    return res;
}
從上述程式碼可以窺見Python內部執行的方式:
  • 所有Python元素,module、function、tuple、string等等,實際上都是PyObject。C語言裡操縱它們,一律使用PyObject *。
  • Python的型別與C語言型別可以相互轉換。Python型別XXX轉換為C語言型別YYY要使用PyXXX_AsYYY函式;C型別YYY轉換為Python型別XXX要使用PyXXX_FromYYY函式。
  • 也可以建立Python型別的變數,使用PyXXX_New可以建立型別為XXX的變數。
  • 若a是Tuple,則a[i] = b對應於 PyTuple_SetItem(a,i,b),有理由相信還有一個函式PyTuple_GetItem完成取得某一項的值。
  • 不僅Python語言很優雅,Python的庫函式API也非常優雅。

現在我們得到了一個C語言的函數了,可以寫一個main測試它

#include <Python.h>

int great_function_from_python(int a); 

int main(int argc, char *argv[]) {
    Py_Initialize();
    printf("%d",great_function_from_python(2));
    Py_Finalize();
}

編譯的方式就用本節開頭使用的方法。

在Linux/Mac OSX執行此示例之前,可能先需要設定環境變數:

bash:

export PYTHONPATH=.:$PYTHONPATH

csh:

setenv PYTHONPATH .:$PYTHONPATH

2 Python 呼叫 C/C++(基礎篇)
這種做法稱為Python擴充套件。
比如說,我們有一個功能強大的C函式:
int great_function(int a) {
    return a + 1;
}
期望在Python裡這樣使用:
>>> from great_module import great_function 
>>> great_function(2)
3
考慮最簡單的情況。我們把功能強大的函式放入C檔案 great_module.c 中。
#include <Python.h>

int great_function(int a) {
    return a + 1;
}

static PyObject * _great_function(PyObject *self, PyObject *args)
{
    int _a;
    int res;

    if (!PyArg_ParseTuple(args, "i", &_a))
        return NULL;
    res = great_function(_a);
    return PyLong_FromLong(res);
}

static PyMethodDef GreateModuleMethods[] = {
    {
        "great_function",
        _great_function,
        METH_VARARGS,
        ""
    },
    {NULL, NULL, 0, NULL}
};

PyMODINIT_FUNC initgreat_module(void) {
    (void) Py_InitModule("great_module", GreateModuleMethods);
}
除了功能強大的函式great_function外,這個檔案中還有以下部分:
  • 包裹函式_great_function。它負責將Python的引數轉化為C的引數(PyArg_ParseTuple),呼叫實際的great_function,並處理great_function的返回值,最終返回給Python環境。
  • 匯出表GreateModuleMethods。它負責告訴Python這個模組裡有哪些函式可以被Python呼叫。匯出表的名字可以隨便起,每一項有4個引數:第一個引數是提供給Python環境的函式名稱,第二個引數是_great_function,即包裹函式。第三個引數的含義是引數變長,第四個引數是一個說明性的字串。匯出表總是以{NULL, NULL, 0, NULL}結束。
  • 匯出函式initgreat_module。這個的名字不是任取的,是你的module名稱新增字首init。匯出函式中將模組名稱與匯出表進行連線。

在Windows下面,在Visual Studio命令提示符下編譯這個檔案的命令是

cl /LD great_module.c /o great_module.pyd -IC:\Python27\include C:\Python27\libs\python27.lib

/LD 即生成動態連結庫。編譯成功後在當前目錄可以得到 great_module.pyd(實際上是dll)。這個pyd可以在Python環境下直接當作module使用。


在Linux下面,則用gcc編譯:

gcc -fPIC -shared great_module.c -o great_module.so -I/usr/include/python2.7/ -lpython2.7

在當前目錄下得到great_module.so,同理可以在Python中直接使用。


本部分參考資料


用以上的方法實現C/C++與Python的混合程式設計,需要對Python的內部實現有相當的瞭解。接下來介紹當前較為成熟的技術Cython和SWIG。

3 C/C++ 呼叫 Python(使用Cython)

在前面的小節中談到,Python的資料型別和C的資料型別貌似是有某種“一一對應”的關係的,此外,由於Python(確切的說是CPython)本身是由C語言實現的,故Python資料型別之間的函式運算也必然與C語言有對應關係。那麼,有沒有可能“自動”的做替換,把Python程式碼直接變成C程式碼呢?答案是肯定的,這就是Cython主要解決的問題。

安裝Cython非常簡單。Python 2.7.9以上的版本已經自帶easy_install:
easy_install -U cython
在Windows環境下依然需要Visual Studio,由於安裝的過程需要編譯Cython的原始碼,故上述命令需要在Visual Studio命令提示符下完成。一會兒使用Cython的時候,也需要在Visual Studio命令提示符下進行操作,這一點和第一部分的要求是一樣的。

繼續以例子說明:
#great_module.pyx
cdef public great_function(a,index):
    return a[index]
這其中有非Python關鍵字cdef和public。這些關鍵字屬於Cython。由於我們需要在C語言中使用“編譯好的Python程式碼”,所以得讓great_function從外面變得可見,方法就是以“public”修飾。而cdef類似於Python的def,只有使用cdef才可以使用Cython的關鍵字public。

這個函式中其他的部分與正常的Python程式碼是一樣的。

接下來編譯 great_module.pyx
cython great_module.pyx
得到great_module.h和great_module.c。開啟great_module.h可以找到這樣一句宣告:
__PYX_EXTERN_C DL_IMPORT(PyObject) *great_function(PyObject *, PyObject *)
寫一個main使用great_function。注意great_function並不規定a是何種型別,它的功能只是提取a的第index的成員而已,故使用great_function的時候,a可以傳入Python String,也可以傳入tuple之類的其他可迭代型別。仍然使用之前提到的型別轉換函式PyXXX_FromYYY和PyXXX_AsYYY。

//main.c
#include <Python.h>
#include "great_module.h"

int main(int argc, char *argv[]) {
    PyObject *tuple;
    Py_Initialize();
    initgreat_module();
    printf("%s\n",PyString_AsString(
                great_function(
                    PyString_FromString("hello"),
                    PyInt_FromLong(1)
                )
            ));
    tuple = Py_BuildValue("(iis)", 1, 2, "three");
    printf("%d\n",PyInt_AsLong(
                great_function(
                    tuple,
                    PyInt_FromLong(1)
                )
            ));
    printf("%s\n",PyString_AsString(
                great_function(
                    tuple,
                    PyInt_FromLong(2)
                )
            ));
    Py_Finalize();
}
編譯命令和第一部分相同:
在Windows下編譯命令為
cl main.c great_module.c -IC:\Python27\include C:\Python27\libs\python27.lib
在Linux下編譯命令為
gcc main.c great_module.c -o main -I/usr/include/python2.7/ -lpython2.7
這個例子中我們使用了Python的動態型別特性。如果你想指定型別,可以利用Cython的靜態型別關鍵字。例子如下:

#great_module.pyx
cdef public char great_function(const char * a,int index):
    return a[index]
cython編譯後得到的.h裡,great_function的宣告是這樣的:
__PYX_EXTERN_C DL_IMPORT(char) great_function(char const *, int);
很開心對不對!
這樣的話,我們的main函式已經幾乎看不到Python的痕跡了:
//main.c
#include <Python.h>
#include "great_module.h"

int main(int argc, char *argv[]) {
    Py_Initialize();
    initgreat_module();
    printf("%c",great_function("Hello",2));
    Py_Finalize();
}
在這一部分的最後我們給一個看似實用的應用(僅限於Windows):
還是利用剛才的great_module.pyx,準備一個dllmain.c:
#include <Python.h>
#include <Windows.h>
#include "great_module.h"

extern __declspec(dllexport) int __stdcall _great_function(const char * a, int b) {
    return great_function(a,b);
}

BOOL WINAPI DllMain(HINSTANCE hinstDLL,DWORD fdwReason,LPVOID lpReserved) {
    switch( fdwReason ) { 
        case DLL_PROCESS_ATTACH:
            Py_Initialize();
            initgreat_module();
            break;
        case DLL_PROCESS_DETACH:
            Py_Finalize();
            break;
    }
    return TRUE;
}
在Visual Studio命令提示符下編譯:
cl /LD dllmain.c great_module.c -IC:\Python27\include C:\Python27\libs\python27.lib
會得到一個dllmain.dll。我們在Excel裡面使用它,沒錯,傳說中的Excel與Python混合程式設計
&amp;lt;img data-rawheight=&quot;797&quot; data-rawwidth=&quot;1007&quot; src=&quot;https://pic2.zhimg.com/2f45c9f2f8407d46f51f203efc2e8181_b.png&quot; class=&quot;origin_image zh-lightbox-thumb&quot; width=&quot;1007&quot; data-original=&quot;https://pic2.zhimg.com/2f45c9f2f8407d46f51f203efc2e8181_r.png&quot;&amp;gt;
參考資料:Cython的官方文件,質量非常高:
Welcome to Cython’s Documentation

4 Python呼叫C/C++(使用SWIG)

用C/C++對指令碼語言的功能擴充套件是非常常見的事情,Python也不例外。除了SWIG,市面上還有若干用於Python擴充套件的工具包,比較知名的還有Boost.Python、SIP等,此外,Cython由於可以直接整合C/C++程式碼,並方便的生成Python模組,故也可以完成擴充套件Python的任務。

答主在這裡選用SWIG的一個重要原因是,它不僅可以用於Python,也可以用於其他語言。如今SWIG已經支援C/C++的好基友Java,主流指令碼語言Python、Perl、Ruby、PHP、JavaScript、tcl、Lua,還有Go、C#,以及R。SWIG是基於配置的,也就是說,原則上一套配置改變不同的編譯方法就能適用各種語言(當然,這是理想情況了……)

SWIG的安裝方便,有Windows的預編譯包,解壓即用,綠色健康。主流Linux通常整合swig的包,也可以下載原始碼自己編譯,SWIG非常小巧,通常安裝不會出什麼問題。

用SWIG擴充套件Python,你需要有一個待擴充套件的C/C++庫。這個庫有可能是你自己寫的,也有可能是某個專案提供的。這裡舉一個不浮誇的例子:希望在Python中用到SSE4指令集的CRC32指令。

首先開啟指令集的文件:software.intel.com/en-u
可以看到有6個函式。分析6個函式的原型,其引數和返回值都是簡單的整數。於是書寫SWIG的配置檔案(為了簡化起見,未包含2個64位函式):

/* File: mymodule.i */
%module mymodule

%{
#include "nmmintrin.h"
%}

int _mm_popcnt_u32(unsigned int v);
unsigned int _mm_crc32_u8 (unsigned int crc, unsigned char v);
unsigned int _mm_crc32_u16(unsigned int crc, unsigned short v);
unsigned int _mm_crc32_u32(unsigned int crc, unsigned int v);
接下來使用SWIG將這個配置檔案編譯為所謂Python Module Wrapper

swig -python mymodule.i

得到一個 mymodule_wrap.c和一個mymodule.py。把它編譯為Python擴充套件:

Windows:

cl /LD mymodule_wrap.c /o _mymodule.pyd -IC:\Python27\include C:\Python27\libs\python27.lib

Linux:

gcc -fPIC -shared mymodule_wrap.c -o _mymodule.so -I/usr/include/python2.7/ -lpython2.7
注意輸出檔名前面要加一個下劃線。
現在可以立即在Python下使用這個module了:

>>> import mymodule
>>> mymodule._mm_popcnt_u32(10)
2

回顧這個配置檔案分為3個部分:
  1. 定義module名稱mymodule,通常,module名稱要和檔名保持一致。
  2. %{ %} 包裹的部分是C語言的程式碼,這段程式碼會原封不動的複製到mymodule_wrap.c
  3. 欲匯出的函式簽名列表。直接從標頭檔案裡複製過來即可。

還記得本文第2節的那個great_function嗎?有了SWIG,事情就會變得如此簡單:

/* great_module.i */
%module great_module
%{
int great_function(int a) {
    return a + 1;
}
%}
int great_function(int a);

換句話說,SWIG自動完成了諸如Python型別轉換、module初始化、匯出程式碼表生成的諸多工作。


對於C++,SWIG也可以應對。例如以下程式碼有C++類的定義:

//great_class.h
#ifndef GREAT_CLASS
#define GREAT_CLASS
class Great {
    private:
        int s;
    public:
        void setWall (int _s) {s = _s;};
        int getWall () {return s;};
};
#endif // GREAT_CLASS

對應的SWIG配置檔案

/* great_class.i */
%module great_class
%{
#include "great_class.h"
%}
%include "great_class.h"

這裡不再重新敲一遍class的定義了,直接使用SWIG的%include指令

SWIG編譯時要加-c++這個選項,生成的副檔名為cxx

swig -c++ -python great_class.i
Windows下編譯:
cl /LD great_class_wrap.cxx /o _great_class.pyd -IC:\Python27\include C:\Python27\libs\python27.lib

Linux,使用C++的編譯器

g++ -fPIC -shared great_class_wrap.cxx -o _great_class.so  -I/usr/include/python2.7/ -lpython2.7
在Python互動模式下測試:
>>> import great_class
>>> c = great_class.Great()
>>> c.setWall(5)
>>> c.getWall()
5
也就是說C++的class會直接對映到Python class

SWIG非常強大,對於Python介面而言,簡單型別,甚至指標,都無需人工干涉即可自動轉換,而複雜型別,尤其是自定義型別,SWIG提供了typemap供轉換。而一旦使用了typemap,配置檔案將不再在各個語言當中通用。

參考資料:
SWIG的官方文件,質量比較高。SWIG Users Manual
有個對應的中文版官網,很多年沒有更新了。

寫在最後:
由於CPython自身的結構設計合理,使得Python的C/C++擴充套件非常容易。如果打算快速完成任務,Cython(C/C++呼叫Python)和SWIG(Python呼叫C/C++)是很不錯的選擇。但是,一旦涉及到比較複雜的轉換任務,無論是繼續使用Cython還是SWIG,仍然需要學習Python原始碼。

本文使用的開發環境:
Python 2.7.10
Cython 0.22
SWIG 3.0.6
Windows 10 x64 RTM
CentOS 7.1 AMD 64
Mac OSX 10.10.4
文中所述原理與具體環境適用性強。
文章所述程式碼均用於演示,缺乏必備的異常檢查

相關推薦

Python開發CPython之間介面實現

## 更新:關於ctypes,見拙作 聊聊Python ctypes 模組 - 蛇之魅惑 - 知乎專欄 屬於混合程式設計的問題。較全面的介紹一下,不僅限於題主提出的問題。 以下討論中,Python指它的標準實現,即CPython(雖然不是很嚴格) 本文分4個部分C/C++ 呼叫 Python (基礎篇)—

JNI開發C++呼叫java函式的實現方法

本文的主要內容:C++中呼叫java類的成員函式和靜態成員函式 1,java程式碼 public class SNaviEngineManager { public void sendMe

Python開發anaconda3 安裝python

環境說明電腦配置:win7 64位 安裝版本:anaconda3 Python 3.6 參考連結 http://python.jobbole.com/86236/ (連結中有一個小點介紹瞭如何加速包的下載) https://stackoverflow.com/questio

安全開發C/C++安全編碼規範

C本質上是不安全的程式語言。例如如果不謹慎使用的話,其大多數標準的字串庫函式有可能被用來進行緩衝區攻擊或者格式字串攻擊。但是,由於其靈活性、快速和相對容易掌握,它是一個廣泛使用的程式語言。下面是針對開發安全的C語言程式的一些規範。 1.1.1      緩衝

移動開發iOSAndroid不規則按鈕解決方案

【寫在前面】如果看完這篇部落格,對你有幫助的話,歡迎加入全棧技術交流群,群內不定時釋出熱門學習資料,也歡迎進行技術交流,對我的部落格有疑問也可以在群裡@我。《全棧技術交流群歡迎你》 好久沒有寫Android和iOS了,最近看看之前寫的專案,別忘了,2333 效果圖 簡單介紹一下介

iOS開發SELSelector 原理小結

一 、Selector(選擇器)簡介 選擇器是用來選擇一個方法來為一個物件 執行的名稱,或是在編譯原始碼時替換該名稱的 唯一識別符號的名稱。一個選擇器本身不做任何事情。它簡單地識別了一種方法。唯一使選擇器的方法名稱不同於普通字串,編譯器確保選擇器是獨特的。

Qt開發佈局控制元件之間的間距設定

void QLayout::setContentsMargins ( int left, int top, int right, int bottom ) Sets the left, top, right, and bottom margins to use ar

VS開發熟悉修改VS2015的常用快捷鍵為eclipse風格!用著舒服!

用習慣了eclipse,平時也會交叉的用一用VS2015。兩個IDE之間的快捷鍵差距實在太大了,有時候經常按錯。無奈之下,只好把VS2015的快捷鍵修改成和eclipse一樣,這樣就省心舒服了!!正常情況下VS2008,VS2010,VS2013,VS2015,VS2017的

VS開發C++ opencv Mat基礎

1.Mat基礎 在計算機記憶體中,數字影象是已矩陣的形式儲存的。OpenCV2中,資料結構Mat是儲存影象畫素資訊的矩陣,它主要包含兩部分:矩陣頭和一個指向畫素資料的矩陣指標。 矩陣頭主要包含,矩陣尺寸、儲存方法、儲存地址和引用次數等。 矩陣頭的大小是一個常數,不會隨著影象的大小而改變,但是儲存影象畫素資料

VS開發C++執行緒安全

我們是多麼渴望各種C++類都是多執行緒安全的,然而一旦涉及到物件間的互動,這樣的渴望可能就只能是奢望了。下面,我們以設計一個雙向鏈結點為例,看看要使其多執行緒安全將會帶來一些什麼問題。 class DoublyLinedNode{        DoublyLinedNod

MVC框架——ViewController之間的傳值

    在MVC中,Controller執行一個可以說是路由功能,它通過View傳過來的資料,來決定應該呼叫哪一個Model,同樣會把Model處理完的資料傳給View,所以就總是涉及到Control

linux 開發likelyunlikely用法及提升效率原理

1、具體定義如下,gcc 2.96以上版本支援 #define likely(x) __biltin_expect(!!(x), 1) #define unlikely(x) __builtin_expect(!!(x), 0) 2、效率提升原理 #define likel

代理模式jdkcglib動態代理實現的區別

jdk和cglib動態代理實現的區別 1、jdk動態代理生成的代理類和委託類實現了相同的介面; 2、cglib動態代理中生成的位元組碼更加複雜,生成的代理類是委託類的子類,且不能處理被final關鍵字

資料結構c++ 採用鏈式結構實現關於入棧,出棧,列印棧的操作

c++標準的庫模板中,有專門的容器棧,但是為了鞏固下對棧的理解,用結構體以鏈式結構寫了個小demo,留著備用 #include #include"stdafx.h" using namespace std; struct node { int data; nod

VS開發CTabView多頁卡介面

The CTabView class simplifies the use of the tab control class (CMFCTabCtrl ) in applications that use MFC's document/view architecture. class CT

區塊鏈Android通過Geth RPC介面實現接入以太坊私有鏈

Android通過Geth RPC介面實現接入以太坊私有鏈 環境:mac os & android studio 一、啟動私有鏈 搭建方法見 here 啟動並設定RPC埠: geth --identity "linoy" --rpc -

Python web 開發Vue jason web token 除錯

檢視前端Vue 原始碼 登入的request url 是這樣的   我們後端是這樣的   這樣請求的url 不統一,作為後端我們就要改 請求的url ,一般登入都是用的login    login Vue 檢視登入的邏輯 登入成功後,我們

[轉] C++ python之間的互相呼叫

轉載自:https://www.cnblogs.com/apexchu/p/5015961.html   一、Python呼叫C/C++ 1、Python呼叫C動態連結庫         Python呼叫C庫比較簡單,不經

C/C++開發C++ 解構函式以及 delete delete[]的整理

轉自:http://hi.baidu.com/bystander1983/item/bf0b5c12b077cfec9913d651 delete和delete[] 的區別: C++告訴我們在回收用 new 分配的單個物件的記憶體空間的時候用 delete,回收用 new[] 分配的一組物

C#C# 獲取Python安裝路徑

private void getPythonLibPath() { string pathExt = "lib\\site-packages"; string environment = Environment.GetEnvironmen