PyODPS DataFrame 除了支持類似 pandas 的 map 和 apply 方法，也提供了 MapReduce API 來擴展 pandas 語法以適應大數據環境。

PyODPS 的自定義函數是序列化到 MaxCompute 上執行的，MaxCompute 的 Python 環境只包含了 numpy 這一個第三方包，用戶常常問的問題是，如何在自定義函數裏使用 pandas、scipy 或者 scikit-learn 這樣的包含c代碼的庫？

現在，MaxCompute 在 sprint 27 及更高版本的 isolation，讓在自定義函數中使用這些包成為可能。同時，
PyODPS也需要至少0.7.4版本 。接下來我會詳細介紹使用步驟。

步驟
上傳第三方包（只需做一次）
這個步驟只需要做一次，當 MaxCompute 資源裏有了這些包，這一步直接跳過。

現在這些主流的 Python 包都提供了 whl 包，提供了各平臺包含二進制文件的包，因此找到能在 MaxCompute 上能運行的包是第一步。

其次，要想在 MaxCompute 上運行，需要包含所有的依賴包，這個是比較繁瑣的。我們可以看下各個包的依賴情況（刪除表示已經包含）

包名 依賴

pandas    numpy, python-dateutil, pytz, sixscipy    numpyscikit-learn    numpy, scipy

所以，我們一共需要上傳 python-dateutil、pytz、pandas、scipy、sklearn、six 這六個包，就能保證 pandas、scipy 和 scikit-learn 可用。

我們直接通過 http://mirrors.aliyun.com/pypi/simple 來找包。首先是 python-dateutils：http://mirrors.aliyun.com/pypi/simple/python-dateutil/ 。我們找到最新版，這個包是純 Python 的包，我們找到最新版的 zip 包，python-dateutil-2.6.0.zip，下載。

重命名為 python-dateutil.zip，通過 MaxCompute Console 上傳資源。

add archive python-dateutil.zip;

pytz 一樣，找到 pytz-2017.2.zip。上傳不表。

six 找到 six-1.11.0.tar.gz。

接下來，是pandas，對於這種包含c的包，我們一定要找 名字中包含cp27-cp27m-manylinux1_x86_64 的whl包，這樣才能在 MaxCompute 上正確執行。因此，這樣我們找到最新版的包是：pandas-0.20.2-cp27-cp27m-manylinux1_x86_64.whl。

這裏我們把後綴改成zip，上傳。

add archive pandas.zip;

其他包也是一樣，因此，我們把它們都列出來：

包名 文件名 上傳資源名

python-dateutil    python-dateutil-2.6.0.zip    python-dateutil.zippytz    pytz-2017.2.zip    pytz.zipsix    six-1.11.0.tar.gz    six.tar.gzpandas    pandas-0.20.2-cp27-cp27m-manylinux1_x86_64.zip    pandas.zipscipy    scipy-0.19.0-cp27-cp27m-manylinux1_x86_64.zip    scipy.zipscikit-learn    scikit_learn-0.18.1-cp27-cp27m-manylinux1_x86_64.zip    sklearn.zip

至此，全部包上傳都已完成。

當然，我們全部上傳也可以使用 PyODPS 的資源上傳接口來完成，同樣只需要操作一遍即可。至於用哪個，看個人喜好了。

編寫代碼驗證
我們寫一個簡單的函數，裏面用到了所有的庫，最好是在函數裏來 import 這些第三方庫。

def test(x):
    from sklearn import datasets, svm    from scipy import misc    import numpy as np

    iris = datasets.load_iris()    assert iris.data.shape == (150, 4)    assert np.array_equal(np.unique(iris.target),  [0, 1, 2])

    clf = svm.LinearSVC()
    clf.fit(iris.data, iris.target)
    pred = clf.predict([[5.0, 3.6, 1.3, 0.25]])    assert pred[0] == 0

    assert misc.face().shape is not None

    return x

這段代碼只是示例，目標是用到以上所說的所有的包。

寫完函數後，我們寫一個簡單的 map，記住， 運行時要確保 isolation 打開 ，如果不在 project 級別打開，可以在運行時打開，一個可以設置全局的選項：

from odps import optionsoptions.sql.settings = {'odps.isolation.session.enable': True}

也可以在 execute 方法上指定本次執行打開 isolation。

同樣，我們可以在全局通過 options.df.libraries 指定用到的包，也可以在 execute 時指定。這裏，我們要指定所有的包，包括依賴。下面就是調用剛剛定義的函數的例子。

hints = {    'odps.isolation.session.enable': True}
libraries = ['python-dateutil.zip', 'pytz.zip', 'six.tar.gz', 'pandas.zip', 'scipy.zip', 'sklearn.zip']

iris = o.get_table('pyodps_iris').to_df()print iris[:1].sepal_length.map(test).execute(hints=hints, libraries=libraries)

可以看到，我們的函數順利執行。

總結
對於要用到的第三方庫及其依賴，如果已經上傳，則可以直接編寫代碼，並指定用到的 libraries 即可；否則，需要按照教程上傳第三方庫。

可以看到，當第一步上傳包做過後，以後每次使用都是優雅的，只需指定 libraries 就可以了。
原文鏈接

在PyODPS DataFrame自定義函數中使用pandas、scipy和scikit-learn