[貝葉斯優化]

簡介

貝葉斯優化用於機器學習調參由J. Snoek(2012)提出，主要思想是，給定優化的目標函式(廣義的函式，只需指定輸入和輸出即可，無需知道內部結構以及數學性質)，通過不斷地新增樣本點來更新目標函式的後驗分佈(高斯過程,直到後驗分佈基本貼合於真實分佈。簡單的說，就是考慮了上一次引數的資訊**，從而更好的調整當前的引數。

他與常規的網格搜尋或者隨機搜尋的區別是：

貝葉斯調參採用高斯過程，考慮之前的引數資訊，不斷地更新先驗；網格搜尋未考慮之前的引數資訊 
貝葉斯調參迭代次數少，速度快；網格搜尋速度慢,引數多時易導致維度爆炸
貝葉斯調參針對非凸問題依然穩健；網格搜尋針對非凸問題易得到區域性優最
 

理論

介紹貝葉斯優化調參，必須要從兩個部分講起：

高斯過程，用以擬合優化目標函式
貝葉斯優化，包括了“開採”和“勘探”，用以花最少的代價找到最優值

2.1 高斯過程

高斯過程可以用於非線性迴歸、非線性分類、引數尋優等等。

2.3 缺點和不足

高斯過程核矩陣不好選

例子

目前可以做貝葉斯優化的包非常多,光是python就有:

    BayesianOptimization
    bayesopt
    skopt

本文使用BayesianOptimization為例，利用sklearn的隨機森林模型進行分類
安裝

pip install bayesian-optimization
 

前期準備

from sklearn.datasets import make_classification
from sklearn.ensemble import RandomForestClassifier
from sklearn.cross_validation import cross_val_score
from bayes_opt import BayesianOptimization

產生隨機分類資料集，10個特徵， 2個類別

x, y = make_classification(n_samples=1000,n_features=10,n_classes=2)

我們先看看不調參的結果：

rf = RandomForestClassifier()
print(np.mean(cross_val_score(rf, x, y, cv=20, scoring='roc_auc')))

>>> 0.965162

可以看到，不調參的話模型20此交叉驗證AUC均值是0.965162，算是一個不錯的模型，那麼如果用bayes調參結果會怎麼樣呢

bayes調參初探

我們先定義一個目標函式，裡面放入我們希望優化的函式。比如此時，函式輸入為隨機森林的所有引數，輸出為模型交叉驗證5次的AUC均值，作為我們的目標函式。因為bayes_opt庫只支援最大值，所以最後的輸出如果是越小越好，那麼需要在前面加上負號，以轉為最大值。由於bayes優化只能優化連續超引數，因此要加上int()轉為離散超引數。

def rf_cv(n_estimators, min_samples_split, max_features, max_depth):
    val = cross_val_score(
        RandomForestClassifier(n_estimators=int(n_estimators),
            min_samples_split=int(min_samples_split),
            max_features=min(max_features, 0.999), # float
            max_depth=int(max_depth),
            random_state=2
        ),
        x, y, 'roc_auc', cv=5
    ).mean()
    return val

然後我們就可以例項化一個bayes優化物件了：

 rf_bo = BayesianOptimization(
        rf_cv,
        {'n_estimators': (10, 250),
        'min_samples_split': (2, 25),
        'max_features': (0.1, 0.999),
        'max_depth': (5, 15)}
    )

裡面的第一個引數是我們的優化目標函式，第二個引數是我們所需要輸入的超引數名稱，以及其範圍。超引數名稱必須和目標函式的輸入名稱一一對應。

完成上面兩步之後，我們就可以執行bayes優化了！

rf_bo.maximize()

完成的時候會不斷地輸出結果，如下圖所示：

等到程式結束，我們可以檢視當前最優的引數和結果：

rf_bo.res['max']


>>> {‘max_params’: {‘max_depth’: 5.819908283575526,
‘max_features’: 0.4951745603509127,
‘min_samples_split’: 2.3110014720414958,
‘n_estimators’: 249.73529231990733},
‘max_val’: 0.9774079407940794}

bayes調參進階

上面bayes演算法得到的引數並不一定最優，當然我們會遇到一種情況，就是我們已經知道有一組或是幾組引數是非常好的了，我們想知道其附近有沒有更好的。這個操作相當於上文bayes優化中的Explore操作，而bayes_opt庫給了我們實現此方法的函式：

rf_bo.explore(
    {'n_estimators': [10, 100, 200],
        'min_samples_split': [2, 10, 20],
        'max_features': [0.1, 0.5, 0.9],
        'max_depth': [5, 10, 15]
    }
)

這裡我們添加了三組較優的超引數，讓其在該引數基礎上進行explore，可能會得到更好的結果。

同時，我們還可以修改高斯過程的引數，高斯過程主要引數是核函式(kernel)，還有其他引數可以參考sklearn.gaussianprocess

gp_param={'kernel':None}
rf_bo.maximize(**gp_param)

最終我們的到引數如下：

{'max_params': {'max_depth': 5.819908283575526,
  'max_features': 0.4951745603509127,
  'min_samples_split': 2.3110014720414958,
  'n_estimators': 249.73529231990733},
 'max_val': 0.9774079407940794}

執行交叉驗證測試一下：

rf = RandomForestClassifier(max_depth=6, max_features=0.39517, min_samples_split=2, n_estimators=250)
np.mean(cross_val_score(rf, x, y, cv=20, scoring='roc_auc'))
>>> 0.9754953

得到最終結果是0.9755，比之前的0.9652提高了約0.01，做過kaggle的朋友都懂，這在後期已經是非常大的提高了！到後面想提高0.001都極其困難，因此bayes優化真的非常強大！

結束！
Reference

[1] J. Snoek, H. Larochelle, and R. P. Adams, “Practical bayesianoptimization of machine learning algorithms,” in Advances in neural information processing systems, 2012, pp. 2951–2959.
[2] 高斯過程：http://www.gaussianprocess.org/gpml/
[3] 高斯過程：https://www.zhihu.com/question/46631426?sort=created
[4] 高斯過程：http://www.360doc.com/content/17/0810/05/43535834_678049865.shtml
[5] Brochu E, Cora V M, De Freitas N. A tutorial on Bayesian optimization of expensive cost functions, with application to active user modeling and hierarchical reinforcement learning[J]. arXiv preprint arXiv:1012.2599, 2010.