一、問題

上篇文章中我們已經搞明白了邏輯迴歸的問題中，xgboost的train（）,fit（）方法以及不同引數的objective的對應的輸出結果和關係，這篇文章我們就來研究下xgboost再做多分類時，train(),fit（）建模後輸出的值是怎麼樣的，它都有那些objective的引數，並且分別對應著怎樣的輸出？

二、objective引數比較

xgboost的官方文件關於多分類的objective如下：

從文件中我們可以看出，multi：softmax是使用softmax後產生的分類結果，而multi:softprob是輸出的概率矩陣。我們這裡以標籤為0,1,2的三分類資料為例，前者輸出的結果是一維資料，0,1,2的分類標籤；後者輸出的是n*3的概率矩陣（n為測試資料的條數）。

這兩個引數之間有什麼關係呢？

從這裡我們可以看出，最終的分類標籤是從概率矩陣中得到的，在n*3的概率矩陣中（如下圖）：

我們可以看出概率矩陣中每行資料的數值相加得1，我們取每行資料中概率值最大數值的下標作為最終的分類標籤，然後給multi:softmax的輸出結果做對比看是否一致。

xgb_params = {
    'learning_rate': 0.1,  # 步長
    'n_estimators': 10,
    'max_depth': 5,  # 樹的最大深度
    'objective': 'multi:softprob',
    'num_class': 3,
    'min_child_weight': 1,  # 決定最小葉子節點樣本權重和，如果一個葉子節點的樣本權重和小於min_child_weight則拆分過程結束。
    'gamma': 0,  # 指定了節點分裂所需的最小損失函式下降值。這個引數的值越大，演算法越保守
    'silent': 0,  # 輸出執行資訊
    'subsample': 0.8,  # 每個決策樹所用的子樣本佔總樣本的比例（作用於樣本）
    'colsample_bytree': 0.8,  # 建立樹時對特徵隨機取樣的比例（作用於特徵）典型值：0.5-1
    'nthread': 4,
    'seed': 27}
print "training..."
model = xgb.train(xgb_params, xgb.DMatrix(x_train, y_train))
softprob_pred = model.predict(xgb.DMatrix(x_test))
print softprob_pred
# 處理概率矩陣-得到最終的預測標籤
indexlist = []
for item in softprob_pred:
    maxnum = max(item)
    item = np.where(item == maxnum)
    indexlist.append(item[0].item())
################################
xgb_params = {
    'learning_rate': 0.1,  # 步長
    'n_estimators': 20,
    'max_depth': 5,  # 樹的最大深度
    'objective': 'multi:softmax',
    'num_class': 3,
    'min_child_weight': 1,  # 決定最小葉子節點樣本權重和，如果一個葉子節點的樣本權重和小於min_child_weight則拆分過程結束。
    'gamma': 0,  # 指定了節點分裂所需的最小損失函式下降值。這個引數的值越大，演算法越保守
    'silent': 0,  # 輸出執行資訊
    'subsample': 0.8,  # 每個決策樹所用的子樣本佔總樣本的比例（作用於樣本）
    'colsample_bytree': 0.8,  # 建立樹時對特徵隨機取樣的比例（作用於特徵）典型值：0.5-1
    'nthread': 4,
    'seed': 27}
print "training..."
model = xgb.train(xgb_params, xgb.DMatrix(x_train, y_train))
softmax_pred = model.predict(xgb.DMatrix(x_test))
count = 0
for i in np.arange(0, len(softmax_pred)):
    if (softmax_pred[i] == indexlist[i]):
        count += 1
print "len:", len(softmax_pred)
print "count:", count
if count == len(softmax_pred):
    print "true"
else:
    print "false"
 

輸出的結果：

由此可見，最終的預測標籤就是通過取概率矩陣的每行資料最大值的下標獲得的。

那麼問題來了，我們知道像xgboost這類整合樹演算法，他本身用到的是迴歸樹，這就決定了它本身就是用來做迴歸的，調整後可以用來做分類，對於多分類來說是通過softmax函式把迴歸結果對映成最終的多分類標籤的。我們把objective改成線性迴歸的引數（reg:linear），看下結果如何？如何通過softmax函式轉換成最終分類標籤？

輸出結果如下：

得到的是一個一維0-2之間的預測值，怎麼對映成一個831*3的矩陣呢？

對於softmax函式它的輸入和輸出是相同的shape，對於一個831*1的資料，得到的也是一個值都在0-1之間的831*1的資料，根本無法直接這樣得到概率矩陣。這個問題有想法的同學可以加QQ群:

三、多分類問題中fit()和train()的結果

用相同的資料，相同的引數（objective:multi:softmax），分別用fit()和train（）方法得到的輸出結果是一致的，都是預測的0,1,2的標籤，實驗過程如下：

clf = XGBClassifier(
    n_estimators=20,  # 迭代次數
    learning_rate=0.1,  # 步長
    max_depth=5,  # 樹的最大深度
    min_child_weight=1,  # 決定最小葉子節點樣本權重和
    silent=1,  # 輸出執行資訊
    subsample=0.8,  # 每個決策樹所用的子樣本佔總樣本的比例（作用於樣本）
    colsample_bytree=0.8,  # 建立樹時對特徵隨機取樣的比例（作用於特徵）典型值：0.5-1
    objective='multi:softmax',  # 多分類！！！！！！
    num_class=3,
    nthread=4,
    seed=27)
print "training..."
clf.fit(x_train, y_train, verbose=True)
fit_pred = clf.predict(x_test)
print fit_pred
xgb_params = {
    'learning_rate': 0.1,  # 步長
    'max_depth': 5,  # 樹的最大深度
    'objective': 'multi:softmax',
    'num_class': 3,
    'min_child_weight': 1,  # 決定最小葉子節點樣本權重和，如果一個葉子節點的樣本權重和小於min_child_weight則拆分過程結束。
    'silent': 0,  # 輸出執行資訊
    'subsample': 0.8,
    'colsample_bytree': 0.8,  # 建立樹時對特徵隨機取樣的比例（作用於特徵）典型值：0.5-1
    'nthread': 4,
    'seed': 27}
print "training..."
model = xgb.train(xgb_params, xgb.DMatrix(x_train, y_train), num_boost_round=20)
train_pred = model.predict(xgb.DMatrix(x_test))
count = 0
print train_pred
# 判斷train_pred和fit_pred是否一致
for i in np.arange(0, len(train_pred)):
    if (train_pred[i] == fit_pred[i]):
        count += 1
print "len:", len(train_pred)
print "count:", count
if count == len(train_pred):
    print "true"
else:
    print "false"

實驗結果如下：

總結：綜上我們可以看出xgboost多分類問題就是通過softmax函式做對映得到最終的分類標籤，只是怎麼把迴歸的結果對映成概率矩陣，我還沒有搞清楚，有好的想法或者同樣疑問的同學可以加QQ群：821675528交流！！