1. 程式人生 > >機器學習技法第七週學習筆記

機器學習技法第七週學習筆記

1.motivation of aggregation 在這裡插入圖片描述 假如我們學習了T個模型,那麼我們怎麼組合這些模型能得到最好的模型呢? 1.用validation求出其中最好的一個作為我們最終的模型。 2.利用所有的模型進行平均投票。 3.非均勻投票。 4.不同條件下給與不同的投票權重。

在這裡插入圖片描述 第一張影象的詳細解釋。

在這裡插入圖片描述 僅靠一個模型選擇可能效果不如眾多模型一起的結果。 在這裡插入圖片描述 上圖說明,投票的結果能夠使學習結果更好。有點像核函式和正則化的作用。 2.Uniform blending 在這裡插入圖片描述 上面是對二分類和多分類的blending,當多分類時為求出票數最多的種類即是我們所需要的種類。 在這裡插入圖片描述

在這裡插入圖片描述 對於迴歸,我們需要對求和的結果做平均不然最後的結果超過1. 對於均值投票,當投票者的差異越大時,最後的結果越好,這是為什麼呢? 在這裡插入圖片描述

如上圖推導所示,單一項的錯誤等於平均項的錯誤和所有項的方差,所以所有項的差異越大即方差越大,平均項的錯誤就越小。 在這裡插入圖片描述 上面兩幅圖說的意思是一樣的。 3.Linear and any blending

4.Bagging