區域性權重線性迴歸(Locally weighted linear regression)
阿新 • • 發佈:2019-01-01
我們先看一組圖片:
這是給出一組實數輸入
通過上面的例子可以看到,輸入特徵的選擇對於擬合結果的表現是影響很大的。而這一節講的區域性線性迴歸演算法(LWR)在資料集足夠的情況下,能讓模型選擇問題變得不再那麼關鍵。
在原始的線性迴歸演算法中,當給出一個輸入點
- 尋找合適的
θ 值,使∑i(y(i)−θTx(i))2 最小化。 - 輸出
θTx 。
而在區域性權重線性迴歸中,步驟會有所調整:
- 尋找合適的
θ 值,使∑iω(i)(y(i)−θTx(i))2 最小化。 - 輸出
θTx 。
這裡
而權重的標準形式是:
我們注意到權重值
區域性權重線性迴歸是我們見過的第一個非引數化演算法。而前面討論的線性迴歸演算法則是一個引數化演算法。它們之間的區別是,引數化演算法需要擬合的引數是固定有限的,當擬合完成後,訓練集資料也無需保留。而非引數化演算法在擬合完成後,仍需保留訓練集樣本資料。