題目簡介

使用最小二乘法可以得到一個線性迴歸模型，然後使用得到的模型可以得到預測輸出，這裡面討論這個預測輸出和目標值之間的誤差期望。
書中給出了公式卻沒有推導，作為課後題的形式出現。公式如下：

EPE(x0)=δ2+EτxT0(XTX)−1x0δ2,Ex0EPE(x0)=δ2(p/N)+δ2
其中EPE為expected prediction error，期望預測誤差的縮寫。N為樣本數，p為輸入維度，X為訓練集。假設目標函式為Y=XTβ+ϵ，並且ϵ∼N(0,δ)。模型為y^=xTβ^。EPE(x0)為輸入為x0的時候期望預測誤差，Ex0EPE(x0)對所有可能輸入求取預測誤差的期望值。假設X分佈的均值期望為0。

題外話稍微分析一下兩個公式，在基於多種假設的情況下，預測誤差與輸入有關，取決於x

0與X的相關程度。一個定性的結論是x0越接近X中心，誤差期望越小。這個也符合直覺，不同於knn是local method，least square是用訓練集的X^TX去近似整個輸入域的E(X^TX)，類似的還有XY近似整個輸入輸出域的E(XY)，所以這個近似在訓練集所在鄰域準確性高，誤差小。
再看整個輸入域的預測誤差期望，這個可以近似常說的complexity。這個公式結論的得出是基於N足夠大，X的選取足夠隨機，X的均值為0等強假設的。雖然假設不一定成立，但是得到強假設條件下的結論，有助於對模型進行定性的分析，況且上訴假設中的部分可以通過預處理、控制取樣過程等方法近似執行。全域的預測誤差期望最終的公式非常簡潔，其中δ

為問題原有引數，不可控制，可看到最終期待誤差隨p增大遞增，N增大遞減，p和N之間是線性關係（這裡就不同於knn的指數關係了，所以對於高維資料有限樣本數，least square是要優於knn的）。

公式推導

1. 解最小二乘法

對MSE（mean square error）求導，導數為0的點即為最優解。

β^=argminβ(XTβ−Y)T(XTβ−Y)∂(XTβ−Y)T(XTβ−Y)∂β=2(XTβ−Y)TXT=0β^=(XXT)−1XY=(XXT)−1X(XTβ+ϵ)=β+(XXT)−1Xϵ

這裡還有些題外話：得到最優解之後其實可以稍微分析一下最優解的性質。可以看出E

τβ^=β，所以在上訴n多假設滿足的條件下，最優解的期望是和目標值相同的。而β^的協方差為

Cov(β^)======Eτ((XXT)−1Xϵ)(XXT)−1Xϵ)TEτ((XXT)−1XϵϵTXT(XTX)−1)EXEY|X((X

相關推薦

ESL作業筆記2.5：最小二乘法預測輸出的誤差期望

題目簡介使用最小二乘法可以得到一個線性迴歸模型，然後使用得到的模型可以得到預測輸出，這裡面討論這個預測輸出和目標值之間的誤差期望。書中給出了公式卻沒有推導，作為課後題的形式出現。公式如下： EPE(x0)=δ2+EτxT0(XTX)−1x0

機器學習回顧篇（2）：最小二乘法

1 引言在機器學習常用的優化演算法中，梯度下降法和最小二乘法佔盡了風騷。梯度下降法上一篇中已經詳細介紹過了，那麼這一篇，我們繼續說一說最小二乘法。 2 什麼是最小二乘法描述預測模型準確程度有多重不同的方法：（1）誤差和最小化。這種方法存在的問題是正負誤差會相互抵消，導致描述不準確。（2）誤差

機器學習筆記（一）：最小二乘法和梯度下降

一、最小二乘法 1.一元線性擬合的最小二乘法先選取最為簡單的一元線性函式擬合助於我們理解最小二乘法的原理。要讓一條直接最好的擬合紅色的資料點，那麼我們希望每個點到直線的殘差都最小。設擬合直線為

MIT18.06課程筆記16：最小二乘法，線性迴歸

課程簡介課程筆記 1. 線性迴歸問題簡介簡單敘述：給定一系列的資料點（例如{(x1,y1),(x2,y2)...}，其中x表示特徵向量，y表示目標值)，求取一個線性函式（例如一維直線就是y=cx+d）擬合數據點，即使得函式值的誤差的平方和最

學習大資料第五天：最小二乘法的Python實現（二）

1.numpy.random.normal numpy.random.normal numpy.random.normal(loc=0.0, scale=1.0, size=None) Draw random samples from a normal (Gaussi

CS231n作業筆記2.1：兩層全連線神經網路的分層實現

CS231n簡介作業筆記 1. 神經網路的分層實現全連線前向傳播：out = x.reshape([x.shape[0],-1]).dot(w)+b 全連線後向傳播： x, w, b = cache dx, dw, db = No

機器學習筆記----最小二乘法，區域性加權，嶺迴歸講解

https://www.cnblogs.com/xiaohuahua108/p/5956254.html 前情提要：關於logistic regression，其實本來這章我是不想說的，但是剛看到嶺迴歸了，我感覺還是有必要來說一下。一:最小二乘法最小二乘法的基本思想：基於均方誤差最小化來

OpenCV最小二乘法：cv::solve函式

OpenCV最小二乘法：cv::solve函式本例程通過opencv庫函式對一系列點進行三次曲線擬合，最小二乘法原理可自行百度理解 #include<iostream> #include<opencv2/opencv.hpp> usi

【SciKit-Learn學習筆記】5：核SVM分類和預測乳腺癌資料集

學習《scikit-learn機器學習》時的一些實踐。常用引數引數C SVM分類器svm.SVC()中的引數C即SVM所優化的目標函式 a

【機器學習筆記】線性迴歸之最小二乘法

線性迴歸線性迴歸（Linear Regreesion）就是對一些點組成的樣本進行線性擬合，得到一個最佳的擬合直線。最小二乘法線性迴歸的一種常用方法是最小二乘法，它通過最小化誤差的平方和尋找資料的最佳函式匹配。代數推導假設擬合函式為 y

【機器學習筆記02】最小二乘法（多元線性迴歸模型）

數學基礎 1.轉置矩陣定義：將矩陣A同序數的行換成列成為轉置矩陣ATA^TAT，舉例： A=(1203−11)A=\begin{pmatrix} 1 & 2 & 0 \\ 3 & -1 &

【機器學習筆記01】最小二乘法（一元線性迴歸模型）

【參考資料】【1】《概率論與數理統計》【2】 http://scikit-learn.org /stable/auto_examples/ linear_model/ plot_ols.html # sphx-glr-auto-examples-

數字訊號處理：曲線擬合演算法-----最小二乘法

在迴歸分析中，一般任意的資料都可以用一條曲線來表示，這個曲線可以用某一個高次方的代數多項式 y= a + b*x + c*(x)2 + ...來描述，其中 a , b , ...是常數。但是這樣通過每個點的曲線是沒意義的，也不能表示y和x的真實的相關關係。趨勢

常用演算法之：1、最小二乘法（1）

深度學習發展到如今的地位，離不開下面這 6 段程式碼。本文介紹了這些程式碼的創作者及其完成這些突破性成就的故事背景。每個故事都有簡單的程式碼示例，讀者們可以在 FloydHub 和 GitHub 找到相關程式碼。最小二乘法所有的深度學習演算法都始於下面這個數學公式（

機器學習之最小二乘法：背後的假設和原理

1 最小二乘法相關理論我們先從最基本但很典型的線性迴歸演算法之最小二乘法說起吧，它背後的假設和原理您瞭解嗎？本系列帶來細細體會OLS這個演算法涉及的相關理論和演算法。參考推送：似然函式求權重引數似然函式的確是求解類似問題的常用解決方法，包

最小二乘法原理（後）：梯度下降求權重引數

在上一篇推送中總結了用數學方法直接求解最小二乘項的權重引數，然而有時引數是無法直接求解的，此時我們就得藉助梯度下降法，不斷迭代直到收斂得到最終的權重引數。首先介紹什麼是梯度下降，然後如何用它求解特徵的權重引數，歡迎您的閱讀學習。 1 梯度下降梯度是函式在

有監督迴歸：約束條件下的最小二乘法

1.前言前面介紹的最小二乘學習法，是眾多機器學習演算法中極為重要的一種基礎演算法。但是，單純的最小二乘法對於包含噪聲的學習過程經常有過擬合的弱點。如下圖所示：這往往是由於學習模型對於訓練樣

機器學習演算法篇：最大似然估計證明最小二乘法合理性

最小二乘法的核心思想是保證所有資料誤差的平方和最小，但我們是否認真思考過為什麼資料誤差平方和最小便會最優，本文便從最大似然估計演算法的角度來推導最小二乘法的思想合理性，下面我們先了解一下最大似然估計和最小二乘法，最後我們通過中心極限定理剋制的誤差ε服從正態分佈

機器學習筆記（三）——正則化最小二乘法

一. 模型的泛化與過擬合在上一節中，我們的預測函式為： f(x;ω)=ωTx 其中， x=[x1],ω=[ω1ω0] 上述稱為線性模型，我們也可以將x擴充套件為： x=⎡⎣⎢⎢⎢⎢⎢⎢⎢xn⋮x2x1⎤⎦⎥⎥⎥⎥⎥⎥⎥,ω=⎡⎣⎢⎢⎢⎢⎢⎢⎢ωn⋮

機器學習筆記（二）——多變數最小二乘法

在上一節中，我們介紹了最簡單的學習演算法——最小二乘法去預測奧運會男子100米時間。但是可以發現，它的自變數只有一個：年份。通常，我們所面對的資料集往往不是單個特徵，而是有成千上萬個特徵組成。那麼我們就引入特徵的向量來表示，這裡涉及到矩陣的乘法，向量，矩陣求導等