寫在前面

本文是Andrew Ng的機器學習公開課的總結，其中涉及到偏差方差分析在PRML中有過比較嚴謹的數學分析，詳見文章PRML——偏差方差分析。而吳老師的課上以一種更直接和相對較為通俗的方式給出了這些概念，解決的問題有如下幾個：
(1). 如何形式化定義方差和偏差（針對機器學習演算法）以方便對演算法的討論評價？
(2). 用訓練誤差評估泛化誤差是否合理？
(3). 在什麼條件下，我們能評估一個演算法的好壞？
而這些問題的一個綜合思想便是怎麼選擇演算法，使之能夠在實際問題中表現得好。

欠擬合與過擬合

在房價預測問題中，使用線性迴歸進行擬合數據會大致存在三種情況：

左邊使用直線擬合，可以看見很多資料點並未在直線上；中間的圖比左圖有了很好的改進，但依舊有少量的點未在直線上；右圖所有的點全在直線上，擬合效果最好。對這三種模型而言，在訓練集上的擬合程度逐漸提高，但我們更加關注的是對於新的非訓練資料，這些模型會表現得怎麼樣。經過實驗發現，左圖右圖在新的資料集上表現不如中間圖，左圖的模型簡單（方差小），但擬合效果不好（偏差高）。右圖模型複查（方差大），擬合程度好。但這兩種模型的泛化誤差都比較大，我們要尋找的是像中圖這種擬合程度和泛化程度有一個良好平衡的模型，也就是對方差和偏差的均衡。

經驗風險最小化

預備知識

在說及這個問題之前要明白兩個定理：
(1). 聯合邊界定理（Union bound）:對於k個隨機變數A1,A2...Ak有下式成立：

P(A1UA2U...UAk)<=P(A1)+P(A2)+...+P(Ak)
從圖上來看，明顯有P(A1UP(A2)UP(A3)<=P(A1)+P(A2)+P(A3)，因為三個圓有重疊的部分。
(2). Hoeffding不等式：Z1,Z2...Zm是服從Bernouli(ϕ)的獨立同分布（iid.）隨機事件，ϕ^=1m∑mi=1Zi表示隨機變數的均值，對於任意的γ>0有：P(|ϕ−ϕ^|>γ)<=

2e−2γ2m式子直觀的意思是ϕ和ϕ^的差大於γ的概率一定小於右邊的式子。比如拋硬幣實驗ϕ=12，當實驗次數m增加時，ϕ^就越接近ϕ，這和已知的概率知識是相符合的。

定義及推導

為了方便討論，定義和推導是針對二分類問題而言的，然而推廣到多分類也是極其容易的。假設訓練資料集為S={(x1,y1)...(xm,ym)},yi∈{0,1},i=1,2...m且樣本(xi,yi)均是服從D的獨立同分布。對於某一假設函式h對資料集的訓練誤差（也叫做經驗風險）定義為：

ϵ^(h)=1m∑i=1m1(h(xi≠yi)泛化誤差是h對同樣來自分佈D且非訓練資料的預測誤差，定義為：ϵ(h)=P(x,y)∼D(h(

x)≠y)假設h=hθ，θ是h中的引數，那麼最終優化的目標是：θ^=argminθϵ^(hθ)這就是經驗風險（ERM）最小化的表達。現在我們換一種表達方式，拋棄假設函式的引數化，我們現在是從一個假設函式集H中選擇一個函式h，那麼ERM可表示成：h^=arg

相關推薦

機器學習—經驗風險最小化

寫在前面 本文是Andrew Ng的機器學習公開課的總結，其中涉及到偏差方差分析在PRML中有過比較嚴謹的數學分析，詳見文章PRML——偏差方差分析。而吳老師的課上以一種更直接和相對較為通俗的方式給出了這些概念，解決的問題有如下幾個：(1). 如何形式化定義方

機器學習 之 SVM VC維度、樣本數目與經驗風險最小化的關系

能力 pan dsm 過擬合 引入 div 不但 機器 con VC維在有限的訓練樣本情況下，當樣本數 n 固定時。此時學習機器的 VC 維越高學習機器的復雜性越高。VC 維反映了函數集的學習能力，VC 維越大則學習機器越復雜(容量越大)。

極大似然估計是經驗風險最小化的理解（統計學習方法）

看過李航老師的《統計學習方法》的同學都知道，機器學習（統計學習）的三要素為：模型、策略、和演算法。其中，模型就是所要學習的條件概率分佈或者決策函式。模型的假設空間包含所有可能的條件概率分佈或決策函式。統計學習的目標在於從假設空間中選取最優模型。其中的兩種選擇最優模型的策略就是

正則化(經驗風險最小化與結構風險最小化)

經驗風險最小化，是根據定義的cost函式，來使訓練集合的cost(損失)函式的整體最小，一般常見的的損失函式有一下： 當選定了損失函式以後，就可以確定經驗風險函式：1/N * L(yi,

關於最大後驗概率估計就是結構風險最小化的詳解（統計學習方法）

（1）最大似然估計    這篇文章中提到，關於最大似然估計，使用頻率去估計概率，在拋硬幣問題中會得到正面向上的概率是0.7的結論，其原因是由於樣本數量太小，使用經驗風險最小化會出現過擬合現象。    經驗風險：即模型關於訓練樣本集的平均損失。（2）最大後驗概率估計：   為了

【轉載】VC維，結構風險最小化

.html pos 成員 滿足 平衡點 pac 不能 進行 line 以下文章轉載自http://blog.sina.com.cn/s/blog_7103b28a0102w9tr.html 如有侵權，請留言，立即刪除。 1 VC維的描述和理解 給定一個集合S={x1,x

機器學習知識點(四)最小二乘法Java實現

最小二乘法（又稱最小平方法）是一種數學優化技術。它通過最小化誤差的平方和尋找資料的最佳函式匹配。利用最小二乘法可以簡便地求得未知的資料，並使得這些求得的資料與實際資料之間誤差的平方和為最小。最小二乘法還可用於曲線擬合。通過一元線性模型應用來理解最小二乘法。 監督學習任務中，

圖解機器學習-L1約束的Huber損失最小化學習-matlab

  >> rand('state',0);randn('state',0); n=50;N=1000;x=linspace(-3,3,n)';X=linspace(-3,3,N)'; pix=pi*x;y=sin(pix)./(pix)+0.1*x+0.2*

各種風險及其最小化的解釋

最小化 ali 訓練 效果 emp logs 度量 ica end 各種風險及其最小化的解釋 對於給定的輸入 \(X\) ，由 \(f(X)\) 給出輸出 \(Y\) ，這個輸出的預測值 \(f(X)\) 與真實值 \(Y\) 可能一致也可能不一致，用一個損失函數 (los

spring系統學習-之最小化spirngMVC練習環境準備（基於IDEA的spring容器與外接tomcat容器的和平共處）

    這個學期，我們系統的學了基於spring的內容。 前面已經從邏輯上分別記錄了ioc與aop的spring的兩大核心功能：spring的IOC容器練習以及IOC的優勢對比練習；  AOP的優勢極其逐步推進練習。    之後整理了spr

Spring學習(4) 最小化Spring XML配置

Spring提供了幾種技巧，可以幫助我們減少XML的配置數量。 自動裝配（autowiring）有助於減少甚至消除配置元素和元素，讓Spring自動識別如何裝配Bean的依賴關係。 自動檢測（autodiscovery）比自動裝配更進了一步，讓Spring能夠

window10下CentOS7虛擬機器的最小化安裝及安裝GNOME桌面

安裝需要： 安裝步驟： 1.安裝VMware Workstation 將下載檔案解壓後，雙擊執行VMware pro 12.1.1.6932.exe 點選下一步 接受協議條款，點選下一步 這裡可以自己選擇安裝位置，也可以選擇預設的位置 這兩個選項隨意勾選

結構化風險最小、VC維到SVM的理解

支援向量機方法是建立在統計學習理論的VC 維理論和結構風險最小原理基礎上。 置信風險： 分類器對 未知樣本進行分類，得到的誤差。 經驗風險： 訓練好的分類器，對訓練樣本重新分類得到的誤差。即樣本誤差 結構風險：置信風險 + 經驗風險 結構風險最小化就是為了防止過擬合

記錄最小化安裝的centos7虛擬機器上網的配置

使用了最小化安裝centos7虛擬機器後，記錄一下配置上網的過程。 1、使用虛擬網絡卡nat的方式共享主機的網路 2、配置主機的網路服務 3、在linux主機中檢視網絡卡的編號 ip link 這裡的ip link 資訊顯示可以聯網的網絡卡是 ens33 4、進

JavaEE開發Linux系列之《一、虛擬機器中centos 6.5minimal最小化安裝與ip網路配置》

前方高能：本帖子儘量保證過程完全並圖文並茂，按照帖子步驟可以正確安裝。有的時候看帖子挺心酸，決定把自己學習的過程詳細的記錄下來。方便自己回憶的同時，分享給大家。 安裝centos minimal的目的

虛擬機器最小化安裝 Centos7 的網路配置

    （強迫症患者都想要個乾乾淨淨的系統）使用虛擬機器最小化安裝了 Centos 7 ，安裝完成肯定是上不了網的，搜了下，結果都是千篇一律.     Centos 官網下載最新 Minimal 版 Cetos ISO 包，安裝過程不要太簡單（可選中文安裝過程，驚不

NSIS隱藏窗體標題欄自帶的button（最大化，最小化，關閉X)

簡單 ini tex call 定義 ongui col 分享 http 這個問題實在八月份逛csdn論壇的時候偶然遇到的，當時比較好奇樓主為啥要隱藏關閉button。就順口問了下，結果樓主已經棄樓。未給出原因，猜著可能是為了做自己定義頁面美化，無法改變按紐外觀之類的，

最小化托盤的實現方法

fyi typedef hand delet odi 功能 content call not 在書上看到的，認為實用，記下了。 首先，最小化托盤的基本原理是，將應用程序的主窗口隱藏，然後在托盤中繪制應用程序的圖標。然後再為托盤圖標加入一些事件處理。 核心函數是Shell

『Python』MachineLearning機器學習入門_極小的機器學習應用

highlight 保存 數值 out 有意思 port del ear 解方程 一個小知識： 有意思的是，scipy囊括了numpy的命名空間，也就是說所有np.func都可以通過sp.func等價調用。 簡介： 本部分對一個互聯網公司的流量進行擬合處理，學習最基本的機器

CentOS 7最小化安裝後找不到‘ifconfig’命令——修復小提示

rep blank running %20 route car 最小化 -a style 就像我們所知道的，“ifconfig”命令用於配置GNU/Linux系統的網絡接口。它顯示網絡接口卡的詳細信息，包括IP地址，MAC地址，以及網絡接口卡狀態之類。但是，該命令已經過時