引入

對於一個機器學習工程而言，我們可以選擇的模型眾多，就之前的章節，我們已經可以選擇：

對於一個模型而言，我們也有很多模型引數需要人工選擇，本章將對模型的評估選擇和優化進行詳細介紹。

概念介紹

過擬合和欠擬合

在機器學習中，我們期望通過訓練集來得到在新樣本上表現的很好的學習器，找出潛在樣本的普遍規律，在訓練過程中，可能會出現兩種情形：

• 欠擬合：指對訓練樣本的一般性質尚未學好 。
• 過擬合：學習器把訓練樣本學得“太好”了的時候，可能把訓練樣本自身的一些特點當作了所有潛在樣本都會具有的一般性質，這樣就會導致泛化效能下降。

可以通過下圖來輔助理解：

在機器學習中，我們尤其要預防過擬合的發生，但由於機器學習的問題常常是NP難甚至是NP完全的，而有效的演算法必定是多項式時間內完成的，所以只要承認P=NP，就需要承認過擬合無法完全避免。

當然，P=NP是目前尚未證明或證偽的結論，我傾向於認為P!=NP。

偏差和方差

對於測試樣本x，其真實標記為y，資料集中的標記為y1$y_1$,機器學習演算法輸出的標記為y2$y_2$，演算法輸出的期望值為y¯¯¯2${\overline{y}}_2$，則有以下定義：

​

方差：var(x)=E((y2−y¯¯¯2)2)$$方差：var(x)=E((y_2-{\overline{y}}_2{)}^2)$$

​

偏差：bias2(x)=E((y−y¯¯¯2)2)$$偏差：bia{s}^2(x)=E((y-{\overline{y}}_2{)}^2)$$

​

噪聲：ϵ2=E((y−y1)2)$$噪聲：{ϵ}^2=E((y-y_1{)}^2)$$

​

總誤差：σ2=E((y1−y2)2)$$總誤差：{\sigma }^2=E((y_1-y_2{)}^2)$$

其中E()代表求期望，有數學推導可知：

​

σ2=var(x)+bias2(x)+ϵ2$${\sigma }^2=var(x)+bia{s}^2(x)+{ϵ}^2$$

即總誤差可以分解為方差、偏差與噪聲之和

。

從直觀理解的角度上看：

• 偏差刻畫了學習演算法本身的擬合能力
• 方差刻畫了資料集的變動導致學習效能的變化，也就是學習演算法的穩定性
• 噪聲表明了資料集標記本身的誤差

查準率和查全率

我們評估一個演算法好壞的時候經常使用錯誤率，即演算法輸出與實際標記不一致的資料所佔的比例。

然而有時候，我們會關心更加細緻的資料，例如進行疾病檢查，我們更關心檢查出病症的病人佔總病人數目的多少，或者是檢測出病症的病人有多少真的有疾病，於是引入查準率和查全率：

首先，根據演算法輸出和實際標記，可以將資料分為四類：

真實情況 預測結果	正	反
正	TP	FN
反	FP	TN

表格中T和F分別代表True和False，P和N分別代表Positive和negative.

查準率P和查全率R定義如下：

​

P=TPTP+FP$$P=\frac{TP}{TP+FP}$$

​

R=TPTP+FN$$R=\frac{TP}{TP+FN}$$

查準率表示了被輸出為正例的樣本中真的是正例的比例

查全率表示了所有的正例中被演算法識別出來的比例

模型選擇

一般而言，引數有兩種，一種是模型中的引數，由演算法進行自動的優化；另一種是模型本身自帶的引數，又稱超引數

在機器學習中，超引數是在開始學習過程之前設定值的引數，而不是通過訓練得到的引數資料。通常情況下，需要對超引數進行優化，給學習機選擇一組最優超引數，以提高學習的效能和效果。

例如，我們再進行線性迴歸時，可以選擇很多種形式的函式，例如:

​

y1=θ0+θ1x$$y_1={\theta }_0+{\theta }_{1}x$$

​

y2=θ0+θ1x+θ2x2​$$y_2={\theta }_0+{\theta }_{1}x+{\theta }_2{x}^2$$

​

y2=θ0+θ1x+θ2x2+θ3x3......$$y_2={\theta }_0+{\theta }_{1}x+{\theta }_2{x}^2+{\theta }_3{x}^3......$$

也就是說，我們要選定到底哪個形式的模型效果會比較好，為了得到最好的模型，我們將資料集分為三個部分。

• 訓練集（60%）
• 測試集（20%）
• 交叉驗證集（20%）

其中訓練集用於演算法的訓練，由此，我們可以得到很多個不同的模型，再使用交叉驗證集分別測試每個模型的泛化能力，選擇其中最優的模型。

最後，使用測試集來測試最優模型的泛化能力，為什麼不直接使用上一步的交叉驗證集呢？因為, 這個交叉驗證集誤差是我們通過對比選擇出來的, 它在這個資料集上肯定是最優的, 相當於我們已經看到了這些資料, 用它來代表對未知資料的泛化能力顯然不行。

在劃分資料集的過程中，要保證資料集的劃分儘可能保持資料分佈的一致性，即使得它們獨立同分布，資料集劃分的方法一般而言有以下幾種：

• 留出法：最基本的抽樣方法，最好使用分層抽樣保證資料分佈一致性，也可以做多次劃分，最後返回在每次劃分上測試結果的平均值，可以避免偏差

  • 優點：劃分簡單
  • 缺點：可能產生偏差，若採取多次取樣，則訓練成本過高

• 交叉驗證法：將資料集劃分為k個大小相似的資料集，注意使用分層抽樣。每次使用一個小資料集做測試集，其他k-1個做訓練集，輪流進行k次，最後返回的是測試結果的平均值。

  自助法：假設有m個數據的資料集，每次有放回的從其中抽取一個樣本，執行m次，最終大概有36.8%的資料未被抽取到，當做測試集，其餘當做訓練集。

  • 優點：在資料集較小時用處較大，劃分出的多個數據集有利於整合學習。
  • 缺點：改變了原資料樣本的分佈，會引入偏差

limm→+∞(1−1

相關推薦

模型的選擇、評估和優化-上

引入 對於一個機器學習工程而言，我們可以選擇的模型眾多，就之前的章節，我們已經可以選擇： 對於一個模型而言，我們也有很多模型引數需要人工選擇，本章將對模型的評估選擇和優化進行詳細介紹。 概念介紹 過擬合和欠擬合 在機器學習中，我們期望通過訓

TensorFlow 核心流程剖析 -- 2 神經網路模型的構建、分割和優化

與本章節相關的一些關鍵術語 graph 我們知道， 在tensorflow裡，模型是以compuatation graph的形式存在，作為訓練和inference的載體。下面簡稱graph。 graph的組成： node：即定義一個具體的計

機器學習（ML）七之模型選擇、欠擬合和過擬合

訓練誤差和泛化誤差 需要區分訓練誤差（training error）和泛化誤差（generalization error）。前者指模型在訓練資料集上表現出的誤差，後者指模型在任意一個測試資料樣本上表現出的誤差的期望，並常常通過測試資料集上的誤差來近似。計算訓練誤差和泛化誤差可以使用之前介紹過的損失函式，例如線

Redis 小白指南（三）- 事務、過期、消息通知、管道和優化內存空間

如何 入門 系列 code 場景 消息 運算 封裝 c# Redis 小白指南（三）- 事務、過期、消息通知、管道和優化內存空間 簡介 　　《Redis 小白指南（一）- 簡介、安裝、GUI 和 C# 驅動介紹》 講的是 Redis 的介紹，以及如何在 Windows

MySQL索引的設計、使用和優化

mysql索引 查詢 strcmp 鍵值 HA 特定 好處 b- 進行 原文：http://bbs.landingbj.com/t-0-243071-1.html MySQL索引概述 所有MySQL列類型可以被索引。對相關列使用索引是提高SELECT操作性能的最佳途徑。

angularjs手機webapp 利用input拍照，相簿選擇、縮圖顯示 上傳圖片（一）

執行後的截圖： html程式碼 <ul class="list_img"> <li ng-repeat="imageSrc in imgshows track by $index"> <img n

機器學習使用sklearn進行模型訓練、預測和評價

cross_val_score(model_name, x_samples, y_labels， cv=k) 作用：驗證某個模型在某個訓練集上的穩定性，輸出k個預測精度。 K折交叉驗證（k-fold） 把初始訓練樣本分成k份，其中（k-1）份被用作訓練集，剩下一份被用作評估集，這樣一共可以對分類器做k次

【scikit-learn】交叉驗證及其用於引數選擇、模型選擇、特徵選擇的例子

[0.95999999999999996, 0.95333333333333337, 0.96666666666666656, 0.96666666666666656, 0.96666666666666679, 0.96666666666666679, 0.96666666666666679, 0.9666

學習理論、模型選擇、特徵選擇——斯坦福CS229機器學習個人總結（四）

這一份總結裡的主要內容不是演算法，是關於如何對偏差和方差進行權衡、如何選擇模型、如何選擇特徵的內容，通過這些可以在實際中對問題進行更好地選擇與修改模型。 1、學習理論（Learning theory） 1.1、偏差/方差（Bias/variance）

史上最全選擇本地圖片和拍照上傳,超簡單解決獲取不到圖片問題

相信很多朋友做上傳圖片的時候都苦惱過獲取不到圖片，本篇部落格解決你的煩惱 這裡是選擇本地圖片 try { // 選擇本地檔案 Intent fileIntent = new Intent(

一文搞定信用評分卡模型-Python、SAS和R的實現（含程式碼和視訊）

感謝關注天善智慧，走好資料之路↑↑↑歡迎關注天善智慧，我們是專注於商業智慧BI，人工智慧AI，大資料分析與挖掘領域的垂直社群，學習，問答、求職一站式搞定！對商業智慧BI、大資料分析挖掘、機器學習，python，R等資料領域感興趣的同學加微信：tstoutiao，邀請你進入資料愛好者交

實現HTTP協議Get、Post和檔案上傳功能——使用libcurl介面實現

        之前我們已經詳細介紹了WinHttp介面如何實現Http的相關功能。本文我將主要講解如何使用libcurl庫去實現相關功能。（轉載請指明出於breaksoftware的csdn部落格）         libcurl在http://curl.haxx.se/

機器學習學習筆記（二）-模型選擇與評估

緒論 模型評估與選擇（3） 線性模型 決策樹 神經網路 支援向量機 貝葉斯分類 整合學習 聚類 降維與度量學習 特徵選擇與稀疏學習 計算學習理論 半監督學習 概率圖模型 規則學習 強化學習 模型評估與選擇 2.1經驗誤差與過擬合 錯誤率：分類錯誤的樣本數

實現HTTP協議Get、Post和檔案上傳功能——使用WinHttp介面實現

        在《使用WinHttp介面實現HTTP協議Get、Post和檔案上傳功能》一文中，我已經比較詳細地講解了如何使用WinHttp介面實現各種協議。在最近的程式碼梳理中，我覺得Post和檔案上傳模組可以得到簡化，於是幾乎重寫了這兩個功能的程式碼。因為Get、Pos

實現HTTP協議Get、Post和檔案上傳功能——設計和模組

        本系列不再將技術限定於WinHttp介面，還引入curllib庫。同時為了公正且方便測試程式碼的正確性，我們將引入成熟的技術方案進行測試。 測試環境         使用Python搭建一個Http伺服器，用於檢測Get和Post請求。    

scikit-learn中交叉驗證及其用於引數選擇、模型選擇、特徵選擇的例子

內容概要 訓練集/測試集分割用於模型驗證的缺點 K折交叉驗證是如何克服之前的不足 交叉驗證如何用於選擇調節引數、選擇模型、選擇特徵 改善交叉驗證 1. 模型驗證回顧 進行模型驗證的一個重要目的是要選出一個最合適的模型，對於監督學習而言，我們希望模型

Arch Linux 安裝、配置、美化和優化

國慶假期玩了下Arch Linux,發現這貨跟Ubuntu之流相差甚遠，甚難調教，而且安裝過程全命令列，會有各種問題，各種知識。。。 --- 安裝引導器--- --------------------------- GRUB BIOS： # pacman -S grub os-prober #

mnist LSTM 訓練、測試，模型儲存、載入和識別

MNIST 字元資料庫每個字元（0-9） 對應一張28x28的一通道圖片，可以將圖片的每一列（行）當作特徵，所有行（列）當做一個序列。那麼可以通過輸入大小為28，時間長度為28的RNN（lstm）對字元建模。對於同一個字元，比如0，其行與行之間的動態變化可以

機器學習（6）——模型選擇、引數選擇

當我們使用正則化的線性迴歸方法預測房價時，發現得到的模型應用於新的資料上時有很大誤差，這時，我們可以選擇一些解決方案，例如： 上圖中的這六種解決方案都有相應的條件，如圖中藍色字型所示。 【一、迴歸模型選擇】 我們引入一類資料集，叫做cross va

Okhttp3上傳引數、檔案和同時上傳

OkHttpClient client=new OkHttpClient(); //一種：引數請求體 FormBody paramsBody=new FormBody.Builder()