Andrew Ng的深度學習專項課程的第一門課《Neural Networks and Deep Learning》的5份筆記我已經整理完畢。迷路的小夥伴請見如下連結：

在接下來的幾次筆記中，我們將對第二門課《Improving Deep Neural Networks: Hyperparameter tuning, Regularization and Optimization》進行筆記總結和整理。我們在第一門課中已經學習瞭如何建立一個神經網路，或者淺層的，或者深度的。而這第二門課，我們將著重討論和研究如何優化神經網路模型，例如調整超引數，提高演算法執行速度等等。開始吧~

1. Train/Dev/Test sets

選擇最佳的訓練集（Training sets）、驗證集（Development sets）、測試集（Test sets）對神經網路的效能影響非常重要。除此之外，在構建一個神經網路的時候，我們需要設定許多引數，例如神經網路的層數、每個隱藏層包含的神經元個數、學習因子（學習速率）、啟用函式的選擇等等。實際上很難在第一次設定的時候就選擇到這些最佳的引數，而是需要通過不斷地迭代更新來獲得。這個迴圈迭代的過程是這樣的：我們先有個想法Idea，先選擇初始的引數值，構建神經網路模型結構；然後通過程式碼Code的形式，實現這個神經網路；最後，通過實驗Experiment驗證這些引數對應的神經網路的表現效能。根據驗證結果，我們對引數進行適當的調整優化，再進行下一次的Idea->Code->Experiment迴圈。通過很多次的迴圈，不斷調整引數，選定最佳的引數值，從而讓神經網路效能最優化。

深度學習已經應用於許多領域中，比如NLP，CV，Speech Recognition等等。通常來說，最適合某個領域的深度學習網路往往不能直接應用在其它問題上。解決不同問題的最佳選擇是根據樣本數量、輸入特徵數量和電腦配置資訊（GPU或者CPU）等，來選擇最合適的模型。即使是最有經驗的深度學習專家也很難第一次就找到最合適的引數。因此，應用深度學習是一個反覆迭代的過程，需要通過反覆多次的迴圈訓練得到最優化引數。決定整個訓練過程快慢的關鍵在於單次迴圈所花費的時間，單次迴圈越快，訓練過程越快。而設定合適的Train/Dev/Test sets數量，能有效提高訓練效率。

一般地，我們將所有的樣本資料分成三個部分：Train/Dev/Test sets。Train sets用來訓練你的演算法模型；Dev sets用來驗證不同演算法的表現情況，從中選擇最好的演算法模型；Test sets用來測試最好演算法的實際表現，作為該演算法的無偏估計。

之前人們通常設定Train sets和Test sets的數量比例為70%和30%。如果有Dev sets，則設定比例為60%、20%、20%，分別對應Train/Dev/Test sets。這種比例分配在樣本數量不是很大的情況下，例如100,1000,10000，是比較科學的。但是如果資料量很大的時候，例如100萬，這種比例分配就不太合適了。科學的做法是要將Dev sets和Test sets的比例設定得很低。因為Dev sets的目標是用來比較驗證不同演算法的優劣，從而選擇更好的演算法模型就行了。因此，通常不需要所有樣本的20%這麼多的資料來進行驗證。對於100萬的樣本，往往只需要10000個樣本來做驗證就夠了。Test sets也是一樣，目標是測試已選演算法的實際表現，無偏估計。對於100萬的樣本，往往也只需要10000個樣本就夠了。因此，對於大資料樣本，Train/Dev/Test sets的比例通常可以設定為98%/1%/1%，或者99%/0.5%/0.5%。樣本資料量越大，相應的Dev/Test sets的比例可以設定的越低一些。

現代深度學習還有個重要的問題就是訓練樣本和測試樣本分佈上不匹配，意思是訓練樣本和測試樣本來自於不同的分佈。舉個例子，假設你開發一個手機app，可以讓使用者上傳圖片，然後app識別出貓的圖片。在app識別演算法中，你的訓練樣本可能來自網路下載，而你的驗證和測試樣本可能來自不同使用者的上傳。從網路下載的圖片一般畫素較高而且比較正規，而使用者上傳的圖片往往畫素不穩定，且圖片質量不一。因此，訓練樣本和驗證/測試樣本可能來自不同的分佈。解決這一問題的比較科學的辦法是儘量保證Dev sets和Test sets來自於同一分佈。值得一提的是，訓練樣本非常重要，通常我們可以將現有的訓練樣本做一些處理，例如圖片的翻轉、假如隨機噪聲等，來擴大訓練樣本的數量，從而讓該模型更加強大。即使Train sets和Dev/Test sets不來自同一分佈，使用這些技巧也能提高模型效能。

最後提一點的是如果沒有Test sets也是沒有問題的。Test sets的目標主要是進行無偏估計。我們可以通過Train sets訓練不同的演算法模型，然後分別在Dev sets上進行驗證，根據結果選擇最好的演算法模型。這樣也是可以的，不需要再進行無偏估計了。如果只有Train sets和Dev sets，通常也有人把這裡的Dev sets稱為Test sets，我們要注意加以區別。

2. Bias/Variance

偏差（Bias）和方差（Variance）是機器學習領域非常重要的兩個概念和需要解決的問題。在傳統的機器學習演算法中，Bias和Variance是對立的，分別對應著欠擬合和過擬合，我們常常需要在Bias和Variance之間進行權衡。而在深度學習中，我們可以同時減小Bias和Variance，構建最佳神經網路模型。

如下圖所示，顯示了二維平面上，high bias，just right，high variance的例子。可見，high bias對應著欠擬合，而high variance對應著過擬合。

上圖這個例子中輸入特徵是二維的，high bias和high variance可以直接從圖中分類線看出來。而對於輸入特徵是高維的情況，如何來判斷是否出現了high bias或者high variance呢？

例如貓識別問題，輸入是一幅影象，其特徵維度很大。這種情況下，我們可以通過兩個數值Train set error和Dev set error來理解bias和variance。假設Train set error為1%，而Dev set error為11%，即該演算法模型對訓練樣本的識別很好，但是對驗證集的識別卻不太好。這說明了該模型對訓練樣本可能存在過擬合，模型泛化能力不強，導致驗證集識別率低。這恰恰是high variance的表現。假設Train set error為15%，而Dev set error為16%，雖然二者error接近，即該演算法模型對訓練樣本和驗證集的識別都不是太好。這說明了該模型對訓練樣本存在欠擬合。這恰恰是high bias的表現。假設Train set error為15%，而Dev set error為30%，說明了該模型既存在high bias也存在high variance（深度學習中最壞的情況）。再假設Train set error為0.5%，而Dev set error為1%，即low bias和low variance，是最好的情況。值得一提的是，以上的這些假設都是建立在base error是0的基礎上，即人類都能正確識別所有貓類圖片。base error不同，相應的Train set error和Dev set error會有所變化，但沒有相對變化。

一般來說，Train set error體現了是否出現bias，Dev set error體現了是否出現variance（正確地說，應該是Dev set error與Train set error的相對差值）。

我們已經通過二維平面展示了high bias或者high variance的模型，下圖展示了high bias and high variance的模型：

模型既存在high bias也存在high variance，可以理解成某段區域是欠擬合的，某段區域是過擬合的。

3. Basic Recipe for Machine Learning

機器學習中基本的一個訣竅就是避免出現high bias和high variance。首先，減少high bias的方法通常是增加神經網路的隱藏層個數、神經元個數，訓練時間延長，選擇其它更復雜的NN模型等。在base error不高的情況下，一般都能通過這些方式有效降低和避免high bias，至少在訓練集上表現良好。其次，減少high variance的方法通常是增加訓練樣本資料，進行正則化Regularization，選擇其他更復雜的NN模型等。

這裡有幾點需要注意的。第一，解決high bias和high variance的方法是不同的。實際應用中通過Train set error和Dev set error判斷是否出現了high bias或者high variance，然後再選擇針對性的方法解決問題。

第二，Bias和Variance的折中tradeoff。傳統機器學習演算法中，Bias和Variance通常是對立的，減小Bias會增加Variance，減小Variance會增加Bias。而在現在的深度學習中，通過使用更復雜的神經網路和海量的訓練樣本，一般能夠同時有效減小Bias和Variance。這也是深度學習之所以如此強大的原因之一。

4. Regularization

如果出現了過擬合，即high variance，則需要採用正則化regularization來解決。雖然擴大訓練樣本數量也是減小high variance的一種方法，但是通常獲得更多訓練樣本的成本太高，比較困難。所以，更可行有效的辦法就是使用regularization。

我們先來回顧一下之前介紹的Logistic regression。採用L2 regularization，其表示式為：

J(w,b)=1m∑i=1mL(y^(i),y(i))+λ2m||w||22$$J(w,b)=\frac{1}{m}\sum _{i=1}^{m}L({\hat{y}}^{(i)},y^{(i)})+\frac{\lambda }{2m}||w|{|}_2^2$$ ||w||22=∑j=1nxw2j=wTw$$||w|{|}_2^2=\sum _{j=1}^{n_x}{w}_j^2=w^{T}w$$

這裡有個問題：為什麼只對w進行正則化而不對b進行正則化呢？其實也可以對b進行正則化。但是一般w的維度很大，而b只是一個常數。相比較來說，引數很大程度上由w決定，改變b值對整體模型影響較小。所以，一般為了簡便，就忽略對b的正則化了。

除了L2 regularization之外，還有另外一隻正則化方法：L1 regularization。其表示式為：

J(w,b)=1m∑i=1mL(y^(i),y(i))+λ2m||w||1$$J(w,b)=\frac{1}{m}\sum _{i=1}^{m}L({\hat{y}}^{(i)},y^{(i)})+\frac{\lambda }{2m}||w|{|}_1$$ ||w||1=∑j=1nx|wj|$$||w|{|}_1=\sum _{j=1}^{n_x}|w_j|$$

與L2 regularization相比，L1 regularization得到的w更加稀疏，即很多w為零值。其優點是節約儲存空間，因為大部分w為0。然而，實際上L1 regularization在解決high variance方面比L2 regularization並不更具優勢。而且，L1的在微分求導方面比較複雜。所以，一般L2 regularization更加常用。

L1、L2 regularization中的λ$\lambda$就是正則化引數（超引數的一種）。可以設定λ$\lambda$為不同的值，在Dev set中進行驗證，選擇最佳的λ$\lambda$。順便提一下，在python中，由於lambda是保留字，所以為了避免衝突，我們使用lambd來表示λ$\lambda$。

在深度學習模型中，L2 regularization的表示式為：

J(w[1],b[1],⋯,w[L],b[L])=1m∑i=1mL(y^(i),y(i))+λ2m∑l=1L||

相關推薦

Coursera吳恩達《序列模型》課程筆記（3）-- Sequence models & Attention mechanism

《Recurrent Neural Networks》是Andrw Ng深度學習專項課程中的第五門課，也是最後一門課。這門課主要介紹迴圈神經網路（RNN）的基本概念、模型和具體應用。該門課共有3周課時，所以我將分成3次筆記來總結，這是第三節筆記。 1. B

Coursera吳恩達《優化深度神經網路》課程筆記（1）-- 深度學習的實用層面

Andrew Ng的深度學習專項課程的第一門課《Neural Networks and Deep Learning》的5份筆記我已經整理完畢。迷路的小夥伴請見如下連結： 在接下來的幾次筆記中，我們將對第二門課《Improving Dee

吳恩達第一門-神經網路和深度學習第二週6-10學習筆記

神經網路和深度學習第二週6-10學習筆記 6.更多導數的例子 在本節中，為上一節的導數學習提供更多的例子。在上一節中，我們複習了線性函式的求導方法，其導數值在各點中是相等的。本節以y=a^2這一二次函式為例，介紹了導數值在各點處發生變化時的求導方法。求導大家都會，y=x ^3的導數是

吳恩達第一門-神經網路和深度學習第三週6-10學習筆記

吳恩達第一門-神經網路和深度學習第三週6-10學習筆記 3.6啟用函式 啟用函式 圖中給出了前面課程中所學到的利用神經網路計算輸出值的具體步驟。其中的 σ

吳恩達卷積神經網路——深度卷積網路：例項探究

經典網路 LeNet5 隨著網路的加深，影象的高度和寬度在縮小，通道數量增加 池化後使用sigmoid函式 AlexNet 與LeNet相似，但大得多 使用ReLu函式 VGG-16 網路大，但結構並不複雜 影象縮小的比例和通道增加的比例是有規律的 64->

吳恩達改善深層神經網路引數：超引數除錯、正則化以及優化——優化演算法

機器學習的應用是一個高度依賴經驗的過程，伴隨著大量的迭代過程，你需要訓練大量的模型才能找到合適的那個，優化演算法能夠幫助你快速訓練模型。 難點：機器學習沒有在大資料發揮最大的作用，我們可以利用巨大的資料集來訓練網路，但是在大資料下訓練網路速度很慢； 使用快速的優化演算法大大提高效率

吳恩達 改善深層神經網路：超引數除錯、正則化以及優化 第一週

吳恩達 改善深層神經網路：超引數除錯、正則化以及優化 課程筆記  第一週 深度學習裡面的實用層面 1.1 測試集/訓練集/開發集        原始的機器學習裡面訓練集，測試集和開發集一般按照6:2:2的比例來進行劃分。但是傳統的機器學習

Coursera吳恩達《卷積神經網路》課程筆記（1）-- 卷積神經網路基礎

《Convolutional Neural Networks》是Andrw Ng深度學習專項課程中的第四門課。這門課主要介紹卷積神經網路（CNN）的基本概念、模型和具體應用。該門課共有4周課時，所以我將分成4次筆記來總結，這是第一節筆記。 1. Compu

吳恩達卷積神經網路——卷積神經網路

計算機視覺 相關問題： 1）影象分類： 2）目標檢測： 3）影象風格遷移： 挑戰：資料輸入可能會非常大 輸入10001000的彩色影象，則需要輸入的資料量為100010003 =3M，這意味著特徵向量X的維度高達3M ，如果在第一隱藏層有1000個神經元，使用標準全連線，那麼權值矩

Deeplearning-吳恩達-卷積神經網路-第一週作業01-Convolution Networks(python)

Convolutional Neural Networks: Step by StepWelcome to Course 4's first assignment! In this assignment, you will implement convolutional (

吳恩達新書-Machine Learning Yearning 中英文版（全）

介紹一本吳恩達新書，說新也不新，出來也有好大半年了，也許你早就看過，如果沒有可以看看。 這是一本面向實戰類的書，講述的是吳恩達自己關於專案類的比較高認識的總結，吳恩達稱：這本書的主題是“如何構建機器學習專案”。 “這本書的重點不在於教授具體的機器學習演算法，而在於如何使機器學習演算法

吳恩達（Andrew Ng）《機器學習》課程筆記（1）第1周——機器學習簡介，單變數線性迴歸

吳恩達（Andrew Ng）在 Coursera 上開設的機器學習入門課《Machine Learning》： 目錄 一、引言 一、引言 1.1、機器學習（Machine Learni

斯坦福CS231n計算機視覺-神經網路訓練細節（1）

引用：https://zhuanlan.zhihu.com/p/21462488?refer=intelligentunit 本節課沒有從頭講解神經網路，而是講了一些神經網路的細節問題。 兩個需要注意的問題 1、訓練樣本不夠多沒事，使用預訓練好的卷積神經網路，所以不用擔

深度學習（BOT方向） 學習筆記（1） Sequence2Sequence 學習

1 前言 這個深度學習，其實是來自每週Paper筆記的整理版，即文章的主要內容其實是我對一篇文章的整理，受限於個人水平，可能很多地方會出現理解偏差、或者理解不到位的地方，所以如果發現什麼不對的地方歡迎交流。之前我一直不想發這個博文，因為覺得我水平實在有限，

計算機網路課程筆記（三）

計算機網路體系結構 分層原則 根據功能進行抽象分層，每個層次實現的功能或服務有著明確的規定。 每層功能的選擇應有利於標準化。 不同系統應分為相同的層次，對應層次具有相同的功能。 不同系統的對應層進行通訊時，有明確的通訊規定或規則。 高層使用下層提供的服務時

Coursera吳恩達《優化深度神經網路》課程筆記（3）-- 超引數除錯、Batch正則化和程式設計框架

上節課我們主要介紹了深度神經網路的優化演算法。包括對原始資料集進行分割，使用mini-batch gradient descent。然後介紹了指數加權平均（Exponentially weighted averages）的概念以及偏移校正（bias corr

Coursera 吳恩達《神經網路與深度學習》第三週程式設計作業

# Package imports import numpy as np import matplotlib.pyplot as plt from testCases import * import sklearn import sklearn.datasets impo

【Coursera】吳恩達 deeplearning.ai 04.卷積神經網路 第二週 深度卷積神經網路 課程筆記

深度卷積神經網路 2.1 為什麼要進行例項化 實際上，在計算機視覺任務中表現良好的神經網路框架，往往也適用於其他任務。 2.2 經典網路 LeNet-5 AlexNet VGG LeNet-5 主要針對灰度影象 隨著神經網路的加深

吳恩達Coursera深度學習課程 deeplearning.ai (4-1) 卷積神經網路--課程筆記

本課主要講解了卷積神經網路的基礎知識，包括卷積層基礎（卷積核、Padding、Stride），卷積神經網路的基礎：卷積層、池化層、全連線層。 主要知識點 卷積核: 過濾器，各元素相乘再相加 nxn * fxf -> (n-f+1)x(n-f+1)

Coursera-吳恩達-深度學習-神經網路和深度學習-week1-測驗

本文章內容： Coursera吳恩達深度學習課程，第一課神經網路和深度學習Neural Networks and Deep Learning， 第一週：深度學習引言(Introduction to Deep Learning) 部分的測驗，題目及答案截圖。 正確:ABC