2. 程式人生 > >演算法工程師修仙之路：吳恩達機器學習（六）

演算法工程師修仙之路：吳恩達機器學習（六）

阿新 • • 發佈：2018-12-08

吳恩達機器學習筆記及作業程式碼實現中文版

第五章 正則化

過擬合問題

  • 線性迴歸和邏輯迴歸能夠有效地解決許多問題，但是當將它們應用到某些特定的機器學習應用時，會遇到過擬合(over-fitting)的問題，可能會導致它們效果很差。

  • 正則化(regularization)的技術，它可以改善或者減少過度擬合問題。

  • 如果我們有非常多的特徵，我們通過學習得到的假設可能能夠非常好地適應訓練集（代價函式可能幾乎為 0），但是可能會不能推廣到新的資料。

  • 如果我們發現了過擬合問題：

    • 丟棄一些不能幫助我們正確預測的特徵。可以是手工選擇保留哪些特徵，或者使用一些模型選擇的演算法來幫忙（例如 PCA）。
    • 正則化。保留所有的特徵，但是減少引數的大小。

代價函式

  • 一般來說，正是那些高次項導致了過擬合的產生，所以如果我們能讓這些高次項的係數接近於 0 的話，我們就能很好的擬合了。

  • 假如我們有非常多的特徵，我們並不知道其中哪些特徵我們要懲罰，我們將對所有的特徵進行懲罰，並且讓代價函式最優化的軟體來選擇這些懲罰的程度。這樣的結果是得到了一個較為簡單的能防止過擬合問題的假設： J (

    θ 0 , θ 1 , .
    . . , θ n ) = 1 2 m [ ∑ i = 1 m ( h θ ( x ( i ) ) − y ( i ) ) 2 + λ ∑ j = 1 n θ j 2 ] J(\theta_0, \theta_1, ..., \theta_n)=\frac{1}{2m}[\sum_{i=1}^m(h_\theta(x^{(i)})-y^{(i)})^2+\lambda\sum_{j=1}^n\theta_j^2] 。其中 λ \lambda 又稱為正則化引數（ Regularization Parameter）。根據慣例，我們不對 θ 0 \theta_0 進行懲罰。

  • 如果選擇的正則化引數 λ \lambda 過大， 則會把所有的引數都最小化了，導致模型變成 h θ ( x ) = θ 0 ℎ_\theta(x)=\theta_0 。

  • 如果我們令 λ \lambda 的值很大的話，為了使 Cost Function 儘可能的小，所有的 θ \theta 的值（不包括 θ 0 \theta_0 ）都會在一定程度上減小。

  • 若 λ \lambda 的值太大了， 那麼 θ \theta （不包括 θ 0 \theta_0 ）都會趨近於 0，這樣我們所得到的只能是一條平行於x軸的直線。所以對於正則化，我們要取一個合理的 λ \lambda 的值，這樣才能更好的應用正則化。

線性迴歸的正則化

  • 正則化線性迴歸的代價函式為： J ( θ 0 , θ 1 , . . . , θ n ) = 1 2 m [ ∑ i = 1 m ( h θ ( x ( i ) ) − y ( i ) ) 2 + λ ∑ j = 1 n θ j 2 ] J(\theta_0, \theta_1, ..., \theta_n)=\frac{1}{2m}[\sum_{i=1}^m(h_\theta(x^{(i)})-y^{(i)})^2+\lambda\sum_{j=1}^n\theta_j^2] 。

  • 如果我們要使用梯度下降法令這個代價函式最小化，因為我們未對 θ 0 \theta_0 進行正則化，所以梯度下降演算法將分兩種情形：

    • θ 0 = θ 0 − α ∗ 1 m ∑ i = 1 m [ h θ ( x ( i ) ) − y ( i ) ] x 0 ( i ) \theta_0=\theta_0-\alpha*{\frac{1}{m}\sum_{i=1}^m}[h_\theta({x^{(i)}})-y^{(i)}]x_0^{(i)} 。
    • θ j = θ j − α ∗ [ 1 m ∑ i = 1 m [ h θ ( x ( i ) ) − y ( i ) ] x j ( i ) + λ m θ j ] \theta_j=\theta_j-\alpha*[{\frac{1}{m}\sum_{i=1}^m}[h_\theta({x^{(i)}})-y^{(i)}]x_j^{(i)}+\frac{\lambda}{m}\theta_j] 。

  • 對上面的演算法中 j = 1 , 2 , . . . , n j = 1, 2, . . . , n 時的更新式子進行調整可得：
    θ j = θ j ( 1 − λ m α ) − α ∗ 1 m ∑ i = 1 m [ h θ ( x ( i ) ) − y ( i ) ] x j ( i ) \theta_j=\theta_j(1-\frac{\lambda}{m}\alpha)-\alpha*{\frac{1}{m}\sum_{i=1}^m}[h_\theta({x^{(i)}})-y^{(i)}]x_j^{(i)}

    相關推薦

    演算法工程師修仙之路：吳恩達機器學習（六）

    吳恩達機器學習筆記及作業程式碼實現中文版 第五章 正則化 過擬合問題 線性迴歸和邏輯迴歸能夠有效地解決許多問題，但是當將它們應用到某些特定的機器學習應用時，會遇到過擬合(over-fitting)的問題，可能會導致它們效果很差。 正則化(regulari

    演算法工程師修仙之路：吳恩達機器學習（九）

    吳恩達機器學習筆記及作業程式碼實現中文版 神經網路引數的反向傳播演算法 代價函式 假設神經網路的訓練樣本有 m

    演算法工程師修仙之路：吳恩達機器學習（八）

    吳恩達機器學習筆記及作業程式碼實現中文版 第六章 神經網路學習 特徵和直觀理解 從本質上講，神經網路能夠通過學習得出其自身的一系列特徵。 神經網路中，單層神經元（ 無中間層）的計算可用來表示邏輯運算，比如邏輯與(AND)、邏輯或(OR)。 邏輯

    演算法工程師修仙之路：吳恩達機器學習（七）

    吳恩達機器學習筆記及作業程式碼實現中文版 第六章 神經網路學習 非線性假設 無論是線性迴歸還是邏輯迴歸都有這樣一個缺點：當特徵太多時，計算的負荷會非常大。 使用非線性的多項式項，能夠幫助我們建立更好的分類模型。假設我們有非常多的特徵，例如大於 100 個

    演算法工程師修仙之路：吳恩達機器學習（五）

    吳恩達機器學習筆記及作業程式碼實現中文版 第四章 Logistic迴歸 簡化代價函式與梯度下降 邏輯迴歸的代價函式： C

    演算法工程師修仙之路：吳恩達機器學習（四）

    吳恩達機器學習筆記及作業程式碼實現中文版 第四章 Logistic迴歸 分類 在分類問題中，要預測的變數y是離散的值，邏輯迴歸 (Logistic Regression) 演算法是目前最流行使用最廣泛的一種學習演算法。 在分類問題中，我們嘗試預測的是結果

    演算法工程師修仙之路：吳恩達機器學習（三）

    吳恩達機器學習筆記及作業程式碼實現中文版 第三章 多變數線性迴歸 多維特徵 現在我們對房價模型增加更多的特徵，例如房間數樓層等，構成一個含有多個變數的模型，模型中的特徵為

    演算法工程師修仙之路：吳恩達機器學習（二）

    吳恩達機器學習筆記及作業程式碼實現中文版 第二章 單變數線性迴歸 模型描述 我們使用一個監督學習演算法的例子：預測住房價格。 我們要使用一個數據集，資料集包含俄勒岡州波特蘭市的住房價格。 在這裡，我要根據不同房屋尺寸所售出的價格，畫出我的資

    演算法工程師修仙之路：吳恩達機器學習（一）

    吳恩達機器學習筆記及作業程式碼實現中文版 第一章 緒論：初識機器學習 什麼是機器學習 Machine Learning(機器學習)是研究計算機怎樣模擬或實現人類的學習行為，以獲取新的知識或技能，重新組織已有的知識結構使之不斷改善自身的效能。 機器學習被用

    演算法工程師修仙之路：吳恩達機器學習（十三）

    吳恩達機器學習筆記及作業程式碼實現中文版 第十章 支援向量機 優化目標 在監督學習中，許多學習演算法的效能都非常類似，因此，重要的不是你該選擇使用學習演算法 A 還是學習演算法 B，而更重要的是，所建立的大量資料在應用這些演算法時，表現情況通常依賴於你的水平。比如你

    演算法工程師修仙之路：吳恩達機器學習（十）

    吳恩達機器學習筆記及作業程式碼實現中文版 第七章 神經網路引數的反向傳播演算法 理解反向傳播 為了更好地理解反向傳播演算法，我們再來仔細研究一下前向傳播的原理： 反向傳播演算法做的是： 梯度檢測 當我們對一個較為複雜

    演算法工程師修仙之路：吳恩達機器學習（十五）

    吳恩達機器學習筆記及作業程式碼實現中文版 第十章 支援向量機 大間隔分類器的數學原理 假設我有兩個二維向量 u

    演算法工程師修仙之路：吳恩達機器學習（十四）

    吳恩達機器學習筆記及作業程式碼實現中文版 第十章 支援向量機 直觀上對大間隔的理解 人們有時將支援向量機看作是大間距分類器。 支援向量機模型的代價函式，在左邊這裡我畫出了關於 z 的代價函式

    演算法工程師修仙之路：吳恩達機器學習（十二）

    吳恩達機器學習筆記及作業程式碼實現中文版 第九章 機器學習系統設計 確定執行的優先順序 以一個垃圾郵件分類器演算法為例進行討論。 為了解決這樣一個問題，我們首先要做的決定是如何選擇並表達特徵向量

    演算法工程師修仙之路：吳恩達機器學習（十一）

    吳恩達機器學習筆記及作業程式碼實現中文版 第八章 應用機器學習的建議 決定下一步做什麼 獲得更多的訓練例項——通常是有效的， 但代價較大， 下面的方法也可能有效， 可考慮先採用下面的幾種方法： 嘗試減少特徵的數量； 嘗試獲得更多的特徵

    演算法工程師修仙之路：吳恩達機器學習作業（一）

    吳恩達機器學習筆記及作業程式碼實現中文版 第一個程式設計作業：單變數線性迴歸（python程式碼實現） 一元線性迴歸 問題描述 在本練習的這一部分中，您將使用只有單變數的線性迴歸方法預測餐車的利潤。 假設你是一家連鎖餐廳的執行長，正在

    演算法工程師修仙之路：python3官方文件筆記（三）

    本筆記來自於python手冊的中文版 Python 簡介 Python 中的註釋以 # 字元起始，直至實際的行尾。 註釋可以從行首開始，也可以在空白或程式碼之後，但是不出現在字串中。 文字字串中的 # 字元僅僅表示 # 。 程式碼中的註釋

    演算法工程師修仙之路：python3官方文件筆記（二）

    本筆記來自於python手冊的中文版 使用 Python 直譯器 呼叫 Python 直譯器 通常你可以在主視窗輸入一個檔案結束符（Unix系統是Control-D，Windows系統是Control-Z）讓直譯器以 0 狀態碼退出。如果那沒有作用，你可以通過輸入

    演算法工程師修仙之路：python3廖雪峰教程筆記（一）

    此筆記摘錄於廖雪峰先生的教程，感謝廖先生的無私分享，特此致敬！ python簡介 Python是一種什麼語言？ 用任何程式語言來開發程式，都是為了讓計算機幹活，而計算機幹活的CPU只認識機器指令，所以，儘管不同的程式語言差異極大，最後都得“翻譯”成

    演算法工程師修仙之路：python3官方文件筆記（一）

    本筆記來自於python手冊的中文版 第一章 開胃菜 雖然 Python 易於使用，但它卻是一門完整的程式語言。 與 Shell 指令碼或批處理檔案相比，它為編寫大型程式提供了更多的結構和支援。 Python 提供了比 C 更多的錯誤檢查