1 梯度下降

1.1 SGD

演算法介紹

SGD（Stochasitic Gradient Descent）很簡單，就是沿著梯度的反方向更新引數，優化目標函式。優化公式如下：
di=g(θi−1)$d_i=g({\theta }_{i-1})$
θi=θi−1−λdi${\theta }_i={\theta }_{i-1}-\lambda d_i$
其中di$d_i$為當前位置的梯度，也就是損失函式關於引數的一階導數

優點

操作簡單，計算量小，在損失函式是凸函式的情況下能夠保證收斂到一個較好的全域性最優解

缺點

• λ$\lambda$是個定值（在最原始的版本），它的選取直接決定了解的好壞，過小會導致收斂太慢，過大會導致震盪而無法收斂到最優解。
• 對於非凸問題，只能收斂到區域性最優，並且沒有任何擺脫區域性最優的能力（一旦梯度為0就不會再有任何變化）
  

  對於非凸的優化問題，我們可以將其轉化為對偶問題，對偶函式一定是凹函式，但是這樣求出來的解並不等價於原函式的解，只是原函式的一個確下界

1.2 Momentum

演算法介紹

Momentum改進自SGD，讓每一次的引數更新方向不僅取決於當前位置的梯度，還受到上一次引數更新方向的影響。 di=βdi−1+(1−β)g(θi−1)$d_i=\beta d_{i-1}+(1-\beta )g({\theta }_{i-1})$ θi=θi−1−λdi${\theta }_i={\theta }_{i-1}-\lambda d_i$ Momentum的意思就是動量，也就意味著上一次更新的方向對本次更新仍然有影響。

優點

一定程度上緩解了SGD收斂不穩定的問題，並且有一定的擺脫區域性最優的能力（當前梯度為0時，仍可能按照上次迭代的方向衝出區域性最優點），直觀上理解，它可以讓每次迭代的“掉頭方向不是那個大“。

缺點

這裡又多了另外一個超引數β$\beta$需要我們設定，它的選取同樣會影響到結果。

β$\beta$一般取0.9

1.3 Nestrov Momentum

演算法介紹

Nestrov Momentum的意義在於，既然下一次一定會更新λd′i$\lambda d_i^{{\prime }^{}}$，那麼求梯度的時候就可以用提前位置的梯度g(θi−1−λd′i)$g\left({\theta }_{i-1}-\lambda d_i^{{\prime }^{}}\right)$，則： d′i=βdi−1+(1−β)g(θi−1)$d_i^{{\prime }^{}}=\beta d_{i-1}+(1-\beta )g({\theta }_{i-1})$ di=βdi−1+(1−β)g(θi−1−λd′i)$d_i=\beta d_{i-1}+(1-\beta )g({\theta }_{i-1}-\lambda d_i^{{\prime }^{}})$ θi=θi−1−λdi${\theta }_i={\theta }_{i-1}-\lambda d_i$

優點

實驗中，一般用Nestrov Momentum比較多，由於結合了二階導數的資訊，收斂比Momentum要更快一些。

缺點

仍然是多了一個超引數需要調整

2 自適應方法

2.1 Adagrad

演算法介紹

ci=ci−1+g2(θi−1)$c_i=c_{i-1}+g^2({\theta }_{i-1})$ θi=θi−1−λci+ε√g(θi−1)${\theta }_i={\theta }_{i-1}-\frac{\lambda }{\sqrt{c_i+\epsilon }}g({\theta }_{i-1})$ 其中，ci$c_i$是一個cache，儲存了各位置梯度的平方，ε$\epsilon$一般取值為10−4～10−8${10}^{-4}～{10}^{-8}$，為了防止分母取零。

優點

Adagrad不需要手動調節學習率λ$\lambda$，因為整體來看，學習率為λ

相關推薦

機器學習各優化演算法的簡單總結

1 梯度下降 1.1 SGD 演算法介紹 SGD（Stochasitic Gradient Descent）很簡單，就是沿著梯度的反方向更新引數，優化目標函式。優化公式如下： di=g(θi−1)di=g(θi−1) θi=θi

機器學習之優化演算法學習總結

優化演算法演化歷程 機器學習和深度學習中使用到的優化演算法的演化歷程如下： SGD –> Momentum –> Nesterov –> Adagrad –> Adadelta –> Adam –> Nadam 表1優化

機器學習中優化演算法總結以及Python實現

機器學習演算法最終總是能轉化為最優化問題，習慣上會轉化為最小化問題。 個人總結迭代優化演算法關鍵就兩點： (1) 找到下降方向 (2) 確定下降步長 最速梯度下降演算法 梯度下降演算法是以最優化函式的梯度為下降方向，學習率η\etaη乘以梯度的模即為下降步長。更

深度學習總結(五)——各優化演算法

一、各優化演算法簡介 1. 批量梯度下降（Batch gradient descent，BGD） θ=θ−η⋅∇θJ(θ) 每迭代一步，都要用到訓練集所有的資料。 2. 隨機梯度下降（Stochastic Gradient Descent，S

機器學習——常用排序演算法總結

我們通常所說的排序演算法往往指的是內部排序演算法，即資料記錄在記憶體中進行排序。排序演算法大體可分為兩種： 一種是比較排序，時間複雜度O(nlogn) ~ O(n^2)，主要有：氣泡排序，選擇排序，插入排序，歸併排序，堆排序，快速排序等。 另一種是非比較排序，時間複雜度可以達到O(

機器學習實戰-基本演算法總結1

機器學習基本演算法總結 ☞監督學習——分類 程式碼在這，基於python3（原書程式碼是python2） 這裡只是一個總結，原書已經講解很清楚了，不清楚的直接看程式碼，或者李航的統計學習方法也有公式推導。 目錄1 =======

機器學習各演算法思想（極簡版）

讀到的一篇不錯的文章，拿來和大家分享一下。 轉自–頭條公眾號–極數蝸牛 （1）線性迴歸 迴歸最早是由高爾頓研究子女身高與父母身高遺傳關係提出的，發現子女平均身高總是向中心迴歸而得名。其實“一分辛苦一分才”中就蘊含了線性迴歸演算法思想，比較簡單表現出才能與辛

機器學習中常用演算法總結

參考：http://www.shuju.net/article/MDAwMDAyM4DM0.html 在垃圾郵件分類器專案中，隨機森林被用作最終的分類器模型。面試官可能會就此提出以下問題：為什麼選擇隨機森林而非其他模型，比如樸素貝葉斯或者支援向量機。一般來說，面試者可以從數

機器學習之基本演算法總結

機器學習方法越來越得到關注與學習，很多人在研讀機器學習相關文章和演算法時，對一些概念不慎明確，容易走進坑裡花費太多的時間才弄明白，有作者將一些並不是很簡單的基礎知識演算法做了一定的總結。本文在原博文的基礎上根據自己的閱讀和理解，做了一些補充，對概念和演算法的總結如下。

國內網際網路公司演算法&機器學習崗(阿里星)面試總結

原文地址：http://blog.csdn.net/lihouyi2010/article/details/50179191 從2015年8月到2015年10月，花了3個月時間找工作，先後通過內推參加了美團、阿里螞蟻金服、京東、騰訊、今日頭條、Growing IO、微

機器學習系列--GBDT演算法總結與原始碼分析

最近在看Kaggle2014年的一個比賽–Display Advertising Challenge。三個臺灣人得了比賽的第一名，他們使用的是FFM演算法(這個後面再做總結)，在他們比賽的程式碼中，使用了GBDT演算法進行了特徵的處理。他們沒有使用scikit-

機器學習實戰-KNN演算法實現及遇到的問題總結

最近在看《機器學習實戰》這本書，內容充實，重視實踐，很不錯，也很適合機器學習的入門。下面貼上用python編寫的KNN演算法程式碼，放在部落格裡安全啊~~我的電腦隨時都會崩潰的.... from numpy import * import operator from os

機器學習的訓練演算法(優化方法)彙總——梯度下降法及其改進演算法

Introduce 今天會說兩個問題，第一，建議大腳多看看大牛的部落格，可以漲姿勢。。。例如： 1、側重於語言程式設計和應用的廖雪峰 2、側重於高大上演算法和開源庫介紹的莫煩 第二，加深對機器學習演算法的理解。 個人理解：經典機器學習演算法，例如SVM，邏輯迴歸，決策樹

機器學習面試常用演算法知識點梳理總結

　　前言： 　　找工作時（IT行業），除了常見的軟體開發以外，機器學習崗位也可以當作是一個選擇，不少計算機方向的研究生都會接觸這個，如果你的研究方向是機器學習/資料探勘之類，且又對其非常感興趣的話，可以考慮考慮該崗位，畢竟在機器智慧沒達到人類水平之前，機器學習可以作為一種重要手段，而隨著科技的不斷髮展，相

機器學習&數據挖掘筆記_16（常見面試之機器學習算法思想簡單梳理）

回歸 utl lsa 多維 包含 的人 相互 oss 一個用戶 【轉】 　　前言： 　　找工作時（IT行業），除了常見的軟件開發以外，機器學習崗位也可以當作是一個選擇，不少計算機方向的研究生都會接觸這個，如果你的研究方向是機器學習/數據挖掘之類，且又對其非常感興趣的話

常見面試之機器學習算法思想簡單梳理

聚類 優化方法 man 教程 貝葉斯理論 實現 數學之美 c函數 交叉驗證 前言： 　　找工作時（IT行業），除了常見的軟件開發以外，機器學習崗位也可以當作是一個選擇，不少計算機方向的研究生都會接觸這個，如果你的研究方向是機器學習/數據挖掘之類，且又對其非常感興趣的話，可以

機器學習六--回歸--簡單線性回歸Simple Linear Regression

simple 4.2 port ear 類別 eric ted error bsp 一、回歸和分類 　　回歸（regression）y變量為連續數值型(continuous numerical variable)，如房價，降雨量。 　　分類（classification）y

機器學習 k-近鄰演算法

1、使用python匯入資料 from numpy import * def createDataSet(): group=array([[1.1,1.1],[1.0,1.0],[0,0],[0,0.1]]) labels=['A','A','B','B'] return gr

機器學習——K-means演算法（聚類演算法）

聚類 在說K-means聚類演算法之前必須要先理解聚類和分類的區別。 分類其實是從特定的資料中挖掘模式，作出判斷的過程。比如Gmail郵箱裡有垃圾郵件分類器，一開始的時候可能什麼都不過濾，在日常使用過程中，我人工對於每一封郵件點選“垃圾”或“不是垃圾”，過一段時間，Gmail就體現出

機器學習-k-近鄰演算法python實踐【4】

寫在最前面：簡單來說，k-近鄰演算法是用來根據不同的特徵進行分類的一種演算法 優點：精度高、對異常值不敏感、無資料輸入假定 缺點：計算複雜度高、空間複雜度高 適用資料範圍：數值型和標稱型 IDE:Pycharm python版本：3.6 作業系統：macOS Mojave k