2. 程式人生 > >深度學習優化方法-AdaGrad

深度學習優化方法-AdaGrad

阿新 • • 發佈：2019-01-05
梯度下降演算法、隨機梯度下降演算法（SGD）、小批量梯度下降演算法（mini-batch SGD）、動量法（momentum）、Nesterov動量法有一個共同的特點是：對於每一個引數都用相同的學習率進行更新。 但是在實際應用中，各個引數的重要性肯定是不一樣的，所以我們對於不同的引數要動態的採取不同的學習率，讓目標函式更快的收斂。 AdaGrad演算法就是將每一個引數的每一次迭代的梯度取平方累加後在開方，用全域性學習率除以這個數，作為學習率的動態更新。
AdaGrad演算法介紹

表示第i個引數的梯度，對於經典的SGD優化方法，引數θth的更新為：


再來看AdaGrad演算法表示為：



其中，r為梯度累積變數，r的初始值為0。ε為全域性學習率，需要自己設定。δ為小常數，為了數值穩定大約設定為。

AdaGrad演算法分析

（1）從AdaGrad演算法中可以看出，隨著演算法不斷迭代，r會越來越大，整體的學習率會越來越小。所以，一般來說AdaGrad演算法一開始是激勵收斂，到了後面就慢慢變成懲罰收斂，速度越來越慢。

（2）在SGD中，隨著梯度的增大，我們的學習步長應該是增大的。但是在AdaGrad中，隨著梯度g的增大，我們的r也在逐漸的增大，且在梯度更新時r在分母上，也就是整個學習率是減少的，這是為什麼呢？這是因為隨著更新次數的增大，我們希望學習率越來越慢。因為我們認為在學習率的最初階段，我們距離損失函式最優解還很遠，隨著更新次數的增加，越來越接近最優解，所以學習率也隨之變慢。
（3）經驗上已經發現，對於訓練深度神經網路模型而言，從訓練開始時積累梯度平方會導致有效學習率過早和過量的減小。AdaGrade在某些深度學習模型上效果不錯，但不是全部。

Reference

【1】深度學習，Ian Goodfellow / Yoshua Bengio所著。

相關推薦

深度學習優化方法-AdaGrad

梯度下降演算法、隨機梯度下降演算法（SGD）、小批量梯度下降演算法（mini-batch SGD）、動量法（momentum）、Nesterov動量法有一個共同的特點是：對於每一個引數都

入門 | 一文簡述深度學習優化方法——梯度下降

http://www.sohu.com/a/241298990_129720 本文是一篇關於深度學習優化方法——梯度下降的介紹性文章。作者通過長長的博文，簡單介紹了梯度下降的概念、優勢以及兩大挑戰。文中還配有大量生動形象的三維影象，有興趣的親瞭解一下？ 從很大程度上來說，深度學習實際上是在解決大

深度學習——優化器演算法Optimizer詳解（BGD、SGD、MBGD、Momentum、NAG、Adagrad、Adadelta、RMSprop、Adam）

在機器學習、深度學習中使用的優化演算法除了常見的梯度下降，還有 Adadelta，Adagrad，RMSProp 等幾種優化器，都是什麼呢，又該怎麼選擇呢？ 在 Sebastian Ruder 的這篇論文中給出了常用優化器的比較，今天來學習一下：https://arxiv.org/pdf/160

深度學習 --- 優化入門二（SGD、動量(Momentum)、AdaGrad、RMSProp、Adam詳解）

另在一篇文章中，我們介紹了隨機梯度下降的細節以及如何解決陷入區域性最小值或鞍點等問題。在這篇文章中，我們看看另一個困擾神經網路訓練的問題，即病態曲率。 雖然區域性最小值和鞍點可以阻止我們的訓練，但是病態曲率可以使訓練減慢到機器學習從業者可能認為搜尋已經收斂到次優極小值的程度。讓我們深入瞭解病

2017年深度學習優化演算法最新進展：改進SGD和Adam方法

2017年深度學習優化演算法最新進展：如何改進SGD和Adam方法 轉載的文章，把個人覺得比較好的摘錄了一下 AMSGrad 這個前期比sgd快，不能收斂到最優。 sgdr 餘弦退火的方案比較好 最近的一些研究（Dozat and Manning, 2017[13]、

深度學習優化算法Momentum RMSprop Adam

blog beta rop isp prop moment mom down pro 一、Momentum 1. 計算dw、db. 2. 定義v_db、v_dw \[ v_{dw}=\beta v_{dw}+(1-\beta)dw \] \[ v_{db}=\beta v_

深度學習優化器總結

深度學習（一般指深度神經網路DNN）有幾個關鍵的要素：訓練集，網路結構，損失函式（目標函式），優化方法。這裡記錄一下優化方法相關知識點吧。 1. why using optimizer? 訓練DNN時，我們的目標是更新網路引數以使得損失函式最小化，optimizer就是更新引數的方法。不同的

深度學習優化演算法：動量、RMSProp、Adam

https://mp.weixin.qq.com/s/t_ubFq5WVCyD2t35MYX2Lg https://mp.weixin.qq.com/s?__biz=MzI3ODkxODU3Mg==&mid=2247487472&idx=2&sn=2c4ffdfe5430

機器學習&深度學習優化演算法

梯度下降演算法 1.給定資料集X = {}, 資料標記為：Y = {}    學習器：, 學習率：。    for     {         

深度學習優化器比較

    如圖所示： 經驗之談對於稀疏資料，儘量使用學習率可自適應的優化方法，不用手動調節，而且最好採用預設值SGD通常訓練時間更長，但是在好的初始化和學習率排程方案的情況下，結果更可靠如果在意更快的收斂，並且需要訓練較深較複雜的網路時，推薦使用學習率自適應的優化方法。Adadel

深度學習 --- 優化入門六（正則化、引數範數懲罰L0、L1、L2、Dropout）

      前面幾節分別從不同的角度對梯度的優化進行梳理，本節將進行正則化的梳理，所謂正則化，簡單來說就是懲罰函式，在機器學習中的SVM中引入拉格朗日乘子法即引入懲罰項解決了約束問題，在稀疏自編碼器中我們引入了懲罰因子去自動調整隱層的神經元的個數，以此達到壓縮率和失

[深度學習] 優化演算法

優化演算法 優化演算法的功能就是改善訓練方式，來最小化（最大化）損失函式 模型內部有些引數，是用來計算測試集中目標值 Y 的真實值和預測值的偏差，基於這些引數，就形成了損失函式E(x)。 比如說，權重(ωωω)和偏差(b)就是這樣的內部引數，一般用於計算輸出值，

深度學習優化器Optimizer總結-tensorflow-1原理篇

單純以演算法為論，深度學習從業者的演算法能力可能並不需要太大，因為很多時候，只需要構建合理的框架，直接使用框架是不需要太理解其中的演算法的。但是我們還是需要知道其中的很多原理，以便增加自身的知識強度，而優化器可能正是深度學習的演算法核心 官方文件所給的

GAN應用之資料生成，無監督深度學習新方法（3）

3.1 從GAN到Conditional GAN GAN的生成式模型可以擬合真實分佈，所以它可以用於偽造資料。DCGAN是第一個用全卷積網路做資料生成的，下面是它的基本結構和生成的資料。 輸入100維的噪聲，輸出64*64的影象，從mnist的訓練結果來看，

深度學習 --- 優化入門五（Batch Normalization（批量歸一化）二）

批歸一化真的可以解決內部協方差偏移問題？如果不能解決，那它的作用是什麼？你所接受的整個深度學習教育是一個謊言嗎？讓我們來尋找答案吧！ 開始之前...... 我想提醒一下，本文是深度學習優化算法系列的第四篇，前三篇文章討論了： 隨機梯度下降如何克服深度學習中的區域性極小值和鞍點

深度學習 --- 優化入門四（Batch Normalization（批量歸一化）一）

前幾節我們詳細的探討了，梯度下降存在的問題和優化方法，本節將介紹在資料處理方面很重要的優化手段即批量歸一化（批量歸一化）。 批量歸一化（Batch Normalization）並不能算作是一種最優化演算法，但其卻是近年來優化深度神經網路最有用的技巧之一，並且這種方法非常的簡潔方便，可以和其他

深度學習 --- 優化入門三（梯度消失和啟用函式ReLU）

前兩篇的優化主要是針對梯度的存在的問題，如鞍點，區域性最優，梯度懸崖這些問題的優化，本節將詳細探討梯度消失問題，梯度消失問題在BP的網路裡詳細的介紹過（興趣有請的檢視我的這篇文章），然後主要精力介紹RuLU啟用函式，本篇還是根據國外的文章進行翻譯，然後再此基礎上補充，這樣使大家更容易理解，好，那

深度學習 --- 優化入門一（梯度下降所面臨的問題）

前面幾節詳細介紹了卷積神經網路和深度卷積神經網路，這個網路可以說是為影象處理量身製作，同時在2010年，hintion帶領的團隊使用AlexNet網路（深度卷積網路）在ImageNet大賽中獲得冠軍，更是奠定了卷積網路的商業地位，到目前為止該網路也是影象識別的主要網路之一。本節開始針對深度網路進

深度學習優化算法總結

算法 nbsp 3.0 部分 div 深度學習 速度 組成 輸出 大致總結一下學到的各個優化算法。 一、梯度下降法 函數的梯度表示了函數值增長速度最快的方向，那麽與其相反的方向，就可看作函數減少速度最快的方向。 在深度學習中，當目標設定為求解目標函數的最小值時，只要朝梯度

如何選擇深度學習優化器

from：https://blog.csdn.net/chenhaifeng2016/article/details/73382273 在很多機器學習和深度學習的應用中，我們發現用的最多的優化器是 Adam，為什麼呢？ 下面是 TensorFlow 中的優化器， https://w