吳恩達deeplearning.ai課程系列筆記06
#本文內容部分來自網路，只為自己學習以及分享供更多的人學習使用
1、Mini-batch
我們知道，當訓練資料數量較大的時候，訓練速度則顯得至關重要。
前面我們介紹了向量化會大大加快訓練的速度。但是如果把所有的特徵輸入x全部放入一個向量進行運算的時候，如果特徵值太大，則會導致每次迭代的時間會比較久。所以，我們選取一箇中間值，來均衡。
如圖所示，我們以1000為單位，將資料進行劃分，這就是所謂的mini-batch方法。
對於不同size：
1、batch梯度下降：
對所有m個訓練樣本執行一次梯度下降，每一次迭代時間較長；
Cost
function 總是向減小的方向下降
2、隨機梯度下降：
對每一個訓練樣本執行一次梯度下降，但是丟失了向量化帶來的計算加速；
Cost
function總體的趨勢向最小值的方向下降，但是無法到達全域性最小值點，呈現波動的形式。
3、Mini-batch梯度下降：
選擇一個合適的mini-batch
size;
一般來說mini-batch size取2的次方比較好，例如64,128,256,512等，因為這樣與計算機記憶體設定相似，運算起來會更快一些。
-
- 如下圖所示，顯示size = m和1的兩種極端情況：
藍色收斂曲線表示mini-batch size=m，比較耗時，但是最後能夠收斂到最小值；而紫色收斂曲線表示mini-batch size=1，雖然速度可能較快，但是收斂曲線十分曲折，並且最終不會收斂到最小點，而是在其附近來回波動。
2、指數加權平均
- 當
β=0.9 時，指數加權平均最後的結果如圖中紅色線所示； - 當
β=0.98 時，指數加權平均最後的結果如圖中綠色線所示； - 當
β=0.5 時，指數加權平均最後的結果如下圖中黃色線所示；
當
展開：
相關推薦
吳恩達deeplearning.ai課程系列筆記06
#寫在最前，deeplearning.ai系列課程相較於之前的Andrew Ng在coursera上2014釋出的機器學習課程內容更加豐富。 重要的是此次課程示例程式碼都是用python來
吳恩達deeplearning.ai課程系列筆記05（下）
#寫在最前，deeplearning.ai系列課程相較於之前的Andrew Ng在coursera上2014釋出的機器學習課程內容更加豐富。 重要的是此次課程示例程式碼都是用python來實現，不需要去熟悉octave，對大部分需要用python來學習機器學習的同學來說
吳恩達deeplearning.ai課程系列筆記09
#寫在最前，deeplearning.ai系列課程相較於之前的Andrew Ng在coursera上2014釋出的機器學習課程內容更加豐富。 重要的是此次課程示例程式碼都是用python來實現，不需要去熟悉octave，對大部分需要用python來學習機器學習的同學來說
吳恩達deeplearning.ai課程系列筆記01
#寫在最前，deeplearning.ai系列課程相較於之前的Andrew Ng在coursea上2014釋出的機器學習課程內容更加豐富。 重要的是此次課程示例程式碼都是用python來實現，
吳恩達 DeepLearning.ai 課程提煉筆記（4-2）卷積神經網絡 --- 深度卷積模型
mes and shift abd actual 應用 比賽 特征 通道 1. 經典的卷積網絡 介紹幾種經典的卷積神經網絡結構，分別是LeNet、AlexNet、VGGNet。 LeNet-5： LeNet-5主要是針對灰度設計的，所以其輸入較小，為 ，其結構如下：
吳恩達deeplearning.ai課程《改善深層神經網路：超引數除錯、正則化以及優化》____學習筆記（第一週）
____tz_zs學習筆記第一週 深度學習的實用層面（Practical aspects of Deep Learning）我們將學習如何有效運作神經網路（超引數調優、如何構建資料以及如何確保優化演算法快速執行）設定ML應用（Setting up your ML applic
吳恩達DeepLearning.ai《深度學習》課程筆記目錄總集
本文釋出在知乎的專欄中，為了方便習慣使用CSDN的使用者，更改了下面文章的直鏈到CSDN中的筆記。 同時，也歡迎大家關注我的知乎：大樹先生，會不定期有新的乾貨更新。一起學習一起進步呀！^_^ DeepLearning.ai簡介 deepLearning.
【Coursera】吳恩達 deeplearning.ai 05.序列模型 第一週 迴圈序列模型 課程筆記
迴圈序列模型 為什麼選擇序列模型 在語音識別、音樂生成、情感分類、DNA序列分析、機器翻譯、視訊識別、命名實體識別等任務中，共同特點是輸入X和/或輸出Y都是序列。 數學符號 例如，對於命名實體識別的問題： 對於輸入序列，用 x&l
【Coursera】吳恩達 deeplearning.ai 04.卷積神經網路 第二週 深度卷積神經網路 課程筆記
深度卷積神經網路 2.1 為什麼要進行例項化 實際上，在計算機視覺任務中表現良好的神經網路框架，往往也適用於其他任務。 2.2 經典網路 LeNet-5 AlexNet VGG LeNet-5 主要針對灰度影象 隨著神經網路的加深
吳恩達deeplearning.ai五項課程完整筆記了解一下？
來源：機器之心本文共3744字，建議閱讀8分鐘。通過本文為大家解讀如何構建自然語言、音訊和其他序
完結篇 | 吳恩達deeplearning.ai專項課程精煉筆記全部彙總
從去年8月份開始，AI界大IP吳恩達在coursera上開設了由5們課組成的深度學習專項課程，掀起了一股人工智慧深度學習熱潮。這裡附上deeplearning.ai的官網：關於該深度學習專項課程，本人非常推薦！它對於理解各種演算法背後的原理非常有幫助，同時提供了大量的應用場景
完結撒花！吳恩達DeepLearning.ai《深度學習》課程筆記目錄總集
本文釋出在知乎的專欄中，為了方便習慣使用CSDN的使用者，更改了下面文章的直鏈到CSDN中的筆記。 同時，也歡迎大家關注我的知乎：大樹先生，會不定期有新的乾貨更新。一起學習一起進步呀！^_^ DeepLearning.ai簡介 deepLe
吳恩達DeepLearning.ai筆記（5-1）-- 迴圈序列模型
吳恩達DeepLearning.ai筆記（5-1）– 迴圈序列模型 1.一些序列資料例子 2.數學符號 x<1>x<1>輸入序列X第一個單詞，TixTxi輸入序列X的單詞個數，X（i）<t>X（i）&l
吳恩達DeepLearning.ai系列課後程式設計題實踐總結week3
# -*- coding: utf-8 -*- """ Created on Sun Sep 24 09:09:10 2017 @author: Jay """ import numpy as np import matplotlib.pyplot as p
心得丨吳恩達Deeplearning.ai 全部課程學習心得分享
選自Medium作者：Ryan Shrott 機器之心編譯 本文作者，加拿大國家銀行首席分析師 Ryan Shrott 完成了迄今為止（2017 年 10 月 25 日）吳恩達在 Coursera 上釋出的所有深度學習課程，併為我們提供了課程解讀。 目前 Coursera 上可用的課程中，
吳恩達DeepLearning.ai筆記（1-4）-- 深層神經網路
神經網路和深度學習—深層神經網路1.深度網路中的前向傳播2. 核對矩陣的維度DNN結構示意圖如圖所示：對於第L層神經網路，單個樣本其各個引數的矩陣維度為：W[l]：(n[l],n[l−1])b[l]：(n[l],1)dW[l]：(n[l],n[l−1])db[l]：(n[l]
【吳恩達deeplearning.ai筆記二】通俗講解神經網路上
神經網路（Neural Network）的構築理念是受到生物神經網路功能的運作啟發而產生的。人工神經網路通常是通過一個基於數學統計學型別的學習方法得以優化，所以人工神經網路也是數學統計學方法的一種實際應用。和其他機器學習方法一樣，神經網路已經被用於解決各種各樣的問題，例如機器
吳恩達deepLearning.ai迴圈神經網路RNN學習筆記_看圖就懂了！！！(理論篇)
前言 目錄: RNN提出的背景 - 一個問題 - 為什
吳恩達deepLearning.ai迴圈神經網路RNN學習筆記_沒有複雜數學公式，看圖就懂了！！！(理論篇)
本篇文章被Google中國社群組織人轉發，評價: 條理清晰，寫的很詳細！ 被阿里演算法工程師點在看! 所以很值得一看! 前言 目錄: RNN提出的背景 &nbs
吳恩達Deeplearning.ai 知識點梳理（course 5，week 3）
本週主要講了多種sequence to sequence結構，包括conditional language model，beam searching，bleu，attention，speech recognition，以及trigger word detec