吳恩達深度學習教程中文筆記目錄
深度學習筆記目錄
第一門課 神經網路和深度學習(Neural Networks and Deep Learning)
1.1 歡迎(Welcome) 1
1.2 什麼是神經網路？(What is a Neural Network)
1.3 神經網路的監督學習(Supervised Learning with Neural Networks)
1.4 為什麼神經網路會流行？(Why is Deep Learning taking off?)
1.5 關於本課程(About this Course)
1.6 課程資源(Course Resources)
1.7 Geoffery Hinton 專訪(Geoffery Hinton interview)
2.1 二分類(Binary Classification)
2.2 邏輯迴歸(Logistic Regression)
2.3 邏輯迴歸的代價函式（Logistic Regression Cost Function）
2.4 梯度下降（Gradient Descent）
2.5 導數（Derivatives）
2.6 更多的導數例子（More Derivative Examples）
2.7 計算圖（Computation Graph）
2.8 計算圖導數（Derivatives with a Computation Graph）
2.9 邏輯迴歸的梯度下降（Logistic Regression Gradient Descent）
2.10 梯度下降的例子(Gradient Descent on m Examples)
2.11 向量化(Vectorization)
2.12 更多的向量化例子（More Examples of Vectorization）
2.13 向量化邏輯迴歸(Vectorizing Logistic Regression)
2.14 向量化邏輯迴歸的梯度計算（Vectorizing Logistic Regression's Gradient）
2.15 Python中的廣播機制（Broadcasting in Python）
2.16 關於 Python與numpy向量的使用（A note on python or numpy vectors）
2.17 Jupyter/iPython Notebooks快速入門（Quick tour of Jupyter/iPython Notebooks）
2.18 邏輯迴歸損失函式詳解（Explanation of logistic regression cost function）
3.1 神經網路概述（Neural Network Overview）
3.2 神經網路的表示（Neural Network Representation）
3.3 計算一個神經網路的輸出（Computing a Neural Network's output）
3.4 多樣本向量化（Vectorizing across multiple examples）
3.5 向量化實現的解釋（Justification for vectorized implementation）
3.6 啟用函式（Activation functions）
3.7 為什麼需要非線性啟用函式？（why need a nonlinear activation function?）
3.8 啟用函式的導數（Derivatives of activation functions）
3.9 神經網路的梯度下降（Gradient descent for neural networks）
3.10（選修）直觀理解反向傳播（Backpropagation intuition）
3.11 隨機初始化（Random+Initialization）
4.1 深層神經網路（Deep L-layer neural network）
4.2 前向傳播和反向傳播（Forward and backward propagation）
4.3 深層網路中的前向和反向傳播（Forward propagation in a Deep Network）
4.4 核對矩陣的維數（Getting your matrix dimensions right）
4.5 為什麼使用深層表示？（Why deep representations?）
4.6 搭建神經網路塊（Building blocks of deep neural networks）
4.7 引數VS超引數（Parameters vs Hyperparameters）
4.8 深度學習和大腦的關聯性（What does this have to do with the brain?）
第二門課 改善深層神經網路：超引數除錯、正則化以及優化(Improving Deep Neural Networks:Hyperparameter tuning, Regularization and Optimization)
1.1 訓練，驗證，測試集（Train / Dev / Test sets）
1.2 偏差，方差（Bias /Variance）
1.3 機器學習基礎（Basic Recipe for Machine Learning）
1.4 正則化（Regularization）
1.5 為什麼正則化有利於預防過擬合呢？（Why regularization reduces overfitting?）
1.6 dropout 正則化（Dropout Regularization）
1.7 理解 dropout（Understanding Dropout）
1.8 其他正則化方法（Other regularization methods）
1.9 標準化輸入（Normalizing inputs）
1.10 梯度消失/梯度爆炸（Vanishing / Exploding gradients）
1.11 神經網路的權重初始化（Weight Initialization for Deep NetworksVanishing /Exploding gradients）
1.12 梯度的數值逼近（Numerical approximation of gradients）
1.13 梯度檢驗（Gradient checking）
1.14 梯度檢驗應用的注意事項（Gradient Checking Implementation Notes）
2.1 Mini-batch 梯度下降（Mini-batch gradient descent）
2.2 理解Mini-batch 梯度下降（Understanding Mini-batch gradient descent）
2.3 指數加權平均（Exponentially weighted averages）
2.4 理解指數加權平均（Understanding Exponentially weighted averages）
2.5 指數加權平均的偏差修正（Bias correction in exponentially weighted averages）
2.6 momentum梯度下降（Gradient descent with momentum）
2.7 RMSprop——root mean square prop（RMSprop）
2.8 Adam優化演算法（Adam optimization algorithm）
2.9 學習率衰減（Learning rate decay）
2.10 區域性最優問題（The problem of local optima）
3.1 除錯處理（Tuning process）
3.2 為超引數選擇和適合範圍（Using an appropriate scale to pick hyperparameters）
3.3 超引數訓練的實踐：Pandas vs. Caviar（Hyperparameters tuning in practice: Pandas vs. Caviar）
3.4 網路中的正則化啟用函式（Normalizing activations in a network）
3.5 將 Batch Norm擬合進神經網路（Fitting Batch Norm into a neural network）
3.6 為什麼Batch Norm奏效？（Why does Batch Norm work?）
3.7 測試時的Batch Norm（Batch Norm at test time）
3.8 Softmax 迴歸（Softmax Regression）
3.9 訓練一個Softmax 分類器（Training a softmax classifier）
3.10 深度學習框架（Deep learning frameworks）
3.11 TensorFlow（TensorFlow）
第三門課 結構化機器學習專案 (Structuring Machine Learning Projects)
1.1 為什麼是ML策略？ (Why ML Strategy)
1.2 正交化(Orthogonalization)
1.3 單一數字評估指標(Single number evaluation metric)
1.4 滿足和優化指標 (Satisficing and Optimizing metric)
1.5 訓練集、開發集、測試集的劃分(Train/dev/test distributions)
1.6 開發集和測試集的大小 (Size of the dev and test sets)
1.7 什麼時候改變開發集/測試集和評估指標(When to change dev/test sets and metrics)
1.8 為什麼是人的表現 (Why human-level performance?)
1.9 可避免偏差(Avoidable bias)
1.10 理解人類的表現 (Understanding human-level performance)
1.11 超過人類的表現(Surpassing human-level performance)
1.12 改善你的模型表現 (Improving your model performance)
2.1 誤差分析 (Carrying out error analysis)
2.2 清除標註錯誤的資料(Cleaning up incorrectly labeled data)
2.3 快速搭建你的第一個系統，並進行迭代(Build your first system quickly, then iterate)
2.4 在不同的分佈上的訓練集和測試集 (Training and testing on different distributions)
2.5 資料分佈不匹配的偏差與方差分析 (Bias and Variance with mismatched data distributions)
2.6 處理資料不匹配問題(Addressing data mismatch)
2.7 遷移學習 (Transfer learning)
2.8 多工學習(Multi-task learning)
2.9 什麼是端到端的深度學習？ (What is end-to-end deep learning?)
2.10 是否使用端到端的深度學習方法 (Whether to use end-to-end deep learning)
第四門課 卷積神經網路（Convolutional Neural Networks）
2.1.1 計算機視覺（Computer vision）
1.2 邊緣檢測示例（Edge detection example）
1.3 更多邊緣檢測內容（More edge detection）
1.4 Padding
1.5 卷積步長（Strided convolutions）
1.6 三維卷積（Convolutions over volumes）
1.7 單層卷積網路（One layer of a convolutional network）
1.8 簡單卷積網路示例（A simple convolution network example）
1.9 池化層（Pooling layers）
1.10 卷積神經網路示例（Convolutional neural network example）
1.11 為什麼使用卷積？（Why convolutions?）
2.2 經典網路（Classic networks）
2.3 殘差網路（Residual Networks (ResNets)）
2.4 殘差網路為什麼有用？（Why ResNets work?）
2.5 網路中的網路以及 1×1 卷積（Network in Network and 1×1 convolutions）
2.6 谷歌 Inception 網路簡介（Inception network motivation）
2.7 Inception 網路（Inception network）
2.8 使用開源的實現方案（Using open-source implementations）
2.9 遷移學習（Transfer Learning）
2.10 資料擴充（Data augmentation）
2.11 計算機視覺現狀（The state of computer vision）
3.2 特徵點檢測（Landmark detection）
3.3 目標檢測（Object detection）
3.4 卷積的滑動視窗實現（Convolutional implementation of sliding windows）
3.5 Bounding Box預測（Bounding box predictions）
3.6 交併比（Intersection over union）
3.7 非極大值抑制（Non-max suppression）
3.8 Anchor Boxes
3.9 YOLO 演算法（Putting it together: YOLO algorithm）
3.10 候選區域（選修）（Region proposals (Optional)）
4.2 One-Shot學習（One-shot learning）
4.3 Siamese 網路（Siamese network）
4.4 Triplet 損失（Triplet 損失）
4.5 面部驗證與二分類（Face verification and binary classification）
4.6 什麼是神經風格轉換？（What is neural style transfer?）
4.7 什麼是深度卷積網路？（What are deep ConvNets learning?）
4.8 代價函式（Cost function）
4.9 內容代價函式（Content cost function）
4.10 風格代價函式（Style cost function）
4.11 一維到三維推廣（1D and 3D generalizations of models）
第五門課 序列模型(Sequence Models)
1.1 為什麼選擇序列模型？（Why Sequence Models?）
1.2 數學符號（Notation）
1.3 迴圈神經網路模型（Recurrent Neural Network Model）
1.4 通過時間的反向傳播（Backpropagation through time）
1.5 不同型別的迴圈神經網路（Different types of RNNs）
1.6 語言模型和序列生成（Language model and sequence generation）
1.7 對新序列取樣（Sampling novel sequences）
1.8 迴圈神經網路的梯度消失（Vanishing gradients with RNNs）
1.9 GRU單元（Gated Recurrent Unit（GRU））
1.10 長短期記憶（LSTM（long short term memory）unit）
1.11 雙向迴圈神經網路（Bidirectional RNN）
1.12 深層迴圈神經網路（Deep RNNs）
2.1 詞彙表徵（Word Representation）
2.2 使用詞嵌入（Using Word Embeddings）
2.3 詞嵌入的特性（Properties of Word Embeddings）
2.4 嵌入矩陣（Embedding Matrix）
2.5 學習詞嵌入（Learning Word Embeddings）
2.6 Word2Vec
2.7 負取樣（Negative Sampling）
2.8 GloVe 詞向量（GloVe Word Vectors）
2.9 情緒分類（Sentiment Classification）
2.10 詞嵌入除偏（Debiasing Word Embeddings）
3.1 基礎模型（Basic Models）
3.2 選擇最可能的句子（Picking the most likely sentence）
3.3 集束搜尋（Beam Search）
3.4 改進集束搜尋（Refinements to Beam Search）
3.5 集束搜尋的誤差分析（Error analysis in beam search）
3.6 Bleu 得分（選修）（Bleu Score (optional)）
3.7 注意力模型直觀理解（Attention Model Intuition）
3.8注意力模型（Attention Model）
3.9語音識別（Speech recognition）
3.10觸發字檢測（Trigger Word Detection）
3.11結論和致謝（Conclusion and thank you）
吳恩達採訪 Geoffery Hinton
吳恩達採訪 Ian Goodfellow
吳恩達採訪 Ruslan Salakhutdinov
吳恩達採訪 Yoshua Bengio
吳恩達採訪 林元慶
吳恩達採訪 Pieter Abbeel
吳恩達採訪 Andrej Karpathy
附件
深度學習qq群：59068549
---------------^-^--------------------保證不讓你失望----------------------------------*-*----
更多詳細內容請關注公眾號：目標檢測和深度學習
--------------*-*---------------------------------------------------------------------------------*-*----
相關推薦
吳恩達深度學習教程中文筆記目錄
深度學習筆記目錄 第一門課 神經網路和深度學習(Neural Networks and Deep Learning) 1.1 歡迎(Welcome) 1 1.2 什麼是神經網路？(What is a Neural Network) 1.3 神經網路的監督學
一些吳恩達深度學習教程筆記
下降法 1.梯度下降演算法 2.動量（Momentum）梯度下降法 向著最小點的方向加速，與這個方向垂直方向減速 v=β∗v+(1−β)∗v=β∗v+(1−β)∗資料 t β越小，就越關注當前資料，也就是曲線的細節 動量梯
吳恩達深度學習2.3筆記_Improving Deep Neural Networks_超引數除錯 和 Batch Norm
版權宣告：本文為博主原創文章，未經博主允許不得轉載。 https://blog.csdn.net/weixin_42432468 學習心得： 1、每週的視訊課程看一到兩遍 2、做筆記 3、做每週的作業練習，這個裡面的含金量非常高。先根據notebook過一遍，掌握後一定要自己敲一遍，
吳恩達深度學習2.2筆記_Improving Deep Neural Networks_優化演算法
版權宣告：本文為博主原創文章，未經博主允許不得轉載。 https://blog.csdn.net/weixin_42432468 學習心得： 1、每週的視訊課程看一到兩遍 2、做筆記 3、做每週的作業練習，這個裡面的含金量非常高。先根據notebook過一遍，掌握後一定要自己敲一遍，
吳恩達深度學習2.1筆記_Improving Deep Neural Networks_深度學習的實踐層面
版權宣告：本文為博主原創文章，未經博主允許不得轉載。 https://blog.csdn.net/weixin_42432468 學習心得： 1、每週的視訊課程看一到兩遍 2、做筆記 3、做每週的作業練習，這個裡面的含金量非常高。先根據notebook過一遍，掌握後一定要自己敲一遍，
吳恩達深度學習系列課程筆記：卷積神經網路（一）
本系列文章將對吳恩達在網易公開課“深度學習工程師”微專業內容進行筆記總結，這一部分介紹的是“卷積神經網路”部分。 1、計算機視覺 計算機視覺在我們還是生活中有非常廣泛的應用，以下幾個是最常見的例子： 影象分類： 可以對影象中的物體種類進行判斷，如確定影象中
吳恩達-深度學習-課程筆記-3: Python和向量化( Week 2 )
有時 指數 檢查 都是 效果 很快 -1 tro str 1 向量化( Vectorization ) 在邏輯回歸中，以計算z為例，z = w的轉置和x進行內積運算再加上b，你可以用for循環來實現。 但是在python中z可以調用numpy的方法，直接一句z = np.d
吳恩達-深度學習-課程筆記-6: 深度學習的實用層面( Week 1 )
data 絕對值 initial 均值化 http 梯度下降法 ati lod 表示 1 訓練/驗證/測試集( Train/Dev/test sets ) 構建神經網絡的時候有些參數需要選擇，比如層數，單元數，學習率，激活函數。這些參數可以通過在驗證集上的表現好壞來進行選擇
吳恩達-深度學習-課程筆記-8: 超參數調試、Batch正則化和softmax( Week 3 )
erp 搜索 給定 via 深度 mode any .com sim 1 調試處理( tuning process ) 如下圖所示，ng認為學習速率α是需要調試的最重要的超參數。 其次重要的是momentum算法的β參數（一般設為0.9），隱藏單元數和mini-batch的
吳恩達深度學習筆記（deeplearning.ai）之循環神經網絡（RNN）（一）
不同的 圖片 存在 最終 一個 har end markdown 輸入 1. RNN 首先思考這樣一個問題：在處理序列學習問題時，為什麽不使用標準的神經網絡（建立多個隱藏層得到最終的輸出）解決，而是提出了RNN這一新概念？ 標準神經網絡如下圖所示： 標準神經網絡在解決序列
吳恩達深度學習筆記（deeplearning.ai）之循環神經網絡（RNN）（二）
blog 如何 這一 累加 soft 學習 測試 接下來 數據 導讀 本節內容介紹如何使用RNN訓練語言模型，並生成新的文本序列。 語言模型（Language model） 通過語言模型，我們可以計算某個特定句子出現的概率是多少，或者說該句子屬於真實句子的概率是多少。正式點
吳恩達深度學習專項課程2學習筆記/week2/Optimization Algorithms
sce 適應 耗時 bubuko 優化算法 src bat -a 過程 Optimization algorithms 優化算法以加速訓練。 Mini-batch gradient descend Batch gradient descend：每一小步梯度下降否需要計算所
吳恩達深度學習專項課程3學習筆記/week2/Error analysis
ini 調整 數據 class http 評估 參數 pos 修正 Error analysis Carrying out error analysis Error analysis是手動分析算法錯誤的過程。 通過一個例子來說明error analysis的過程。假設你在做
吳恩達深度學習筆記（deeplearning.ai）之循環神經網絡（RNN）（三）
崩潰 body 很難 mark 因此 梯度 處理方法 弊端 原理 1. 導讀 本節內容介紹普通RNN的弊端，從而引入各種變體RNN，主要講述GRU與LSTM的工作原理。 2. 普通RNN的弊端 在NLP中，句子內部以及句子之間可能存在很長的依賴關系（long-term d
吳恩達深度學習筆記 course2 week3 超參數調試,Batch Norm,和程序框架
etc 值範圍 操作 normal 可能 標準 通過 pan 範圍 1.Tuning Process 對超參數的一個調試處理 一般而言,在調試超參數的過程中,我們通常將學習率learning_rate看作是最重要的一個超參數,其次是動量梯度下降因子β(一般為0.9),
吳恩達深度學習筆記（七） —— Batch Normalization
學習 bat 中括號 和平 一個 內容 batch 可能 加權 主要內容： 一.Batch Norm簡介 二.歸一化網絡的激活函數 三.Batch Norm擬合進神經網絡 四.測試時的Batch Norm 一.Batch Norm簡介 1.在機器學習中，我們一般
吳恩達深度學習筆記（八） —— ResNets殘差網絡
con 一個 學習 ets str 帶來 圖片 梯度 就是 （好累……，明日在寫……） 主要內容： 一.殘差網絡簡介 二.identity block 和 convolutional block 一.殘差網絡簡介 1.深度神經網絡很大的一個優點就是能夠表示一個
吳恩達深度學習筆記（3）-神經網路如何實現監督學習？
神經網路的監督學習(Supervised Learning with Neural Networks) 關於神經網路也有很多的種類，考慮到它們的使用效果，有些使用起來恰到好處，但事實表明，到目前幾乎所有由神經網路創造的經濟價值，本質上都離不開一種叫做監督學習的機器學習類別，讓我們舉例看看。
吳恩達深度學習筆記（4）-為什麼深度學習會興起？
為什麼深度學習會興起？(Why is Deep Learning taking off?) 本節視訊主要講了推動深度學習變得如此熱門的主要因素。包括資料規模、計算量及演算法的創新。(3個重點概念！請背書！） 深度學習和神經網路之前的基礎技術理念已經存在大概幾十年了，為什麼它們現在才突
Elam的吳恩達深度學習課程筆記（一）
記憶力是真的差，看過的東西要是一直不用的話就會馬上忘記,於是乎有了寫部落格把學過的東西儲存下來，大概就是所謂的集鞏固，分享，後期查閱與一身的思想吧，下面開始正題 深度學習概論 什麼是神經網路 什麼是神經網路呢，我們就以房價預測為例子來描述一個最簡單的神經網路模型。 假設有6間