【學習筆記】吳恩達老師《深度學習工程師》五
第五課 導數
這一節,吳老師用很好理解的方式介紹了導數,對於中國學生來說導數沒有問題,老師講解的方式很新穎。
首先假設f(a)=3a,當a取2,f(a)=6,;這時稍微增大一下a的值,比如取2.001,此時f(a)=6.003,可見a增大0.001,f(a)增大0.003,是a增量的3倍,這裡斜率就是3。(這種講解方法簡單易懂,o( ̄▽ ̄)d)
再比如f(a)=a²,當a=2,f(a)=4;將a取為2.001,f(a)=4.004,增大4唄;當a=5,f(a)=25,同樣增大0.001,f(a)變為25.010(f(a)增大都為近似值),不難發現,此時導數值好像是2a,與標準公式不謀而合(-_-||)。
第六課 計算圖
老師例舉J(a,b,c)=3(a+bc),令bc=u,a+bc=v,引入中間變數。通過中間變數引入計算圖的概念:
通過計算圖舉例說明Forward propagation前向傳播,和Back propagation反向傳播。
所謂FP,就是給每一個變數賦值,然後就算出最後的函式值。
而BP,通過最後的函式結果,反向計算每一箇中間變數對應的常數值。
例如y=wx+b,FP就是給了w,b計算y。 而BP,是計算w和b的值。
這裡老師計算了導數值。
相關推薦
【學習筆記】吳恩達老師第一週程式設計大作業總結
Logistic Regression with a Neural Network mindset 用神經網路的思想來實現Logistic迴歸 學習目標 構建深度學習演算法的基本結構,包括: 初始化引數 &
【學習筆記】吳恩達老師《深度學習工程師》五
第五課 導數 這一節,吳老師用很好理解的方式介紹了導數,對於中國學生來說導數沒有問題,老師講解的方式很新穎。 首先假設f(a)=3a,當a取2,f(a)=6,;這時稍微增大一下a的值,比如取2.001,此時f(a)=6.003,可見a增大0.001,f(a)增大0.003,是a增量的3倍,這
【學習筆記】吳恩達老師《深度學習工程師》四
第三課 logistic迴歸損失函式 我們想使用sigmoid函式,將我們的輸出結果介於0~1之間,那麼我們就需要一個引數w,乘以我們的輸入x,然後累加,從而實現我們的想法。 如果我們某次的輸出結果為,預期的輸出結果為,自然得我們渴望得到,那麼構建一個損失函式L,來衡量輸出結果即可。  
【學習筆記】吳恩達老師《深度學習工程師》三
二週目課程 第一課 二分分類 二分類問題,說白了就是結果只有兩種可能。老師以識別影象中是否為貓作為舉例,首先講解了神經網路中常用的符號規定。 當給我們一幅圖: 我們需要得到的結果是,圖片中是否是貓呢?顯然結果僅有兩種:是(1)和不是(0)。 那麼神經網路是如何處理圖片呢?圖片
吳恩達老師深度學習視訊課筆記:構建機器學習專案(機器學習策略)(1)
機器學習策略(machine learning strategy):分析機器學習問題的方法。 正交化(orthogonalization):要讓一個監督機器學習系統很好的工作,一般要確保四件事情,如下圖: (1)、首先,你通常必須確保至少系
<吳恩達老師深度學習筆記二>第一周,深度學習介紹(未完待續)
神奇 建立 網絡筆記 1.3 展示 定義 信息 英語 輸出 摘要: 本篇博客僅作為筆記,如有侵權,請聯系,立即刪除(網上找博客學習,然後手記筆記,因紙質筆記不便保存,所以保存到網絡筆記)。 1.1 歡迎 深度學習常常運用於:讀取X光圖像、個性化教育、精準化農業、駕駛
<吳恩達老師深度學習筆記二>第一週,深度學習介紹(未完待續)
摘要: 本篇部落格僅作為筆記,如有侵權,請聯絡,立即刪除(網上找部落格學習,然後手記筆記,因紙質筆記不便儲存,所以儲存到網路筆記)。 1.1 歡迎 深度學習常常運用於:讀取X光影象、個性化教育、精準化農業、駕駛汽車等領域。深度學習處於AI分支中,學習如何建立神經網路(包含一個深度神經網路),以及如
深度學習,周志華,機器學習,西瓜書,TensorFlow,Google,吳軍,數學之美,李航,統計學習方法,吳恩達,深度學習筆記,pdf下載
1. 機器學習入門經典,李航《統計學習方法》 2. 周志華的《機器學習》pdf 3.《數學之美》吳軍博士著pdf 4. Tensorflow 實戰Google深度學習框架.pdf 5.《TensorFlow實戰》黃文堅 高清完整PDF 6. 復旦大
Operations on word vectors-v2 吳恩達老師深度學習課程第五課第二週程式設計作業1
吳恩達老師深度學習課程第五課(RNN)第二週程式設計作業1, 包含答案 Operations on word vectors Welcome to your first assignment of this week! Because word embe
v2 吳恩達老師深度學習第五課第二週程式設計作業2
吳恩達老師深度學習第五課第二週程式設計作業2,包含答案! Emojify! Welcome to the second assignment of Week 2. You are going to use word vector representation
論文整理集合 -- 吳恩達老師深度學習課程
吳恩達老師深度學習課程中所提到的論文整理集合!這些論文是深度學習的基本知識,閱讀這些論文將更深入理解深度學習。 這些論文基本都可以免費下載到,如果無法免費下載,請留言!可以到coursera中看該視訊課程。 下面的論文主要分為3部分: 1. 優化神經網路的
吳恩達老師機器學習筆記異常檢測(一)
明天就要開組會了,天天在辦公室划水都不知道講啥。。。 今天開始異常檢測的學習,同樣程式碼比較簡單一點 異常檢測的原理就是假設樣本的個特徵值都呈高斯分佈,選擇分佈較離散的樣本的作為異常值。這裡主要注意的是通過交叉驗證對閾值的選擇和F1score的應用。 原始資料: 程式碼如下:
吳恩達老師機器學習筆記主成分分析PCA
接著學習主成分分析,這個演算法在之前計量地理學的作業裡寫過,不過前者稍微囉嗦了一點。 原始二維資料: 放程式碼: load('ex7data1.mat'); [m n]=size(X); X=(X-mean(X))./std(X); sigma=1/m*(X'*X); % 求取協
吳恩達老師機器學習筆記K-means聚類演算法(二)
運用K-means聚類演算法進行影象壓縮 趁熱打鐵,修改之前的演算法來做第二個練習—影象壓縮 原始圖片如下: 程式碼如下: X =imread('bird.png'); % 讀取圖片 X =im2double(X); % unit8轉成double型別 [m,n,z]=size
吳恩達老師機器學習筆記K-means聚類演算法(一)
今天接著學習聚類演算法 以後堅決要八點之前起床學習!不要浪費每一個早晨。 K-means聚類演算法聚類過程如下: 原理基本就是先從樣本中隨機選擇聚類中心,計算樣本到聚類中心的距離,選擇樣本最近的中心作為該樣本的類別。最後某一類樣本的座標平均值作為新聚類中心的座標,如此往復。 原
吳恩達老師機器學習筆記SVM(二)
今天的部分是利用高斯核函式對分佈稍微複雜一點的資料進行分類 這裡的高斯核函式是構建新的特徵,該特徵是關於到其餘所有樣點的歐式距離。 下面放出程式碼: load('ex6data2.mat'); [m n]=size(X); f=zeros(m,m); a=0.005 for i=
吳恩達老師機器學習筆記SVM(一)
時隔好久沒有再拾起機器學習了,今日抽空接著學 今天是從最簡單的二維資料分類開始學習SVM~ (上圖為原始資料) SVM的代價函式 這裡套用以前logistic迴歸的模板改一下下。。 load('ex6data1.mat'); theta=rand(3,1); [
吳恩達老師機器學習筆記異常檢測(二)
明天就要開組會了,天天在辦公室划水都不知道講啥。。。 今天開始異常檢測的學習,同樣程式碼比較簡單一點 異常檢測的原理就是假設樣本的個特徵值都呈高斯分佈,選擇分佈較離散的樣本的作為異常值。這裡主要注意的是通過交叉驗證對閾值的選擇和F1score的應用。 原始資料:
【吳恩達 Coursera深度學習課程】 Neural Networks and Deep Learning 第一週課後習題
因為這學期選了深度學習的課程,所以也會自學一下相關內容,在網上選擇了吳恩達的深度學習來進行學習,首先是第一門課程,Neural Networks and Deep Learning。第一週的內容是深度學習概論,課後習題為十個選擇題,個人觀點,僅供參考,歡迎指正。這題問為什麼稱