1.2 什麼是神經網路

卷積神經網路（CNN）——影象

迴圈神經網路（RNN）,全稱是長短期記憶網路（LSTM）——自然語言處理（NLP）

ReLU 函式

線性整流函式（Linear rectification function），又稱修正線性單元，是一種人工神經網路中常用的啟用函式（activation function），通常指代以斜坡函式及其變種為代表的非線性函式。

通常意義下，線性整流函式指代數學中的斜坡函式，即\(f(x)=max(0,x)\)

在深度學習中，我們將機器學習中預測的引數稱為特徵，也就是對特徵引數進行一系列數學運算，來得到預測結果。對於一個房子價格來說，它的大小，臥室數量，郵政編碼（位置），富裕程度都可以成為影響其房價的特徵。

在圖上每一個畫的小圓圈都可以是 ReLU 的一部分，也就是指修正線性單元，或者其 它稍微非線性的函式。基於房屋面積和臥室數量，可以估算家庭人口，基於郵編，可以估 測步行化程度或者學校的質量。

而像這樣的，就是一個簡單的神經網路，而對於這個來說，神經網路有三層，藍框有資料的那一層成為“輸入層”，中間三個圓圈成為“隱藏層”，最後則為輸出層。

1.3 用神經網路進行監督學習

https://zhuanlan.zhihu.com/p/159305118

1.4 為什麼深度學習會興起？

神經網路方面的一個巨大突破是從 sigmoid 函式轉換到一個 ReLU 函式

在負值區域，sigmoid函式的梯度會接近0，學習的速度慢（梯度下降引數更新慢）

sigmoid的導數只有在0附近的時候有比較好的啟用性，在正負飽和區的梯度都接近於0，所以這會造成梯度彌散，而relu函式在大於0的部分梯度為常數，所以不會產生梯度彌散現象。第二，relu函式在負半區的導數為0 ，所以一旦神經元啟用值進入負半區，那麼梯度就會為0，也就是說這個神經元不會經歷訓練，即所謂的稀疏性。第三，relu函式的導數計算更快，程式實現就是一個if-else語句，而sigmoid函式要進行浮點四則運算。