把深度學習任務比作一個建築工程,那麼它可以被分為五塊積木

1、連線模式
連線模式包括全連線、卷積、池化、殘差，甚至inception。這些結構的相互連線組成了神經網路的框架。
2、非線性模組
正是因為神經網路具有非線性模組，多層神經網路在理論上是可以無限逼近任意的函式。如果沒有非線性模組，即使再多的層結構堆疊，最後的作用也僅僅是相當於一個感知機。
常見的非線性模組有 tanh，sigmoid，ReLU，根據ReLU衍生出來的pReLU 等等。
ReLU是目前應用最為廣泛的非線性啟用函式。
缺點：*********
優點：*********
3、優化器
優化器是指在訓練過程中，調整神經網路每層的引數，使得最後的輸出結果最好，並優化調整引數的時間，也就是訓練時間。常見的優化器有SGD（隨機梯度下降），momentum 等等。
4損失函式

怎麼去定義優化器最後輸出的結果的好壞程度呢？就是通過損失函式來衡量的。優化器每次將一批訓練樣本迭代計算之後，會計算出一個結果，拿這個結果和實際標籤的真實值進行對比，這兩者之間一定會有差別，這個差值就是loss值。然後優化器將損失值再反向的傳播回來，反向經過的每一層，再去調整每一層的引數，使得下次loss值降低。
計算loss值的方法也直接回影響到網路的效能，常見的有SoftMax Loss，交叉熵損失，均方差損失。
對於細粒度分類中，例如人臉識別應用中的損失函式有：TripletLoss，Center Loss，A-softMax Loss，AM Loss。
事實證明，採用相同的網路結構，不同的loss計算方法對識別結果有很大的影響。
5、超引數
在機器學習的上下文中，超引數是在開始學習過程之前設定值的引數，而不是通過訓練得到的引數資料。通常情況下，需要對超引數進行優化，給學習機選擇一組最優超引數，以提高學習的效能和效果。例如，學習率，batch size，dropout rate，data augmentation。