卷積神經網路反向傳播演算法
阿新 • • 發佈:2019-02-13
神經網路的訓練過程,就是通過已有的樣本,求取使代價函式最小化時所對應的引數。代價函式測量的是模型對樣本的預測值與其真實值之間的誤差,最小化的求解一般使用梯度下降法(Gradient Decent)或其他與梯度有關的方法。其中的步驟包括:
- 初始化引數。
- 求代價函式關於引數的梯度。
- 根據梯度更新引數的值。
- 經過迭代以後取得最佳引數,從而完成神經網路的訓練。
其中最重要的步驟就是求梯度,這可以通過反向傳播演算法(back propagation)來實現。
單個神經元的訓練
單個神經元的結構如下圖。假設一個訓練樣本為
這裡激勵函式以使用sigmoid為例,當然也可以使用其他的比如tanh或者rectived linear unit函式。要求的引數為
通過定義變數
訓練過程中,要求代價函式