MSE均方誤差（L2 loss）

1.程式碼展示MAE和MSE圖片特性

import tensorflow as tf
import matplotlib.pyplot as plt
sess = tf.Session()
x_val = tf.linspace(-1.,-1.,500)
target = tf.constant(0.)

#計算L2_loss
l2_y_val = tf.square(target - x_val)
l2_y_out = sess.run(l2_y_val)#用這個函式開啟計算圖

#計算L1_loss
l1_y_val = tf.abs(target - x_val)
l1_y_out = sess.run(l1_y_val)#用這個函式開啟計算圖
 


#開啟計算圖輸出x_val，用來畫圖
#用畫圖來體現損失函式的特點
x_array = sess.run(x_val)
plt.plot(x_array, l1_y_out, 'b--', lable = 'L1_loss')
plt.plot(x_array, l2_y_out, 'r--', lable = 'L2_loss')

2.MSE公式及導數推導

損失函式：

以單個樣本舉例：

，a=σ(z), where z=wx+b

利用SGD演算法優化損失函式，通過梯度下降法改變引數從而最小化損失函式：
對兩個引數權重和偏置進行求偏導（這個過程相對較容易）：

引數更新：
這邊就說一種簡單的更新策略（隨機梯度下降）：

3.分析L2 Loss的特點

根據上面的損失函式對權重和偏置求導的公式我們發現：

其中，z表示神經元的輸入，σ表示啟用函式。從以上公式可以看出，w和b的梯度跟啟用函式的梯度成正比，啟用函式的梯度越大，w和b的大小調整得越快，訓練收斂得就越快。但是L2 Loss的這個特點存在的缺陷在於，對於我們常用的sigmoid啟用函式來說，並不是很符合我們的實際需求。
先介紹下sigmoid啟用函式的特性：
sigmoid函式就是損失函式的輸入：a=σ(z) 中的σ()的一種。這是一個啟用函式，該函式的公式，導數以及導數的分佈圖如下圖所示：

我們可以從sigmoid啟用函式的導數特性圖中發現，當啟用值很大的時候，sigmoid的梯度（就是曲線的斜率）會比較小，權重更新的步幅會比較小，這時候網路正處在誤差較大需要快速調整的階段，而上述特性會導致網路收斂的會比較慢；而當啟用值很小的時候，sigmoid的梯度會比較大，權重更新的步幅也會比較大，這時候網路的預測值正好在真實值的邊緣，太大的步幅也會導致網路的震盪。這我們的期望不符，即：不能像人一樣，錯誤越大，改正的幅度越大，從而學習得越快。而錯誤越小，改正的幅度小一點，從而穩定的越快。而交叉熵損失函式正好可以解決這個問題。