神經網路代價函式與交叉熵
在此我們以MSE作為代價函式:
其中, C表示代價 函式 ,x表示樣本, y表示實際值, 表示實際值, 表示實際值, a表示輸出值, 表示輸出值, n表示樣本的總數。為簡單起見 表示樣本的總數。為簡單起見 表示樣本的總數。
a=σ(z), z=∑W j*X j+b
σ() 是啟用函式
使用梯度下降法(Gradient descent)來調整權值引數的大小,權值w和偏置b的梯度推導如下:
其中,z表示神經元的輸入,σ表示啟用函式。w和b的梯度跟啟用函式的梯度成正比,啟用函式的梯度越大,w和b的大小調整得越快,訓練收斂得就越快。
假設我們的啟用函式是sigmoid函式:
若我們的預測值為1,A點處的梯度大,能以較快的速度逼近預測值,B點梯度小,逼近速度較慢,這樣效果比較好
若我們的預測值為0,A點出的梯度大,能以較快的速度逼近預測值,B點梯度小,逼近速度慢,效果差
我們希望在與預測值較遠的點能以較快的速度逼近,較近的點一較慢的速度逼近。
接下來我們不改變啟用函式,而是改變代價函式:
可得到如下結果:
這樣在與預測值較遠的情況下能以較快的速度逼近,較近的情況下,以較慢的速度逼近,符合想要的效果。
結論:1.交叉熵代價函式中,權值和偏置值的調整與無關,另外,梯度公式中的表示輸出值與實際值的誤差。所以當誤差越大時,梯度就越大,引數w和b的調整就越快,訓練的速度也就越快。
2.如果輸出神經元是線性的,那麼二次代價函式就是一種合適的選擇。如果輸出神經元是S型函式,那麼比較適合用交叉熵代價函式。
3.對數釋然函式常用來作為softmax迴歸的代價函式,如果輸出層神經元是sigmoid函式,可以採用交叉熵代價函式。而深度學習中更普遍的做法是將softmax作為最後一層,此時常用的代價函式是
對數釋然代價函式。
4.對數似然代價函式與softmax的組合和交叉熵與sigmoid函式的組合非常相似。對數釋然代價函式在二分類時可以化簡為交叉熵代價函式的形式。
5.在Tensorflow中用:
tf.nn.sigmoid_cross_entropy_with_logits()來表示跟sigmoid搭配使用的交叉熵。
tf.nn.softmax_cross_entropy_with_logits()來表示跟softmax搭配使用的交叉熵。
另外,可能產生過擬合問題:
此時我們可以在代價函式中加入正則項:,右式第二部分即為正則項。正則化的思想就是在代價函式中加入刻畫模型複雜程度的指標。
關於防止過擬合的問題,在下一篇文章中做討論。
import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data ''' ##簡單版本 ##只有兩層網路,輸入層和輸出層 ''' mnist = input_data.read_data_sets('MNIST_data',one_hot=True) batch_size = 100 n_batch = mnist.train.num_examples // batch_size x_train = tf.placeholder(tf.float32,[None,784]) y_train = tf.placeholder(tf.float32,[None,10]) w = tf.Variable(tf.zeros([784,10])) bias = tf.Variable(tf.zeros([1,10])) y = tf.nn.softmax(tf.matmul(x_train,w) + bias) # loss = tf.reduce_mean(tf.square(y - y_train)) #MSE代價函式 loss = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y_train,logits=y)) #交叉熵代價函式 #train = tf.train.GradientDescentOptimizer(0.1).minimize(loss) #train = tf.train.AdadeltaOptimizer(1e-3).minimize(loss) train = tf.train.MomentumOptimizer(0.1,0.9).minimize(loss) init = tf.global_variables_initializer() correct = tf.equal(tf.argmax(y_train,1),tf.argmax(y,1)) accuracy = tf.reduce_mean(tf.cast(correct,tf.float32)) with tf.Session() as sess: sess.run(init) for epoch in range(31): for batch in range(n_batch): batch_xs,batch_ys = mnist.train.next_batch(batch_size) sess.run(train,feed_dict={x_train:batch_xs,y_train:batch_ys}) acc = sess.run(accuracy,feed_dict={x_train:mnist.test.images,y_train:mnist.test.labels}) print('iteration ', str(epoch),' accuracy: ',acc)