TensorFlow北大公開課學習筆記4.4-神經網路優化----正則化 (正則化損失函式)
阿新 • • 發佈:2018-12-19
今天學習了正則化,主要內容是:通過程式碼比較正則化與不正則化的區別。
- 什麼叫過擬合?
神經網路模型在訓練資料集上的準確率較高,在新的資料進行預測或分類時準確率較低, 說明模型的泛化能力差
- 什麼叫正則化:?
在損失函式中給每個引數 w 加上權重,引入模型複雜度指標,從而抑制模型噪聲, 減小過擬合。
- 正則化目的:緩解過擬合
- 正則化在損失函式中引入模型複雜度指標,利用給w加權值,弱化訓練資料的噪聲(一般不正則化b),
用 300 個符合正態分佈的點 X[x0, x1]作為資料集,根據點 X[x0, x1]計算生成標註 Y_,將資料集標註為紅色點和藍色點。 標註規則為:當 x02 + x12 < 2 時, y_=1,標註為紅色;當 x02 + x12 ≥2 時, y_=0,標註為藍色。我們分別用無正則化和有正則化兩種方法,擬合曲線, 把紅色點和藍色點分開。 在實際分類時,如果前向傳播輸出的預測值 y 接近 1 則為紅色點概率越大,接近 0 則為藍色點概率越大,輸出的預測值 y 為 0.5 是紅藍點概率分界線。
#coding:utf-8 #0匯入模組 ,生成模擬資料集 import tensorflow as tf import numpy as np import matplotlib.pyplot as plt BATCH_SIZE = 30 seed = 2 #基於seed產生隨機數 rdm = np.random.RandomState(seed) #隨機數返回300行2列的矩陣,表示300組座標點(x0,x1)作為輸入資料集 X = rdm.randn(300,2) #從X這個300行2列的矩陣中取出一行,判斷如果兩個座標的平方和小於2,給Y賦值1,其餘賦值0 #作為輸入資料集的標籤(正確答案) Y_ = [int(x0*x0 + x1*x1 <2) for (x0,x1) in X] #遍歷Y中的每個元素,1賦值'red'其餘賦值'blue',這樣視覺化顯示時人可以直觀區分 Y_c = [['red' if y else 'blue'] for y in Y_] #對資料集X和標籤Y進行shape整理,第一個元素為-1表示,隨第二個引數計算得到,第二個元素表示多少列,把X整理為n行2列,把Y整理為n行1列 X = np.vstack(X).reshape(-1,2) Y_ = np.vstack(Y_).reshape(-1,1) # print (X) # print (Y_) # print (Y_c) #用plt.scatter畫出資料集X各行中第0列元素和第1列元素的點即各行的(x0,x1),用各行Y_c對應的值表示顏色(c是color的縮寫) plt.scatter(X[:,0], X[:,1], c=np.squeeze(Y_c)) #np.squeeze(y)去維度,如[[1],[2]],經過函式後會變為[1,2] plt.show() #定義神經網路的輸入、引數和輸出,定義前向傳播過程 def get_weight(shape, regularizer): w = tf.Variable(tf.random_normal(shape), dtype=tf.float32) tf.add_to_collection('losses', tf.contrib.layers.l2_regularizer(regularizer)(w)) #將內容加到集合對應位置做加法 return w def get_bias(shape): b = tf.Variable(tf.constant(0.01, shape=shape)) return b x = tf.placeholder(tf.float32, shape=(None, 2)) y_ = tf.placeholder(tf.float32, shape=(None, 1)) w1 = get_weight([2,11], 0.01) b1 = get_bias([11]) #11個偏置 y1 = tf.nn.relu(tf.matmul(x, w1)+b1) w2 = get_weight([11,1], 0.01) b2 = get_bias([1]) y = tf.matmul(y1, w2)+b2 #輸出層不包括relu #定義損失函式 loss_mse = tf.reduce_mean(tf.square(y-y_)) #y是異常 y_是資料真實值 loss_total = loss_mse + tf.add_n(tf.get_collection('losses')) #定義反向傳播方法:不含正則化 train_step = tf.train.AdamOptimizer(0.0001).minimize(loss_mse) #Adam優化函式 with tf.Session() as sess: init_op = tf.global_variables_initializer() sess.run(init_op) STEPS = 40000 for i in range(STEPS): start = (i*BATCH_SIZE) % 300 #30開始。然後31,然後32,然後33,然後34 end = start + BATCH_SIZE sess.run(train_step, feed_dict={x:X[start:end], y_:Y_[start:end]}) if i % 2000 == 0: loss_mse_v = sess.run(loss_mse, feed_dict={x:X, y_:Y_}) print("After %d steps, loss is: %f" %(i, loss_mse_v)) #xx在-3到3之間以步長為0.01,yy在-3到3之間以步長0.01,生成二維網格座標點 xx, yy = np.mgrid[-3:3:.01, -3:3:.01] #將xx , yy拉直,併合併成一個2列的矩陣,得到一個網格座標點的集合 grid = np.c_[xx.ravel(), yy.ravel()] #xx.ravel()函式是將多維陣列轉化為一維,np.c_[]將兩個陣列做融合 # print(grid) #將網格座標點喂入神經網路 ,probs為輸出 probs = sess.run(y, feed_dict={x:grid}) #probs的shape調整成xx的樣子 probs = probs.reshape(xx.shape) #轉化為訓練資料的形狀 print ("w1:\n",sess.run(w1)) print ("b1:\n",sess.run(b1)) print ("w2:\n",sess.run(w2)) print ("b2:\n",sess.run(b2)) plt.scatter(X[:,0], X[:,1], c=np.squeeze(Y_c)) plt.contour(xx, yy, probs, levels=[.5])#畫出訓練得到的函式,也就是邊界,給0.5的點上色x軸座標值, # y軸座標值,該點的高度,levels=[等高線的高度]) 通過x軸座標,y軸座標和各點的高度,將指定高度的點描上顏色 plt.xticks() plt.yticks() plt.show() #定義反向傳播方法:包含正則化 train_step = tf.train.AdamOptimizer(0.0001).minimize(loss_total) with tf.Session() as sess: init_op = tf.global_variables_initializer() sess.run(init_op) STEPS = 40000 for i in range(STEPS): start = (i*BATCH_SIZE) % 300 end = start + BATCH_SIZE sess.run(train_step, feed_dict={x: X[start:end], y_:Y_[start:end]}) if i % 2000 == 0: loss_v = sess.run(loss_total, feed_dict={x:X,y_:Y_}) print("After %d steps, loss is: %f" %(i, loss_v)) xx, yy = np.mgrid[-3:3:.01, -3:3:.01] grid = np.c_[xx.ravel(), yy.ravel()] probs = sess.run(y, feed_dict={x:grid}) probs = probs.reshape(xx.shape) print ("w1:\n",sess.run(w1)) print ("b1:\n",sess.run(b1)) print ("w2:\n",sess.run(w2)) print ("b2:\n",sess.run(b2)) plt.scatter(X[:,0], X[:,1], c=np.squeeze(Y_c)) plt.contour(xx, yy, probs, levels=[.5]) plt.show()
無正則化:
正則化:
對比無正則化與有正則化模型的訓練結果,可看出有正則化模型的擬合曲線平滑,模型具有更好的泛化能力。
以下是正則化的結果:非正則化沒截圖上來了。
疑惑:
我想把損失函式定義為交叉熵函式,即把下面兩行程式碼換成:
來源於:
結果
將學習lv換成0.001.保錯。但是我現在還不會改。我想知道為什麼交叉熵會效果那麼差。什麼時候可以用交叉熵呢?