利用TensorFlow訓練簡單的二分類神經網路模型
利用TensorFlow實現《神經網路與機器學習》一書中4.7模式分類練習
具體問題是將如下圖所示雙月牙資料集分類。
使用到的工具:
python3.5 tensorflow1.2.1 numpy matplotlib
1.產生雙月環資料集
def produceData(r,w,d,num):
r1 = r-w/2
r2 = r+w/2
#上半圓
theta1 = np.random.uniform(0, np.pi ,num)
X_Col1 = np.random.uniform( r1*np.cos(theta1),r2*np.cos(theta1),num)[:, np.newaxis]
X_Row1 = np.random.uniform(r1*np.sin(theta1),r2*np.sin(theta1),num)[:, np.newaxis]
Y_label1 = np.ones(num) #類別標籤為1
#下半圓
theta2 = np.random.uniform(-np.pi, 0 ,num)
X_Col2 = (np.random.uniform( r1*np.cos(theta2),r2*np.cos(theta2),num) + r)[:, np.newaxis]
X_Row2 = (np.random.uniform(r1 * np.sin(theta2), r2 * np.sin(theta2), num) -d)[:,np.newaxis]
Y_label2 = -np.ones(num) #類別標籤為-1,注意:由於採取雙曲正切函式作為啟用函式,類別標籤不能為0
#合併
X_Col = np.vstack((X_Col1, X_Col2))
X_Row = np.vstack((X_Row1, X_Row2))
X = np.hstack((X_Col, X_Row))
Y_label = np.hstack((Y_label1,Y_label2))
Y_label.shape = (num*2 , 1)
return X,Y_label
其中r為月環半徑,w為月環寬度,d為上下月環距離(與書中一致)
2.利用TensorFlow搭建神經網路模型
2.1 神經網路層新增
2.2 利用tensorflow建立神經網路模型def add_layer(layername,inputs, in_size, out_size, activation_function=None): # add one more layer and return the output of this layer with tf.variable_scope(layername,reuse=None): Weights = tf.get_variable("weights",shape=[in_size, out_size], initializer=tf.truncated_normal_initializer(stddev=0.1)) biases = tf.get_variable("biases", shape=[1, out_size], initializer=tf.truncated_normal_initializer(stddev=0.1)) Wx_plus_b = tf.matmul(inputs, Weights) + biases if activation_function is None: outputs = Wx_plus_b else: outputs = activation_function(Wx_plus_b) return outputs
輸入層大小:2
隱藏層大小:20
輸出層大小:1
啟用函式:雙曲正切函式
學習率:0.1(與書中略有不同)
(具體的搭建過程可參考莫煩的視訊,連結就不附上了自行搜尋吧......)
###define placeholder for inputs to network xs = tf.placeholder(tf.float32, [None, 2]) ys = tf.placeholder(tf.float32, [None, 1]) ###新增隱藏層 l1 = add_layer("layer1",xs, 2, 20, activation_function=tf.tanh) ###新增輸出層 prediction = add_layer("layer2",l1, 20, 1, activation_function=tf.tanh) ###MSE 均方誤差 loss = tf.reduce_mean(tf.reduce_sum(tf.square(ys-prediction), reduction_indices=[1])) ###優化器選取 學習率設定 此處學習率置為0.1 train_step = tf.train.GradientDescentOptimizer(0.1).minimize(loss) ###tensorflow變數初始化,開啟會話 init = tf.global_variables_initializer()#tensorflow更新後初始化所有變數不再用tf.initialize_all_variables() sess = tf.Session() sess.run(init)
2.3 訓練模型
###訓練2000次
for i in range(2000):
sess.run(train_step, feed_dict={xs: x_data, ys: y_label})
3.利用訓練好的網路模型尋找分類決策邊界
3.1 產生二維空間隨機點
def produce_random_data(r,w,d,num):
X1 = np.random.uniform(-r-w/2,2*r+w/2, num)
X2 = np.random.uniform(-r - w / 2-d, r+w/2, num)
X = np.vstack((X1, X2))
return X.transpose()
3.2 用訓練好的模型採集決策邊界附近的點
向網路輸入一個二維空間隨機點,計算輸出值大於-0.5小於0.5即認為該點落在決策邊界附近(雙曲正切函式)
def collect_boundary_data(v_xs):
global prediction
X = np.empty([1,2])
X = list()
for i in range(len(v_xs)):
x_input = v_xs[i]
x_input.shape = [1,2]
y_pre = sess.run(prediction, feed_dict={xs: x_input})
if abs(y_pre - 0) < 0.5:
X.append(v_xs[i])
return np.array(X)
3.3 用numpy工具將採集到的邊界附近點擬合成決策邊界曲線,用matplotlib.pyplot畫圖
###產生空間隨機資料
X_NUM = produce_random_data(10, 6, -4, 5000)
###邊界資料取樣
X_b = collect_boundary_data(X_NUM)
###畫出資料
fig = plt.figure()
ax = fig.add_subplot(1, 1, 1)
###設定座標軸名稱
plt.xlabel('x1')
plt.ylabel('x2')
ax.scatter(x_data[:, 0], x_data[:, 1], marker='x')
###用取樣的邊界資料擬合邊界曲線 7次曲線最佳
z1 = np.polyfit(X_b[:, 0], X_b[:, 1], 7)
p1 = np.poly1d(z1)
x = X_b[:, 0]
x.sort()
yvals = p1(x)
plt.plot(x, yvals, 'r', label='boundray line')
plt.legend(loc=4)
#plt.ion()
plt.show()
4.效果
5.附上原始碼Github連結
https://github.com/Peakulorain/Practices.git 裡的PatternClassification.py檔案
另注:分類問題還是用softmax去做吧.....我只是用這做書上的練習而已。
(初學者水平有限,有問題請指出,各位大佬輕噴)
相關推薦
利用TensorFlow訓練簡單的二分類神經網路模型
利用TensorFlow實現《神經網路與機器學習》一書中4.7模式分類練習 具體問題是將如下圖所示雙月牙資料集分類。 使用到的工具: python3.5 tensorflow1.2.1 n
在tensorflow下構建二層神經網路和三層神經網路解決10分類任務對比
繼剛才的邏輯迴歸解決的十分類任務意猶未盡,分別設計了二層和三層的神經網路對比解決這個10分類問題下面畫一個草圖代表三層神經網路的計算圖:import numpy as np import tensorflow as tf import matplotlib.pyplot as
二分類神經網路公式推導過程
簡介:本文主要介紹了簡單二分神經網路的公式推導過程。 歡迎探討,如有錯誤敬請指正 1. 資料表示說明 定義一個名為n的列表 n[i]表示第i層的節點數 i從0開始 L = len(n)-1表示神經網路的層數,網路的層數從第0層開始 W[i]的維度為(n[i], n[i-1]) i從1開始 b[i]的維度
深度學習【1】ubuntu中利用h5py儲存訓練好的keras 神經網路模型
利用h5py儲存的模型所佔的空間非常小。在利用h5py儲存keras訓練好的模型之前需要先安裝h5py,具體的安裝過程可參考我關於h5py安裝的博文:http://blog.csdn.net/linmingan/article/details/50736300 利用h5py
基於TensorFlow訓練的人臉識別神經網路
訓練一個神經網路 能讓她認得我這段時間正在學習tensorflow的卷積神經網路部分,為了對卷積神經網路能夠有一個更深的瞭解,自己動手實現一個例程是比較好的方式,所以就選了一個這樣比較有點意思的專案。想要她認得我,就需要給她一些我的照片,讓她記住我的人臉特徵,為了讓她區分我和
TensorFlow 核心流程剖析 -- 2 神經網路模型的構建、分割和優化
與本章節相關的一些關鍵術語 graph 我們知道, 在tensorflow裡,模型是以compuatation graph的形式存在,作為訓練和inference的載體。下面簡稱graph。 graph的組成: node:即定義一個具體的計
利用tensorflow實現簡單的卷積神經網路——遷移學習小記(二)
一、什麼是神經網路(CNN) 卷積神經網路(Convolutional Neural Network,簡稱CNN),是一種前饋神經網路,人工神經元可以影響周圍單元,可以進行大型影象處理。卷積神經網路包括卷積層和池化層。卷積神經網路是受到生物思考方式的啟發的MLPs(多
[機器學習]利用TensorFlow訓練一個簡單的神經網路
利用TensorFlow訓練一個簡單的神經網路 我們在這裡利用TensorFlow的Eager Execution 來構建模型,這樣不用像以前一樣建立Graph和Session了,可以使神經網路的訓練更加方便快捷,下面以Iris資料集為例來訓練一個神經網路,程
續(利用tensorflow實現簡單的卷積神經網路-對程式碼中相關函式介紹)——遷移學習小記(三)
上篇文章對cnn進行了一些介紹,附了完整小例子程式碼,介紹了一部分函式概念,但是對我這樣的新手來說,程式碼中涉及的部分函式還是無法一下子全部理解。於是在本文中將對程式碼中使用的函式繼續進行一一介紹。 具體程式碼見上一篇(二) 一、 #定義輸入的placehoder,x是特徵
利用tensorflow實現簡單的卷積神經網路
一、什麼是神經網路(CNN) 卷積神經網路(Convolutional Neural Network,簡稱CNN),是一種前饋神經網路,人工神經元可以影響周圍單元,可以進行大型影象處理。卷積神經網路包括卷積層和池化層。卷積神經網路是受到生物思考方式的啟發的MLPs(
Tensorflow(三)訓練一個簡單卷積神經網路
這是吳恩達老師第四課第一週的程式設計練習,題目是分析圖片中手勢得到手所表示的數字。 特別要注意的是,如果你使用的是新版本的tensorflow,很有可能得到的結果和Coursera上的有所不同! 1. 先簡單介紹一個CNN(直接看程式碼的請往下翻) CNN全程是
tensorflow學習之訓練自己的CNN模型(簡單二分類)
本文借鑑已有cat-vs-dog模型,在此模型上進行修改。該模型可在以下網址下載,後續將對模型進行解析及進一步修改。https://download.csdn.net/download/twinkle_star1314/10414568。今天先對模型進行分析:一、模
TensorFlow實現CNN卷積神經網路對手寫數字集mnist的模型訓練
mnist手寫數字集相當於是TensorFlow應用中的Helloworld。 在學習了TensorFlow的卷積神經網路應用之後,今天就分步解析一下其應用過程 一、mnist手寫數字資料集 MN
cs231n斯坦福基於卷積神經網路的CV學習筆記(二)神經網路訓練細節
五,神經網路 注意點part1 例項:邏輯迴歸二層神經網路訓練函式 使用權重w和偏差值biase計算出第一個隱含層h,然後計算損失,評分,進行反向傳播回去 多種常用啟用函式(一般預設max(0,x)),如sigmoid函式具有飽和區梯度0,非零點中心,計算x複
使用Tensorflow構造簡單的神經網路模型
Tensorflow TensorFlow™是一個基於資料流程式設計(dataflow programming)的符號數學系統,被廣泛應用於各類機器學習(machine learning)演算法的程式設計實現,其前身是谷歌的神經網路演算法庫DistBelief [1]
從訓練集Label到神經網路預測的簡單思路
思路如下: 1. 匯入各種模組 基本形式為: import 模組名 這個是引入整個包,如果使用包中的某個類,需要加上模組名的限定。 from 某個檔案 import 某個模組 這是隻引入包裡的某個類,在使用時無需新增模組名的限定。 2. 匯入資料
matlab利用訓練好的BP神經網路來預測新資料(先儲存網路,再使用網路)
1,儲存網路。 save ('net') % net為已訓練好的網路,這裡把他從workspace儲存到工作目錄,顯示為net.mat文件。 2,使用網路。 load ('net')
基於Tensorflow, OpenCV. 使用MNIST資料集訓練卷積神經網路模型,用於手寫數字識別
基於Tensorflow,OpenCV 使用MNIST資料集訓練卷積神經網路模型,用於手寫數字識別 一個單層的神經網路,使用MNIST訓練,識別準確率較低 兩層的卷積神經網路,使用MNIST訓練(模型使用MNIST測試集準確率高於99%
利用tensorflow訓練自己的圖片資料(5)——測試訓練網路
一.說明 上一篇部落格中,我們已經將建立好的網路模型訓練好了,並將訓練的網路引數儲存在相應的檔案中;下面我們就開始測試網路,驗證網路的訓練效果;本次測試為隨機的單圖片測試,即隨機的從訓練集或測試集中讀取一張圖片,送入到神經網路中進行識別,列印識別率及識別的影象。 二. 程式
利用tensorflow訓練自己的圖片資料(3)——建立網路模型
一. 說明 在上一部落格——利用tensorflow訓練自己的圖片資料(2)中,我們已經獲得了神經網路的訓練輸入資料:image_batch,label_batch。接下就是建立神經網路模型,筆者的網路模型結構如下: 輸入資料:(batch_size,IMG_W,IMG_H