程式設計實現對率迴歸，並給出西瓜資料集[email protected]上的結果。

對率迴歸即邏輯迴歸，可以看做沒有隱藏層的，用sigmoid做啟用函式，crossentropy做cost（不加regularization）的神經網路。

本題用theano實現，調參時，learning rate 設為1，更大則cost會出現震盪，迭代次數設為10000可收斂，但是，訓練效果並不好，最高準確率也只有70%。簡單分析，根據前面knn和決策樹畫的分類面，可以看出這個問題不是線性可分的，因此邏輯迴歸在這裡不太適用。

第一次用theano，還是簡單記錄下

theano中有符號變數的概念，無實值，類似C語言，必須先宣告其型別；表示式的概念，並沒有做計算；函式的概念，定義好輸入輸出，輸出一般是表示式，輸入是與輸出相關的變數（不要多也不要少），傳入引數後，theano將會編譯表示式（包含各種優化，時間較長），然後帶入計算。

此外，函式中還可以有updates引數，形式為一對對的tuple，每對tuple由欲更新的變數，及更新的值組成。因為符號變數是無實值的，無法更新，這裡沒法用，於是有shared的概念，shared符號變數是有實值的。updates意義是，每次函式呼叫完後，updates引數中的tuple都發生一次更新。雖然其他方法也可以實現updates，但推薦使用updates，因為它涉及到一些theano的底層優化，例如減少gpu和cpu的通訊，降低記憶體拷貝的時間。

theano還有自動求導功能，theano.grad()，以及一些在神經網路中常用的函式，softmax，交叉熵等。

具體例項可參考程式碼：

# coding: utf-8
import numpy as np
import theano.tensor as T 
import theano
import numpy.random as rng
from theano.tensor.nnet import sigmoid, binary_crossentropy

file = open('西瓜資料集3.csv'.decode('utf-8'))
data = [raw.strip('\n').split(',') for raw in file]
X = [[float(raw[-3]), float(raw[-2])] for raw in data[1:]]
Y = [1 if raw[-1]=='是' else 0 for raw in data[1:]]

feats = len(X[0])
lrate = 1
maxturn = 10000
x = T.dmatrix('x')
y = T.vector('y')
w = theano.shared(rng.normal(size=feats), name='w')
b = theano.shared(rng.randn(), name='b')

z = T.dot(x, w) + b
p = sigmoid(z)
cost = binary_crossentropy(p, y).mean()
gw, gb = theano.grad(cost, [w, b])
pred_res = p > 0.5
fit = theano.function(inputs=[x, y], outputs=[cost, gw, gb], updates=((w, w-lrate*gw), (b, b-lrate*gb)))
predict = theano.function(inputs=[x], outputs=[pred_res])

for i in range(maxturn):
	print fit(X, Y)
train_res = predict(X)[0]
print 'predict result:'
print train_res
print 'accuracy:'
print float(sum([Y[i]==train_res[i] for i in range(len(Y))])) / len(Y)