（1）邏輯迴歸概念

1. 迴歸(Regression)
迴歸，我的理解來說，其直觀的理解就是擬合的意思。我們以線性迴歸為例子，在二維平面上有一系列紅色的點，我們想用一條直線來儘量擬合這些紅色的點，這就是線性迴歸。迴歸的本質就是我們的預測結果儘量貼近實際觀測的結果，或者說我們的求得一些引數，經過計算之後的預測結果儘可能接近真實值。

2. 邏輯迴歸的由來對於二類線性可分的資料集，使用線性感知器就可以很好的分類。如下圖中紅色和藍色的點，我們使用一條直線就可以區分兩種資料集，在直線上方的屬於紅色類，直線下方的屬於藍色類。

但是如果二類線性不可分的資料集，我們無法找到一條直線能夠將兩種類別很好的區分，即線性迴歸的分類法對於線性不可分的資料無法有效分類。例如下圖中的紅色點和藍色點，我們無法使用一條直線很好的區分這兩類，但是我們可以使用非線性分類器，如果我們使用

誠然，資料線性可分可以使用線性分類器，如果資料線性不可分，可以使用非線性分類器，這裡似乎沒有邏輯迴歸什麼事情。但是如果我們想知道對於一個二類分類問題，對於具體的一個樣例，我們不僅想知道該類屬於某一類，而且還想知道該類屬於某一類的概率多大,有什麼辦法呢？

線性迴歸和非線性迴歸的分類問題都不能給予解答，因為線性迴歸和非線性迴歸的問題，假設其分類函式如下：

（2）資料探索

在訓練的初始階段，我們將要構建一個邏輯迴歸模型來預測，某個學生是否被大學錄取。設想你是大學相關部分的管理者，想通過申請學生兩次測試的評分，來決定他們是否被錄取。現在你擁有之前申請學生的可以用於訓練邏輯迴歸的訓練樣本集。對於每一個訓練樣本，你有他們兩次測試的評分和最後是被錄取的結果。為了完成這個預測任務，我們準備構建一個可以基於兩次測試評分來評估錄取可能性的分類模型。

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

path = 'ex2data1.txt'
data = pd.read_csv(path, header=None, names=['Exam 1', 'Exam 2', 'Admitted'])
data.head()

（2）資料視覺化

建立兩個分數的散點圖，並使用顏色編碼來視覺化，如果樣本是正的（錄取）或負的（不錄取）。

positive = data[data['Admitted'].isin([1])]
negative = data[data['Admitted'].isin([0])]

fig, ax = plt.subplots(figsize=(12,8))
ax.scatter(positive['Exam 1'], positive['Exam 2'], s=50, c='b', marker='o', label='Admitted')
ax.scatter(negative['Exam 1'], negative['Exam 2'], s=50, c='r', marker='x', label='Not Admitted')
ax.legend()
ax.set_xlabel('Exam 1 Score')
ax.set_ylabel('Exam 2 Score')
plt.show()

（3）設計模型

def sigmoid(z):
    return 1 / (1 + np.exp(-z))

（4）損失函式

def cost(theta, X, y):
    theta = np.matrix(theta)
    X = np.matrix(X)
    y = np.matrix(y)
    first = np.multiply(-y, np.log(sigmoid(X * theta.T)))
    second = np.multiply((1 - y), np.log(1 - sigmoid(X * theta.T)))
    return np.sum(first - second) / (len(X))

（5）資料預處理

 
data.insert(0, 'Ones', 1)
cols = data.shape[1]
X = data.iloc[:,0:cols-1]
y = data.iloc[:,cols-1:cols]

# convert to numpy arrays and initalize the parameter array theta
X = np.array(X.values)
y = np.array(y.values)
theta = np.zeros(3)

#計算一下初始損失值大小

cost(theta, X, y)

（6）梯度下降

def gradient(theta, X, y):
    theta = np.matrix(theta)
    X = np.matrix(X)
    y = np.matrix(y)    
    parameters = int(theta.ravel().shape[1])
    grad = np.zeros(parameters)    
    #誤差
    error = sigmoid(X * theta.T) - y    
    for i in range(parameters):
        #點乘 元素相乘
        term = np.multiply(error, X[:,i])
        grad[i] = np.sum(term) / len(X)    
    return grad

（7）梯度下降優化損失函式，尋找引數值

現在可以用SciPy's truncated newton（TNC）實現尋找最優引數。

import scipy.optimize as opt

#func  優化目標函式  x0 依賴的引數  fprime 為梯度下降函式
result = opt.fmin_tnc(func=cost, x0=theta, fprime=gradient, args=(X, y))
result

#代入引數值，計算損失函式的值

cost(result[0], X, y)

（8）預測

def predict(theta, X):
    probability = sigmoid(X * theta.T)
    return [1 if x >= 0.5 else 0 for x in probability]

（9）預測準確率評估

theta_min = np.matrix(result[0])
predictions = predict(theta_min, X)
correct = [1 if ((a == 1 and b == 1) or (a == 0 and b == 0)) else 0 for (a, b) in zip(predictions, y)]
#map()函式將correct轉化為全部為int的列表
accuracy = (sum(map(int, correct)) % len(correct))
print ('accuracy = {0}%'.format(accuracy))