LogisticRegression

梯度上升及決策邊界程式碼實現
時間原因,暫時先敲這兩部分,模型準確率後期完善。

import numpy as np

def loadDataSet(file_name):
    dataMat = []                                                     #建立資料列表
    labelMat = []                                                    #建立標籤列表
    fr = open(file_name)                                         #開啟檔案
 

    for line in fr.readlines():                                      #逐行讀取
        lineArr = line.strip().split()                               #去回車，放入列表
        dataMat.append([1.0, float(lineArr[0]), float(lineArr[1])])  #新增資料
        labelMat.append(int(lineArr[2]))                             #新增標籤
 

    fr.close()                                                       #關閉檔案
    return dataMat, labelMat                                        #返回

def sigmoid(inX):
    return 1.0/(1+np.exp(-inX))

def gradAscent(dataMat,Labels,alpha=0.001):
    dataMatrix = np.mat(dataMat)
    labelsMat = np.mat(Labels)
 
.transpose()
    m, n = np.shape(dataMatrix)                                #返回dataMatrix的大小。m為行數,n為列數。
    alpha = alpha                                              #學習速率,控制更新的幅度。
    maxCycles = 500                                            #最大迭代次數
    weights = np.ones((n,1))
    for i in range(maxCycles):
        H = sigmoid(dataMatrix * weights)                     #梯度上升向量化公式
        error = labelsMat - H
        weights = weights + alpha * dataMatrix.transpose() * error
    return weights

def  DecisionBoundary():
    dataMat, labelMat = loadDataSet()                 #載入資料集
    dataArr = np.array(dataMat)                      #轉換成numpy的array陣列
    n = np.shape(dataMat)[0]                         #資料個數
    xcord1 = []; ycord1 = []                           #正樣本
    xcord2 = []; ycord2 = []                           #負樣本
    for i in range(n):                             #根據資料集標籤進行分類
        if int(labelMat[i]) == 1:
            xcord1.append(dataArr[i,1]); ycord1.append(dataArr[i,2])    #1為正樣本
        else:
            xcord2.append(dataArr[i,1]); ycord2.append(dataArr[i,2])    #0為負樣本
    print("正樣本:{}".format(xcord1,ycord1))
    print("負樣本:{}".format(xcord2,ycord2))
if __name__ == '__main__':
    dataMat, labelMat = loadDataSet(file_name)
    weights = gradAscent(dataMat, labelMat)
    DecisionBoundary()