之前一直看Ng的課程，以為掌握了，結果自己動手實現發現問題很多。

多元線性迴歸
向量形式：Y=W∗X
展開：y=w0∗x0+w1∗x1+...+wn∗xn
參數:W:w0,w1,...wn
代價函數：J(w0,w1,...wn)=12m∑mi=0(wi∗xi−yi)

# 批量創造一些資料
# y = w0*x0+w1*x1+w2*x2+w3*x3...wn*xn
# 我們要回歸的w先提前隨機生成
# 然後給出一些x，和w相乘後得到一些y，再加一些高斯噪聲
# 即 y=wx+noise
# data_num生成的資料量，weight_num w的維度
def loadDataSet
 
(data_num,weight_num):
    x = np.random.random((data_num,weight_num))
    w = np.random.random((weight_num,1))
    mu, sigma = 0, 0.1  # 均值與標準差
    noise = np.random.normal(mu, sigma, (data_num, 1))
    y = x.dot(w)+ noise
    print 'groundtruth_weight:'
    print w
    return x, y

1. 批梯度下降

優化的代價函式是關於所有資料樣本的loss，計算整個樣本的loss後才更新權值，推導參考我的部落格

梯度下降法
參數更新向量形式：W=W−1m∗(XT(W∗X−Y)∗lr
展開：wj=wj−1m∑mi=0(wi∗xi−yi)∗xi∗lr
m是所有樣本的數量和

# x:(data_num,weight_num)
# init_w:(weight_num,1)
# y:(data_num,1)
def bgd(x,init_w,y,iter_size,lr):
    start_time = timeit.default_timer()
    w = init_w
    m = x.shape[0]
    for i in range(iter_size):
        predict = x.dot(w) # predict:(data_num,1)
 

        # x:(data_num,weight_num) x.T:(weight_num,data_num) y-predit:(data_num,1)
        # grad:(weight_num,1)
        grad = x.T.dot((predcit - y)) / m * lr
        w -= grad 
    print w
    end_time = timeit.default_timer()
    print 'the time of cost: ',end_time - start_time

2. 隨機梯度下降

優化的代價函式是單個數據樣本的loss，計算每個樣本的loss後就立即更新權值
參數更新向量形式：W=W−1m∗(XT(W∗X−Y)∗lr
展開：wj=wj−1m∑mi=0(wi∗xi−yi)∗xi∗lr
只是：m=1

# 隨機梯度下降
# x:(data_num,weight_num)
# init_w:(weight_num,1)
# y:(data_num,1)
def sgd(x, y, init_w, iter_size, lr):
    start_time = timeit.default_timer()
    w = init_w
    for i in range(iter_size):
        for j in range(x.shape[0]):
            temp_x = x[np.newaxis,j]
            temp_y = y[np.newaxis, j]
            predict = temp_x.dot(w)
            # x:(1,weight_num) x.T:(weight_num,1) y-predit:(1,1)
            # grad:(weight_num,1)
            grad = temp_x.T.dot((predict - temp_y)) / 1 * lr 
            w -= grad
    print w
    end_time = timeit.default_timer()
    print 'the time of cost: ', end_time - start_time

3. 小批量隨機梯度下降

優化的代價函式是每塊(batch_size)資料樣本的loss，計算每快樣本的loss後就更新權值
參數更新向量形式：W=W−1m∗(XT(W∗X−Y)∗lr
展開：wj=wj−1m∑mi=0(wi∗xi−

相關推薦

python利用梯度下降求多元線性迴歸

之前一直看Ng的課程，以為掌握了，結果自己動手實現發現問題很多。 多元線性迴歸 向量形式：Y=W∗X 展開：y=w0∗x0+w1∗x1+...+wn∗xn 參數:W:w0,w1,...wn 代價函數：J(w0,w1,...wn)=

梯度下降法求多元線性迴歸及Java實現

 對於資料分析而言，我們總是極力找數學模型來描述資料發生的規律， 有的資料我們在二維空間就可以描述，有的資料則需要對映到更高維的空間。資料表現出來的分佈可能是完全離散的，也可能是聚整合堆的，那麼機器學習的任務就是讓計算機自己在資料中學習到資料的規律。那麼這個規律通常是可以用一些函式來描述，

梯度下降原理及線性迴歸程式碼實現（python/java/c++）

“梯度下降”顧名思義通過一步一步迭代逼近理想結果，當達到一定的精度或者超過迭代次數才退出，所以所獲得的結果是一個近似值。在其他部落格上面基本都有一個通俗的比喻：從山頂一步步下山。下面將用到幾個概念： - 步長：移動一步的長度。 - 維度：一個空間的表示方式，

ND4J求多元線性迴歸以及GPU和CPU計算效能對比

上一篇部落格《梯度下降法求多元線性迴歸及Java實現》簡單了介紹了梯度下降法，並用Java實現了一個梯度下降法求迴歸的例子。本篇部落格，嘗試用dl4j的張量運算庫nd4j來實現梯度下降法求多元線性迴歸，並比較GPU和CPU計算的效能差異。     一、ND4J簡介 &nb

用梯度下降法實現線性迴歸

import math import matplotlib.pyplot as plt import random #不懂 def sum_of_gradient(x, y, thetas): """計算梯度向量，引數分別是x和y軸點座標資料以及方程引數""" m = len(x);

梯度下降法解決線性迴歸

''' 用梯度下降的優化方法來快速解決線性迴歸問題 ''' import tensorflow as tf import numpy as np import matplotlib.pyplot as plt import os os.environ['TF_

基於梯度下降法實現線性迴歸演算法

# coding: utf-8 # In[1]: # 資料校驗 def validate(X, Y): if len(X) != len(Y): raise Exception("引數異常") else: m = len(

機器學習演算法入門之(一) 梯度下降法實現線性迴歸

1. 背景 線性迴歸的目標很簡單，就是用一條線，來擬合這些點，並且使得點集與擬合函式間的誤差最小。如果這個函式曲線是一條直線，那就被稱為線性迴歸，如果曲線是一條二次曲線，就被稱為二次迴歸。資料來自於GradientDescentExample中的data.

[ch04-02] 用梯度下降法解決線性迴歸問題

系列部落格，原文在筆者所維護的github上：https://aka.ms/beginnerAI， 點選star加星不要吝嗇，星越多筆者越努力。 4.2 梯度下降法 有了上一節的最小二乘法做基準，我們這次用梯度下降法求解w和b，從而可以比較二者的結果。 4.2.1 數學原理 在下面的公式中，我們規定x是樣本特

利用python實現梯度下降和邏輯迴歸原理(Python詳細原始碼：預測學生是否被錄取)

本案例主要是：建立邏輯迴歸模型預測一個學生是否被大學錄取，沒有詳細介紹演算法推到， 讀者可查閱其他部落格理解梯度下降演算法的實現：https://blog.csdn.net/wangliang0633/article/details/79082901 資料格式如下：第三列表示錄取狀態，0--

利用梯度下降法實現簡單的線性迴歸

最近做了好多個資料探勘的小專案，使用並比較了N多演算法，瞭解了很多機器學習的工具，如R語言、Spark機器學習庫、Python、Tensorflow和RapidMiner等等。但是我感覺到自己沒能深入下去，充其量也只是把別人的工具拿來玩玩而已。對演算法本身的優劣

梯度下降法解多元線性迴歸(C++)

提供測試 題意：   已知有資料集包含多個工程師的資訊，而對於每個工程師有engineer -> [y,x1,x2] 表示當其XP的值為x1，解決的題目為x2個時，可以開出y的薪水。請用多元線

Machine Learning（Stanford）| 斯坦福大學機器學習筆記--第二週（1.多元線性迴歸及多元線性迴歸的梯度下降）

一.Multivariate Linear regression(多元線性迴歸) 現在起將開始介紹一種新的更為有效的線性迴歸形式。這種形式適用於多個變數或者多特徵量的情況。 在之前學習過的線性迴歸中

Python金融系列第五篇：多元線性迴歸和殘差分析

作者：chen_h 微訊號 & QQ：862251340 微信公眾號：coderpai 第一篇：計算股票回報率，均值和方差 第二篇：簡單線性迴歸 第三篇：隨機變數和分佈 第四篇：置信區間和假設檢驗 第五篇：多元線性迴歸和殘差分析 第六篇：現代投資組合

吳恩達機器學習（二）多元線性迴歸（假設、代價、梯度、特徵縮放、多項式）

目錄 0. 前言 學習完吳恩達老師機器學習課程的多變數線性迴歸，簡單的做個筆記。文中部分描述屬於個人消化後的理解，僅供參考。 0. 前言 多元線性迴歸（Multivari

利用R進行多元線性迴歸分析

對於一個因變數y，n個自變數x1,...,xn，要如何判斷y與這n個自變數之間是否存線上性關係呢？ 肯定是要利用他們的資料集，假設資料集中有m個樣本，那麼，每個樣本都分別對應著一個因變數和一個n維的自變

Python實現機器學習二（實現多元線性迴歸）

接著上一次的一元線性迴歸http://blog.csdn.net/lulei1217/article/details/49385531往下講，這篇文章要講解的多元線性迴歸。 1、什麼是多元線性迴歸模型？ 當y值的影響因素不唯一時,採用多元線性迴歸模型。  

多元線性迴歸分析-Python&SPSS

原始資料在這裡1.觀察資料首先，用Pandas開啟資料，並進行觀察。import numpy import pandas as pd import matplotlib.pyplot as plt %matplotlib inline data = pd.read_csv

tensorflow實現svm多分類 iris 3分類——本質上在使用梯度下降法求解線性回歸（loss是定制的而已）

points near plot asi atm lob put matplot ive # Multi-class (Nonlinear) SVM Example # # This function wll illustrate how to # implement

matlab做三維線性擬合（多元線性迴歸，準確來說不叫插值）

matlab三維擬合（多元線性迴歸） 問題描述 今天同學問了我一個問題，大概意思是給了你三列輸入資料，一列輸出資料，想用一個線性超平面做一個最小二乘擬合（注意這裡不能叫插值）。 一點思考 剛聽到這個問題，同學說的是做插值，說想要做一個插值，這種說法不準確的，不想說迴歸的話