linear-regression預測演算法C++實現

機器學習領域，幾個常見的概念：
迴歸(regression)：用已知樣本對未知公式引數的估計。
線性迴歸(linear regression)：迴歸的一種，迴歸函式是一次函式，例如：
result=f(X,Y,Z,…)=aX+bY+cZ+…+…
  其中X，Y，Z是訓練樣本集中樣本的各個維度(feature)，a，b，c是模型的未知引數。
邏輯迴歸(logistic regression)：將result歸一化到[0, 1]區間，即使用一個邏輯方程將線性迴歸歸一化。

總而言之，邏輯迴歸是線性迴歸的一種，線性迴歸是迴歸的一種。

線性迴歸模型是有效的

既然邏輯迴歸是線性迴歸的一種，那麼我們重點就線性迴歸展開討論，線性迴歸的預測模型雖然是一元方程，但現實中很多應用場景符合這個模型，例如商品的價格與商品的銷量之間的關係。一般來說價格越貴則銷量越低，價格越便宜則銷量越高，於是我們就能夠用
“銷量=a*價格+b”這個模型來最大化商家的收益。
如何確定a和b的值呢，我們可以根據歷史“價格-銷售”資料，來計算最優一元模型的a和b的值。
當然，很多應用場景不能夠使用線性迴歸模型來進行預測，例如，月份和平均氣溫，平均氣溫並不隨著月份的增長呈線性增長或下降的趨勢。那麼，什麼時候可以使用線性迴歸模型呢？

線性迴歸模型的適用場景
1）可以用於預測，也可以用於分類，用於分類問題時，需要設定閾值區間，並提前知曉閾值區間與類別的對應關係
2）只適用於線性問題，可以有多個維度(feature)

如何求解線性迴歸中的維度引數
在已知樣本集set的時候，如果根據樣本集得到result=f(X,Y,Z,…)=aX+bY+cZ+…+…中的未知引數a，b，c呢？

最小二乘法
最小二乘法適用於任意多維度的線性迴歸引數求解，它可求解出一組最優a，b，c解，使得對於樣本集set中的每一個樣本data，用result=f(X,Y,Z,…)來預測樣本，預測值與實際值的方差最小。方差是我們常見的估值函式(cost function)。

梯度下降法
最小二乘法實際上只定義了估值函式是方差，真正求解a，b，c的方法是梯度下降法，這是一個列舉型的求解演算法，其演算法步驟如下：
1）使用隨機的a0, b0, c0作為初始值
2）分別求解最優a, b, c…，對於每個維度引數的求解，步驟為（以a為例）：
2.1）設定a範圍的最大值與最小值
2.2）設定a計算的梯度步長（這就是它叫梯度下降法的原因）
2.3）固定其他維度引數
2.4）計算a的所有取值中，使得估值函式最小的那個a即為所求

數學上可以證明：
1）上述演算法是可以收斂的（顯而易見）
2）分別求出a，b，c的最優值，組合起來就是整體的最優值（沒這麼明顯了），這個結論是很重要的，假設樣本個數為n，計算a，b，c的演算法複雜度都是線性的O(m)，這個結論讓演算法的整體複雜度是n*O(m) + n*O(m) + n*O(m)，而不是[n*O(m) ]*[n*O(m)]*[n*O(m)]的關係。

為了清晰直白的用程式表達演算法的整個過程，未經過任何優化的C++實現原始碼如下，為了簡化計算，不妨設特徵只有一個，預測方程為Y=aX+b

第一部分：一維樣本，已抽象成二維平面上的點

//point
class CPoint
{
    public:
        CPoint()
        {
            m_x = 0.0;
            m_y = 0.0;
        }
 
        CPoint(double x, double y)
        {
            m_x = x;
            m_y = y;
        }
 
        double GetX() const
        {
            return m_x;
        }
 
        double GetY() const
        {
            return m_y;
        }
    private:
        double m_x;
        double m_y;
};

第二部分：演算法的實現

// one-dimensional
// Y=f(X)=aX+b
class CLinearRegression
{
public:
        // 第一步驟：初始化
        int Init(const vector< CPoint>& points)
        {
            if(points.size() == 0)
            {
                return -1;
            }
 
            m_points = points;
        }
 
        // 第二步驟：計算a和b
        int Run()
        {
            // 先將a和b取個隨機的初值，此處取了0
            m_a = 0;
            m_b = 0;
            double minCost = CaculateCost(m_a,m_b);
 
            double curCost = 0.0;
            // 先計算最優的a
            for(double a=MIN_a; a< =MAX_a; a+=INC)
            {
                curCost = CaculateCost(a,m_b);
                if(curCost< minCost)
                {
                    m_a = a;
                    minCost = curCost;
                }
            }
 
            // 再計算最優的b
            for(double b=MIN_b; b< =MAX_b; b+=INC)
            {
                curCost = CaculateCost(m_a,b);
                if(curCost< minCost)
                {
                    m_b = b;
                    minCost = curCost;
                }
            }
        }
 
        // 第三步驟：輸出結果
        int PrintResult()
        {
            printf("Y=f(X)=%lfX+(%lf)\n",m_a,m_b);
            printf("minCost=%lf\n",CaculateCost(m_a,m_b));
        }
 
private:
        // 內部函式：給定a,b，輸出當前所有樣本的預計與實際值的方差
        double CaculateCost(double a, double b)
        {
            double cost = 0.0;
            double xReal = 0.0;
            double yReal = 0.0;
            double yPredict = 0.0;
            double yDef = 0.0;
            for(uint32_t i=0;i< m_points.size();++i)
            {
                // x實際值
                xReal = m_points[i].GetX();
                // y實際值
                yReal = m_points[i].GetY();
                // y預測值
                yPredict = a*xReal + b;
 
                yDef = yPredict - yReal;
                // 累加方差
                cost += (yDef*yDef);
            }
            return cost;
        }
 
    public:
        CLinearRegression()
        {
        }
 
private:
        // a，b的取值範圍
        const static double MIN_a = -2768.0;
        const static double MAX_a = 2768.0;
        const static double MIN_b = -2768.0;
        const static double MAX_b = 2768.0;
        // 梯度遞增值
        const static double INC = 0.5;
        // a，b，樣本的儲存
        double m_a;
        double m_b;
        vector< CPoint> m_points;
};

第三部分：測試用例

#include< stdio.h>
#include< vector>
 
int main()
{
    // 構造三個點，放在y=x+1左右
    vector< CPoint> points;
    points.push_back(CPoint(-1,0));
    points.push_back(CPoint(0,1));
    points.push_back(CPoint(1,2.1));
 
    // 使用線性迴歸方法計算a和b
    CLinearRegression lr;
    lr.Init(points);
    lr.Run();
    lr.PrintResult();
 
    return 0;
}

第四部分：結果輸出
[[email protected] linear-regression]$ ./a.out
Y=f(X)=1.000000X+(1.000000)
minCost=0.010000