監督學習和優化——邏輯迴歸（Logistic Regression）

問題描述

之前我們學習的是通過一個線性方程預測一個連續的值（e.g. 房屋價格）。但有時我們想要預測一個離散的值，比如一張圖片是不是貓，這屬於分類問題。而邏輯迴歸是一種簡單的分類演算法。在這裡，我們只討論二元分類問題，即$y\in \{0,1\}$。

Logistic函式

給定$x^{(i)}，y^{(i)}$是其標籤。若還是像線性迴歸中的描述方法：$h_\theta(x) = \mathbf{\theta}^\top x$來描述標籤，則顯然是不合理的，因為$y$

演算法描述

假設$h_\theta(x)$表示分類為正類（y為1）的概率，則有$P(y=1|x;\theta) = h_\theta(x)$ $P(y = 0|x;\theta) = 1-h_\theta(x)$上面兩式可簡寫為下面的式子：$P(y|x;\theta) = h_\theta(x)^y(1-h_\theta(x))^{1-y}$假設m個訓練樣本是獨立生成的，則可以寫出引數的似然函式為：$L$

Exercise 1B

在ex1/ex1b_logreg.m檔案中的程式碼實現的是對28*28畫素大小的0或者1的數字圖片進行分類。這裡需要我們完成的部分就是在logistic_regression.m檔案中計算目標函式$l(\theta)$以及梯度$\frac{\partial}{\partial \theta_j}l(\theta)$。 具體程式碼如下所示：

%compute the value of f
for i=1 : m
    f = f - (y(i) * log(1 / (1 + exp(-theta' * X(:,i)))) + (1 - y(i)) * log(1 - 1 / (1 + exp(-theta' * X(:,i)))));
end

% compute the gradient
for i = 1 : size(X,1)
    for j = 1 : m
        g(i) = g(i) + X(i,j) * (1 / (1 + exp(-theta' * X(:,j))) - y(j));
    end
end

最終訓練資料以及測試資料的正確率都能達到100%，這是由於此分類任務較簡單，且資料集充足。在一般分類問題中很難達到100%的正確率。 但此訓練執行耗時巨大，共計花費約100分鐘，主要在於$\theta$每次迭代都需要遍歷所有的訓練資料，而我們的程式碼使用迴圈來完成，是完全序列的，使執行時間大大增長。下一節會描述如何將資料向量化，從而加快了執行速度。