問題描述

我們的目標為從輸入向量$x\in\Re^n$預測目標值$y$。 以預測房價為例，$y$代表房價，$x$表示描述房子的特徵向量（比如其大小和房間的數目）。假設給定大量的樣本，其中$x^{(i)}$代表第i個房子樣本的特徵，$y^{(i)}$代表第i個房子的價格。則我們的目標為找到一個函式$y = h(x)$，使得對每個訓練樣本都有$y \approx h(x)$。若這個函式$h(x)$擬合的足夠好的話，那麼當遇到新的樣本$x$時，該函式能夠很好的預測房價。

首先，我們使用線性函式來表示$h(x):h_\theta(x) = \sum_j\theta_j x_j = \mathbf{\theta}^\top x$。現在目標轉變為找到合適的$\theta$使得$h_\theta(x^{(i)})$儘可能接近$y^{(i)}$。因此可以設定一個cost function: $J(\theta) = \frac{1}{2}\sum_i(h_\theta(x^{(i)}) - y^{(i)})^2 = \frac{1}{2}\sum_i(\mathbf{\theta}^\top x^{(i)} - y^{(i)})$

函式最小化

現在我們想要找到使得$J(\theta)$最小的$\theta$值，其中一個高效的演算法是梯度下降（Gradient descent）。

梯度下降

隨機初始化$\theta$，並重復迭代：$\theta_j := \theta_j - \alpha\frac{\partial}{\partial \theta_j}J(\theta)$

Exercise 1A:Linear Regression

該練習題是要實現目標函式$J(\theta)$的計算和梯度的計算，公式已在上面給出。在linear_regression.m檔案中實現程式碼如下：

%計算J(theta)
for i = 1 : m
    f = f + (theta' * X(:,i) - y(i))^2;
end
f = f / 2;
%計算梯度
for i = 1 : n
    for j = 1 :m
        g(i) = g(i) + X(i,j) * (theta' * X(:,j) - y(j));
    end
end