1 二分類

m樣本數目，n樣本特徵數目
建議使用的符號表示

$X=[\begin{array}{cc}\mathrm{\mid }& \mathrm{\mid }\end{array}$

∣  

   

x ( 1 ) x ( 2 ) ⋯ x ( m )       ∣ ∣ ∣ ] ∈ R n × m       y = [ y ( 1 ) y ( 2 ) ⋯ y ( m ) ] ∈ R 1 × m X = \left[\begin{matrix} | & | &&& | \\ ~& ~&&& ~ \\ x^{(1)} & x^{(2)} &\cdots&& x^{(m)} \\ ~& ~&&& ~ \\ | & | &&& | \end{matrix}\right] \in R^{n \times m} \\ ~~\\ ~~ \\ y = \left[\begin{matrix} y^{(1)} & y^{(2)} &\cdots&& y^{(m)} \end{matrix}\right] \in R^{1 \times m}

2 logistic regression

二分類演算法，目的是最小化預測結果和真實結果之間的誤差。

給定 $x \in R^n$，目的是得到 $\hat{y} = P(y=1|x), 0 \leq \hat y \leq 1$。

輸入: $x \in R^n$；
輸出: $y \in \{0,1\}$;
引數: $W \in R^n$；
偏置: $b \in R$；
輸出: $\hat y = \sigma(W^Tx+b)$
啟用函式：sigmoid， $\sigma(x)=\frac{1}{1+e^{-x}}$
$z \rightarrow +\infty,\sigma(z) \rightarrow 1$;
$z \rightarrow -\infty,\sigma(z) \rightarrow 0$;
$z = 0,\sigma(z) = 0.5$。

3 logistic regresstion cost function

loss function：在單個樣本上定義的損失，衡量的是在單個訓練樣本上的表現；
cost function：在整個訓練集上定義的損失，衡量的是在整個訓練集上的表現。

logistic regression loss function:
$L(y^{(i)},\hat{y}^{(i)}) = - (y^{(i)}\log(\hat{y}^{(i)})+(1-\hat{y}^{(i)})\log(1-\hat{y}^{(i)}))$
$~$
$y^{(i)} = 0,L(y^{(i)},\hat{y}^{(i)})=-\log(1-\hat{y}^{(i)})$，為了儘可能減小

相關推薦