神經網路學習

1、輸出與輸入的關係（感知基）：
$$
y=\begin{Bmatrix}
1 & {\overrightarrow{x}\cdot \overrightarrow{w}+b>0}\
0 & {\overrightarrow{x}\cdot \overrightarrow{w}+b\leqslant 0}
\end{Bmatrix}
$$

這個模型由生活中而來，$\overrightarrow{x}$是輸入表示各種情況，$\overrightarrow{w}$表示各種情況的影響權重，$\overrightarrow{x}\cdot \overrightarrow{w}$得到整體的影響，$b$是門限（偏移）當影響$y>0$就做出1決策，否則就做出0決策。

2、為什麼要使用（sigmoid neuron）：
$$
y=\frac{1}{1+e^{-(\overrightarrow{x}\cdot \overrightarrow{w}+b)}}
$$
感知基是一個不連續的函式，可能微小的改變$\Delta \overrightarrow{w}$，會導致$y$的翻轉性的變化。使用sigmoid neuron，使y與w和b是連續關係（微小的$\Delta \overrightarrow{w}$，y也是微小的變化），且輸出的值在0~1之間，所以選擇$\frac{1}{1+e^{-x}}$

3、誤差函式

輸出與輸入的關係最好為如下，看起來很複雜的樣子。

誤差函式為：

很多時候會使用一個平均誤差函式，為什麼我還不懂。

梯度下降法就是從導數方向調整w和b，使誤差函式（代價函式）的值最小。（統計值最小，所以要求一個平均誤差），其中權重和偏移b的導數如下

看起來很複雜，反向傳播的方式計算起來就沒那麼複雜了。

導數的反方向是降低誤差函式c的最快的方向，給定一個學習率$\eta$，每次學習調整$\eta\frac{\alpha }{w_{11_21}}$


最終使c達到最小。

原文寫於2019-12-05,2021-12-08改為markdown