1、我們將要實現一種更強大的方法來解決圖像分類問題，該方法可以自然地延伸到神經網絡和卷積神經網絡上。這種方法主要有兩部分組成：一個是評分函數（score function），它是原始圖像數據到類別分值的映射。另一個是損失函數（loss function），它是用來量化預測分類標簽的得分與真實標簽之間一致性的。該方法可轉化為一個最優化問題，在最優化過程中，將通過更新評分函數的參數來最小化損失函數值。

2、線性映射關系

　　W的每一行都是一個分類類別的分類器。對於這些數字的幾何解釋是：如果改變其中一行的數字，會看見分類器在空間中對應的直線開始向著不同方向旋轉。而偏差b，則允許分類器對應的直線平移。需要註意的是，如果沒有偏差，無論權重如何，在

　　將線性分類器看做模板匹配：關於權重W的另一個解釋是它的每一行對應著一個分類的模板（有時候也叫作原型）。一張圖像對應不同分類的得分，是通過使用內積（也叫點積）來比較圖像和模板，然後找到和哪個模板最相似。從這個角度來看，線性分類器就是在利用學習到的模板，針對圖像做模板匹配。從另一個角度來看，可以認為還是在高效地使用k-NN，不同的是我們沒有使用所有的訓練集的圖像來比較，而是每個類別只用了一張圖片（這張圖片是我們學習到的，而不是訓練集中的某一張），而且我們會使用（負）內積來計算向量間的距離，而不是使用L1或者L2距離。

　　在預測時，註意只需要做一個矩陣乘法和一個矩陣加法就能對一個測試數據分類，這比k-NN中將測試圖像和所有訓練數據做比較的方法快多了。

參考：知乎專欄 https://zhuanlan.zhihu.com/p/20918580?refer=intelligentunit

深度學習—線性分類器理解