21天實戰caffe筆記_第二天
1 傳統機器學習
傳統機器學習：通過人工設計特征提取器，將原始數據轉化為合適的中間表示形式或者特征向量，利用學習系統(通常為分類器)可以對輸入模式進行檢測或者分類。流程如下：
傳統機器學習的局限在於需要人工設計特征提取器，而且要求較高。而深度學習則不需要，可以由機器自動學習獲取，適應性較強。
2 從表示學習到深度學習
表示學習：原始數據—>自動發現用於檢測和分類的表示，如下圖 ；
深度學習：是一種多層表示學習方法，用簡單的非線性模塊構建而成；這些模塊將上一層表示(從原始數據開始)轉化為更高層、更抽象的表
3 深度學習類型
監督學習 ： 略
反向傳播學習：略
卷積神經網絡(ConvNet) ： 一種特殊類型的深度前饋網絡，訓練更簡單，泛化能力比相鄰層全連接更好。四項基本原則：局部互聯、共享權值、下采樣及使用多個卷積層。 
4 深度學習的反思
(1) 模型參數遠大於數據量時，相當於求解一個欠定方程，存在多接的可能性大，容易過擬合；
(2) 模型參數遠小於數據量時，相當於求解超定方程，可能無解，或者有解但準確率很低，容易欠擬合；
(3) 模型參數與數據量匹配時，相當於秋季恰定方程，剛剛好，但是如何確定參數和數據量師哥過程問題；
為了避免過擬合或者欠擬合問題，我們通常將大模型首先在較大的數據集(如ImageNet)上預訓練，得到模型，再對特定數據集(如人臉數據)進行精調，即可得到較為理想的結果。
5 參考博客
(1) http://blog.csdn.net/julialove102123/article/details/71722495
(2) <深度學習21天實戰Caffe.pdf>
21天實戰caffe筆記_第二天