深度學習之---為什麼pre-trained會起作用
DeCAF: A deep convolutional activation feature for generic visual recognition
很多視覺識別的挑戰性任務都只有相對小的資料集。作者探究能否將一個由ImageNet (一個很大的資料集)訓練來的卷積神經網路DeCAF泛化到其他可用資料較少的任務。
該模型可以被認為是一個基於有監督預訓練（pre-training）階段的遷移學習的深度架構，或者可以簡單認為是，在一系列預先定義好的物件識別任務學習到卷積網路權重引數，然後據此定義的一個新的視覺特徵DeCAF。
在訓練一個深度卷積網路後（使用 Krizhevskey et al.’s competition winning 2012 architecture），從訓練好的模型中抽取特徵然後作為一般視覺任務的輸入。在這些任務上獲得成功說明卷積網路學習到普遍有用的影象特徵。
█ 用DeCAFn作為CNN第n層隱藏層的激勵。DeCAF7是傳播到最後一個全連線層產生類別預測之前的最後一個隱藏層，使用CNN特徵作為輸入，訓練logistic Regression或SVM進行分類。
█ 在Caltech-101 資料集上， DeCAF6 + SVM 效果好於以前最好的方法（一種組合5個傳統手工設計的影象特徵的方法）。
█ Office資料集包含來自Amazon的商品圖片和在辦公環境下使用網路攝像頭（webcam）和單反相機（DSLRs）的到的圖片。使用DeCAF特徵不但能夠較好地進行類別聚類，而且能夠聚集不同區域的同一類物體，對於解析度改變（webcam VS. DSLRs）具有良好魯棒性。DeCAF
█ 對於子類識別（如使用Caltech-UCSD資料集識別不同型別的鳥），DeCAF6 加上 logistic Regression 又超越了現有方法（就我們所知，這是目前文獻裡記錄的最好的精度）
█ 最後，對於場景識別任務，在SUN-397大規模場景識別資料集上DeCAF + logistic Regression也優於了現有的方法。
訓練於大規模影象資料集的卷積神經網路強有力地表明學習有足夠代表性和泛化能力的特徵能夠以當前最先進的水平用於廣泛的影象任務。
視覺識別系統要具有在含有稀疏且有標籤資料的任務上達到高的分類精確度，這已經被證明是計算機視覺研究領域一個很困難的目標，但是我們的多工深度學習框架（
PS：DeCAF即為現在的Caffe。