1. 程式人生 > 其它 >tensorflow學習023——預訓練網路(遷移學習)基礎知識

tensorflow學習023——預訓練網路(遷移學習)基礎知識

預訓練網路是一個儲存好的之前已在大型資料集(大規模影象分類任務)上訓練好的卷積神經網路。如果這個原始資料集足夠大且足夠通用,那麼預訓練網路學到的特徵的空間層次結構可以作為有效的提取視覺世界特徵的模型。即使新問題和新任務與原始任務完全不同,學習到的特徵在不同問題之間是可移植的,這也是深度學習與淺層學習方法的一個重要優勢,使得深度學習對於小資料問題非常的有效。
Keras庫中包含(在tensorflow中就是tf.keras模組)VGG16、VGG19、ResNet50、Inception v3、Xception等經典的模型架構。
ImageNet是一個手動標註好類別的圖片資料庫(為了機器視覺研究),目前已有22000個類別。當我們在深度學習和卷積神經網路的背景下聽到”ImageNet”一詞時,我們可能會提到ImageNet視覺識別比賽,稱為ILSVRC。這個圖片分類比賽是訓練一個模型,能夠將輸入圖片正確分類到1000個類別中的某個類別,訓練集120萬,驗證集5萬,測試集10萬。這1000個圖片類別是我們在日常生活中遇到的,例如狗、毛,各種家居物品,車輛型別等等。在影象分類方面,ImageNet比賽準確率已經作為計算機視覺分類演算法的基準。自2012年以來,卷積神經網路和深度學習技術主導了這一比賽的排行榜。
VGG模型結構簡單有效,前幾層近使用33卷積核來增加網路深度,通過max pooling(最大池化)依次減少每層的神經元數量,最後三層分別是2個有4096個神經元的全連線層和一個softmax層,如圖10-1和圖10-2所示。conv3-64表示64個3

3的卷積核。
預訓練網路是一個儲存好的之前已在大型資料集(大規模影象分類任務)上訓練好的卷積神經網路。如果這個原始資料集足夠大且足夠通用,那麼預訓練網路學到的特徵的空間層次結構可以作為有效的提取視覺世界特徵的模型。即使新問題和新任務與原始任務完全不同,學習到的特徵在不同問題之間是可移植的,這也是深度學習與淺層學習方法的一個重要優勢,使得深度學習對於小資料問題非常的有效。
Keras庫中包含(在tensorflow中就是tf.keras模組)VGG16、VGG19、ResNet50、Inception v3、Xception等經典的模型架構。
ImageNet是一個手動標註好類別的圖片資料庫(為了機器視覺研究),目前已有22000個類別。當我們在深度學習和卷積神經網路的背景下聽到”ImageNet”一詞時,我們可能會提到ImageNet視覺識別比賽,稱為ILSVRC。這個圖片分類比賽是訓練一個模型,能夠將輸入圖片正確分類到1000個類別中的某個類別,訓練集120萬,驗證集5萬,測試集10萬。這1000個圖片類別是我們在日常生活中遇到的,例如狗、毛,各種家居物品,車輛型別等等。在影象分類方面,ImageNet比賽準確率已經作為計算機視覺分類演算法的基準。自2012年以來,卷積神經網路和深度學習技術主導了這一比賽的排行榜。
VGG模型結構簡單有效,前幾層近使用33卷積核來增加網路深度,通過max pooling(最大池化)依次減少每層的神經元數量,最後三層分別是2個有4096個神經元的全連線層和一個softmax層,如圖10-1和圖10-2所示。conv3-64表示64個3
3的卷積核。

VGG有兩個缺點:網路架構weight數量相當大,很消耗磁碟空間;訓練非常慢。其中全連線節點的數量較多,再加上網路比較深,VGG16有533MB+,VGG19有574MB,這使得部署VGG比較耗時。


作者:孫建釗
出處:http://www.cnblogs.com/sunjianzhao/
本文版權歸作者和部落格園共有,歡迎轉載,但未經作者同意必須保留此段宣告,且在文章頁面明顯位置給出原文連線,否則保留追究法律責任的權利。