Collection | Multi-task learning & Transfer learning
阿新 • • 發佈:2019-03-23
lis ted eat ear 任務 dap 通過 初始化 即使
目錄
- Multi-task learning
- Transfer learning
- 可遷移性
- How transferable are features in deep neural networks?
- 可遷移性
Multi-task learning
Transfer learning
可遷移性
How transferable are features in deep neural networks?
- 量化可遷移性:量化某一層general或specific,可以通過對比實驗的方法。
- 導致negative tranfer的因素:如果transfer without fine-tuning,以下兩種情況會導致性能變差:
(1)transfer的特征過於spec;
(2)co-adapted neurons所在的相鄰網絡是分開的(frozen transferred特征以及後續層)導致的優化困難。 - Transfer大法好:無論是froze還是fine-tune,都比隨機初始化更好。
即使繼續繼續繼續fine-tune,效果仍然明顯!
即使是不太相似的任務,transfer也比隨機效果好。 - High layers的特征特化嚴重:如果transfer後froze,隨著chop的深度增加,性能會越來越差。
Over 2000 citations. Bengio!
Collection | Multi-task learning & Transfer learning