2. 程式人生 > >訓練一次得到多個模型做整合的方法

訓練一次得到多個模型做整合的方法

阿新 • • 發佈：2019-01-13

參考論文

SNAPSHOT ENSEMBLES: TRAIN 1, GET M FOR FREE

解決的問題

多個分類器整合可以獲得超過單個分類器的效果，但整合分類器就要求有多個分類器，在訓練速度和測試速度方面不佔優勢。本文提出的方法可以提高整合學習的訓練速度，通過一次訓練，獲得多個分類器，解決了整合學習訓練速度慢的問題。
overview

解決方法

深度學習訓練過程中，只有經歷足夠長的epoch後，test loss才會隨著lr的降低而降低，這說明loss空間中存在的區域性最小值點是穩定的，這些區域性最小值點的模型從不同方面描述了特徵空間，可以用於整合學習。本文提出的方法主要有以下兩點

  • 週期性學習率策略
    和常規學習率策略不同，本文把整個訓練過程平均劃分成M個階段，每個階段內學習率lr都從一個固定初始值開始，逐步降低。每個階段結束後都保留一個snapshot，訓練結束後一共獲得M個snapshot，從後面抽取m個組成整合分類器。如此在一次訓練中，獲得M個模型，訓練速度和常規訓練方法一樣。
    cycle-lr

  • 利用前一階段的結果初始化當前階段模型
    對於簡單的模型而言，這一個步驟沒那麼重要，沒有這一步也可以得到不錯的結果。對於複雜的模型，這一步十分重要，因為複雜的模型需要較多的epoch才可以收斂到穩定的區域性極小值點，除非增加每個階段的epoch（同時也增大了整個訓練時間），否則很難得到較好的結果

實驗分析

對比實驗

exp-main-result

  • single model: 採用常規lr更新策略，比如每經過1/4訓練epoch，學習速率降低一個數量級
  • NoCycle Snapshot Ensemble：不使用週期性學習率更新策略，但依然每個相同epoch抽取一個模型，最後做整合
  • SingleCycle Ensembles：採用週期性學習率更新策略，但是每個階段模型採用隨機初始化，而不是採用前一個階段的訓練結果，這種方式對於簡單的模型也可以產生不錯的結果，畢竟其遍歷了更大的引數空間。但如果模型複雜，則該方法效果變差。

整合需要的模型數量

exp-densenet100-cifar
採用本文方法獲得的最後一個階段的模型的效能是低於常規訓練方法得到模型的，但是兩個snapshot整合後test loss就降低到baseline之下
exp-densenet40-ciar


一般隨著整合模型數量的提升，test loss會逐步降低（不一定成立，只是一個大的趨勢），但整合多個模型會降低預測速度

和標準整合學習的比較

exp-true-ensembling
和標準整合學習（採用不同初始化引數，使用常規學習率更新策略，完整訓練出多個模型做整合）對比，本文的方法效果是沒有標準整合學習好的，當然本文中的方法的訓練速度要快很多

相關推薦

訓練一次得到多個模型做整合的方法

參考論文 SNAPSHOT ENSEMBLES: TRAIN 1, GET M FOR FREE 解決的問題 多個分類器整合可以獲得超過單個分類器的效果，但整合分類器就要求有多個分類器，在訓練速度和測試速度方面不佔優勢。本文提出的方法可以提高整合學習的訓練速度，通過一次訓練，

一次下載多個文件

itl cnblogs script log logs html 文件 download nload 一次下載多個文件 JavaScript多文件下載一次下載多個文件

（轉）Spring文件上傳,包括一次選中多個文件

bmi while .html span cto input 獲取文件 dex asn 背景： http://www.cnblogs.com/lixuwu/p/8495275.html已經實現了單文件的上傳和下載，多文件的上傳是另一種情景，這裏記錄下來 實現過程

一次下載多個檔案的解決思路-JS

一次下載多個檔案的解決思路(iframe) - Eric 真實經歷 最近開發專案需要做檔案下載，想想挺簡單的，之前也做過，後臺提供下載介面，前端使用window.location.href就行了唄。不過開發的時候發現，有些檔案有附屬檔案，點選 下載按鈕 需要下載兩個檔案，而且不能使用壓縮包的形式。想想

maven 一次打包多個maven專案

maven 一次打包多個maven專案。 使用場景 一個專案由多個子專案組成，每個子專案也是一個maven專案。每次打包需要打包每個子專案，很麻煩，其實可以通過配置一個頂級的pom.xml檔案來解決這個問題，只需要打包頂層的maven專案，即可。如果一個專案有多個子專案的pom.

List集合一次刪除多個元素

JAVA中迴圈遍歷list有三種方式:   for迴圈、增強for迴圈（也就是常說的foreach迴圈）、iterator遍歷。 1、for迴圈遍歷list for(int i=0;i<list.size();i++){ if(list.get(i).equals

WEB版一次選擇多個檔案進行批量上傳(swfupload)的解決方案

功能完全支援ie和firefox瀏覽器！       一般的WEB方式檔案上傳只能使用FileUpload控制元件進行一個檔案一個檔案的進行上傳，就算是批量上傳，也要把檔案一個一個的新增到頁面，無法如windows程式一樣，一次選擇多個檔案進行批量上傳。這樣在某些應用上就

Android6.0及以上版本一次請求多個許可權的處理方式

final private int REQUEST_CODE_ASK_MULTIPLE_PERMISSIONS = 124; private void insertDummyContactWrapper() { List<Stri

Python列表一次刪除多個重複元素

（1）刪除列表中所有'a'： l = [0,1,'a',2,'a','a',3,4] l = [x for x in l if x != 'a'] print(l) >>[0,1,2,3,4] （2）刪除列表中所有'a'和‘b’： delete_list = ['a','b'

Android 仿PC端QQ自由截圖，可支援一次截多個區域

仿PC端QQ截圖，可任意截圖，這裡只做了矩形這一種形狀，可同時支援擷取多個區域，支援撤銷上次截圖，重新擷取。 實現原理： 自定義SurfaceView，在SurfaceView上繪製具有一個可拉伸，移動的矩形框，當點選截圖按鈕後，計算矩形

Ubuntu系統編寫shell指令碼程式一次安裝多個軟體包

#!/bin/sh sudo apt-get install gcc g++ python -y sudo apt-get install gcc g++ python python-dev -y sudo apt-get install mercurial -y sudo apt-get install b

使用JDBC一次插入多個表、多條記錄

程式碼如下： public static void insertBatch() { int count[]; int count1[]; Boolean isinsert = false; Connection con = null; PreparedS

Android 6.0動態申請許可權（一次申請多個）

Android一次申請多個動態許可權 昨天做一個錄音功能的程式，發現在開啟Mic的時候發生了程式崩潰，但是錯誤提示裡面居然沒有提示許可權禁止。  解決的方法有：1.手動去選擇“應用”–>“程式”–>找到那個程式新增許可權，後面程式就可以正常使用了 2.設定動態請

Python中一次讀取多個值

Python 2裡面讀取輸入的函式是raw_input()， Python 3的是input()，讀入一個值後回車讀取輸入就退出了，想要一次讀取多個輸入，可以像下面這樣： a, b = raw_inp

redis列表型別list如何一次返回多個值並刪除這些值

redis的列表型別list是一個常用的資料型別，但是這個型別並不支援一次性返回多個值並刪除這些已經返回的值。 其實我們可以通過redis的事務，來完成這個一次性返回多個值並刪除這些已經返回的值的需求。 redis中的事務就是一組命令的集合，這些命令要麼全部執行，要麼全都

如何用shell一次讀取多個檔案內容

在寫shell指令碼的時候，因為shell本身的資料結構很簡單，連二維陣列都不能支援，所以配置檔案的形式也不能過於複雜（個人看法，有什麼意見請說），因此需要寫多個配置檔案來滿足業務。 通常情況下，我們用shell讀取一個配置檔案是這樣寫的： while re

WEB版一次選擇多個檔案進行批量上傳(Plupload)的解決方案

/// <summary> /// uploadFiles 的摘要說明 /// </summary> public class uploadFiles : IHttpHandler { public void Process

AndroidStudio一次打多個包

功能背景： 因公司專案要求，每次打包都需要打包三個版本，兩個測試版本和一個線上的版本， 並且呼叫不同的baseURL，最開始的做法是每次打包一次就換一個baseURL，然後一個個打包，分別需要打包三次，如果編譯很慢會浪費了很多時間，還需要註釋掉不同的baseUR

一次替換多個詞，批量替換多個字串（使用不了的解決辦法）

三天前上CSDN，發現有人回覆批量替換多個詞的工具使用不了。下載下來試用了一下，確實報錯，這兩天打算做個網頁版本的，排版佈局還沒弄好。 上貼回覆以前工具使用不了的解決辦法：下載32位的jre，然後配置JAVA_HOME。 2、下載完畢解壓後，假如路徑（自

如何銷燬Activity,和如何一次銷燬多個activity

public class ActivityCollector { public static List<Activity> activities = new ArrayList<Activity>(); public static void addActivity(