• 摘要

　　在本文中，我們提出了一個簡單而通用的框架，用於訓練非常微小的CNN（例如，通道數減少到1/32的VGG）用於目標檢測。由於表示能力有限，為檢測等復雜任務訓練非常小的網絡具有挑戰性。據我們所知，我們稱為Quantization Mimic的方法是第一個專註於非常小的網絡的方法。我們使用兩種類型的加速方法：模仿和量化。 Mimic通過從教師網絡傳輸知識來提高學生網絡的性能。量化將全精度網絡轉換為量化網絡，而不會降低性能。如果教師網絡被量化，則學生網絡的搜索範圍將更小。使用量化的這個特征，我們提出量化模擬。它首先量化大型網絡，然後模擬量化的小型網絡。量化操作可以幫助學生網絡更好地匹配教師網絡中的特征映射。為了評估我們的方法，我們在各種流行的CNN上進行實驗，包括VGG和Resnet，以及不同的檢測框架，包括更快的R-CNN和R-FCN。 Pascal VOC和WIDER FACE上的實驗驗證了我們的量化模擬算法可以應用於各種設置，並且在給定有限計算資源的情況下優於最先進的模型加速方法。

• 簡介

　　在本文中，我們提出了一種利用量化和模擬方法的優勢來訓練非常小的網絡的新方法。 圖1說明了pipeline。 量化操作應用於教師模型和學生模型的特征圖。 教師模型的量化特征圖用作學生模型的監督。 我們建議這種量化操作可以促進兩個網絡之間的特征映射匹配，並使知識轉移更容易。

　　總之，本文的貢獻如下：

1. 我們提出了一種有效的算法來訓練非常小的網絡。 據我們所知，這是第一項專註於非常小的網絡的工作。
2. 我們利用量化特征圖來促進知識提取，即量化和模仿。
   
3. 我們使用復雜的任務對象檢測而不是圖像分類來驗證我們的方法。 對各種CNN，框架和數據集的充分實驗驗證了我們的方法是有效的。
   
4. 該方法易於實施，在訓練和推理過程中沒有特殊限制。

• 本文提出的方法
  
• 量化　　

　　在本節中，我們首先介紹我們單獨使用的量化方法和模擬方法，然後將它們組合起來並提出Quanzition Mimic算法的流程。 在後面小節中，我們展示了對我們方法的理論分析。

　　我們使用量化來限制範圍並幫助模仿學習。 具體來說，教師網絡的量化是對其輸出進行離散化，同時我們可以保證教師網絡在量化時的準確性。 量化學生網絡的輸出可以幫助它匹配教師網絡的離散輸出，這是模仿學習的目標。 在我們的工作中，我們在教師網絡的最後一個激活層進行量化操作。

　　量化函數定義如下

　　其中f是特征圖。 圖2說明了量化的ReLU函數。

• 模擬

　　在流行的CNN檢測器中，來自特征提取器（例如VGG，Resnet）的特征圖將同時具有定位和分類準確性。 我們使用L2重新表達讓學生網絡從教師網絡中學習特征圖，並利用Li等人[4] 聯合訓練版本作為我們的支柱。 與尺寸等於類別數量的軟目標[35]不同，特征圖的尺寸與輸入和網絡結構的大小有關。 有時數字可能是數百萬。 簡單地模仿整個特征圖是學生網絡收斂的難點。 更快的R-CNN [38]和R-FCN [37]是基於區域的檢測器，它們都使用RoI-Pooling操作。 所以對該區域的興趣比其他地區發揮更重要的作用。 我們在學生感興趣的區域和教師特征圖之間使用模仿學習。 模擬學習的整個損失函數描述如下：

• 量化模仿

　　我們算法的流程如下：首先我們訓練一個全精度的教師網絡。 然後我們使用函數Q將全精度教師網絡壓縮到量化網絡。 為了獲得高性能的壓縮模型，我們對全精度網絡進行了微調。 最後，我們利用量化教師網絡以模擬損失作為監督來教學生網絡。 在訓練期間，我們都量化了師生網絡的特征圖。 圖3說明了我們的方法。

其中，Q函數見公式（1）

Quantization Mimic: Towards Very Tiny CNN for Object Detection 論文筆記