paper-list

1.Distilling the Knowledge in a Neural Network

hiton的經典之作，大體上就是用softmax/t 代替softmax去用大網路學小網路，在mnist等小資料集取得了積極的結果。但是缺乏在imagenet之類的大叔據集的結果，用來訓練的模型也是比較小的。

2.Mimicking Very Efficient Network for Object Detection

該文中提出了一個新的卷積網路mimic方法，即將學習整個feature map變為學習proposal取樣之後的feature來簡化任務。在由小網路生成的proposal中，使用spatial pyramid pooling方法在大小網路上進行區域性特徵取樣（後經作者指正為直接使用pixel-wise的學習），然後通過L2 loss減小二者之間的差別。總的loss主要由兩部分組成，分別為mimic loss 以及ground-truth loss，作者在實驗中發現，對於mimic loss進行normalization可以取得更為穩定的mimic結果。同時，作者還提到了對於小網路與大網路feature map大小不同的情況（譬如小網路中輸入影象減半），可以增加一個轉換層（deconvolution）使得大小網路最終mimic的層保持一致。

3.Face Model Compression by Distilling Knowledge from Neurons

HKCU－湯曉鷗學生的文章，在識別上取得了比較好的結果，缺點是模型設計的不好，說服力削弱了一點。主要的key在於學習hidden比學習softmax好，再就是給出瞭如何篩選一批比較好的hidden-node。

4.Apprentice: Using Knowledge Distillation Techniques To Improve Low-Precision Network Accuracy

intel的文章，簡單將就是int8時損失了一些精度，用distilling可以提升一部分

5.NISP: Pruning Networks using Neuron Importance Score Propagation

IBM的文章，用特徵選擇的方法壓縮模型，即第k層第j個neuron的重要性得分可由下一層相連線neurons重要性得分的加權平均獲得，該原則適用於BN、Pooling層等。則通過一次性反向傳播便可獲得網路中所有neurons的重要性得分，然後指導每一層的pruning。對於全連線層，裁剪個別neurons；對於卷積層，裁剪個別輸出通道(channels)，每個通道的重要性得分表示為該通道內所有neurons重要性得分之和。被剪除的neurons或channels不參與前一層的反向傳播。效果比隨機裁剪權重和feature ranking要好，可以結合文章３

6.Model Distillation with Knowledge Transfer in Face Classification, Alignment and Verification

國內的一篇文章，把softmax和distilling想結合，做了很多實驗，搞工程的可以參考下

7.Channel Pruning for Accelerating Very Deep Neural Networks

文章的核心內容是對訓練好的模型進行通道剪枝（channel pruning），而通道減枝是通過迭代兩步操作進行的：第一步是channel selection，這一步是採用LASSO regression來做的，其實就是添加了一個L1範數來約束權重，因為L1範數可以使得權重中大部分值為0，所以能使權重更加稀疏，這樣就可以把那些稀疏的channel剪掉；第二步是reconstruction，這一步是基於linear least squares（也就是最小二乘，或者叫最小平方）來約束剪枝後輸出的feature map要儘可能和減枝前的輸出feature map相等，也就是最小二乘值越小越好。可以看出本文的通道剪枝是對訓練好的模型進行的，也就是文章說的inference time，當然作者在最後的conclusion中也提到以後會在train time中也引進通道剪枝，希望能減少訓練的時間。