AMiner 會議論文推薦第三期
AMiner平臺由清華大學計算機系研發，擁有我國完全自主智慧財產權。平臺包含了超過2.3億學術論文/專利和1.36億學者的科技圖譜，提供學者評價、專家發現、智慧指派、學術地圖等科技情報專業化服務。系統2006年上線，吸引了全球220個國家/地區1000多萬獨立IP訪問，資料下載量230萬次，年度訪問量超過1100萬，成為學術搜尋和社會網路挖掘研究的重要資料和實驗平臺。
IJCAI 2020 論文推薦
Mixed-Variable Bayesian Optimization
評估費用高昂的黑盒混合變數函式（即具有連續和離散輸入的函式）的優化是科學和工程學中一個困難但普遍的問題。在貝葉斯優化（BO）中，已經廣泛研究了考慮完全連續或完全離散域的該問題的特殊情況。但是，很少有方法用於混合變數域。
此外，作者提供了混合變數BO演算法的首次收斂性分析。最後，實驗證明在超引數調整任務上，MiVaBo的取樣效率明顯高於最新的混合變數BO演算法。
論文連結：https://www.aminer.cn/pub/5d1c7ccb3a55ac8c230aa9b9?conf=ijcai2020
NeurIPS 2020 論文推薦
Exact expressions for double descent and implicit regularization via surrogate random design
雙下降（Double descent）指的是當改變引數數量與訓練樣本數量之間的比率時，非正則化學習模型的泛化誤差所表現出的相變。高度過引數化的機器學習模型（例如深度神經網路）的成功激發了對線性迴歸等經典模型中的雙下降現象的理論分析，該模型也可以很好地推廣到過引數化的情況。
作者基於隨機數字線性代數（RandNLA）的最新進展，為最小范數線性估計的兩次下降提供第一個精確的非漸近表示式。作者的方法涉及構建所謂的替代隨機設計來代替標準i.i.d.訓練樣本的設計。這種替代設計在保留標準設計的關鍵特性的同時，可以為估算器的均方誤差提供精確的表示式。作者還為過度引數化的訓練樣本建立了精確的隱式正則化結果。特別地，文中表明，對於代理設計，非正則最小范數估計量的隱含偏差恰好對應於求解總體分佈上的嶺正則最小二乘問題。
論文連結：https://www.aminer.cn/pub/5df0be543a55ac84bd7f496e?conf=neurips2020
EMNLP 2020 論文推薦
BERT-of-Theseus: Compressing BERT by Progressive Module Replacing
在本文中，作者提出了一種新穎的模型壓縮方法，可以通過逐步替換模組來有效地壓縮BERT。該方法首先將原始BERT分為幾個模組，並構建它們的緊湊替代品。然後，通過隨機替換原始模組，訓練緊湊型模組模仿原始模組的行為。作者通過訓練逐步增加替換的可能性。通過這種方式，在原始模型和緊湊模型之間帶來了更深層次的互動，並簡化了訓練過程。
與以前的用於BERT壓縮的知識蒸餾方法相比，文中所提方法僅利用了一個損失函式和一個超引數，從而將人的精力從超引數調整中解放了出來。作者的方法優於GLUE基準上現有的知識蒸餾方法，展示了模型壓縮的新視角。
論文連結：https://www.aminer.cn/pub/5e4129b13a55ac9f8f89e1ca?conf=emnlp2020
想要檢視更多精彩會議論文合集，請移步AMiner頂會