AMiner 會議論文推薦第六期
AMiner平臺由清華大學計算機系研發，擁有我國完全自主智慧財產權。平臺包含了超過2.3億學術論文/專利和1.36億學者的科技圖譜，提供學者評價、專家發現、智慧指派、學術地圖等科技情報專業化服務。系統2006年上線，吸引了全球220個國家/地區1000多萬獨立IP訪問，資料下載量230萬次，年度訪問量超過1100萬，成為學術搜尋和社會網路挖掘研究的重要資料和實驗平臺。
IJCAI 2020 論文推薦
CP-NAS: Child-Parent Neural Architecture Search for 1-bit CNNs
神經架構搜尋（NAS）通過生成應用程式自適應的神經體系結構被證明是許多工的最佳方法之一，但仍受到高計算成本和記憶體消耗的挑戰。同時，具有二值化權重和啟用的1-bit卷積神經網路（CNN）顯示了其在資源受限的嵌入式裝置中的潛力。一種自然的方法是使用1-bit CNN來利用NAS在統一框架中的優勢來減少NAS的計算和記憶體成本。
論文連結：https://www.aminer.cn/pub/5eafe7e091e01198d3986547?conf=ijcai2020
NeurIPS 2020 論文推薦
Supervised Contrastive Learning
交叉熵是在影象分類模型的監督訓練中使用最廣泛的損失函式。
在本文中，作者提出了一種新穎的訓練方法，該方法在跨不同體系結構和資料擴充的監督學習任務中始終優於交叉熵。作者修改了批處理的對比損失，最近已證明在自我監督的環境中，這種對比損失對於學習強大的表示非常有效。因此，所提方法能夠比交叉熵更有效地利用標籤資訊。屬於同一類別的點的群集在嵌入空間中合併在一起，同時將不同類別的樣本群集推開。除此之外，作者還利用了大批量尺寸和歸一化嵌入等關鍵成分，這些都已證明對自我監督學習有利。
在ResNet-50和ResNet-200上，文中所提方法的交叉熵效能均超過1％，在使用AutoAugment資料增強的方法中，新的技術水平達到了78.8％。損失也顯示出對自然損壞的魯棒性在校準和精度的標準基準上有明顯的好處。與交叉熵相比，該方法的監督對比損失對於諸如優化程式或資料增強之類的超引數設定更為穩定。
論文連結：https://www.aminer.cn/pub/5ea2b8c391e01167f5a89e2d?conf=neurips2020
EMNLP 2020 論文推薦
Beyond Instructional Videos: Probing for More Diverse Visual-Textual Grounding on YouTube
從未標記的網路視訊中進行預訓練，已經迅速成為在許多視訊理解任務中實現高效能的事實手段。通過預測視覺內容與自動語音識別（ASR）標記之間的基礎關係來學習特徵。但是，先前的預訓練工作僅限於教學視訊，而我們希望該領域相對“容易”，因為教學視訊中的說話者通常會引用所描述的文字物件/動作。由於教學視訊僅佔網路多樣化視訊內容的一小部分，那麼可以在更廣泛的語料庫上訓練類似的模型嗎？如果可以，哪些型別的視訊是“固定的”，哪些不是？
作者研究了多樣化的YouTube8M語料庫，首先通過人群標籤驗證了它包含許多非教學視訊。作者預訓練了YouTube8M上的代表性模型，並研究了它的成功和失敗案例。結果發現視覺文字基礎確實可以在以前未開發的視訊類別中實現，並且在更多樣化的集合上進行預訓練仍然可以得到泛化到非教學領域和教學領域的表徵。
論文連結：https://www.aminer.cn/pub/5eaaa1d691e011fa9e15eb00?conf=emnlp2020
想要檢視更多精彩會議論文合集，請移步AMiner頂會