在碎片化閱讀充斥眼球的時代，越來越少的人會去關注每篇論文背後的探索和思考。

在這個欄目裡，你會快速 get 每篇精選論文的亮點和痛點，時刻緊跟 AI 前沿成果。

點選本文底部的「閱讀原文」即刻加入社群，檢視更多最新論文推薦。

這是 PaperDaily 的第 87 篇文章

Zero-Shot Dialog Generation with Cross-Domain Latent Actions

@paperweekly 推薦

#Dialogue Generation

本文是 CMU 發表於對話系統頂會 SIGDIAL 2018 的工作，並且獲得最佳論文提名,角逐今年 SIGDIAL 最佳論文獎。此文提出零資源對話生成的問題，目的讓端到端神經對話系統可以在沒有新的對話資料的情況下迅速的遷移到全新的領域

。作者們提出了Action Matching（AM）演算法來從現有領域的對話資料和領域描述（domain description）中學習出跨領域的隱系統行動（cross-domain latent actions），以實現神經對話模型零資源遷移。

測試表明利用提出的 AM 演算法，可以讓配有拷貝機制的神經對話系統在全新的 domain 實現相當於有訓練資料時 80% 的效能。本文研究同時也引出了多個前沿的研究課題。 

論文假設在一類對話領域中存在可以共享的對話狀態跟蹤和對話策略，模型只需建立來著不同領域中對話句子之間的關係，就可以繼續在新的領域正常運作。作者將有對話資料的領域稱為源領域（source domain），將沒有對話資料的領域稱為目標領域（target domain）。然後通過把近似對話功能來自 source domain 的句子和來自 target domain 句子投射到相近的隱空間上，就可以讓在 source domain domain 上訓練出來的對話狀態跟蹤和對話策略直接在 target domain 上使用。這個目標可以通過 AM 演算法中交替優化兩種不同的目標函式實現。

實驗資料結果表明 AM 是在所有對比模型中唯一可以實現在全新領域零資源遷移的方法。此外，為了更加高效的驗證未來的零資源對話模型，除了利用現有的多領域人人對話資料，論文還開源了一個多領域的人機對話模擬器，可以自動生成不同領域，不同難度的對話。

▲論文模型：點選檢視大圖

論文連結

https://www.paperweekly.site/papers/2077

原始碼連結

https://github.com/snakeztc/NeuralDialog-ZSDG

Design Challenges and Misconceptions in Neural Sequence Labeling

@handsome 推薦

#Neural Sequence Labeling

本文是 COLING 2018 的 Most reproducible Paper。作者用 PyTorch 實現了一個統一的序列標註框架，重現了 CoNLL 2003 English NER、CoNLL 2000 Chunking 和 PTB POS tagging 這三個資料集上不同模型的的表現。值得一提的是，基於這個統一的框架，作者對一些已有工作的一些不一致的結論進行了反駁，提出了一些新的看法。對於實踐者而言，這篇論文還是很有借鑑意義的。

▲論文模型：點選檢視大圖

論文連結

https://www.paperweekly.site/papers/2061

原始碼連結

https://github.com/jiesutd/NCRFpp

Sequicity: Simplifying Task-oriented Dialogue Systems with Single Sequence-to-Sequence Architectures

@paperweekly 推薦

#Dialog Systems

本文是新加坡國立大學、復旦大學和京東發表於 ACL 2018 的工作，論文提出了一個名為 Sequicity 的框架，可將任務型對話的狀態追蹤和文字生成通過 Seq2Seq 模型來完成。

此外，在此任務的基礎上，作者還提出了 Two Stage CopyNet 模型。相比傳統模型，該模型引數較少且訓練速度更快。實驗表明，本文模型在大規模語料中優於當前最新模型的 baseline，並且在處理 out-of-vocabulary 問題時，也有著出色表現。

▲論文模型：點選檢視大圖

論文連結

https://www.paperweekly.site/papers/2095

Semantic Sentence Matching with Densely-connected Recurrent and Co-attentive Information

@zhkun 推薦

#Sentence Matching

句子匹配（Sentence Matching）是自然語言理解任務中一個非常重要的任務，例如 Natural Language Inference，Paraphrase Identification，Question Answering 等都可以歸屬於這個任務。這個任務主要就是理解句子語義，理解句子之間的語義關係。因此如何去表示這些內容就變得十分重要了。

為了更好的利用原始特徵資訊，作者參考 DenseNet，提出了一種 densely-connected co-attentive recurrent neural network 模型，該模型最突出的地方就是可以從最底層到最頂層一直保留原始資訊以及利用 co-attention 得到的互動資訊。

本文將 DenseNet 的一些想法引入到了 stack RNN 中，還是可以給人一些靈感的，比如說從殘差連線到 DenseNet，比如說注意力權值的使用方法，比如說利用 AutoEncoder 來壓縮向量，這些還是十分值得學習的。

▲論文模型：點選檢視大圖

論文連結

https://www.paperweekly.site/papers/2082

Unsupervised Neural Machine Translation with Weight Sharing

@paperweekly 推薦

#Neural Machine Translation

本文是中科大發表於 ACL 2018 的工作，論文提出對無監督機器翻譯進行權重共享約束，使模型能夠為每種語言使用獨立的編碼器。為了實施共享潛在空間，模型還提出了嵌入增強編碼器和兩個不同的 GAN。

▲論文模型：點選檢視大圖

論文連結

https://www.paperweekly.site/papers/2094

原始碼連結

https://github.com/ZhenYangIACAS/unsupervised-NMT

Exploiting Spatial-Temporal Modelling and Multi-Modal Fusion for Human Action Recognition

@zhaoqijie 推薦

#Action Recognition

本文來自百度，該論文是獲得 CVPR18-ActivityNet18 視訊分類（行為識別）task 第一名的比賽方法描述。作者提出了一個 Spatial-Temporal Network (STNet)，在 TSN 的基礎上，深度整合空間和時間上的特徵，學習出更具行為代表性的時序表徵特徵。

此外，本文還提出了一個多流資訊整合的方案 Improved Temporal Xception Network，將 5 種不同的輸入流資訊整合學習，並得到 top1 accuracy = 82.4 的單模型最高精度。

▲論文模型：點選檢視大圖

論文連結

https://www.paperweekly.site/papers/2079

Performance Comparison of Convolutional AutoEncoders, Generative Adversarial Networks and Super-Resolution for Image Compression

@TwistedW 推薦

#Image Compression

本文來自早稻田大學，論文用精煉的語言對比了幾類影象生成模型，將卷積自編碼器（CAE）、生成對抗網路（GAN）和超解析度（SR）在生成影象效能上做了比較。通過提取影象緊湊的特徵，文章得出 CAE 比 JPEG 具有更好的編碼效率，GAN 顯示出在大壓縮比和高主觀質量重建方面的潛在優勢，超解析度在其中實現了最佳的速率失真（RD）效能，與 BPG 相當。

▲論文模型：點選檢視大圖

論文連結

https://www.paperweekly.site/papers/2085

ISTA-Net: Interpretable Optimization-Inspired Deep Network for Image Compressive Sensing

@sawako 推薦

#Image Reconstruction

本文是 KAUST 發表於 CVPR 2018 的工作，論文研究了影象的 CS 重建問題，並且基於經典的 ISTA 提出了 ISTA-Net。ISTA-Net 的每一層先對輸出進行編碼，即卷積提取特徵，然後對特徵進行壓縮（shrinkage），最後再進行解碼。與眾多傳統 CS 演算法以及 ADMM-Net 相比，ISTA-Net 的速度最快，重建效果最好。

▲論文模型：點選檢視大圖

論文連結

https://www.paperweekly.site/papers/2056

原始碼連結

https://github.com/jianzhangcs/ISTA-Net

CFENet: An Accurate and Efficient Single-Shot Object Detector for Autonomous Driving

@zhaoqijie 推薦

#Object Detection

本文來自北京大學和阿里巴巴，論文為自動駕駛場景提供了一種新的單步檢測器，對小目標的檢測做了極大的優化。該文章是基於 SSD 改進的方法裡效果最好的版本，論文方法在 CVPR 2018 的 workshop of autonomous driving（WAD) 中獲得目標檢測專案的第二名，結果為本方法的單模型、多尺度預測結果。

▲論文模型：點選檢視大圖

論文連結

https://www.paperweekly.site/papers/2070

Eye In-painting with Exemplar Generative Adversarial Networks

@zhangjichao 推薦

#Image Inpainting

本文來自 Facebook，論文提出了一種基於 Exemplar 的人眼修復演算法，除了得到高質量的修復結果，而且能夠保持修復結果的身份特徵。論文提出的框架具有一定的通用性，可以被應用到其他修復問題，以及超解析度等問題中。論文還開源了一個新的資料集來作為 benchmark。

▲論文模型：點選檢視大圖

論文連結

https://www.paperweekly.site/papers/2058

原始碼連結

https://github.com/bdol/exemplar_gans

Policy Optimization With Penalized Point Probability Distance: An Alternative To Proximal Policy Optimization

@figo 推薦

#Deep Reinforcement Learning

本文來自小米，論文對標 OpenAI PPO， 提出了一種與 PPO（OpenAI, Google Brain 預設強化學習演算法，也是到目前最好的 RL 演算法）相比均有很強競爭力的 RL 演算法。

在與 PPO 保持相同複雜度和計算量的前提下，嚴格按照 OpenAI 的測試評價指標，在 Atari 49 + Mujoco 7 上取得了 state of the art  的效果，且同時可以應用在離散和連續的情形。論文開放了原始碼和實驗資料，這在 RL 領域，確是為數不多的開源如此徹底的論文。

▲論文模型：點選檢視大圖

論文連結

https://www.paperweekly.site/papers/2091

原始碼連結

https://github.com/cxxgtxy/POP3D.git

Supervised Reinforcement Learning with Recurrent Neural Network for Dynamic Treatment Recommendation

@xiaolu 推薦

#Deep Reinforcement Learning

本文是華東師範大學發表於 SIGKDD 2018 的工作。近幾年，許多機器學習演算法致力於輔助醫生更好地開展工作，例如生成醫療影象報告，輔助診斷等。其中輔助醫生開藥（藥物推薦）的研究已經有很長曆史。傳統藥物推薦演算法主要分為監督學習（SL）和強化學習（RL）。SL 通過匹配醫生的藥方來訓練模型，RL 通過優化病人輸出進行學習。本文嘗試通過融合 SL 的指示訊號和 RL 的評估訊號來提升藥物推薦效果。 

早期，許多研究工作通過構建專家系統來進行藥物推薦。隨著近年海量電子病歷的湧現，一些工作利用這些大量的個性化資料，結合人工智慧演算法進行基於模型的藥物推薦。基於模型的藥物推薦演算法大致分為 SL 和 RL 兩類。

SL 通過減少模型輸出和指示訊號（醫生藥方）之間的差異來訓練模型。但是，在真實醫療環境中好的 label 或者指示訊號是不明確的。另一方面，藥物推薦的根本目的是為了優化病人的輸出（減少死亡率，減少腫瘤大小等），而不僅是匹配醫生的藥方。

第二類方法是基於 RL 的藥物推薦。RL 通過最大化評估訊號（reward）即病人的輸出來訓練模型。此外，醫生的開藥過程實際是一個多步決策過程，所以 RL 能更好地反應真實的醫療場景。可是，由於缺少指示訊號，RL 可能輸出高風險的藥物。 

Barto 曾提出指示訊號和評估訊號是互補的關係，基於此，我們提出一種同時融合這兩種訊號的模型來解決藥物推薦問題。模型融合了 DDPG 和 RNN，其中DDPG中的 Actor 由指示訊號和評估訊號共同訓練。通過在公開電子病歷 MIMIC-3 上進行實驗，驗證了本文模型的有效性。

▲論文模型：點選檢視大圖

論文連結

https://www.paperweekly.site/papers/2092

On the Spectral Bias of Deep Neural Networks

@herb 推薦

#Fourier Analysis

根據前人的工作告訴我們，過參的（over-parameterized） DNN 會對簡單的光滑（smooth） 函式優先擬合，也就是說更容易破獲到資料的整體結構（global structure），而不是對每個樣本的過擬合。這一現象對於真實資料和隨機生成的資料都是會發生的。可見，DNNs 對擬合光滑資料很有傾向性（bias）。 

本文工作並不是研究泛化性或者優化方法的表現，而是用傅立葉分析證明 DNNs 對光滑函式的內稟傾向性。具體來說（這裡默認了一個事實：越高頻，越不光滑）：

1. 對於任意有限引數值 θ，DNN 中 ReLU 函式裡的相應幅度，會隨著頻譜中的頻率分量 k 以衰減。對於高頻特徵的捕獲，DNN 的寬度是 polynomially 的，深度是 exponentially 。說白了，資料的高頻分量在網路中貢獻很小，所以體現了對光滑低頻函式的傾向性（在一定的 steps 上）。這是 paper 最重要最核心的結果。

2. 於是有了理論上的推論：對於擬合擬合類 δ 函式來說，DNN 的能力就會大大受限。

3. 論文還證明了：加入 DNN 對映的是一個低微微分流形，那麼 DNN 就可以充分利用流形的幾何特徵去近似地擬合高頻特徵分量。

4. 經驗上證明了：對於 CIFAR-10 資料來說，所有的樣本（甚至包括對抗樣本）被 DNN 分類後，相同特定類別裡的樣本都在某種程度上存在著線性關聯（用的AutoNEB）。

5. 經驗上證明了：對於高頻函式分量的 DNN 引數佔坑較小。

▲論文模型：點選檢視大圖

論文連結

https://www.paperweekly.site/papers/2080

Generative Adversarial Image Synthesis with Decision Tree Latent Controller

@TwistedW 推薦

#Image Synthesis

本文是 NTT 集團發表於 CVPR 2018 的工作，文章提出了決策樹潛在控制器生成對抗網路（DTLC-GAN）模型，該模型可以在不依賴詳細監督的情況下學習到影象的分層解釋表示。DTLC-GAN 以層次分解的方式捕捉影象的顯著語義特徵，在有限的標籤資訊下以粗到細的方式控制影象的語義特徵，實現了同一類別下不同語義特徵影象的生成。

▲論文模型：點選檢視大圖

論文連結

https://www.paperweekly.site/papers/2068

Mixed Link Networks

@chlr1995 推薦

#Scaffolding Networks

本文從拓撲結構的角度，分析了 ResNet（Eccv版本）和 DenseNet 的結構特性，並以此提出了 Dense Topology。從 Dense Topology 出發，對層與層之間的連線方式進行了變換，主要方式有拼接（DenseNet Concatenation）和累加（ResNet Addition）兩種，最終構造了一種混合 concat 和 addition的 Mixed link 結構，兩種操作的數量由 k1 和 k2 兩個超引數決定。最後通過實驗驗證了網路結構的有效性，以及超引數的穩定性。

相關推薦