綜述

針對最近提出的各種各樣的attention based reader models,本文作者做了一個比較全面的總結和分析，並且通過數學分析和實驗展示了模型之間的相關性。

論文

【機器閱讀】不同的閱讀理解資料集產生答案的方式不同，有的是給定N個候選答案，有的是規定從原文中的entity中進行選擇，有的是從原文中的任意token進行選擇等等。本文所用的資料集是SQuAD，候選答案是原文中的任意字串，難度較大，答案可能是一個詞或者幾個詞都有可能。本文在前人研究的基礎上提出了一種顯式表示answer span的模型，取得了不錯的效果。

【複雜問答】基於語義分析的問答系統最近流行於解決長、難問題，本文研究的內容是如何處理多個相互關聯的簡單問題？（即將複雜問題分解成多個相關簡答問題）並給出了一個任務資料集。這個問題的一大難點在於相互關聯的問題需要共指消解的工作。本文將單輪問答對話分解成多輪問題過程，上下文的處理非常重要。建議研究聊天機器人的童鞋來精讀此文。

【問答系統】基於上下文的問答已經有很多資料集了，基於影象的問答也有一些資料集了。漫畫是一類大家小時候都喜歡的讀物，包含了豐富的影象和文字資料（對話）。本文給出了一個大型資料集，包括了豐富的影象和文字，規模在120萬（120GB）左右。資料給出了幾個任務，基於影象的問答任務，基於對話文字的問答任務和文字排序任務。對問答感興趣，想找一些新資料來刷一刷榜的童鞋可以看過來。

不久前釋出的LAMBADA dataset中，作者嘗試的各種baseline models都給出了比較差的結果。在觀察了LAMBADA dataset之後，我們認為可以利用Reading comprehension models來提升準確率，而不必使用傳統的language model。這篇文章中，作者利用了簡單的方法和模型將LAMBADA dataset的準確率從7.3%提高到45.4%，非常簡單有效。

本文提出的模型結合了match-LSTM(mLSTM)和Pointer Net(Ptr-Net)兩種網路結構。

作者給出了一個新的中文的QA資料集, 並且提出了一個非常有意思的baseline model.

模型

1 Memory Networks

Memory Networks為解決長期記憶問題, 提出一類稱為Memory Networks的模型框架, 基於該框架構造的模型可以擁有長期(大量)和易於讀寫的記憶。

本文提出了一個可以端到端訓練的Memory Networks，並且在訓練階段比原始的Memory Networks需要更少的監督資訊。

Question Answering: 給定一段Context，一個與此Context相關的Question，利用模型生成一個單詞的Answer。

鑑於知識庫有知識稀疏、形式受限等問題，本文提出了一種可以通過直接讀取文件來解決QA問題的新方法Key-Value Memory Networks。

本文對於語言模型（RNN/LSTM/Memory Network生成）到底能夠多好或者在多大程度上表示The Children’s Book做了一項測試。測試結果表面Memor　Network上的效果最好。

Memory Networks和Attention是解決長距離依賴問題的兩大方法，Attention模型在NLP的很多工中都有更好的表現，本文對Memory Networks類模型的缺點進行了分析，並且提出了一種改進模型。改進版的memory模型有不錯的表現，並且在長句子機器翻譯任務中得到了驗證。本文作者來自Google Brain。建議關注自然語言處理的童鞋，不管是關注什麼任務，都應該精讀一下本文。

2 DeepMind Attentive Reader

3 Danqi’s Stanford Reader

3.1 [A thorough examination of the cnn/daily

mail reading comprehension task]()

4 Attention Sum Reader

5 Gated Attention Sum Reader

6 Attention Over Attention Reader

本文優化了attention機制，同時apply question-to-document and document-to-question attention，提升了已有模型在Cloze-Style Question Answering Task上的準確率。

資料集

1 SQuAD

資料來自LDC English Gigaword newswire copus。該資料集為了防止文章摘要被使用，每一個問題都從兩個獨立的文章中生成，一篇用來做Context，一篇用來挖空作為問題。該資料集為了不像CNN&DailyMail那樣將實體匿名，所有的問題都是人名實體。而且使用了一些簡單的baselines來篩選掉那些容易解決的問題。

資料來自CNN和Daily Mail新聞，文章中高亮顯示而且挖空的就是問題。為了防止使用外界知識，將命名實體都用ID替換，給出答案候選集。

5 Children's Book Test

資料來自一個兒童讀物，每個問題都是從中挑選出21條連續的句子，將前20條作為Context，將第21條挖空作為問題。

6 BookTest

本文釋出了一個新的機器閱讀理解資料集BookTest，該資料集最大的亮點是規模大，是Facebook釋出的Children’s Book Test的60倍之大。