2018-10-10

Exemplar Encoder-Decoder for Neural Conversation Generation
思路清奇，標本編碼器解碼器，利用訓練資料中相似的樣本來生成迴應。

指出了一個問題：模型的所有引數均來源於訓練資料。但是模型引數可能不是充分的對於生成自然語言的會話。因此，即使提供了大量的資料，神經生成模型仍然是無效的對於真實世界的應用。所以使用其他的類似檢索策略來輔助生成，不過這個檢索策略是在訓練資料中進行檢索。

2018-10-11

Search Engine Guided Neural Machine Translation
也是利用檢索得到的資料指導翻譯的生成，對於檢索的資料 是從訓練集中得到的

如果把整個訓練資料當作memory去查詢的話，太大了。

檢索階段：
首先使用Apache Luence在訓練集中進行搜尋得到一個子集，然後根據context之間的模糊匹配分數對子集中的元素進行排序，然後進行最終的選擇。在進行最終的選擇時，最簡單的就是取前top K個。這裡是使用貪心的選擇策略去最大化源句子的覆蓋。但是確保不會出現目標句子本身。

翻譯階段：
1)構建鍵值記憶體單元將檢索到的資料對均通過NMT，然後以context vector為鍵，（hidden state_t, y_t)為值。將所有檢索對放在一個記憶體單元中。

2)在翻譯階段，將當前序列的context vector作為query去查詢鍵值記憶體單元，得到一個權重，最後在生成最終結果的時候，使用檢索到資訊的方式有兩種，深度融合deep fusion和淺度融合 shallow fusion，其中淺層融合則類似於copy機制。實驗結果證明，淺層融合的效果更好
最後還添加了coverage機制。