前言

　　SMT是在神經網路之前最主流的翻譯模式，統計機器翻譯；NMT則是基於神經網路的翻譯模式，也是當前效果最好的翻譯模式。現在基於幾篇paper來梳理下神經網路下的翻譯模型。

NMT based RNN

1) First End-to-End RNN Trial
　　2014年，Cho首次將End-to-End的RNN結構應用到翻譯領域，是以統計機器翻譯模型為主，但是用NMT訓練得到的短語對，來給SMT作新增特徵。另外也是GRU第一次被提出的paper，就是圖結構有點糙，GRU的結構比LSTM要簡單。看不動就看下面的圖。

2) Complete End-to-End RNN NMT
　　Properties of NMT是Learning Phrase的兄弟篇，也是Cho的同年佳作，首次以GRU和grConv【GRU的升級版本】實現End-to-End的NMT結構，並分析了NMT時的特性。
　　a） NMT在句子長度增加是，效果下降得厲害。
　　b） 詞表長度對NMT有很大的影響。
　　c） grConv的NMT可以在無監督的情況下，學習到目標語言的語法結構。
　　其中對GRU和grConv【gated Recurrent Convolutional Network】的結構拆分非常有意思，如下圖：

　　2014年，Sutskever 首次實現完整意義上的end-to-end的LSTM版本的NMT模型，兩個Deep LSTM分別做encoder 和 decoder，其中，反轉輸入（target不動）訓練會提高翻譯效果。

　　具體操作部分，out-of-vocabulary 作UNKNOWN詞，評估是用beam-search 。並行在8張GPU上，每層在一個卡上。使用了4層Deep LSTM，堆疊的LSTM結構，整體資料集迭代次數在8次以內。並且根據句子長短對minibatch作了優化，長度基本一致的在一個batch內，防止空轉計算。用了個類似clicp-gradient的約束梯度爆炸的技巧。
notice 1：這個方法很好，就是訓練太耗時，需要10天的時間。
notice 2：不是補充訓練，而是就用反轉直接訓練。【反轉訓練效果好的非正式解釋：引入了許多短期依賴】

3) attention in NMT

　　這篇文章《NMT by Jointly Learning to Align and Translate》從14年就開始提交，7易其稿，一直到16年才完成最終版，看下作者Bahdanau和Cho，都是Bengio實驗室的，已經產學研一條龍了。

　　每個輸入序列的詞，都有個解釋向量hj$h_j$，其對當前預測詞的貢獻權重α$\alpha$採用softmax方式計算，某個詞對當前預測詞的匹配度由a$a$來確定，所有輸入序列中的詞都通過h$h$對注意力向量c$c$作貢獻。
　　好在有其他的研究文章可以來輔助確認模型細節，強烈推薦這篇，給出了Attention的基本結構型別說明，其開放原始碼。一個很好地介紹Attention的部落格，後面會作為翻譯部落格。另外專門寫篇部落格，討論NMT by Jointly Learning 與Effective Approaches to Attention-based NMT 和Show and Tell, Neural Image Generation with Visual Attention。
notice 1： Attenttion是一種思想，並不是一種模型，有很多變種attention方法Effective Approaches to Attention-based NMT，並且在翻譯之外很多地方都有應用，比如影象描述：《Show, Attend and Tell: Neural Image Caption Generation with Visual Attention》，文字分類：《Hierarchical Attention Networks for Document Classification》，關係分類：《Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification》。
notice 2： 非常需要吐槽下NMT by Jointly Learning這篇文章，看似寫得很清晰，但是你根據論文內容是沒法回答下面兩個問題的：
　　a） 為什麼αij${\alpha }_{ij}$不能直接model化yi$y_i$和hj$h_j$的關係，而是繞道si−1$s_{i-1}$和hj$h_j$匹配度？
　　b） 無法確定h$h$和s$s$是否用同一個BiRNN來描述，即便有圖也沒法確認，更沒有文字明確給出，只能看原始碼。
　　關於第一點，有模糊地解釋：“The probability αij${\alpha }_{ij}$ , or its associated energy eij$e_{ij}$ , reflects the importance of the annotation hj$h_j$ with respect to the previous hidden state si−1$s_{i-1}$ in deciding the next state si$s_i$ and generating yi$y_i$ . Intuitively, this implements a mechanism of attention in the decoder.”，這種解釋都是似是而非的，si−1$s_{i-1}$決定當前狀態，那麼為什麼不包含yi−1$y_{i-1}$呢？為什麼不直接對yi$y_i$和hj$h_j$直接建模呢？

NMT in google

　　Google翻譯這麼拽，集合了attention機制，Deep機制，並且做了各種工程優化，非常值得一看。
　　NMT的三個主要缺陷：1）訓練和推斷速度慢。2）處理稀少詞時會失效。3）有時翻譯不能cover全部輸入。
　　google的NMT作了很大的工程改進，具體如下，更具體見論文。
　　1） 8層LSTM分別作 Encoder和 Decoder，同時加以Residual Block以降低學習難度；
　　2） 使用Attention，僅連線Encoder的bottom層和Decoder的top層；
　　3） 用低精度的推斷來加快翻譯速度；
　　4） 為改善稀少詞的處理，使用wordpiece，將單詞拆成有限子集單元，極大地平衡了單字母的複雜性和完整單詞的有效性，並且避開了對未知單詞的處理；
　　5） 利用強化學習來改善翻譯效果。

NMT based CNN

思考 與 總結

1） NMT大部分以Encoder-Decoder結構為基礎結構。
2） 翻譯模型特別喜歡bidirectional，注意其無法適應線上的缺陷。
3） Attention並不侷限於翻譯模型上，而是在各個地方都有應用。
4） NMT的訓練耗時是個長久存在的問題，需要在工程中密切關注。

補充知識

1） 關於翻譯結果的查詢方法：Beam Search
如果直接搜尋模型的最優路徑，需要比較所有的可能路徑，耗時耗力。Beam Search則每次選擇Top-N個選項，相當於每次只對比當次所有輸出，然後選擇Top-N。

2） 關於翻譯效果的評估方法：BLEU 和 Meteor
B={1e1−r/cifc>rifc≤c$$B=\{\begin{array}{cc}1& ifc>r\\ e^{1-r/c}& ifc\le c\end{array}$$
BLEU=B⋅exp(1N∑n=1Nlogpn)$$BLEU=B·exp(\frac{1}{N}\sum _{n=1}^{N}log{p}_n)$$
BLEU-2005是改進unigram-precision的改進版，是[1,n]-gram precision的幾何平均值，通常N=4$N=4$足矣。B$B$是penalty，c$c$是候選翻譯的平均長度，r$r$是參考翻譯的平均長度。
pn$p_n$是修正的n-gram precision，候選翻譯的n-gram 出現在任意參考翻譯中的數量，除以總候選翻譯的n-gram數量。
Fα=PRαP+(1−α)R$$F_{\alpha }=\frac{PR}{\alpha P+(1-\alpha )R}$$
Meteor=(1−M)Fα$$Meteor=(1-M)F_{\alpha }$$

相關推薦

NMT：神經網路機器翻譯

前言 　　SMT是在神經網路之前最主流的翻譯模式，統計機器翻譯；NMT則是基於神經網路的翻譯模式，也是當前效果最好的翻譯模式。現在基於幾篇paper來梳理下神經網路下的翻譯模型。 NMT based RNN 1) First End-to-En

當AI遇上量子計算：神經網路量子糾錯系統或超越傳統糾錯策略

量子計算機可以解決傳統計算機無法完成的複雜任務。然而，量子態（quantum states）對來自外界的持續干擾極其敏感。研究人員希望使用基於量子糾錯（quantum error correction）的主動保護來解決這個問題。 近日，德國馬克斯·普朗克光學研究所所長Florian Marquardt及其團

Tensorflow系列專題（四）：神經網路篇之前饋神經網路綜述

目錄： 神經網路前言 神經網路 感知機模型 多層神經網路 啟用函式 Logistic函式 Tanh函式 ReLu函式 損失函式和輸出單元 損失函

神經網路機器翻譯模型介紹

以下是這個系列會引用的文獻： References: [1] Google’s Neural Machine Translation System:Bridging the Gap between Human and Machine Translation, 

Andrew Ng 機器學習筆記 09 ：神經網路

非線性假設 神經網路邏輯單元 激勵函式 輸入層，輸出層，隱藏層 前向傳播(forward propagation)的向量化實現 AND、OR、NOT、XNOR的實

六天搞懂“深度學習”之二：神經網路

注意對比左右兩個框圖，用神經網路代替模型，用學習規則代替機器學習。 因此，神經網路是實現機器學習的一種重要模型，確定模型（神經網路）的過程稱為學習規則。 大腦與神經網路的類比：大腦的神經元對應神經網路的節點，大腦的神經元連線對應神經網路的連線權值。 三輸入的神經

Deep Learning 學習筆記5：神經網路彙總

本篇文章整理自FJODOR VAN VEEN的論文：The Neural Network Zoo。本文介紹了神經網路大家族，但不是所有的神經網路都能涵蓋，畢竟新的網路結構在不斷被髮展出來。以下是神經網路的圖譜。 介紹神經網路之前，先介紹神經元的分類，這部分內容來自博友的

從零開始學深度學習二：神經網路

本課程筆記來源於深享網課程《深度學習理論與實戰TensorFlow》 2.1學習的種類 學習的種類主要分成以下三類：監督學習、非監督學習和強化學習三種。接下來，將分別對這三種學習進行介紹。 監督學習： 對已經標記的訓練樣本進行學習，然後對樣本外的資料進行標記

神經網路（三）：神經網路

一、 神經元到神經網路 在之前的文章中（《神經網路（一）》和《神經網路（二）》），我們討論瞭如何為神經元搭建模型。雖然搭建模型的過程並不複雜，但得到的神經元模型也沒有太多的新意，比如使用sigmoid函式作為啟用函式，則得到的神經元模型就是邏輯迴歸。 在人體中

加密技術：神經網路及其混沌加密演算法

人類的思維活動自古以來一直是人們*感興趣的課題之一，在古代，人們總是認為人類的思堆活動是在心臟部位完成的，後來人們才逐漸意識到人類思維活動應該是由大腦來完成的。因此，人們希望通過研究動物大腦的細胞結構和活動機理來詳細瞭解人類各種智慧活動行為如學習，聯想，識別及睡

從0到1：神經網路實現影象識別（中）

”. . .  we may have knowledge of the past and cannot control it; we may control the future but have no knowledge of it.” — Claude Shannon 1959

從0到1：神經網路實現影象識別（上）

紙上得來終覺淺，絕知此事要躬行。 “神經網路”是“機器學習”的利器之一，常用演算法在TensorFlow、MXNet計算框架上，有很好的支援。 為了更好的理解與使用這件利器，我們可以不借助計算框架，從零開始，一步步構建模型，實現學習演算法，並在一個影象識別資料集上，訓練這個模型，再驗證模型預

Caffe學習系列——工具篇：神經網路模型結構視覺化

在Caffe中，目前有兩種視覺化prototxt格式網路結構的方法： 使用Netscope線上視覺化 使用Caffe提供的draw_net.py 本文將就這兩種方法加以介紹 1. Netscope:支援Caf

深度學習：神經網路neural network

神經網路 一般有前饋神經網路FFNN模型（feedforward neural network），隱層多的可以叫深度神經網路DNN（deep nn）。 固定基函式的線性組合構成的迴歸模型和分類模型。我們看到,這些模型具有一些有用的分析性質和計算性質,但是它們的實際應用

基於神經網路的目標檢測論文之神經網路基礎：神經網路的優化方法

注：本文源自本人的碩士畢業論文，未經許可，嚴禁轉載！ 原文請參考知網：知網地址 本章節有部分公式無法顯示，詳見原版論文 2.4 神經網路的優化方法 2.4.1 過擬合與規範化 物理學家費米曾說過，如果有四個引數，我可以模擬一頭大象，而如果有五個引數，我還能讓他卷

Hinton Neural Networks課程筆記1b：神經網路模擬的大腦機理

課程主要講的是神經網路，而其初始的時候是模擬的人類大腦內部的機理。所以這部分介紹一些大腦內部的機理，主要是其被神經網路模擬的部分，以及其具有的優點。 1. 為什麼研究神經科學 研究大腦機理。大腦龐大複雜而且脆弱，所以需要計算機模擬。 理解基於神經和其適

斯坦福大學深度學習筆記：神經網路

神經網路演算法在八十到九十年代被廣泛使用過， 20世紀90年代，各種各樣的淺層機器學習模型相繼被提出，例如支撐向量機（SVM，Support Vector Machines）、 Boosting、最大熵方法（如LR，Logistic Regression）等。但之後便使用的變少了。但最近又開始流行起來了，原

神經網路機器翻譯總結

神經網路機器翻譯(Neural Machine Translation, NMT)是最近幾年提出來的一種機器翻譯方法。相比於傳統的統計機器翻譯（SMT）而言，NMT能夠訓練一張能夠從一個序列對映到另一個序列的神經網路，輸出的可以是一個變長的序列，這在翻譯、對話和

物理學家揭示深度學習原理：神經網路與宇宙本質驚人關聯

　　哈佛大學和 MIT 的物理研究者日前在 arXiv.org 發文，提出深度學習的成功不僅關乎數學，也離不開物理。他們在論文中指出，引數有限的神經網路之所以能夠分析有無數種可能的複雜問題，是因為宇宙中所有事物都能由一組性質簡單的函式表示。此外，宇宙具有層次結構，而神經

Amazon Translate 神經網路機器翻譯_自然語言處理

“Isentia 使用一種語言構建媒體情報軟體。為了提高我們的能力並滿足客戶的多樣化語言需求，我們需要翻譯支援，以便從非英語媒體內容中生成並提供寶貴的見解。在嘗試了多種機器翻譯服務後，我們對 Amazon Translate 印象深刻，它非常易於整合到我們的流程中，而且能輕鬆擴充套