選自Google Research

作者：Quoc V. Le、Mike Schuster

機器之心編譯

參與：吳攀

昨日，谷歌在 ArXiv.org 上發表論文《Google`s Neural Machine Translation System: Bridging the Gap between Human and Machine Translation》介紹谷歌的神經機器翻譯系統（GNMT），當日機器之心就對該論文進行了摘要翻譯並推薦到網站（www.jiqizhixin.com）上。今日，谷歌 Research Blog 釋出文章對該研究進行了介紹，還宣佈將 GNMT 投入到了非常困難的漢語-英語語言對的翻譯生產中，引起了業內的極大的關注。

十年前，我們釋出了 Google Translate（谷歌翻譯），這項服務背後的核心演算法是基於短語的機器翻譯（PBMT:Phrase-Based Machine Translation）。自那時起，機器智慧的快速發展已經給我們的語音識別和影象識別能力帶來了巨大的提升，但改進機器翻譯仍然是一個高難度的目標。

今天，我們宣佈釋出谷歌神經機器翻譯（GNMT：Google Neural Machine Translation）系統，該系統使用了當前最先進的訓練技術，能夠實現到目前為止機器翻譯質量的最大提升。我們的全部研究結果詳情請參閱我們的論文《Google`s Neural Machine Translation System: Bridging the Gap between Human and Machine Translation》（見文末）[1]。

幾年之前，我們開始使用迴圈神經網路（RNN：Recurrent Neural Networks）來直接學習一個輸入序列（如一種語言的一個句子）到一個輸出序列（另一種語言的同一個句子）的對映 [2]。其中基於短語的機器學習（PBMT）將輸入句子分解成詞和短語，然後很大程度上對它們進行獨立地翻譯，而神經機器翻譯（NMT）則將整個輸入句子視作翻譯的基本單元。這種方法的優點是：相比於之前的基於短語的翻譯系統，這種方法所需的工程設計更少。當其首次被提出時，NMT 在中等規模的公共基準資料集上就達到了可與基於短語的翻譯系統媲美的準確度。

自那以後，研究者已經提出了很多改進 NMT 的技術，其中包括模擬外部對準模型（external alignment model）來處理罕見詞 [3]，使用注意（attention）來對準輸入詞和輸出詞 [4] 以及將詞分解成更小的單元以應對罕見詞 [5,6]。儘管有這些進步，但 NMT 的速度和準確度還沒能達到成為 Google Translate 這樣的生產系統的要求。我們的新論文 [1] 描述了我們怎樣克服了讓 NMT 在非常大型的資料集上工作的許多挑戰，以及我們如何打造了一個在速度和準確度上都已經足夠能為谷歌的使用者和服務帶來更好的翻譯的系統。

下面的視覺化圖展示了 GNMT 將一個漢語句子翻譯成英語句子的過程。首先，該網路將該漢語句子的詞編碼成一個向量列表，其中每個向量都表徵了到目前為止所有被讀取到的詞的含義（「編碼器（Encoder）」）。一旦讀取完整個句子，解碼器就開始工作——一次生成英語句子的一個詞（「解碼器（Decoder）」。為了在每一步都生成翻譯正確的詞，解碼器重點注意了與生成英語詞最相關的編碼的漢語向量的權重分佈（「注意（Attention）」，藍色連結的透明度表示解碼器對一個被編碼的詞的注意程度）。

使用人類評估的並排比較作為一項標準，GNMT 系統得出的翻譯相比於之前的基於短語的生產系統實現了極大的提升。在雙語人類評估者的幫助下，我們在來自維基百科和新聞網站的樣本句子上測定發現：GNMT 在多個主要語言對的翻譯中將翻譯誤差降低了 55%-85% 以上。

今天除了釋出這份研究論文之外，我們還宣佈將 GNMT 投入到了一個非常困難的語言對（漢語-英語）的翻譯的生產中。現在，移動版和網頁版的 Google Translate 的漢英翻譯已經在 100% 使用 GNMT 機器翻譯了——每天大約 1800 萬條翻譯。GNMT 的生產部署是使用我們公開開放的機器學習工具套件 TensorFlow 和我們的張量處理單元（TPU：Tensor Processing Units），它們為部署這些強大的 GNMT 模型提供了足夠的計算算力，同時也滿足了 Google Translate 產品的嚴格的延遲要求。漢語到英語的翻譯是 Google Translate 所支援的超過 10000 種語言對中的一種，在未來幾個月，我們還將繼續將我們的 GNMT 擴充套件到遠遠更多的語言對上。

機器翻譯還遠未得到完全解決。GNMT 仍然會做出一些人類翻譯者永遠不出做出的重大錯誤，例如漏詞和錯誤翻譯專有名詞或罕見術語，以及將句子單獨進行翻譯而不考慮其段落或頁面的上下文。為了給我們的使用者帶來更好的服務，我們還有更多的工作要做。但是，GNMT 代表著一個重大的里程碑。我們希望與過去幾年在這個研究方向上有所貢獻的許多研究者和工程師一起慶祝它——不管是來自谷歌還是更廣泛的社群。

Google Brain 團隊和 Google Translate 團隊都參與了該專案。Nikhil Thorat 和 Big Picture 也幫助了該專案的視覺化工作。

• 論文：Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation

摘要：神經機器翻譯（NMT: Neural Machine Translation）是一種用於自動翻譯的端到端的學習方法，該方法有望克服傳統的基於短語的翻譯系統的缺點。不幸的是，眾所周知 NMT 系統的訓練和翻譯推理的計算成本非常高。另外，大多數 NMT 系統都難以應對罕見詞。這些問題阻礙了 NMT 在實際部署和服務中的應用，因為在實際應用中，準確度和速度都很關鍵。我們在本成果中提出了 GNMT——谷歌的神經機器翻譯（Google's Neural Machine Translation）系統來試圖解決許多這些問題。我們的模型由帶有 8 個編碼器和 8 個解碼器的深度 LSTM 網路組成，其使用了注意（attention）和殘差連線（residual connections）。為了提升並行性從而降低訓練時間，我們的注意機制將解碼器的底層連線到了編碼器的頂層。為了加速最終的翻譯速度，我們在推理計算過程中使用了低精度運算。為了改善對罕見詞的處理，我們將詞分成常見子詞（sub-word）單元（詞的元件）的一個有限集合，該集合既是輸入也是輸出。這種方法能提供「字元（character）」-delimited models 的靈活性和「詞（word）」-delimited models 的有效性之間的平衡、能自然地處理罕見詞的翻譯、並能最終提升系統的整體準確度。我們的波束搜尋技術（beam search technique）使用了一個長度規範化（length-normalization）過程，並使用了一個覆蓋度懲罰（coverage penalty），其可以激勵很可能能覆蓋源句子中所有的詞的輸出句子的生成。在 WMT' 14 英語-法語和英語-德語基準上，GNMT 實現了可與當前最佳結果媲美的結果。通過在一個單獨的簡單句子集合的人類對比評估中，它相比於谷歌已經投入生產的基於短語的系統的翻譯誤差平均降低了 60%。

參考文獻：

[1] Google’s Neural Machine Translation System: Bridging the Gap between Human and Machine Translation, Yonghui Wu, Mike Schuster, Zhifeng Chen, Quoc V. Le, Mohammad Norouzi, Wolfgang Macherey, Maxim Krikun, Yuan Cao, Qin Gao, Klaus Macherey, Jeff Klingner, Apurva Shah, Melvin Johnson, Xiaobing Liu, Łukasz Kaiser, Stephan Gouws, Yoshikiyo Kato, Taku Kudo, Hideto Kazawa, Keith Stevens, George Kurian, Nishant Patil, Wei Wang, Cliff Young, Jason Smith, Jason Riesa, Alex Rudnick, Oriol Vinyals, Greg Corrado, Macduff Hughes, Jeffrey Dean. Technical Report, 2016.

[2] Sequence to Sequence Learning with Neural Networks, Ilya Sutskever, Oriol Vinyals, Quoc V. Le. Advances in Neural Information Processing Systems, 2014.

[3] Addressing the rare word problem in neural machine translation, Minh-Thang Luong, Ilya Sutskever, Quoc V. Le, Oriol Vinyals, and Wojciech Zaremba. Proceedings of the 53th Annual Meeting of the Association for Computational Linguistics, 2015.

[4] Neural Machine Translation by Jointly Learning to Align and Translate, Dzmitry Bahdanau, Kyunghyun Cho, Yoshua Bengio. International Conference on Learning Representations, 2015.

[5] Japanese and Korean voice search, Mike Schuster, and Kaisuke Nakajima. IEEE International Conference on Acoustics, Speech and Signal Processing, 2012.

[6] Neural Machine Translation of Rare Words with Subword Units, Rico Sennrich, Barry Haddow, Alexandra Birch. Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, 2016.

來源：

http://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650719470&idx=1&sn=3368dea980517ea7d7942967da2740dc&chksm=871b0090b06c89863620be4e75c757940d03d8a43cd3c1d9a8309b6594c1bccd769cab193177&scene=21#wechat_redirect