編碼器—解碼器（seq2seq）

在自然語言處理的很多應用中，輸入和輸出都可以是不定長序列。以機器翻譯為例，輸入可以是一段不定長的英語文字序列，輸出可以是一段不定長的法語文字序列，例如

英語輸入：“They”、“are”、“watching”、“.”
法語輸出：“Ils”、“regardent”、“.”

當輸入和輸出都是不定長序列時，我們可以使用編碼器—解碼器（encoder-decoder）或者seq2seq模型。這兩個模型本質上都用到了兩個迴圈神經網路，分別叫做編碼器和解碼器。編碼器用來分析輸入序列，解碼器用來生成輸出序列。用編碼器—解碼器將上述英語句子翻譯成法語句子的一種方法。在訓練資料集中，我們可以在每個句子後附上特殊符號“<eos>”（end of sequence）以表示序列的終止。編碼器每個時間步的輸入依次為英語句子中的單詞、標點和特殊符號“<eos>”。下圖中使用了編碼器在最終時間步的隱藏狀態作為輸入句子的表徵或編碼資訊。解碼器在各個時間步中使用輸入句子的編碼資訊和上個時間步的輸出以及隱藏狀態作為輸入。 我們希望解碼器在各個時間步能正確依次輸出翻譯後的法語單詞、標點和特殊符號“<eos>”。 需要注意的是，解碼器在最初時間步的輸入用到了一個表示序列開始的特殊符號“<bos>”（beginning of sequence）。

編碼器

解碼器

訓練模型

在模型訓練中，所有輸出序列損失的均值通常作為需要最小化的損失函式。在上圖所描述的模型預測中，我們需要將解碼器在上一個時間步的輸出作為當前時間步的輸入。與此不同，在訓練中我們也可以將標籤序列（訓練集的真實輸出序列）在上一個時間步的標籤作為解碼器在當前時間步的輸入。這叫作強制教學（teacher forcing）。

• 編碼器-解碼器（seq2seq）可以輸入並輸出不定長的序列。
• 編碼器—解碼器使用了兩個迴圈神經網路。
• 在編碼器—解碼器的訓練中，可以採用強制教學。

束搜尋

在準備訓練資料集時，我們通常會在樣本的輸入序列和輸出序列後面分別附上一個特殊符號“<eos>”表示序列的終止。我們在接下來的討論中也將沿用上一節的全部數學符號。為了便於討論，假設解碼器的輸出是一段文字序列。設輸出文字詞典y包含特殊符號“<eos>”）的大小為|y|，輸出序列的最大長度為T',所有可能的輸出序列一共有O(|Y|^T′

貪婪搜尋

窮舉搜尋

束搜尋

• 預測不定長序列的方法包括貪婪搜尋、窮舉搜尋和束搜尋。
• 束搜尋通過靈活的束寬來權衡計算開銷和搜尋質量。

注意力機制

在“編碼器—解碼器（seq2seq）”裡，解碼器在各個時間步依賴相同的背景變數來獲取輸入序列資訊。當編碼器為迴圈神經網路時，背景變數來自它最終時間步的隱藏狀態。

讓我們再次思考那一節提到的翻譯例子：輸入為英語序列“They”“are”“watching”“.”，輸出為法語序列“Ils”“regardent”“.”。不難想到，解碼器在生成輸出序列中的每一個詞時可能只需利用輸入序列某一部分的資訊。例如，在輸出序列的時間步1，解碼器可以主要依賴“They”“are”的資訊來生成“Ils”，在時間步2則主要使用來自“watching”的編碼資訊生成“regardent”，最後在時間步3則直接對映句號“.”。這看上去就像是在解碼器的每一時間步對輸入序列中不同時間步的表徵或編碼資訊分配不同的注意力一樣。這也是注意力機制的由來。

仍然以迴圈神經網路為例，注意力機制通過對編碼器所有時間步的隱藏狀態做加權平均來得到背景變數。解碼器在每一時間步調整這些權重，即注意力權重，從而能夠在不同時間步分別關注輸入序列中的不同部分並編碼進相應時間步的背景變數。

計算背景變數 

向量化計算

更新隱藏狀態

現在我們描述第二個關鍵點，即更新隱藏狀態。以門控迴圈單元為例，在解碼器中我們可以對“門控迴圈單元（GRU）”一節中門控迴圈單元的設計稍作修改，從而變換上一時間步t′−1的輸出y^t′−1、隱藏狀態s^t′−1和當前時間步t′的含注意力機制的背景變數c_t′。解碼器在時間步:math:t’的隱藏狀態為

發展

本質上，注意力機制能夠為表徵中較有價值的部分分配較多的計算資源。這個有趣的想法自提出後得到了快速發展，特別是啟發了依靠注意力機制來編碼輸入序列並解碼出輸出序列的變換器（Transformer）模型的設計。變換器拋棄了卷積神經網路和迴圈神經網路的架構。它在計算效率上比基於迴圈神經網路的編碼器—解碼器模型通常更具明顯優勢。含注意力機制的變換器的編碼結構在後來的BERT預訓練模型中得以應用並令後者大放異彩：微調後的模型在多達11項自然語言處理任務中取得了當時最先進的結果。不久後，同樣是基於變換器設計的GPT-2模型於新收集的語料資料集預訓練後，在7個未參與訓練的語言模型資料集上均取得了當時最先進的結果 [4]。除了自然語言處理領域，注意力機制還被廣泛用於影象分類、自動影象描述、脣語解讀以及語音識別。

• 可以在解碼器的每個時間步使用不同的背景變數，並對輸入序列中不同時間步編碼的資訊分配不同的注意力。
• 廣義上，注意力機制的輸入包括查詢項以及一一對應的鍵項和值項。
• 注意力機制可以採用更為高效的向量化計算。
相關推薦

機器學習（ML）十二之編碼解碼器、束搜尋與注意力機制

編碼器—解碼器（seq2seq） 在自然語言處理的很多應用中，輸入和輸出都可以是不定長序列。以機器翻譯為例，輸入可以是一段不定長的英語文字序列，輸出可以是一段不定長的法語文字序列，例如 英語輸入：“They”、“are”、“watching”、“.” 法語輸出：“Ils”、“regardent”、“.”

機器學習（ML）十四之凸優化

優化與深度學習 優化與估計 儘管優化方法可以最小化深度學習中的損失函式值，但本質上優化方法達到的目標與深度學習的目標並不相同。 優化方法目標：訓練集損失函式值 深度學習目標：測試集損失函式值（泛化性） 1 %matplotlib inline 2 import sys 3 im

機器學習（ML）十之CNN

CNN-二維卷積層 卷積神經網路（convolutional neural network）是含有卷積層（convolutional layer）的神經網路。卷積神經網路均使用最常見的二維卷積層。它有高和寬兩個空間維度，常用來處理影象資料。 二維互相關運算 雖然卷積層得名於卷積（convolution）運算，

機器學習（ML）七之模型選擇、欠擬合和過擬合

訓練誤差和泛化誤差 需要區分訓練誤差（training error）和泛化誤差（generalization error）。前者指模型在訓練資料集上表現出的誤差，後者指模型在任意一個測試資料樣本上表現出的誤差的期望，並常常通過測試資料集上的誤差來近似。計算訓練誤差和泛化誤差可以使用之前介紹過的損失函式，例如線

機器學習（ML）九之GRU、LSTM、深度神經網路、雙向迴圈神經網路

門控迴圈單元（GRU） 迴圈神經網路中的梯度計算方法。當時間步數較大或者時間步較小時，迴圈神經網路的梯度較容易出現衰減或爆炸。雖然裁剪梯度可以應對梯度爆炸，但無法解決梯度衰減的問題。通常由於這個原因，迴圈神經網路在實際中較難捕捉時間序列中時間步距離較大的依賴關係。 門控迴圈神經網路（gated recurre

機器學習（ML）十三之批量歸一化、RESNET、Densenet

批量歸一化 批量歸一化（batch normalization）層，它能讓較深的神經網路的訓練變得更加容易。對影象處理的輸入資料做了標準化處理：處理後的任意一個特徵在資料集中所有樣本上的均值為0、標準差為1。標準化處理輸入資料使各個特徵的分佈相近：這往往更容易訓練出有效的模型。 通常來說，資料標準化預處理對於

機器學習 （八）kaggle競賽之泰坦尼克號專案實戰-1

引言        機器學習演算法都是為專案為資料服務的，某一個演算法都有它自己的適用範圍，以及優勢與劣勢，研究演算法由於平日的日常操練，那麼用它去做專案就如同上戰場殺敵一樣，去發揮它的價值，kaggle就是這樣一個刷怪升級

人工智慧（AI）、機器學習（ML）與深度學習（DL）概念

人工智慧 電腦科學家們設計可以學習和模仿人類行為的演算法。 機器學習 一種實現人工智慧的方法。機器學習最基本的做法，是使用演算法來解析資料、從中學習，然後對真實世界中的事件做出決策和預測。指通過資料訓練出能完成一定功能的模型，是實現人工智慧的手段之一，

科普貼開篇：到底什麼是人工智慧（AI）、機器學習（ML）和深度學習（DL

這兩年創業圈、技術圈、網際網路圈都在熱烈討論人工智慧、機器學習、深度學習，那麼到底什麼是人工智慧（AI）、機器學習（ML）和深度學習（DL），這幾個概念之間又有什麼樣的聯絡呢？先直接把這三者之間關係放上來哈： 機器學習，實現人工智慧的方法；深度學習，實現機器學習的技術； 關於以上三個概念的介紹和解釋： 1

捋一捋人工智慧（AI）、機器學習（ML）、深度學習（DL）之間的關係

    人工智慧的浪潮正在席捲全球，人工智慧和機器學習與深度學習是我們最近聽的最多的詞，所以我想寫一篇文章來講一講我心中這三者的關係。也希望通過這篇文章加深自己對這三者的瞭解。    我一直覺得人工智慧不是一個非常龐大的概念，單從字面上理解，應該是理解成人為創造的智慧。那麼什

機器學習（一）：快速入門線性分類器

定義 假設特徵與分類結果存線上性關係的模型，這個模型通過累加計算每個維度的特徵與各自權重的乘積來幫助類別決策。 線性關係公式 :f(w,x,b)=w^tx+b x=(x1,x2,…xn) 代表n維特徵列向量，w=(w1,w2,…wn)代表對應的權

機器學習（五）降維技術---主成分分析、因子分析

機器學習（五）降維技術---主成分分析、因子分析   降維（處理線性問題為主） 一提到降維這個詞，大家可能就會覺得非常高大上，到底是什麼東西呢？降維通俗來講就是把原先多個指標的計算降維為少量幾個經過優化指標的計算，可能大家還是不理解，舉個例子就是本來拿來參加建模的特徵有100個

OpenCV機器學習（1）：貝葉斯分類器實現程式碼分析

OpenCV的機器學習類定義在ml.hpp檔案中，基礎類是CvStatModel，其他各種分類器從這裡繼承而來。 今天研究CvNormalBayesClassifier分類器。 1.類定義 在ml.hpp中有以下類定義： class CV_EXPORTS_W CvNorm

機器學習（一）win10+python3.5安裝numpy+MKL、scipy、matplotlib、scikit-learn

win10+python3.5安裝numpy+MKL、scipy、matplotlib、scikit-learn numpy+MKL、scipy、matplotlib、scikit-learn是python進行機器學習、資料處理時常用的拓展。安裝順序如下：nu

演算法工程師修仙之路：吳恩達機器學習（九）

吳恩達機器學習筆記及作業程式碼實現中文版 神經網路引數的反向傳播演算法 代價函式 假設神經網路的訓練樣本有 m

演算法工程師修仙之路：吳恩達機器學習（八）

吳恩達機器學習筆記及作業程式碼實現中文版 第六章 神經網路學習 特徵和直觀理解 從本質上講，神經網路能夠通過學習得出其自身的一系列特徵。 神經網路中，單層神經元（ 無中間層）的計算可用來表示邏輯運算，比如邏輯與(AND)、邏輯或(OR)。 邏輯

演算法工程師修仙之路：吳恩達機器學習（七）

吳恩達機器學習筆記及作業程式碼實現中文版 第六章 神經網路學習 非線性假設 無論是線性迴歸還是邏輯迴歸都有這樣一個缺點：當特徵太多時，計算的負荷會非常大。 使用非線性的多項式項，能夠幫助我們建立更好的分類模型。假設我們有非常多的特徵，例如大於 100 個

演算法工程師修仙之路：吳恩達機器學習（六）

吳恩達機器學習筆記及作業程式碼實現中文版 第五章 正則化 過擬合問題 線性迴歸和邏輯迴歸能夠有效地解決許多問題，但是當將它們應用到某些特定的機器學習應用時，會遇到過擬合(over-fitting)的問題，可能會導致它們效果很差。 正則化(regulari

演算法工程師修仙之路：吳恩達機器學習（五）

吳恩達機器學習筆記及作業程式碼實現中文版 第四章 Logistic迴歸 簡化代價函式與梯度下降 邏輯迴歸的代價函式： C

演算法工程師修仙之路：吳恩達機器學習（四）

吳恩達機器學習筆記及作業程式碼實現中文版 第四章 Logistic迴歸 分類 在分類問題中，要預測的變數y是離散的值，邏輯迴歸 (Logistic Regression) 演算法是目前最流行使用最廣泛的一種學習演算法。 在分類問題中，我們嘗試預測的是結果