Seq2Seq and Attention

彙總理解

參考文獻

1. seq2seq

seq2seq的名字全稱是序列到序列（sequence to sequence）, 從一個序列到另一個序列，可以是從中文的序列到英文的序
列，也可以是從中文語音序列到中文文字序列，總之，實現的是從一個不定長輸入序列到一個不定長輸出序列的過程。

Encoder-Decoder

要實現從一個序列到另外一個序列的轉換，正常思維邏輯是找到一箇中間編碼，可以實現在兩種序列之間實現自由轉換。於是乎，Encoder-Decoder結構在2014年被Cho提了出來, 先通過編碼器對原序列進行編碼，再通過解碼器對中間編碼進行解碼得到輸出序列。

Figure 1 為encoder_decoder結構示意圖，encoder框中是一個正常的rnn結構，輸入序列 (x1,x2,...,xT)$(x_1,x_2,...,x_T)$，輸出 C$C$。C$C$ 是上文中說到的中間序列。decoder框中同樣為rnn結構, 其輸入是中間編碼C$C$， 輸出為輸出序列(y1,y2,...,yT)$(y_1,y_2,...,y_T)$。

這裡decoder部分的rnn和encoder部分的rnn稍有不同。

encoder的rnn為正常使用，由上一時刻隱狀態和該時刻輸入進行隱狀態更新，公式為:

h(t)=f(h<t−1>,xt)$$h_{(}$$

t)=f(h<t−1>,xt)

decoder的rnn隱藏狀態更新，因沒有輸入序列，只有輸入隱藏狀態，所以由上一時刻隱狀態、上一時刻輸出和encoder的輸出來更新隱藏狀態， 公式為：

h(t)=f(h<t−1>,yt−1,c)$$h_{(t)}=f(h_{<t-1>},y_{t-1},c)$$

decoder的rnn在t時刻的輸出由 t$t$ 時刻的隱藏狀態、（t−1）$（t-1）$時刻的輸出和 C$C$ 計算得出，公式為：

P(yt∣∣yt−1,yt−2,...,y1,c)=g(h<t>,yt−1,c)$$P(y_t|y_{t-1},y_{t-2},...,y_1,c)=g($$

h<t>,yt−1,c)

encoder和decoder的訓練目標是最大化條件概率分佈：

maxθ1N∑n=1NlogPθ(yn∣∣xn)$$ma{x}_{\theta }\frac{1}{N}\sum _{n=1}^N\log P_{\theta }(y_n|x_n)$$
模型參數為θ,出現xn時yn的條件概率P，logP是單調遞增，更容易計算，將N個P加起來求平均，就是最終的優化目標，輸出序列輸出幾

相關推薦

seq2seq and attention 入門並在tensorflow中使用

Seq2Seq and Attention 彙總理解 參考文獻 1. seq2seq seq2seq的名字全稱是序列到序列（sequence to sequence）, 從一個序列到另一個序列，可以是從中文的序列到英文的序 列，

在tensorflow中安裝並啟動jupyter的方法

博主遇到一個問題，在anaconda中安裝並配置好tensorflow和opencv後，直接輸入 jupyter notebook 啟動jupyter notebook在jupyter notebook中輸入命令，如import tensorflow並不能呼叫tensorflow的開發包。

深度學習中的Attention模型介紹及其進展（attention入門參考文獻 第一篇）

1. 基本原理   Attention模型最初應用於影象識別，模仿人看影象時，目光的焦點在不同的物體上移動。當神經網路對影象或語言進行識別時，每次集中於部分特徵上，識別更加準確。如何衡量特徵的重要性呢？最直觀的方法就是權重，因此，Attention模型的結果就是在每次識別時

tensorflow中seq2seq模組的應用

轉載自：Tensorflow中的Seq2Seq全家桶 - 王嶽王院長的文章 - 知乎 https://zhuanlan.zhihu.com/p/47929039 今天看了上面的這位作者的文章，感覺寫的非常清楚 引言 聽說以後公司那邊用 Tensorflow，最近

人工智慧入門2.線性迴歸-理解TensorFlow中wb引數的含義

剛開始入門的時候，我們經常遇到單層神經網路模型如下 b = tf.Variable(tf.zeros([1])) W = tf.Variable(tf.random_uniform([1, 1], -1.0, 1.0)) y = tf.matmul(W, x) + b 我們如何去理

人工智慧入門1.交叉熵 - loss函式在Tensorflow中的定義

1.交叉熵 要懂得交叉熵，先要懂得資訊量 資訊量的定義 夏農（C. E. Shannon）資訊理論應用概率來描述不確定性。資訊是用不確定性的量度定義的.一個訊息的可能性愈小，其資訊愈多；而訊息的可能性愈大，則其資訊愈少.事件出現的概率小，不確定性越多，資訊量就大，反之則少。 其

《一個影象復原例項入門深度學習&TensorFlow—第三篇》在TensorFlow中進行深度學習的流程

1. TensorFlow的基本使用 這裡直接看官方文件的介紹：http://www.tensorfly.cn/tfdoc/get_started/basic_usage.html 我貼出最重要的內

Java中匯入Base64 encode and decode包並使用

public static byte[] base64ToByte(String data) throws IOException { byte[] apacheBytes=Base64.decodeBase64(data); r

tensorflow中的seq2seq文件解讀

sequence-to-sequence 模型的種類很多，每一種模型都可以使用不同的RNN單元，但是都必須以 encoder inputs 和decoder inputs作為引數。在tf.nn.seq2seq介面中有各種RNN encoder-decoder s

JavaScript 設計模式入門和框架中的實踐 http://www.codeceo.com/article/javascript-design-pattern.html

{} static log block 抽象 listener args assign ack 在編寫JS代碼的過程中，運用一定的設計模式可以讓我們的代碼更加優雅、靈活。 下面筆者就結合諸如redux的subscribe、ES6的class、vue裏面的$dispatch、

tensorflow中的共享變量（sharing variables）

圖像濾波 ted div 復雜 模型 當我 管理 重構 har 為什麽要使用共享變量？ 當訓練復雜模型時，可能經常需要共享大量的變量。例如，使用測試集來測試已訓練好的模型性能表現時，需要共享已訓練好模型的變量，如全連接層的權值。 而且我們還會遇到以下問題： 比如，我們創建了

搭建TensorFlow中碰到的一些問題（TensorBoard不是內部或外部指令也不是可運行的程序）~

dmi pytho 分享 oca win 安裝 admin height ip軟件包 一、windows10環境+pip python軟件包（最新版）+Pycharm軟件（過段時間在弄下CUDA和GPU吧） 直接使用pip指令來安裝tensorflow軟件(如果很久沒有更新

tensorflow中使用指定的GPU及GPU顯存

div .config sam com chang gif 固定 www 第一個 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ 本文目錄 1 終端執行程序時設置使用的GPU 2 python代碼中設置使用的GPU 3 設置tensorfl

調用tensorflow中的concat方法時Expected int32, got list containing Tensors of type '_Message' instead.

lin list 代碼 con comm decode tmp class got grid = tf.concat(0, [x_t_flat, y_t_flat, ones])#報錯語句 grid = tf.concat( [x_t_flat, y_t_flat, one

（原）tensorflow中finetune某些層

master oba 參考 -a ads tro ids .html class 轉載請註明處處： http://www.cnblogs.com/darkknightzh/p/7608709.html 參考網址： https://kratzert.github.io/

Tensorflow中的滑動平均模型

思想 pan ans color 操作 方法 class 變量 pre 原文鏈接在Tensorflow的教程裏面，使用梯度下降算法訓練神經網絡時，都會提到一個使模型更加健壯的策略，即滑動平均模型。 基本思想 在使用梯度下降算法訓練模型時，每次更新權重時，為每個權重維護一個

[翻譯] Tensorflow中name scope和variable scope的區別是什麽

iter res .cn push init const images ges variables 翻譯自：https://stackoverflow.com/questions/35919020/whats-the-difference-of-name-scope-an

python/numpy/tensorflow中，對矩陣行列操作，下標是怎麽回事兒？

flow round mean 數據 ria lis .html 錯誤 表示 Python中的list/tuple，numpy中的ndarrray與tensorflow中的tensor。 用python中list/tuple理解，僅僅是從內存角度理解一個序列數據

封裝Jquery 合並table中任何同列數據

ner else null 但是 script tar count bsp round 封裝代碼: jQuery.fn.rowspan = function (colIdx) { //封裝JQuery同列值相同合並小插件 return this.ea

tensorflow中moving average的正確用法

ply mov 基礎 github log 方差 如果 均值 nbsp 一般在保存模型參數的時候，都會保存一份moving average，是取了不同叠代次數模型的移動平均，移動平均後的模型往往在性能上會比最後一次叠代保存的模型要好一些。 tensorflow-model