[論文閱讀] RNN 在阿里DIEN中的應用
阿新 • • 發佈：2020-11-07
# [論文閱讀] RNN 在阿里DIEN中的應用
## 0x00 摘要
本文基於阿里推薦DIEN程式碼，梳理了下RNN一些概念，以及TensorFlow中的部分原始碼。本部落格旨在幫助小夥伴們詳細瞭解每一步驟以及為什麼要這樣做。
## 0x01 背景知識
### 1.1 RNN
RNN，迴圈神經網路，Recurrent Neural Networks。
人們思考問題往往不是從零開始的，比如閱讀時我們對每個詞的理解都會依賴於前面看到的一些資訊，而不是把前面看的內容全部拋棄再去理解某處的資訊。應用到深度學習上面，如果我們想要學習去理解一些依賴上文的資訊，RNN 便可以做到，它有一個迴圈的操作，可以使其可以保留之前學習到的內容。
最普通的RNN定義方式是：
```python
output = new_state = f(W * input + U * state + B) = act(W * input + U * state + B)
```
- U，W 是網路引數（權重矩陣），b 是偏置引數，這些引數通過後向傳播訓練網路學習得到。
- act 是啟用函式，通常選擇 sigmoid 或 tanh 函式。
### 1.2 DIEN專案程式碼
在DIEN專案中，把TensorFlow的rnn程式碼拿到自己專案中，做了一些修改，具體是：
- 使用了 GRUCell；
- 自定義了 VecAttGRUCell；
- 因為修改了VecAttGRUCell介面，所以修改了rnn.py；
## 0x02 Cell
RNN的基本單元被稱為Cell，別小看那一個小小的cell，它並不是只有1個neuron unit，而是n個hidden units。
因此，我們注意到tensorflow中定義一個cell（BasicRNNCell/BasicLSTMCell/GRUCell/RNNCell/LSTMCell）結構的時候需要提供的一個引數就是hidden_units_size。
在實際的神經網路中，各個門處理函式 其實是由一定數量的隱含層神經元來處理。
在RNN中，M個神經元組成的隱含層，實際的功能應該是 f(wx + b), 這裡實現了兩步：
- 首先M個隱含層神經元與輸入向量X之間全連線，通過w引數矩陣對x向量進行加權求和；
- 其次就是對x向量各個維度上進行篩選，加上bias偏置矩陣後，通過f激勵函式， 得到隱含層的輸出；
在LSTM Cell中，一個cell 包含了若干個門處理函式，假如每個門的物理實現，我們都可以看做是由num_hidden個神經元來實現該門函式功能， 那麼每個門各自都包含了相應的w引數矩陣以及bias偏置矩陣引數，這就是在上圖中的實現。
從圖中可以看出，cell單元裡有四個門，每個門都對應128個隱含層神經元，相當於四個隱含層，每個隱含層各自與輸入x 全連線，而輸入x向量是由兩部分組成，一部分是上一時刻cell 輸出，大小為128， 還有部分就是當前樣本向量的輸入，大小為6，因此通過該cell內部計算後，最終得到當前時刻的輸出，大小為128，即num_hidden，作為下一時刻cell的一部分輸入。
下面我們結合TensorFlow來具體剖析下Cell的實現機制和原理。
### 2.1 RNNCell（抽象父類）
#### 2.1.1 基礎
**“RNNCell”，它是TensorFlow中實現RNN的基本單元**，每個RNNCell都有一個call方法，使用方式是：(output, next_state) = call(input, state)。
RNNCell是一個抽象的父類，其他的RNNcell都會繼承該方法，然後具體實現其中的call()函式。
RNNCell是包含一個State（狀態）並且能夠執行一些處理輸入矩陣的物件。RNNCell將輸入的矩陣（Input Matrix）運算輸出一個包含”self.output”列的輸出矩陣（Ouput Matrix）。
**state**: state就是rnn網路中rnn cell的狀態，比如說如果你的rnn定義包含了N個單元（也就是你的self.state_size是個整數N），那麼在你每次執行RNN網路時就應該給一個 [batch_size,self.state_size] 形狀的2D Tensor來表示當前RNN網路的狀態，而如果你的 self.state_size 是一個元祖，那麼給定的狀態也應該是一個Tuple，每個Tuple裡的狀態表示和之前的方式一樣。
- 如果定義了 “self.state_size”這個屬性，並且取值為一個整數，那麼RNNCell則會同時輸出一個狀態矩陣（State Matrix），包含 “self.state_size” 列。
- 如果 “self.state_size” 定義為一個整數的Tuple，那麼則是輸出對應長度的狀態矩陣的Tuple，Tuple中的每一個狀態矩陣長度還是和之前的一樣，包含 “self.state_size” 列。
RNNCell其主要是zero_state()和call()兩個函式。
- zero_state 用於初始化初始狀態 h0 為全零向量。
- call 定義實際的RNNCell的操作（比如RNN就是一個啟用，GRU的兩個門，LSTM的三個門控等，不同的RNN的區別主要體現在這個函式）。
除了call方法外，對於RNNCell，還有兩個類屬性比較重要，其中 state_size() 和 output_size() 方法設定為類屬性，可以當做屬性來呼叫（這裡用到的是Python內建的@property裝飾器，就是負責把一個方法變成屬性呼叫的，很像C#中的屬性、欄位的那種概念）：
- state_size，是隱層的大小（代表 Cell 的狀態 state 大小）
- output_size，是輸出的大小（輸出維度）
比如我們通常是將一個batch送入模型計算，設輸入資料的形狀為(batch_size, input_size)，那麼計算時得到的隱層狀態就是(batch_size, state_size)，輸出就是(batch_size, output_size)。
但這裡兩個方法都沒有實現，意思是說我們必須要實現一個子類繼承 RNNCell 類並實現這兩個方法。
```python
class RNNCell(base_layer.Layer):
def __call__(self, inputs, state, scope=None):
if scope is not None:
with vs.variable_scope(scope,
custom_getter=self._rnn_get_variable) as scope:
return super(RNNCell, self).__call__(inputs, state, scope=scope)
else:
with vs.variable_scope(vs.get_variable_scope(),
custom_getter=self._rnn_get_variable):
return super(RNNCell, self).__call__(inputs, state)
def _rnn_get_variable(self, getter, *args, **kwargs):
variable = getter(*args, **kwargs)
if context.in_graph_mode():
trainable = (variable in tf_variables.trainable_variables() or
(isinstance(variable, tf_variables.PartitionedVariable) and
list(variable)[0] in tf_variables.trainable_variables()))
else:
trainable = variable._trainable # pylint: disable=protected-access
if trainable and variable not in self._trainable_weights:
self._trainable_weights.append(variable)
elif not trainable and variable not in self._non_trainable_weights:
self._non_trainable_weights.append(variable)
return variable
@property
def state_size(self):
raise NotImplementedError("Abstract method")
@property
def output_size(self):
raise NotImplementedError("Abstract method")
def build(self, _):
pass
def zero_state(self, batch_size, dtype):
with ops.name_scope(type(self).__name__ + "ZeroState", values=[batch_size]):
state_size = self.state_size
return _zero_state_tensors(state_size, batch_size, dtype)
```
#### 2.1.2 call
**每個派生的RNNCell必須有以下的屬性並實現具有如下函式簽名的函式(output, next_state) = call(input, state)。** 可選的第三個輸入引數 ‘scope’，用於向下相容，給子類定製化使用。scope傳入的值是tf.Variable型別，用於更方便的管理變數。
> 從給定的state開始執行，根據rnn cell的輸入
>
> args:
>
> > inputs：是一個具有二維的張量shape為[batch_size, input_size]
> > states：如果 `self.state_size` 是一個整數，state就應該是一個二維張量 shape是 `[batch_size, self.state_size]`,否則，如果 `self.state_size` 是一個整數的tuple（例如LSTM需要計算cell state和 hidden unit state ，就是一個tuple），那麼state就應該是`[batch_size, s] for s in self.state_size` 形狀的tuple。
> > Scope：由其他子類建立的變數。
>
> Return：
>
> > 是一對，包括：
> > 輸出：`[batch_size, self.output_size]`State: 和state相匹配的shape
**每呼叫一次RNNCell的call方法，就相當於在時間上“推進了一步”，這就是RNNCell的基本功能。**
### 2.2 BasicRNNCell（基礎類）
#### 2.2.1 基礎
RNNCell只是一個抽象類，我們用的時候都是用的它的兩個子類 BasicRNNCell 和 BasicLSTMCell。顧名思義，前者是RNN的基礎類，後者是LSTM的基礎類。
BasicRNNCell 就是我們常說的 RNN。
最簡單的RNN結構如上圖所示。其程式碼如下：
```python
class BasicRNNCell(RNNCell):
def __init__(self, num_units, activation=None, reuse=None):
super(BasicRNNCell, self).__init__(_reuse=reuse)
self._num_units = num_units
self._activation = activation or math_ops.tanh
self._linear = None
@property
def state_size(self):
return self._num_units
@property
def output_size(self):
return self._num_units
def call(self, inputs, state):
"""Most basic RNN: output = new_state = act(W * input + U * state + B)."""
if self._linear is None:
self._linear = _Linear([inputs, state], self._num_units, True)
output = self._activation(self._linear([inputs, state]))
# output = Ht = tanh([x,Ht-1]*W + B)
# 一個output作為下一時刻的輸入Ht，另一個作為下一層的輸入 Ht
return output, output
```
#### 2.3.2 引數意義
可以看到在初始化 `__init__`中有若干引數。
```python
def __init__(self, num_units, activation=None, reuse=None):
```
`__init__`最重要的一個引數是 num_units，意思就是這個 Cell 中神經元的個數