1. 程式人生 > >SRNN——RNN的新革命

SRNN——RNN的新革命

  1. 把整個序列分成n個子序列
  2. 並行的在每一個子序列上執行RNN(LSTM,GRU或者任何其他RNN單元都可以)
  3. 把每個子序列的輸出作為新的序列,重複步驟1,2
  4. 上述過程可以重複k次,形成k層RNN序列,每層的RNN引數可以不同

因此,該結構可以實現高度的並行,整個序列中的順序資訊也不會丟失,論文中分類準確率優於現有的RNN結構。可能有不少人會感覺這真是一個可以從RNN自然而然得出的idea,但不得不說,在別人提出之前,你的思路卻受著傳統RNN結構的束縛。個人以為SRNN要比近年的QRNN,SRU,DCCNN什麼的重要的多,說是RNN的革命也不為過。