RNN展開網路如下圖

現令第t時刻的輸入表示為,隱層節點的輸出為,輸出層的預測值,輸入到隱層的權重矩陣,隱層自迴圈的權重矩陣,隱層到輸出層的權重矩陣,對應的偏執向量分別表示為,輸入層的某一個節點使用i標識，如,類似的隱層和輸出層某一節點表示為。這裡我們僅以三層網路為例。

那麼首先正向計算

其中分別表示啟用前對應的加權和，表示啟用函式。

然後看看誤差如何傳遞。

假設真實的輸出應該是,那麼誤差可以定義為,是訓練樣本的index。整個網路的誤差

我們將RNN再放大一些，看看細節

令

矩陣向量化表示

所以梯度為：

其中是點乘符號，即對應元素乘。

程式碼實現：
我們可以注意到在計算梯度時需要用到的之前計算過的量，即需要儲存的量包括，前向計算時隱層節點和輸出節點的輸出值，以及由時刻累積的。

這篇文章裡使用python實現了基本的RNN過程。程式碼功能是模擬二進位制相加過程中的依次進位過程，程式碼很容易明白。
這裡改寫成matlab程式碼

1. functionerror =binaryRNN( ) 
2. largestNumber=256; 
3. T=8; 
4. dic=dec2bin(0:largestNumber-1)-'0';% 將uint8表示成二進位制陣列，這是一個查詢表
    
5. %% 初始化引數 
6. eta=0.1;% 學習步長 
7. inputDim=2;% 輸入維度 
8. hiddenDim=16; %隱層節點個數 
9. outputDim=1; % 輸出層節點個數 
10. W=rand(hiddenDim,outputDim)*2-1;% (-1,1)引數矩陣 
11. U=rand(hiddenDim,hiddenDim)*2-1;% (-1,1)引數矩陣 
12. V=rand(inputDim,hiddenDim)*2-1;% (-1,1)引數矩陣 
13. delta_W=zeros(hiddenDim,outputDim);% 時刻間中間變數 
14. delta_U=zeros
    (hiddenDim,hiddenDim); 
15. delta_V=zeros(inputDim,hiddenDim); 
16. error=0; 
17. for p=1:10000 
18. aInt=randi(largestNumber/2); 
19. bInt=randi(largestNumber/2); 
20. a=dic(aInt+1,:); 
21. b=dic(bInt+1,:); 
22. cInt=aInt+bInt; 
23. c=dic(cInt+1,:); 
24. y=zeros(1,T); 
25. preh=zeros(1,hiddenDim); 
26. hDic=zeros(T,hiddenDim); 
27. %% 前向計算 
28. for t=T:-1:1% 注意應該從最低位計算，也就是二進位制陣列最右端開始計算 
29. x=[a(t),b(t)];  
30. h=sigmoid(x*V+preh*U); 
31. y(t)=sigmoid(h*W);  
32. hDic(t,:)=h; 
33. preh=h; 
34. end 
35. err=y-c; 
36. error=error+norm(err,2)/2; 
37. next_delta_h=zeros(1,hiddenDim); 
38. %% 反饋 
39. for t=1:T 
40. delta_y = err(t).*sigmoidOutput2d(y(t)); 
41. delta_h=(delta_y*W'+next_delta_h*U').*sigmoidOutput2d(hDic(t,:)); 
42. delta_W=delta_W+hDic(t,:)'*delta_y; 
43. if t<T 
44. delta_U=delta_U+hDic(t+1,:)'*delta_h; 
45. end 
46. delta_V=delta_V+[a(t),b(t)]'*delta_h; 
47. next_delta_h=delta_h;  
48. end 
49. % 梯度下降 
50. W=W-eta*delta_W; 
51. U=U-eta*delta_U; 
52. V=V-eta*delta_V; 
53. delta_W=zeros(hiddenDim,outputDim); 
54. delta_U=zeros(hiddenDim,hiddenDim); 
55. delta_V=zeros(inputDim,hiddenDim); 
56. ifmod(p,1000)==0 
57. fprintf('Samples:%d\n',p); 
58. fprintf('True:%d\n',cInt); 
59. fprintf('Predict:%d\n',bin2dec(int2str(round(y)))); 
60. fprintf('Error:%f\n',norm(err,2)/2); 
61. end 
62. end 
63. end 
64. functionsx=sigmoid(x) 
65. sx=1./(1+exp(-x)); 
66. end 
67. functiondx=sigmoidOutput2d(output) 
68. dx=output.*(1-output); 
69. end