1. 程式人生 > >RNN的通俗講解(初級篇)

RNN的通俗講解(初級篇)

然後梯度是輸出層通過求導得到的,求導過程有點麻煩就像醬: 但是碰巧得到了很簡單很整齊的結果就像醬 :  所以最後輸出層的error就是用當前單詞的one_of_k向量減去概率發射函式啦, ps我當時傻乎乎的覺得這麼減好對好對啊,完全不知道是數學推導得出的,因為當時mikolov的論文也並沒有講這個e0求得的過程。 然後呢就向前傳,一邊傳一邊求梯度。 由y的error和s(t)的輸出這兩個vector相乘得到的梯度就用來更新v,error傳到s(t),s(t)的error和s(t-1)的輸出相乘得到了w的梯度用來更新w,依次類推 ) 梯度怎麼向前傳呢? 公式太多打起來好累我就直接截圖貼論文辣 ><      總之呢error的傳遞也是用數學求導求得的。  數學不太好的我也是推的累累的QAQ。
然後我覺得RNN中比較困惑比較難的就是上面這麼多啦 ,  我感覺這些都是對那些已有的大牛的論文的補充,單獨看我的可能比較模糊,如果讀了論文之後還有疑惑看這些就比較清楚。   (直接看論文就能看很懂的大神們就54我的話吧)