008---遞歸神經網絡-RNN
阿新 • • 發佈：2018-10-19
自然語言 分享 上一個 有用 spa 反向傳播 之間 鏈接 style
常規神經網絡：
常規的神經網絡是各算各的，每個x之間都是獨立的
遞歸神經網絡：
遞歸神經網絡要幹的一件事就是，在隱藏層中，x1利用了x0的w，x2利用了x1的w，x3利用x2的w。。。。。以此類推
例如下面這個例子：
x0表示“我出生”
x1表示“在”
x2表示“中國”
xt表示“我說”
xt+1就會預測出“漢語”
RNN網絡細節：
U和W都是參數矩陣，V是全連接矩陣。
RNN與CNN網絡不通之處在於，CNN每個輸入和輸出都是獨立的，RNN每個輸入都要依賴上一個輸入的輸出。
所以RNN網路下一步需要前一步的有用的參數，RNN做自然語言處理很合適，
因為人類的語言上下文結合很重要。
RNN網絡反向傳播：
由於RNN網絡的鏈接特性，每個輸入參數的權重值更新都會更新上一個輸入的參數，CNN是只會更新自身輸入的參數。
RNN網絡的局限性
1，網絡過於龐大
例如：
I am Chinese，.........I love China
如果省略號中間隔了500個詞，那麽最初的am這個詞對於最後的China起的作用就不是很大了，
但是RNN會把最前面的am也作用於最後的China
2，有可能發生梯度消失：
如果網絡龐大，在參數更新時，鏈式法則梯度往前傳的過程中，如果梯度很小的話，那麽前面的梯度累乘後梯度就會越來越小，趨近於0
008---遞歸神經網絡-RNN