卷積層

偏置值導數

∂E∂blj=∂E∂zlj∗∂zlj∂blj(1)
one thing keep in mind: blj是一個標量，又因為
zlj=∑i∈MjXl−1i∗klij+blj(2)
而zlj每一個元素都是與標量blj相關.
因此
∂E∂blj=∂E∂zlj∗∂zlj∂blj=∑uv∂E∂zluv∂zluv∂blj=∑uv(δlj)uv(3)

根據http://blog.csdn.net/zhongkeli/article/details/51849619，知
δlj=∂E∂zlj(4)
且δlj是一個矩陣，因此
∂E∂zluv等於(δlj)uv。
這一部分不知道對不對，但是在求解偏置值導數可以用到

http://blog.csdn.net/zhongkeli/article/details/51858297 裡面的思想，biasblj與zlj每一個元素都相關，因此blj的殘差是zlj對應的殘差與權重(1)加權和.
因此∂E∂blj=∑uv(δlj)uv(5)

kernel導數

先給出公式:
∂E∂kernellij=rot180(conv2(xl−1i,rot180(δlj),vali