1. 程式人生 > >殘差網絡

殘差網絡

相位 效率 bsp span 相互 減少 iphone 概念 圖像

https://www.leiphone.com/news/201609/UpmXTWh9gYOqnl0c.html

原文:

殘差網絡(ResNet) 和卷積神經網絡( ConvNet) 之間是平行概念,互不排斥。

ResNet的基本思想可以和卷積神經網絡結合,也可和其它任何類型的神經網絡結合。ResNet的核心思想是在不改變網絡表達力和復雜度的情形下改變損失函數勢能面的狀況,從而使優化到最佳點的途徑變得順利些。

卷積神經網絡主要用於圖像識別,因為圖像中的每個像素都與其鄰近像素關連,而全部的這種關聯,空間關系決定了一個圖像的表征。卷積神經網絡的設計就是為了提取這些特征,並通過大量例子訓練模型。

換句話說有一個局部感受野的想法,圖像中相鄰像素構成了一個表達,因此用卷積濾波器很合適。

有些問題,其變量之間的相互作用關系不明確,無法套用卷積神經網絡。這時可以采用全連接網絡,或根據已知或猜測到的相互作用關系建立網絡連接(這樣可大大減少參數量)。實際應用中還涉及模型的效率(速度)問題。 如果一個神經網絡過大,無論是訓練還是用於打分都會較慢,如需提速,必須減少模型的大小。

提問:除了圖像之外,對於其它有一定相互關聯性的信號,是否都可以借鑒卷積網絡,比如一些時間上有一定關聯的信號的機器學習?

可以,但比較麻煩,因為你不知道怎樣歸類,對於音頻完全可以,時間和頻率構成二維圖像。(不用考慮相位嗎?二維圖像以什麽樣的方式構成)

殘差網絡