1. 程式人生 > >三種減少卷積神經網路複雜度同時不降低效能的新方法

三種減少卷積神經網路複雜度同時不降低效能的新方法

  基本思路:輸出的通道的值,只和與它相鄰的通道有關係。如何定義相鄰呢? 對於一個輸出,假設標準卷積需要30維通道來表示,在拓撲細分方法裡,我們可以用一個2-D張量空間或者3-D張量空間來重新排列這30維通道。舉例來說,假如排列方法為2-D:30=65。那麼如果要輸出一般意義上第13維通道上的值,那對應在2-D張量空間,即是(3,3)位置的值。此時,考慮位置(3,3)及其周圍的值即可。我們用(d1,d2,...,ds),來表示張量空間,顯然,他們的乘積與通道數n的關係為:d1d2...ds=n。我們考慮的位置(3,3)的鄰域,用(c1,c2,...,cs)表示。若c1c2...*cs=c的話,經過拓撲細分,能將計算複雜度降低為原來c/n。具體演算法為: