深度學習(十)——花式卷積(2)
花式卷積
depthwise separable convolution(續)
它包含一個深度方面的卷積(一個為每個通道單獨執行的空間卷積,depthwise convolution),後面跟著一個逐點的卷積(一個跨通道的1×1卷積,pointwise convolution)。我們可以將其看作是首先求跨一個2D空間的相關性,然後再求跨一個1D空間的相關性。可以看出,這種2D+1D對映學起來比全 3D 對映更加簡單。
在ImageNet資料集上,Xception的表現稍稍優於Inception v3,而且在一個有17000類的更大規模的影象分類資料集上的表現更是好得多。而它的模型引數的數量僅和Inception一樣多。
論文:
《Xception: Deep Learning with Depthwise Separable Convolutions》
程式碼:
Francois Chollet,法國人。現為Google研究員。Keras的作者。
參考:
tf.nn.depthwise_conv2d如何實現深度卷積?
tf.nn.separable_conv2d如何實現深度可分卷積?
和Xception類似的還有MobileNets。
論文:
《MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications》
程式碼:
參考:
向手機端神經網路進發:MobileNet壓縮指南
MobileNet在手機端上的速度評測:iPhone 8 Plus竟不如iPhone 7 Plus
參考
Convolution arithmetic
Convolution arithmetic
如何理解空洞卷積(dilated convolution)?
這12張圖生動的告訴你,深度學習中的卷積網路是怎麼一回事?
一文全解深度學習中的卷積
卷積神經網路結構變化——可變形卷積網路deformable convolutional networks
Deconvolutional Networks
CNN-反捲積
Transposed Convolution, Fractionally Strided Convolution or Deconvolution(中文blog)
Implementing convolution as a matrix multiplication(中文blog)
變形卷積核、可分離卷積?CNN中十大拍案叫絕的操作!
可變形卷積網路:計算機新“視”界
CMU研究者探索新卷積方法:在實驗中可媲美基準CNN
微軟亞洲研究院:逐層集中Attention的卷積模型
不規則卷積神經網路
Winograd
矩陣方面的數值計算,Shmuel Winograd是一個無法繞開的人物。
Shmuel Winograd, 1936年生,MIT本碩(1959年)+紐約大學博士(1968年)。此後一直在IBM當研究員,直到退休。IEEE Fellow,ACM Fellow,美國科學院院士。
Winograd FFT algorithm:一種FFT演算法。FFT演算法有很多,最知名的是Cooley–Tukey FFT algorithm。
Coppersmith–Winograd algorithm(1987年):目前最快的矩陣乘法演算法。複雜度是
Winograd small(short/minimal) convolution algorithm:一種快速的卷積演算法,目前AI晶片領域的基礎演算法。
論文:
《The Coppersmith-Winograd Matrix Multiplication Algorithm》
《Fast Algorithms for Convolutional Neural Networks》