空洞卷積（Atrous Convolution）

版權宣告：本文為博主原創文章，遵循 CC 4.0 BY-SA 版權協議，轉載請附上原文出處連結和本宣告。 本文連結：https://blog.csdn.net/qq_30159015/article/details/89148608

優點：在不做pooling損失資訊和相同的計算條件下的情況下，加大了感受野，讓每個卷積輸出都包含較大範圍的資訊。空洞卷積經常用在實時影象分割中。當網路層需要較大的感受野，但計算資源有限而無法提高卷積核數量或大小時，可以考慮空洞卷積。

空洞卷積（dilated convolution）是針對影象語義分割問題中下采樣會降低影象解析度、丟失資訊而提出的一種卷積思路。利用新增空洞擴大感受野，讓原本3x3的卷積核，在相同引數量和計算量下擁有5x5（dilated rate =2）或者更大的感受野，從而無需下采樣。擴張卷積（dilated convolutions）又名空洞卷積（atrous convolutions），向卷積層引入了一個稱為 “擴張率(dilation rate)”的新引數，該引數定義了卷積核處理資料時各值的間距。換句話說，相比原來的標準卷積，擴張卷積（dilated convolution） 多了一個hyper-parameter（超引數）稱之為dilation rate（擴張率），指的是kernel各點之前的間隔數量，【正常的convolution 的 dilatation rate為 1】。

圖說空洞卷積的概念

 

空洞卷積的動態過程

在二維影象上直觀地感受一下擴張卷積的過程：

上圖是一個擴張率為2的3×3卷積核，感受野與5×5的卷積核相同，而且僅需要9個引數。你可以把它想象成一個5×5的卷積核，每隔一行或一列刪除一行或一列。
在相同的計算條件下，空洞卷積提供了更大的感受野。空洞卷積經常用在實時影象分割中。當網路層需要較大的感受野，但計算資源有限而無法提高卷積核數量或大小時，可以考慮空洞卷積。

Dilated Convolution感受野指數級增長

對於標準卷積核情況，比如用3×3卷積核連續卷積2次，在第3層中得到1個Feature點，那麼第3層這個Feature點換算回第1層覆蓋了多少個Feature點呢？
第3層：

第2層：

第1層：

第一層的一個5×5大小的區域經過2次3×3的標準卷積之後，變成了一個點。也就是說從size上來講，2層3*3卷積轉換相當於1層5*5卷積。題外話，從以上圖的演化也可以看出，一個5×5的卷積核是可以由2次連續的3×3的卷積代替。
但對於dilated=2，3*3的擴張卷積核呢？
第3層的一個點：

第2層：

第一層：

可以看到第一層13×13的區域，經過2次3×3的擴張卷積之後，變成了一個點。即從size上來講，連續2層的3×3空洞卷積轉換相當於1層13×13卷積。