1. 程式人生 > 其它 >【CVPR2022】Detecting Camouflaged Object in Frequency Domain

【CVPR2022】Detecting Camouflaged Object in Frequency Domain

【CVPR2022】Detecting Camouflaged Object in Frequency Domain

論文有一個非官方的實現:https://github.com/VisibleShadow/Implementation-of-Detecting-Camouflaged-Object-in-Frequency-Domain

感覺這個論文是CVPR2022 Learning in the frequency domain 論文的延續。為了將頻率域資訊很好地融入到CNN模型中,作者設計了一種新的頻率增強模組(FEM),以在頻域中挖掘偽裝物體的線索,它包含浮點離散餘弦變換,然後是可學習的增強。

整體框架如下圖所示,核心創新點為:frequency enhancement module (FEM) 和 high-order relation module (HOR)。

1、Frequency enhancement module

FEM模組對於RGB影象的處理與CVPR2020那篇論文使用的方法一樣,都是將影象變換到 DCT空間形成新的特徵,這部分叫做 offline DCT,如下圖 step 1 所示,這部分是影象變換,沒有引數學習的。

然後,特徵的高頻、低頻分別進行注意力的計算,這部分是可學習的。

2、 High order frequency channel selection

如下圖所示,對於輸入為CHW的特徵X,先轉化為 C x HW, 然後計算與 \(\psi(X)\) 計算相似性,並用 softmax 歸一化,得到 positional attention weight。\(\psi(X)\)

表示X後面的卷積層(越靠後的網路層感受野越大)。接著通過 gating 操作,得到空間位置增強的特徵A。在此基礎上,再計算通道維度的注意力,得到最終的輸出。