目錄

• 概
• 主要內容
• 程式碼

Bai Y., Zeng Y., Jiang Y., Xia S., Ma X., Wang Y. Improving adversarial robustness via channel-wise activation suppressing. In International Conference on Learning Representations (ICLR), 2021.

Yan H., Zhang J., Niu G., Feng J., Tan V., Sugiyama M. CIFS: Improving adversarial robustness of CNNs via channel-wise importance-based feature selection. In International Conference on Machine Learning (ICML), 2021.

概

這兩篇論文發現natural和adversarial樣本在啟用層的大小和分佈有顯著的不同.

主要內容

如上兩圖所示, 對抗樣本的magnitude相較於乾淨樣本要普遍大一些, 重要性的分佈相較於乾淨分佈更趨於均勻分佈.
所以可以認為, 倘若我們能夠恢復正常的大小以及迴歸正常的重要性指標, 那麼就能夠提高網路魯棒性.

注: 上面的重要性分佈是這麼計算的: 對於固定的類, 計算每個channel對於判別為該類的貢獻度是否超越一個閾值, 以統計的綜合頻率為最後的重要性.

對於每一個block (比如resnet中的block), 在最後的輸出部分輔以重加權, 使得重要的啟用層能夠更加突出.
重加權是通過新的全連線層實現的, 假設特徵圖大小為

\[f^l \in \mathbb{R}^{H \times W \times K}, \]

其中\(K\)為channels的數目, 首先通過GAP得到:

\[\hat{f}_k^l = \frac{1}{H \times W} \sum_i \sum_j f_k^l (i, j). \]

再通過全連線層\(M^l = [M_1^l, \cdots, M_C^l] \in \mathbb{R}^{K \times C}\)重加權

\[\tilde{f}^l = \left \{ \begin{array}{ll} f^l \otimes M_y^l, & \text{training}, \\ f^l \otimes M_{\hat{y}}^l, & \text{test}. \end{array} \right . \]

其中訓練時, \(y\)

就是樣本標籤, 而測試時,

\[\hat{y} = \arg \max_i \hat{f}^TM_i, \]

即預測值.
所以, 顯然為了讓\(M_y\)能夠與樣本標籤緊密聯絡, 在訓練的時候, 需要額外最小化一個交叉熵損失:

\[\mathcal{L}_{CAS}(p(x',\theta,M), y) = -\log p_y(x'). \]

這裡\(x'\)表示對抗樣本.

CIFS的思路是類似的, 這裡不多贅述了.

程式碼

CAS