目錄

• 概
• 主要內容
• 程式碼

Ni S., Li J. and Kao H. DropAttack: a masked weight adversarial training method to improve generalization of neural networks. In International Conference on Learning Representations (ICLR), 2022.

概

採用DropOut的方式, 對輸入和網路引數隨機性的新增擾動, 思想和AWP有點類似, 都是以增加泛化性的角度出發的.

主要內容

不同一般的對抗訓練:

\[\min_{\theta} \mathbb{E}_{(x, y) \sim \mathcal{D}} [\max_{r_{adv} \in S} L(\theta, x + r_{adv}, y)], \]

作者希望'同時'攻擊輸入和引數:

\[\min_{\theta}\mathbb{E}_{(x, y) \sim D} [\max_{r_x \in S} L(\theta, x + M_x \cdot r_x, y) + \max_{r_{\theta} \in S} L(\theta + M_{\theta} \cdot r_{\theta}, x, y)]. \]

和普通的訓練一樣, 也是採用梯度去近似求解maximum的, 其演算法如下:

讓人比較好奇是, 又沒有一起攻擊的說法呢?

\[\min_{\theta}\mathbb{E}_{(x, y) \sim D} [\max_{r_x \in S} L(\theta + M_{\theta} \cdot r_{\theta}, x + M_x \cdot r_x, y). \]

程式碼

原文程式碼