The Many Faces of Robustness: A Critical Analysis of Out-of-Distribution Generalization (DeepAugment)
概
作者通過或採樣或人造的資料集ImageNet Renditions, DeepFashion Remixed, StreetView StoreFronts來驗證七個假設:
- 更大的模型能夠提高魯棒性;
- self-attention能夠提高魯棒性;
- diverse data augmentation 能夠提高魯棒性;
- 在更大更復雜的資料集上進行預訓練能夠提高魯棒性;
- CNN更傾向於紋理資訊, 這會破壞魯棒性;
- 魯棒性主要用在IID上的測試資料的正確率所反映(即提高泛化性的最有效途徑是提高測試精度(IID上的));
- 人造資料所帶來魯棒性對於現實生活中j'kjk偏移沒有幫助.
主要內容
ImageNet-R
ImageNet-R包含了ImageNet中的200個類的藝術加工後的結果:
注: 原ImageNet是不包含藝術加工後的資料的.
StreetView StoreFronts (SVSF)
SVSF是從 Google StreetView imagery中取樣的資料集, 包含3種不同型別的分佈遷移: 國家, 年份 和 拍攝硬體(攝像機).
訓練集: 於2019年, 在美國/墨西哥/加拿大通過新式攝像系統拍攝的照片;
測試集:
| Year | Country | Camera | |
|---|---|---|---|
| 1 | 2017 | US/Mexico/Canada | new |
| 2 | 2018 | US/Mexico/Canada | new |
| 3 | 2019 | France | new |
| 4 | 2019 | US/Mexico/Canada | old |
DeepFashion Remixed
DFR包括一個訓練集和8個測試集, 測試集和訓練集的差別在於在某個屬性上有差異.
| object size | object occlusion | camera viewpoint | camera zoom | |
|---|---|---|---|---|
| Training | medium | medium | side/back | no zoom-in |
| 1 | small | medium | side/back | no zoom-in |
| 2 | large | medium | side/back | no zoom-in |
| 3 | medium | minimal | side/back | no zoom-in |
| 4 | medium | heavy | side/back | no zoom-in |
| 5 | medium | medium | frontal | no zoom-in |
| 6 | medium | medium | not-worn | no zoom-in |
| 7 | medium | medium | side/back | medium zoom-in |
| 8 | medium | medium | side/back | large zoom-in |
DeepAugment
DeepAugment算是一種特殊的augmentation, 即一個image-to-image的網路\(h(\cdot; \theta)\), 通過\(h(x; \theta + \delta)\), 網路引數上的擾動使得得到diverse的圖片, 這些擾動包括: zeroing, negating, convolving, transposing, applying activation functions ...
實驗結論
1,2,3,4四個假設對於ImageNet-C和真實的模糊圖片是有效的, 但對於DFR, SVSF中的分佈偏移卻都不奏效. Larger Models和Diverse Data Augmentation對於ImageNet-R是有效果的(後者, 即 DeepAugment + AugMix的結果非常好).
對於CNN更偏向紋理資訊, 從ImageNet-R中可以瞥見一二, 普通的CNN在ImageNet-R上的泛化性很差, 但是通過diverse data augmentation可以緩解這一問題(因為其在一定程度上打亂了紋理資訊). 但是這類假設在DFR, SVSF卻並不奏效, 這大概也說明texture bias並非是影響魯棒性的唯一因素.
對於第六點, 雖然IID上的正確的確很重要, 但是正如上表所示, 大模型, diverse的資料增強對於泛化性很大的幫助(但是對於IID收效甚微).
對於最後一點, 即人造資料的作用, 顯然人造資料的確是能夠增加泛化性的, 雖然這類方法在面對地理偏移等時效果不明顯.