SSD的資料增強演算法

程式碼地址

論文地址

資料增強：

SSD資料增強有兩種新方法：（1）expand ，左圖（2）batch_sampler，右圖

expand_param {
      prob: 0.5 //expand發生的概率
      max_expand_ratio: 4 //expand的擴大倍數
    }

expand是指對影象進行縮小，影象的其餘區域補0，下圖是expand的方法。個人認為這樣做的目的是在資料處理階段增加多尺度的資訊。大object通過expand方法的處理可以變成小尺度的物體訓練。提高ssd對尺度的泛化性。

annotated_data_param {//以下有7
 
個batch_sampler
    batch_sampler {
      max_sample: 1
      max_trials: 1
    }
    batch_sampler {
      sampler {
        min_scale: 0.3
        max_scale: 1
        min_aspect_ratio: 0.5
        max_aspect_ratio: 2
      }
      sample_constraint {
        min_jaccard_overlap: 0.1
      }
      max_sample: 1
 

      max_trials: 50
    }
    batch_sampler {
      sampler {
        min_scale: 0.3
        max_scale: 1
        min_aspect_ratio: 0.5
        max_aspect_ratio: 2
      }
      sample_constraint {
        min_jaccard_overlap: 0.3
      }
      max_sample: 1
      max_trials: 50
    }
    batch_sampler {
      sampler {
        min_scale: 0.3
 

        max_scale: 1
        min_aspect_ratio: 0.5
        max_aspect_ratio: 2
      }
      sample_constraint {
        min_jaccard_overlap: 0.5
      }
      max_sample: 1
      max_trials: 50
    }
    batch_sampler {
      sampler {
        min_scale: 0.3
        max_scale: 1
        min_aspect_ratio: 0.5
        max_aspect_ratio: 2
      }
      sample_constraint {
        min_jaccard_overlap: 0.7
      }
      max_sample: 1
      max_trials: 50
    }
    batch_sampler {
      sampler {
        min_scale: 0.3
        max_scale: 1
        min_aspect_ratio: 0.5
        max_aspect_ratio: 2
      }
      sample_constraint {
        min_jaccard_overlap: 0.9
      }
      max_sample: 1
      max_trials: 50
    }
    batch_sampler {
      sampler {
        min_scale: 0.3
        max_scale: 1
        min_aspect_ratio: 0.5
        max_aspect_ratio: 2
      }
      sample_constraint {
        max_jaccard_overlap: 1
      }
      max_sample: 1
      max_trials: 50
    }

batch_sampler是對影象選取一個滿足限制條件的區域（注意這個區域是隨機抓取的）。限制條件就是抓取的patch和GT（Ground Truth）的IOU的值。

步驟是：先在區間[min_scale,max_sacle]內隨機生成一個值，這個值作為patch的高Height，然後在[min_aspect_ratio,max_aspect_ratio]範圍內生成ratio，從而得到patch的Width。到此為止patch的寬和高隨機得到，然後在影象中進行一次patch，要求滿足與GT的最小IOU是0.9，也就是IOU>=0.9。如果隨機patch滿足這個條件，那麼張圖會被resize到300*300（在SSD300*300中）送進網路訓練。如下圖。

    batch_sampler {
      sampler {
        min_scale: 0.3
        max_scale: 1
        min_aspect_ratio: 0.5
        max_aspect_ratio: 2
      }
      sample_constraint {
        min_jaccard_overlap: 0.9
      }
      max_sample: 1
      max_trials: 50
    }

附

上面的內容是通過jupyter notebook視覺化得到的。並沒有詳細看SSD的transform_data的程式碼。如果有錯誤的地方，希望大家在評論處批評指正。