Caffe中的資料填充類Filler

資料填充類caffe::Filler

Filler是一個數據填充類,採用特定的隨機演算法對Blob資料進行初始化.假設需要填充的變數為W. caffe提供常用的填充演算法有:
- “constant” : wij=v
- “gaussian” : wij∼N(0,σ2).
- “positive_unitball” : wij∈[0,1],s.t.∀i∑jwij=1
- “uniform” : xij∼U(a,b)
- “xavier” : wij∼U(−3/n−−−−−√,3/n−−−√)
- “msra” : wij∼N(0,2σ−−√)
- “bilinear” : wij≈(1−

2i/c)(1−2j/c),W∈Rc×c

用法:在定義一個layer的時候可以通過定義weight_filler和bias_filler類指定:

layer {
  name: "conv"
  type: "Convolution"
  bottom: "data"
  top: "conv"
  param{
    lr_mult:1
    decay_mult:1
  }
  param{
    lr_mult:2
    decay_mult:0
  }
  convolution_param {
    num_output: 512
    pad: 1
    kernel_size: 3 

    weight_filler{
      type:"gaussian"
      std:0.01
    }
    bias_filler{
      type:"constant"
      value:0.1
    }
  }
}

例如上面個給出一個卷積層的prototxt.分別使用gaussian和constant方式來填充W和b

類的定義

類似與Layer,Filler的例項化也是通過一個FillerParameter來進行的.FillerParameter是定義在caffe.proto的一個message:

message FillerParameter {
  optional string 
 type = 1 [default = 'constant'];
  optional float value = 2 [default = 0];
  optional float min = 3 [default = 0];
  optional float max = 4 [default = 1];
  optional float mean = 5 [default = 0];
  optional float std = 6 [default = 1];
  optional int32 sparse = 7 [default = -1];
  enum VarianceNorm {
    FAN_IN = 0;
    FAN_OUT = 1;
    AVERAGE = 2;
  }
  optional VarianceNorm variance_norm = 8 [default = FAN_IN];
}

Filler基類的定義

Filler是對不同型別的Filler子類的抽象.

template <typename Dtype>
class Filler {
 public:
  explicit Filler(const FillerParameter& param) : filler_param_(param) {}
  virtual ~Filler() {}
  virtual void Fill(Blob<Dtype>* blob) = 0;
 protected:
  FillerParameter filler_param_;
};

virtual void Fill(Blob* blob) = 0; 為純虛擬函式,使得Filler不能被例項化,作為一個抽象基類.

函式GetFiller

不像Layer是通過LayerFactory來構造一個不同型別的網路層,Filler通過函式GetFiller來獲取制定型別的Filler.

Filler<Dtype>* GetFiller(const FillerParameter& param) {
  const std::string& type = param.type();
  if (type == "constant") {
    return new ConstantFiller<Dtype>(param);
  } else if (type == "gaussian") {
    return new GaussianFiller<Dtype>(param);
  } else if (type == "positive_unitball") {
    return new PositiveUnitballFiller<Dtype>(param);
  } else if (type == "uniform") {
    return new UniformFiller<Dtype>(param);
  } else if (type == "xavier") {
    return new XavierFiller<Dtype>(param);
  } else if (type == "msra") {
    return new MSRAFiller<Dtype>(param);
  } else if (type == "bilinear") {
    return new BilinearFiller<Dtype>(param);
  } else {
    CHECK(false) << "Unknown filler name: " << param.type();
  }
  return (Filler<Dtype>*)(NULL);
}

例如我們希望用”guassian”Filler來填充一個數據:

double* data;
FillerParameter filler_param;
filler_param.set_mean(1);
filler_param.set_std(10);
GaussianFiller<Dtype> filler(filler_param);
filler.Fill(data);

類ConstantFille

ConstantFille類簡單的將資料初始化為一個常數值.通常會賦予bias一個很小的正數來避免一開始有過多的啟用函式進入飽和區.

class ConstantFiller : public Filler<Dtype> {
 public:
  explicit ConstantFiller(const FillerParameter& param)
      : Filler<Dtype>(param) {}
  virtual void Fill(Blob<Dtype>* blob) {
    Dtype* data = blob->mutable_cpu_data();
    const int count = blob->count();
    const Dtype value = this->filler_param_.value();
    CHECK(count);
    for (int i = 0; i < count; ++i) {
      data[i] = value;
    }
    CHECK_EQ(this->filler_param_.sparse(), -1)
         << "Sparsity not supported by this Filler.";
  }
};

類GaussianFiller

GaussianFiller產生給定引數(mean,std)下的高斯分佈.引數sparse指定被填充的資料中需要有多少個非零資料.

class GaussianFiller : public Filler<Dtype> {
 public:
  explicit GaussianFiller(const FillerParameter& param)
      : Filler<Dtype>(param) {}
  virtual void Fill(Blob<Dtype>* blob) {
    Dtype* data = blob->mutable_cpu_data();
    CHECK(blob->count());
    // 生成高斯資料
    caffe_rng_gaussian<Dtype>(blob->count(), Dtype(this->filler_param_.mean()),
        Dtype(this->filler_param_.std()), blob->mutable_cpu_data());
    // 處理稀疏的情況
    int sparse = this->filler_param_.sparse();
    CHECK_GE(sparse, -1);
    if (sparse >= 0) {
      CHECK_GE(blob->num_axes(), 1);
      const int num_outputs = blob->shape(0);
      Dtype non_zero_probability = Dtype(sparse) / Dtype(num_outputs);
      rand_vec_.reset(new SyncedMemory(blob->count() * sizeof(int)));
      int* mask = reinterpret_cast<int*>(rand_vec_->mutable_cpu_data());
      caffe_rng_bernoulli(blob->count(), non_zero_probability, mask);
      for (int i = 0; i < blob->count(); ++i) {
        data[i] *= mask[i];
      }
    }
  }
protected:
 shared_ptr<SyncedMemory> rand_vec_;
};

類PositiveUnitballFiller

類PositiveUnitballFiller使得被填充的資料滿足一下的關係:

wij∈[0,1],s.t.∀i∑jwij=1

class PositiveUnitballFiller : public Filler<Dtype> {
 public:
  explicit PositiveUnitballFiller(const FillerParameter& param)
      : Filler<Dtype>(param) {}
  virtual void Fill(Blob<Dtype>* blob) {
    Dtype* data = blob->mutable_cpu_data();
    DCHECK(blob->count());
    caffe_rng_uniform<Dtype>(blob->count(), 0, 1, blob->mutable_cpu_data());
    // We expect the filler to not be called very frequently, so we will
    // just use a simple implementation
    int dim = blob->count() / blob->num();
    CHECK(dim);
    for (int i = 0; i < blob->num(); ++i) {
      Dtype sum = 0;
      for (int j = 0; j < dim; ++j) {
        sum += data[i * dim + j];
      }
      for (int j = 0; j < dim; ++j) {
        data[i * dim + j] /= sum;
      }
    }
    CHECK_EQ(this->filler_param_.sparse(), -1)
         << "Sparsity not supported by this Filler.";
  }
};

類XavierFiller

類XavierFiller同樣是使得填充的方式滿足均勻分佈U[−3/n−−−−−√,3/n−−−√],只是均勻分佈的引數有給定的資料形狀決定.
假設待填充的引數為W的大小是(N,C,W,H).那麼fan_in=C×W\tiemsH. fan_out=N\tiemesW×H.
n的選取通過enum VarianceNorm指定:
- n=fan_in,選擇FAN_IN.
- n=fan_out,選擇FAN_OUT.

- n=(fan_in+fan_out)/2,選擇`AVERAGE`.

class XavierFiller : public Filler<Dtype> {
 public:
  explicit XavierFiller(const FillerParameter& param)
      : Filler<Dtype>(param) {}
  virtual void Fill(Blob<Dtype>* blob) {
    CHECK(blob->count());
    int fan_in = blob->count() / blob->num();
    int fan_out = blob->count() / blob->channels();
    Dtype n = fan_in;  // default to fan_in
    if (this->filler_param_.variance_norm() ==
        FillerParameter_VarianceNorm_AVERAGE) {
      n = (fan_in + fan_out) / Dtype(2);
    } else if (this->filler_param_.variance_norm() ==
        FillerParameter_VarianceNorm_FAN_OUT) {
      n = fan_out;
    }
    Dtype scale = sqrt(Dtype(3) / n);
    caffe_rng_uniform<Dtype>(blob->count(), -scale, scale,
        blob->mutable_cpu_data());
    CHECK_EQ(this->filler_param_.sparse(), -1)
         << "Sparsity not supported by this Filler.";
  }
};

類MSRAFiller

類MSRAFiller同樣是使得填充的方式滿足高斯分佈N(0,2/σ),只是高斯分佈的引數有給定的資料形狀決定.假設待填充的引數為W的大小是(N,C,W,H).那麼fan

Caffe中的資料填充類Filler

資料填充類caffe::Filler

類的定義

Filler基類的定義

函式GetFiller

類ConstantFille

類GaussianFiller

類PositiveUnitballFiller

類XavierFiller

- n=(fan_in+fan_out)/2,選擇`AVERAGE`.

類MSRAFiller

Caffe中的資料填充類Filler

caffe中的Net類

關於面對物件過程中的三大架構以及資料訪問層（實體類、資料操作類）

有關C++類中資料成員變數定義的一些想法

laravel中的資料遷移和資料填充

關於安卓專案中統計資料achartengine類（包括餅狀圖，柱狀圖，折線圖等）的使用

ssd-caffe中的annotationDatum資料結構

java 反射中的包裝類與基本資料型別

機器學習中的sklearn中的聚類資料生成器

Flask中的模型類以及資料的增刪改查操作

Caffe中的資料轉換

三層架構中使用實體類填充泛型集合代替DataTable解決方案(ASP.NET+C#)

Windows Caffe中MNIST資料格式轉換實現

C#中通過Type類訪問資料型別資訊

caffe訓練資料中出現[data_layer.cpp:73] Restarting data prefetching from start. 的問題

QueryRunner類實現對資料庫表中資料的增刪改查以及八種結果集

Caffe中LMDB介面實現多標籤資料準備及訓練

Sql Server儲存過程從一個表中抓取資料填充到另一張表中

怎麼解析Json資料，然後把解析到的Json資料填充到佈局中？

在分類過程中對連續資料的類劃分

Caffe中的資料填充類Filler

資料填充類caffe::Filler

類的定義

Filler基類的定義

函式GetFiller

類ConstantFille

類GaussianFiller

類PositiveUnitballFiller

類XavierFiller

- n=(fan_in+fan_out)/2,選擇AVERAGE.

類MSRAFiller

相關推薦

- n=(fan_in+fan_out)/2,選擇`AVERAGE`.