1. 程式人生 > >Caffe Prototxt 啟用層系列:Sigmoid Layer

Caffe Prototxt 啟用層系列:Sigmoid Layer

Sigmoid Layer 是DL中非線性啟用的一種,在深層CNN中,中間層用得比較少,容易造成梯度消失(當然不是絕對不用);在GAN或一些網路的輸出層常用到

首先我們先看一下 SigmoidParameter

message SigmoidParameter {
	  enum Engine {
	    DEFAULT = 0;
	    CAFFE = 1;
	    CUDNN = 2;
	  }
	  optional Engine engine = 1 [default = DEFAULT];
}

Sigmoid Layer 在prototxt裡面的書寫:

layer {
	  name: "sigmoid"
	  type: "Sigmoid"
	  bottom: "conv/bn"
	  top: "conv/bn"
}