1. 程式人生 > >[轉] caffe激活層及參數

[轉] caffe激活層及參數

bsp caffe 效果 lba otto code 執行 常用 暫時

在激活層中,對輸入數據進行激活操作(實際上就是一種函數變換),是逐元素進行運算的。從bottom得到一個blob數據輸入,運算後,從top輸入一個blob數據。在運算過程中,沒有改變數據的大小,即輸入和輸出的數據大小是相等的。

輸入:n*c*h*w

輸出:n*c*h*w

常用的激活函數有sigmoid, tanh,relu等,下面分別介紹。

1、Sigmoid

對每個輸入數據,利用sigmoid函數執行操作。這種層設置比較簡單,沒有額外的參數。

技術分享

層類型:Sigmoid

示例:

layer {
  name: "encode1neuron"
  bottom: "encode1"
  top: "encode1neuron"
  type: "Sigmoid"
}

2、ReLU / Rectified-Linear and Leaky-ReLU

ReLU是目前使用最多的激活函數,主要因為其收斂更快,並且能保持同樣效果。

標準的ReLU函數為max(x, 0),當x>0時,輸出x; 當x<=0時,輸出0

f(x)=max(x,0)

層類型:ReLU

可選參數:

  negative_slope:默認為0. 對標準的ReLU函數進行變化,如果設置了這個值,那麽數據為負數時,就不再設置為0,而是用原始數據乘以negative_slope

layer {
  name: "relu1"
  type: "ReLU"
  bottom: "pool1"
  top: "pool1"
}

RELU層支持in-place計算,這意味著bottom的輸出和輸入相同以避免內存的消耗。

3、TanH / Hyperbolic Tangent

利用雙曲正切函數對數據進行變換。

技術分享

層類型:TanH

layer {
  name: "layer"
  bottom: "in"
  top: "out"
  type: "TanH"
}

4、Absolute Value

求每個輸入數據的絕對值。

f(x)=Abs(x)

層類型:AbsVal

layer {
  name: "layer"
  bottom: "in"
  top: "out"
  type: "AbsVal"
}

5、Power

對每個輸入數據進行冪運算

f(x)= (shift + scale * x) ^ power

層類型:Power

可選參數:

  power: 默認為1

  scale: 默認為1

  shift: 默認為0

技術分享
layer {
  name: "layer"
  bottom: "in"
  top: "out"
  type: "Power"
  power_param {
    power: 2
    scale: 1
    shift: 0
  }
}
技術分享

6、BNLL

binomial normal log likelihood的簡稱

f(x)=log(1 + exp(x))

層類型:BNLL

layer {
  name: "layer"
  bottom: "in"
  top: "out"
  type: “BNLL”
}

原文:http://www.cnblogs.com/denny402/p/5072507.html#3652385

  目前大多數模型都是使用 RELU 激活函數,此外RELU支持原址( in-place)計算, 即它的底層 blob 和頂層 blob 可以是同一個以節省內存開銷。

可以發現很多模型的RELU層內bottom和top為同一參數,但其他激活函數暫時不支持。

[轉] caffe激活層及參數