LeNet網路介紹

LeNet網路詳解

網路名稱

name: "LeNet"         # 網路（NET）名稱為LeNet

mnist層-train

layer {               # 定義一個層
  name: "mnist"       # 層名字mnist
  type: "Data"        # 層的型別，資料層
  top: "data"         # 層的輸出blob有兩個；data和label
  top: "label"        # blob是資料庫中用來儲存二進位制檔案的欄位型別
  include {
    phase: TRAIN      # 該層僅在訓練階段有效
 

  }
  transform_param {
    scale: 0.00390625 # 資料變換使用的資料縮放因子
  }
  data_param {        # 資料層引數 
    source: "A:/Caffe/caffe/examples/mnist/mnist-train-leveldb"   # 資料路徑
    batch_size: 64     # 批量數目，一次讀取64張圖
    backend: LEVELDB   # 資料格式為LEVELDB
  }
}

mnist層-test

layer {                # 同是名為mnist且輸出為data和label的資料層，只是定義的引數只在檢測階段有效
 

  name: "mnist"
  type: "Data"
  top: "data"
  top: "label"
  include {
    phase: TEST
  }
  transform_param {
    scale: 0.00390625
  }
  data_param {
    source: "A:/Caffe/caffe/examples/mnist/mnist-test-leveldb"
    batch_size: 1
    backend: LEVELDB
  }
}

卷積層1

# lr_mult: 學習率的係數，最終的學習率是這個數乘以solver.prototxt配置檔案中的base_lr。
 

# 如果有兩個lr_mult, 則第一個表示權值的學習率，第二個表示偏置項的學習率。一般偏置項的學習率是權值學習率的兩倍。
layer {                      # 定義了一個卷積層conv1
  name: "conv1"
  type: "Convolution"
  bottom: "data"             # 輸入blob為data
  top: "conv1"               # 輸出blob為conv1
  param {
    lr_mult: 1               # 全域性學習速率倍乘因子，1表示與全域性引數一致
  }
  param {
    lr_mult: 2               # bias學習速率倍乘因子，是全域性引數的2倍
  }
  convolution_param {        # 卷積計算引數
    num_output: 20           # 輸出feature map數量為20
    kernel_size: 5           # 卷積核尺寸，5X5
    stride: 1                # 卷積輸出跳躍間隔，1表示連續輸出，無跳躍
    weight_filler {          # 權值使用xavier填充器
      type: "xavier"
    }
    bias_filler {
      type: "constant"       # bias使用常數填充器，預設是0
    }
  }
}

下采樣層pool1

layer {                      # 下采樣層pol1，輸入conv1，輸出pool1
  name: "pool1"
  type: "Pooling"
  bottom: "conv1"
  top: "pool1"
  pooling_param {
    pool: MAX                # 最大值下采樣法
    kernel_size: 2           # 下采樣視窗尺寸2X2
    stride: 2                # 下采樣輸出跳躍間隔2X2
  }
}

卷積層2

layer {
  name: "conv2"
  type: "Convolution"
  bottom: "pool1"
  top: "conv2"
  param {
    lr_mult: 1
  }
  param {
    lr_mult: 2
  }
  convolution_param {
    num_output: 50
    kernel_size: 5
    stride: 1
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
    }
  }
}

下采樣層pool2

layer {
  name: "pool2"
  type: "Pooling"
  bottom: "conv2"
  top: "pool2"
  pooling_param {
    pool: MAX
    kernel_size: 2
    stride: 2
  }
}

全連線層1

layer {                        # 全連線層
  name: "ip1"
  type: "InnerProduct"
  bottom: "pool2"
  top: "ip1"
  param {
    lr_mult: 1
  }
  param {
    lr_mult: 2
  }
  inner_product_param {
    num_output: 500            # 該層輸出引數 500X500
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
    }
  }
}

採用ReLU的非線性層

layer {                         # 非線性層，用ReLU方法
  name: "relu1"
  type: "ReLU"
  bottom: "ip1"
  top: "ip1"
}

全連線層2

layer {
  name: "ip2"
  type: "InnerProduct"
  bottom: "ip1"
  top: "ip2"
  param {
    lr_mult: 1
  }
  param {
    lr_mult: 2
  }
  inner_product_param {
    num_output: 10
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
    }
  }
}

accuracy層

layer {                        # 分類準確率層
  name: "accuracy"
  type: "Accuracy"
  bottom: "ip2"
  bottom: "label"
  top: "accuracy"
  include {
    phase: TEST
  }
}

損失層

layer {                      # 損失層
  name: "loss"
  type: "SoftmaxWithLoss" # 採用softmax迴歸
  bottom: "ip2"
  bottom: "label"
  top: "loss"
}

網路結構圖

參考資料：《深度學習-21天實戰Caffe》