上一章，我們介紹了在Linux環境下DeepNet框架的搭建，這一章，我們講講DeepNet的使用。

以/deepnet-master/deepnet/examples中的rbm為例：

cd到/deepnet-master/deepnet/examples/rbm目錄中，看到有4個檔案：eval.pbtxt，model.pbtxt，train.pbtxt以及runall.sh。

train.pbtxt

optimizer : CD
stopcondition {
  all_processed: false
  steps: 100000
}
train: true 
batchsize: 100
data_proto: "/ais/gobi3/u/nitish/mnist/mnist.pbtxt"
eval_after: 1000
checkpoint_after: 10000
checkpoint_directory: "/ais/gobi3/u/nitish/mnist/models"
show_after: 1000
randomize: true
 

stopcondition：訓練的停止條件，all_processed為true時表示將整個訓練集訓練完一遍，即一個epoch；all_processed為false時，steps表示訓練的步數，在這裡即為100000。

batchsize：模型訓練時每一個mini-batch的大小。

data_proto：資料集的路徑。

eval_after：每隔1000次對訓練的網路進行驗證。

checkpoint_after：每隔10000次記錄一次模型，存在checkpoint_directory的路徑中。

show_after：每隔1000次，在螢幕上顯示一次訓練結果。

randomize：將資料集隨機打亂。

eval.pbtxt

stopcondition {
  all_processed: true
}
batchsize: 100

model.pbtxt

name: "mnist_rbm"
model_type: DBM

hyperparams {
  base_epsilon: 0.01
  epsilon_decay : NONE
  epsilon_decay_half_life : 5000
  initial_momentum : 0.5
  final_momentum : 0.9
  momentum_change_steps : 3000
  sparsity : false
  sparsity_target : 0.1
  sparsity_cost : 0.01
  sparsity_damping : 0.9
  dropout : false
  dropout_prob : 0.5
  apply_weight_norm : false
  weight_norm : 3
  apply_l2_decay: true
  l2_decay: 0.001
  activation: LOGISTIC
  gibbs_steps: 1
}
 

base_epsilon：訓練的基本學習率。

epsilon_decay：學習率的衰減，這裡有三種類型，NONE，表示不衰減；INVERSE_T，即學習率epsilon=base_epsilon/(1+step/epsilon_decay_half_life)；EXPONENTIAL，即學習率epsilon= base_epsilon/2^(step/epsilon_decay_half_life)。

momentum：是訓練過程中提高學習速度的一種方法。

sparsity：sparsity_target代表了隱層原子被啟用的平均概率；sparsity_cost：計算sparsity懲罰項時sparsity梯度的係數；sparsity_damping：計算sparsity均值時的阻尼係數。G.E.Hinton曾提到sparsity_target設定的範圍為0.01到0.1之間。

dropout：作用防止過擬合，dropout_prob為隱層原子被dropout的概率，一般設定為0.5。

weight_norm：將weight標準化。

l2_decay：代價函式中關於weight的懲罰函式，保證weight的值不會太大。在G.E.Hinton的文章中，該係數通常設定為0.01到0.00001。

activation：模型的啟用函式，這裡有LOGISTIC、TANH、RECTIFIED_LINEAR、LINEAR、SOFTMAX等。

gibbs_steps：gibbs取樣的步長。

layer {
  name: "hidden1"
  dimensions: 1024
  shape: 16
  shape: 16
  param {
    name: "bias"
    initialization: CONSTANT
  }
  performance_stats {
    compute_sparsity: true
  }
}

edge {
  node1: "input_layer"
  node2: "hidden1"
  directed: false
  receptive_field_width: 28
  display_rows: 16
  display_cols: 16
  param {
    name: "weight"
    initialization: DENSE_GAUSSIAN_SQRT_FAN_IN
    sigma : 0.01
  }
}

runall.sh

train_deepnet='python ../../trainer.py'
${train_deepnet} model.pbtxt train.pbtxt eval.pbtxt

我們介紹了這四個檔案的基本內容，瞭解了DeepNet的使用方法，這樣我們就可根據我們的需要來修改四個檔案的內容，來訓練我們需要的模型了。