概述

以前一直以為反向傳播的過程是這樣的，由Softmax計算得出分類loss，然後在加上L2正則項得出總的total_loss，然後再利用total_loss進行反向梯度的計算，而正則項會在每層的Forward函式中計算並返回，表面上感覺很對，但是實際分析就會發現這樣想法不合理的地方，

• 對正則項的計算，不同的solver是不一樣的，而且正則項的方法也是有L2和L1, 每層layer的Forward函式在不知道正則方法和solver型別的情況下是不可能計算出正則結果的。

• 對於用total_loss進行反向梯度傳播，我們知道total_loss在每一層只和該層的權值有關係，而total_loss

  中包含著所有權值的正則化結果，這時候，如果我想把反向誤差傳播轉化為矩陣運算，顯然不行。

caffe中處理方法

首先需要宣告的是，每一個layer的Forward函式的確有返回loss，但是這個loss函式不是表示正則項的結果，而是應付可能出現的如下情況：就是有些網路並不是在最後才進行Softmax的分類計算，有時候會在網路的中間插入Softmax分類，例如googLeNet。
所以在caffe中，loss和正則項的計算過程是下面的敘述這樣的

計算Softmax分類loss

Softmax分類loss是在Network的最後一層SoftmaxWithLossLayer計算的，這裡需要交代的是，當引數iter_size

for(int i = 0; i < param_.iter_size(); ++i){
  loss += net_->ForwardBackward();
}
loss /= param_.iter_size();
...
ApplyUpdate();

往引數梯度中加入正則項

如一開始所說，正則項不能在最後加入，而是在每一層計算梯度完成之後，再對梯度進行微調。在加入正則項之前，如果iter_size大於0，要對梯度進行平均，然後才進行正則化，正則化之後才根據lr_rate計算最終要更新的值，這些操作，毫無疑問都是在sgd有關函式sgd_solver.cpp裡完成的。主要程式碼如下：
sgd_solver.cpp: 109

for (int param_id = 0; param_id < this->net_->learnable_params().size(); ++param_id) {
  Normalize(param_id) // 對梯度去均值
  Regularize(param_id) // 在梯度中加入正則項
  ComputeUpdateValue(param_id, rate);
}
this->net_->Update();

正則項的計算也是非常簡單，利用L2優化項對對應權值的導數公式，直接利用矩陣乘法計算，

Dtype weight_decay = this->param_.weight_decay();
string regularization_type = this->param_.regularization_type();
Dtype local_decay = weight_decay * net_params_weight_decay[param_id];
if (local_decay) {
  if(regularization_type == "L2") {
    caffe_axpy(net_params[param_id]->count(),
      local_decay,
      net_params[param_id]->cpu_data(),
      net_params[param_id]->mutable_cpu_diff());
  }
}

這裡順便提一下，ComputeUpdateValue函式是基於Momentum演算法計算更新量的。這個在以後會進行總結。