• 訓練裝置：Lenovo 拯救者；
  GPU：1070ti；
  視訊記憶體：8GB；

• 第一次訓練：採用預設引數，以預訓練好的darknet53.conv.74.1為預載入權重開始訓練；視訊記憶體，卒；報錯：out of memory；

• 第二次訓練：更改引數，將batch降低一些試試，從64改成了48，當天執行平穩，於是去辦了點事兒，兩天回來後；視訊記憶體，卒；報錯：out of memory；提示已經訓練了2w來個batch；

• 第三次訓練：
  先看看了引數到底什麼含義（batch，subdivision），具體詳見：https://blog.csdn.net/hrsstudy/article/details/65447947?utm_source=itdadao&utm_medium=referral

  
  於是增大了subdivision，這樣每次載入視訊記憶體的圖片數減少。並且監控GPU視訊記憶體使用情況（70%左右的佔用率），兩天後，又卒。原因不詳；可能是多尺度？或者是隨機的resizing？引起的？反正沒有辦法，只好，繼續降低batch，或者增大subdivision

• 第四次訓練：再不訓練出來點啥，沒法交代了，於是bacth用了32，subdivision用了16（沒理解錯的話應該是等效於每次載入兩張圖片）；這次，視訊記憶體沒崩。訓練用時大約3天，週三中午1:00左右首次訓練完成。但是，發現有問題，當我用訓練好的引數去預測單張圖片，發現物體框畫的很不錯，但是label標籤不對，比如person會標成bird，原因不詳，多測試了幾張發現，標籤有規律的錯亂。所有person都會標成bird，於是猜測label生成或者index什麼地方有錯誤。然後使用valid命令生成驗證結果，驗證結果存在result資料夾裡，全部都是txt檔案，按照20個類別，每個類別生成一個txt，對照發現，txt生成的label標籤沒問題。不太懂為什麼（回頭翻原始碼看吧）。

• 第五次訓練：在第四次訓練的過程中，旁邊新機器裝了ubuntu和cuda，兩臺機器同時開始訓練。嘗試調大了batch，batch設定為60（約等於預設選項64），subdivision=20；其他引數未變（尚不知道影響方向）。目前正在訓練中，肉眼可推斷，其收斂速度快於第四次訓練，原因可能主要是batch比較大的原因。其梯度下降方向更加明確。

測試MAP指標

• 摸索中，參考的方法有：
  最終採用官方測試版本：https://zhuanlan.zhihu.com/p/31852482（目前在裝matlib
  第四次訓練結果如下：
  
  • aeroplane:AP=0.750
  • bicycle:AP=0.778
  • bird:AP=0.607
  • boat:AP=0.577
  • bottle:AP=0.544
  • bus:AP=0.775
  • car:AP=0.844
  • cat:AP=0.738
  • chair:AP=0.532
  • cow:AP=0.660
  • dining tables:AP=0.683
  • dog:AP=0.704
  • horse:AP=0.794
  • motorbike:AP=0.772
  • person:AP=0.798
  • potted plant:AP=0.443
  • sheep:AP=0.637
  • sofa:AP=0.692
  • train:AP=0.776
  • tvmonitor:AP=0.686
    總迭代次數大於60000次。loss中期下降的比較慢，到45000次左右才相對上比較顯著的下降。
• 總結：batch比較小；收斂速度變慢。
  第五次訓練結果
  
  • aeroplane:AP=0.855
  • bicycle:AP=0.855
  • bird:AP=0.756
  • boat:AP=0.700
  • bottle:AP=0.665
  • bus:AP=0.876
  • car:AP=0.877
  • cat:AP=0.894
  • chair:AP=0.643
  • cow:AP=0.835
  • dining tables:AP=0.736
  • dog:AP=0.859
  • horse:AP=0.869
  • motorbike:AP=0.862
  • person:AP=0.833
  • potted plant:AP=0.562
  • sheep:AP=0.753
  • sofa:AP=0.780
  • train:AP=0.864
  • tvmonitor:AP=0.778

平均ap值：0.7926

對比之下，明顯發現AP值高很多，而且整體都高很多，原因有兩方面，一方面是batch的值由32改成60（接近與預設初始值），另一方面是batch增大後，max_batches = 50200不變，所以總的迭代次次數增大將近一倍。
另外就是本次訓練loss下降的非常好看，平滑並且持續穩定的下降，直到batch大於45000才無明顯變化跡象。
總體來說，基本是按照預設引數訓練的效果好很多，（batch改成60，是為了subdivision改成20，能夠被3整除）。第六次訓練更改了學習率和學習率衰減方式。看一看效果。
第六次訓練
在第五次訓練的基礎上調整了學習率，和學習率變化。
具體引數如下：
- learning_rate=0.0015
- policy=steps
- steps=3000,25000,42000
效果上可以說是非常差了，分析原因可能是在3000個batch的時候就將學習率調整為0.00075，太小的學習率使網路無法收斂。（25000次之後損失幾乎無明顯下降）。
結果就不附了。總之就是很差了。
第七次訓練
在第五次訓練的基礎上，去掉了darknet53後面層的bacth normalization層，一方面是，想看一下去掉部分BN層的效果，另外一方面，處於對BN層的不完全理解下，感覺在最後分類的時候，如果對input不進行歸一化（BN做的事情），會不會加大可分離性（引數的間距無BN的約束後，有肯能會更加離散，當然也有可能會方差更小）。
結果最後的AP值為0.794，非常輕微的優於第五次的結果，感覺更像沒什麼區別。