【目標檢測】yolov3為什麼比yolov2好這麼多

阿新 • • 發佈：2019-01-24

每當聽到有人問“如何入門計算機視覺”這個問題時，其實我內心是拒絕的，為什麼呢？因為我們說的計算機視覺的發展史可謂很長了，它的分支很多，而且理論那是錯綜複雜交相輝映，就好像數學一樣，如何學習數學？這問題似乎有點籠統、有點寬泛。所以我都會具體問問你想入門計算機視覺的哪個話題，只有順著一個話題理論聯合實際，才有可能擴充套件到幾個話題。

yolo類演算法，從開始到現在已經有了3代，我們稱之為v1、v2、v3，一路走來，讓人能感覺到的是演算法的效能在不斷的改進，以至於現在成為了開源通用目標檢測演算法的領頭羊（ps：雖然本人一直都很欣賞SSD，但是不得不說V3版本已經達到目前的顛覆）。一直以來，有一個問題困擾許久，那就是如何檢測兩個距離很近的同類的物體，當然又或者是距離很近的不同類的物體？

絕大部分演算法都會對傳入的data做resize到一個更小的resolution，它們對於這種情況都會給出一個目標框，因為在它們的特徵提取或者回歸過程看來，這就是一個物體（可想本來就很近，一放縮之間的近距離越發明顯了），而事實上這是兩個同（或不同）型別的物體靠的很近，這個難題是目標檢測和跟蹤領域的一個挑戰。就好像對小目標的檢測，一直以來也被看做是演算法的一種評估。但是啊，v3版本卻做到了，它對這種距離很近的物體或者小物體有很好的魯棒性，雖然不能保證百分百，但是這個難題得到了很大程度的解決，激發我對yolo類演算法的研究。這也是為什麼寫這篇文章的目的，在於見證一下這個演算法的神奇。其實，百分百的檢測，在我看來事實上是不存在的，隨著時間的推移，環境的變化，任何妄言百分百準確的演算法都是扯，只能是相互調整吧。前幾天uber撞人事件其實我最關注的應該是哪個環節存在的問題，還需要改進，撞人是不可避免的，無人車的存在不是讓事故不發生，而是讓社會進步，科技發展，逐步降低事故發生率的同時改善人們的生活質量。

yolo的v1和v2都不如SSD演算法，原諒這麼直白，原因是v1版本的448和v2版本的416都不如SSD的300，當然以上結論都是實驗測的，v3版本的416應該比SSD512好，可見其效能。

對官方yolo做了實驗，實驗中，採用同一個視訊、同一張顯示卡，在閾值為0.3的前提下，對比了v3和v2的測試效果之後，有了下面兩個疑問：

1.為什麼v3和v2版本的測試效能提高很大，但速度卻沒有降低？

2.為什麼v3效能上能有這麼大的改進？或者說為什麼v3在沒有提高輸入資料解析度的前提下，對小目標檢測變得這麼好？

要回答上述兩個問題，必須要看看作者釋出的v3論文了，將v3和v2不一樣的地方總結一下：

loss不同：

作者v3替換了v2的softmax loss 變成logistic loss，而且每個ground truth只匹配一個先驗框。
anchor bbox prior不同：v2作者用了5個anchor，一個折衷的選擇，所以v3用了9個anchor，提高了IOU。
detection的策略不同：v2只有一個detection，v3一下變成了3個，分別是一個下采樣的，feature map為13*13，還有2個上取樣的eltwise sum，feature map為26*26，52*52，也就是說v3的416版本已經用到了52的feature map，而v2把多尺度考慮到訓練的data取樣上，最後也只是用到了13的feature map，這應該是對小目標影響最大的地方。
backbone不同：這和上一點是有關係的，v2的darknet-19變成了v3的darknet-53，為啥呢？就是需要上取樣啊，卷積層的數量自然就多了，另外作者還是用了一連串的3*3、1*1卷積，3*3的卷積增加channel，而1*1的卷積在於壓縮3*3卷積後的特徵表示，這波操作很具有實用性，一增一減，效果棒棒。

為什麼有這麼大的提高？我指的是v2和v3比，同樣是416的feature map，我感覺是v2作者當時也是做了很多嘗試和借鑑，實現了匹敵SSD的效果，但是他因為被借鑑的內容所困擾，導致效能的停留，因此v3再借鑑，應該是參考了DSSD和FPN，這應該是之後的潮流了，做了一下結果效能提高很大，可能作者本人都沒想到。但是作者目前沒有寫篇論文，認為沒有創造性實質性的改變，寫了一個report，科研的精神值得肯定！如果對比v2和v3你會發現反差確實很大，所以上面的問題才不奇怪。

又為什麼速度沒有下降？電腦上同環境測都是15幀左右。先看一下列印的日誌：

v2的日誌資訊：

Demo
layer     filters    size              input                output
    0 conv     32  3 x 3 / 1   416 x 416 x   3   ->   416 x 416 x  32  0.299 BFLOPs
    1 max          2 x 2 / 2   416 x 416 x  32   ->   208 x 208 x  32
    2 conv     64  3 x 3 / 1   208 x 208 x  32   ->   208 x 208 x  64  1.595 BFLOPs
    3 max          2 x 2 / 2   208 x 208 x  64   ->   104 x 104 x  64
    4 conv    128  3 x 3 / 1   104 x 104 x  64   ->   104 x 104 x 128  1.595 BFLOPs
    5 conv     64  1 x 1 / 1   104 x 104 x 128   ->   104 x 104 x  64  0.177 BFLOPs
    6 conv    128  3 x 3 / 1   104 x 104 x  64   ->   104 x 104 x 128  1.595 BFLOPs
    7 max          2 x 2 / 2   104 x 104 x 128   ->    52 x  52 x 128
    8 conv    256  3 x 3 / 1    52 x  52 x 128   ->    52 x  52 x 256  1.595 BFLOPs
    9 conv    128  1 x 1 / 1    52 x  52 x 256   ->    52 x  52 x 128  0.177 BFLOPs
   10 conv    256  3 x 3 / 1    52 x  52 x 128   ->    52 x  52 x 256  1.595 BFLOPs
   11 max          2 x 2 / 2    52 x  52 x 256   ->    26 x  26 x 256
   12 conv    512  3 x 3 / 1    26 x  26 x 256   ->    26 x  26 x 512  1.595 BFLOPs
   13 conv    256  1 x 1 / 1    26 x  26 x 512   ->    26 x  26 x 256  0.177 BFLOPs
   14 conv    512  3 x 3 / 1    26 x  26 x 256   ->    26 x  26 x 512  1.595 BFLOPs
   15 conv    256  1 x 1 / 1    26 x  26 x 512   ->    26 x  26 x 256  0.177 BFLOPs
   16 conv    512  3 x 3 / 1    26 x  26 x 256   ->    26 x  26 x 512  1.595 BFLOPs
   17 max          2 x 2 / 2    26 x  26 x 512   ->    13 x  13 x 512
   18 conv   1024  3 x 3 / 1    13 x  13 x 512   ->    13 x  13 x1024  1.595 BFLOPs
   19 conv    512  1 x 1 / 1    13 x  13 x1024   ->    13 x  13 x 512  0.177 BFLOPs
   20 conv   1024  3 x 3 / 1    13 x  13 x 512   ->    13 x  13 x1024  1.595 BFLOPs
   21 conv    512  1 x 1 / 1    13 x  13 x1024   ->    13 x  13 x 512  0.177 BFLOPs
   22 conv   1024  3 x 3 / 1    13 x  13 x 512   ->    13 x  13 x1024  1.595 BFLOPs
   23 conv   1024  3 x 3 / 1    13 x  13 x1024   ->    13 x  13 x1024  3.190 BFLOPs
   24 conv   1024  3 x 3 / 1    13 x  13 x1024   ->    13 x  13 x1024  3.190 BFLOPs
   25 route  16
   26 conv     64  1 x 1 / 1    26 x  26 x 512   ->    26 x  26 x  64  0.044 BFLOPs
   27 reorg              / 2    26 x  26 x  64   ->    13 x  13 x 256
   28 route  27 24
   29 conv   1024  3 x 3 / 1    13 x  13 x1280   ->    13 x  13 x1024  3.987 BFLOPs
   30 conv    125  1 x 1 / 1    13 x  13 x1024   ->    13 x  13 x 125  0.043 BFLOPs
   31 detection
mask_scale: Using default '1.000000'
Loading weights from yolo-voc.weights...Done!

v3的日誌資訊：

Demo
layer     filters    size              input                output
    0 conv     32  3 x 3 / 1   416 x 416 x   3   ->   416 x 416 x  32  0.299 BFLOPs
    1 conv     64  3 x 3 / 2   416 x 416 x  32   ->   208 x 208 x  64  1.595 BFLOPs
    2 conv     32  1 x 1 / 1   208 x 208 x  64   ->   208 x 208 x  32  0.177 BFLOPs
    3 conv     64  3 x 3 / 1   208 x 208 x  32   ->   208 x 208 x  64  1.595 BFLOPs
    4 res    1                 208 x 208 x  64   ->   208 x 208 x  64
    5 conv    128  3 x 3 / 2   208 x 208 x  64   ->   104 x 104 x 128  1.595 BFLOPs
    6 conv     64  1 x 1 / 1   104 x 104 x 128   ->   104 x 104 x  64  0.177 BFLOPs
    7 conv    128  3 x 3 / 1   104 x 104 x  64   ->   104 x 104 x 128  1.595 BFLOPs
    8 res    5                 104 x 104 x 128   ->   104 x 104 x 128
    9 conv     64  1 x 1 / 1   104 x 104 x 128   ->   104 x 104 x  64  0.177 BFLOPs
   10 conv    128  3 x 3 / 1   104 x 104 x  64   ->   104 x 104 x 128  1.595 BFLOPs
   11 res    8                 104 x 104 x 128   ->   104 x 104 x 128
   12 conv    256  3 x 3 / 2   104 x 104 x 128   ->    52 x  52 x 256  1.595 BFLOPs
   13 conv    128  1 x 1 / 1    52 x  52 x 256   ->    52 x  52 x 128  0.177 BFLOPs
   14 conv    256  3 x 3 / 1    52 x  52 x 128   ->    52 x  52 x 256  1.595 BFLOPs
   15 res   12                  52 x  52 x 256   ->    52 x  52 x 256
   16 conv    128  1 x 1 / 1    52 x  52 x 256   ->    52 x  52 x 128  0.177 BFLOPs
   17 conv    256  3 x 3 / 1    52 x  52 x 128   ->    52 x  52 x 256  1.595 BFLOPs
   18 res   15                  52 x  52 x 256   ->    52 x  52 x 256
   19 conv    128  1 x 1 / 1    52 x  52 x 256   ->    52 x  52 x 128  0.177 BFLOPs
   20 conv    256  3 x 3 / 1    52 x  52 x 128   ->    52 x  52 x 256  1.595 BFLOPs
   21 res   18                  52 x  52 x 256   ->    52 x  52 x 256
   22 conv    128  1 x 1 / 1    52 x  52 x 256   ->    52 x  52 x 128  0.177 BFLOPs
   23 conv    256  3 x 3 / 1    52 x  52 x 128   ->    52 x  52 x 256  1.595 BFLOPs
   24 res   21                  52 x  52 x 256   ->    52 x  52 x 256
   25 conv    128  1 x 1 / 1    52 x  52 x 256   ->    52 x  52 x 128  0.177 BFLOPs
   26 conv    256  3 x 3 / 1    52 x  52 x 128   ->    52 x  52 x 256  1.595 BFLOPs
   27 res   24                  52 x  52 x 256   ->    52 x  52 x 256
   28 conv    128  1 x 1 / 1    52 x  52 x 256   ->    52 x  52 x 128  0.177 BFLOPs
   29 conv    256  3 x 3 / 1    52 x  52 x 128   ->    52 x  52 x 256  1.595 BFLOPs
   30 res   27                  52 x  52 x 256   ->    52 x  52 x 256
   31 conv    128  1 x 1 / 1    52 x  52 x 256   ->    52 x  52 x 128  0.177 BFLOPs
   32 conv    256  3 x 3 / 1    52 x  52 x 128   ->    52 x  52 x 256  1.595 BFLOPs
   33 res   30                  52 x  52 x 256   ->    52 x  52 x 256
   34 conv    128  1 x 1 / 1    52 x  52 x 256   ->    52 x  52 x 128  0.177 BFLOPs
   35 conv    256  3 x 3 / 1    52 x  52 x 128   ->    52 x  52 x 256  1.595 BFLOPs
   36 res   33                  52 x  52 x 256   ->    52 x  52 x 256
   37 conv    512  3 x 3 / 2    52 x  52 x 256   ->    26 x  26 x 512  1.595 BFLOPs
   38 conv    256  1 x 1 / 1    26 x  26 x 512   ->    26 x  26 x 256  0.177 BFLOPs
   39 conv    512  3 x 3 / 1    26 x  26 x 256   ->    26 x  26 x 512  1.595 BFLOPs
   40 res   37                  26 x  26 x 512   ->    26 x  26 x 512
   41 conv    256  1 x 1 / 1    26 x  26 x 512   ->    26 x  26 x 256  0.177 BFLOPs
   42 conv    512  3 x 3 / 1    26 x  26 x 256   ->    26 x  26 x 512  1.595 BFLOPs
   43 res   40                  26 x  26 x 512   ->    26 x  26 x 512
   44 conv    256  1 x 1 / 1    26 x  26 x 512   ->    26 x  26 x 256  0.177 BFLOPs
   45 conv    512  3 x 3 / 1    26 x  26 x 256   ->    26 x  26 x 512  1.595 BFLOPs
   46 res   43                  26 x  26 x 512   ->    26 x  26 x 512
   47 conv    256  1 x 1 / 1    26 x  26 x 512   ->    26 x  26 x 256  0.177 BFLOPs
   48 conv    512  3 x 3 / 1    26 x  26 x 256   ->    26 x  26 x 512  1.595 BFLOPs
   49 res   46                  26 x  26 x 512   ->    26 x  26 x 512
   50 conv    256  1 x 1 / 1    26 x  26 x 512   ->    26 x  26 x 256  0.177 BFLOPs
   51 conv    512  3 x 3 / 1    26 x  26 x 256   ->    26 x  26 x 512  1.595 BFLOPs
   52 res   49                  26 x  26 x 512   ->    26 x  26 x 512
   53 conv    256  1 x 1 / 1    26 x  26 x 512   ->    26 x  26 x 256  0.177 BFLOPs
   54 conv    512  3 x 3 / 1    26 x  26 x 256   ->    26 x  26 x 512  1.595 BFLOPs
   55 res   52                  26 x  26 x 512   ->    26 x  26 x 512
   56 conv    256  1 x 1 / 1    26 x  26 x 512   ->    26 x  26 x 256  0.177 BFLOPs
   57 conv    512  3 x 3 / 1    26 x  26 x 256   ->    26 x  26 x 512  1.595 BFLOPs
   58 res   55                  26 x  26 x 512   ->    26 x  26 x 512
   59 conv    256  1 x 1 / 1    26 x  26 x 512   ->    26 x  26 x 256  0.177 BFLOPs
   60 conv    512  3 x 3 / 1    26 x  26 x 256   ->    26 x  26 x 512  1.595 BFLOPs
   61 res   58                  26 x  26 x 512   ->    26 x  26 x 512
   62 conv   1024  3 x 3 / 2    26 x  26 x 512   ->    13 x  13 x1024  1.595 BFLOPs
   63 conv    512  1 x 1 / 1    13 x  13 x1024   ->    13 x  13 x 512  0.177 BFLOPs
   64 conv   1024  3 x 3 / 1    13 x  13 x 512   ->    13 x  13 x1024  1.595 BFLOPs
   65 res   62                  13 x  13 x1024   ->    13 x  13 x1024
   66 conv    512  1 x 1 / 1    13 x  13 x1024   ->    13 x  13 x 512  0.177 BFLOPs
   67 conv   1024  3 x 3 / 1    13 x  13 x 512   ->    13 x  13 x1024  1.595 BFLOPs
   68 res   65                  13 x  13 x1024   ->    13 x  13 x1024
   69 conv    512  1 x 1 / 1    13 x  13 x1024   ->    13 x  13 x 512  0.177 BFLOPs
   70 conv   1024  3 x 3 / 1    13 x  13 x 512   ->    13 x  13 x1024  1.595 BFLOPs
   71 res   68                  13 x  13 x1024   ->    13 x  13 x1024
   72 conv    512  1 x 1 / 1    13 x  13 x1024   ->    13 x  13 x 512  0.177 BFLOPs
   73 conv   1024  3 x 3 / 1    13 x  13 x 512   ->    13 x  13 x1024  1.595 BFLOPs
   74 res   71                  13 x  13 x1024   ->    13 x  13 x1024
   75 conv    512  1 x 1 / 1    13 x  13 x1024   ->    13 x  13 x 512  0.177 BFLOPs
   76 conv   1024  3 x 3 / 1    13 x  13 x 512   ->    13 x  13 x1024  1.595 BFLOPs
   77 conv    512  1 x 1 / 1    13 x  13 x1024   ->    13 x  13 x 512  0.177 BFLOPs
   78 conv   1024  3 x 3 / 1    13 x  13 x 512   ->    13 x  13 x1024  1.595 BFLOPs
   79 conv    512  1 x 1 / 1    13 x  13 x1024   ->    13 x  13 x 512  0.177 BFLOPs
   80 conv   1024  3 x 3 / 1    13 x  13 x 512   ->    13 x  13 x1024  1.595 BFLOPs
   81 conv    255  1 x 1 / 1    13 x  13 x1024   ->    13 x  13 x 255  0.088 BFLOPs
   82 detection
   83 route  79
   84 conv    256  1 x 1 / 1    13 x  13 x 512   ->    13 x  13 x 256  0.044 BFLOPs
   85 upsample            2x    13 x  13 x 256   ->    26 x  26 x 256
   86 route  85 61
   87 conv    256  1 x 1 / 1    26 x  26 x 768   ->    26 x  26 x 256  0.266 BFLOPs
   88 conv    512  3 x 3 / 1    26 x  26 x 256   ->    26 x  26 x 512  1.595 BFLOPs
   89 conv    256  1 x 1 / 1    26 x  26 x 512   ->    26 x  26 x 256  0.177 BFLOPs
   90 conv    512  3 x 3 / 1    26 x  26 x 256   ->    26 x  26 x 512  1.595 BFLOPs
   91 conv    256  1 x 1 / 1    26 x  26 x 512   ->    26 x  26 x 256  0.177 BFLOPs
   92 conv    512  3 x 3 / 1    26 x  26 x 256   ->    26 x  26 x 512  1.595 BFLOPs
   93 conv    255  1 x 1 / 1    26 x  26 x 512   ->    26 x  26 x 255  0.177 BFLOPs
   94 detection
   95 route  91
   96 conv    128  1 x 1 / 1    26 x  26 x 256   ->    26 x  26 x 128  0.044 BFLOPs
   97 upsample            2x    26 x  26 x 128   ->    52 x  52 x 128
   98 route  97 36
   99 conv    128  1 x 1 / 1    52 x  52 x 384   ->    52 x  52 x 128  0.266 BFLOPs
  100 conv    256  3 x 3 / 1    52 x  52 x 128   ->    52 x  52 x 256  1.595 BFLOPs
  101 conv    128  1 x 1 / 1    52 x  52 x 256   ->    52 x  52 x 128  0.177 BFLOPs
  102 conv    256  3 x 3 / 1    52 x  52 x 128   ->    52 x  52 x 256  1.595 BFLOPs
  103 conv    128  1 x 1 / 1    52 x  52 x 256   ->    52 x  52 x 128  0.177 BFLOPs
  104 conv    256  3 x 3 / 1    52 x  52 x 128   ->    52 x  52 x 256  1.595 BFLOPs
  105 conv    255  1 x 1 / 1    52 x  52 x 256   ->    52 x  52 x 255  0.353 BFLOPs
  106 detection
Loading weights from yolov3.weights...Done!

百度百科：FLOPS（即“每秒浮點運算次數”，“每秒峰值速度”），是“每秒所執行的浮點運算次數”（floating-point operations per second）的縮寫。它常被用來估算電腦的執行效能，尤其是在使用到大量浮點運算的科學計算領域中。正因為FLOPS字尾的那個S，代表秒，而不是複數，所以不能省略掉。在這裡所謂的“浮點運算”，實際上包括了所有涉及小數的運算。這類運算在某類應用軟體中常常出現，而它們也比整數運算更花時間。現今大部分的處理器中，都有一個專門用來處理浮點運算的“浮點運算器”（FPU）。也因此FLOPS所量測的，實際上就是FPU的執行速度。而最常用來測量FLOPS的基準程式（benchmark）之一，就是Linpack。 可能的原因：yolov2是一個縱向自上而下的網路架構，隨著channel數目的不斷增加，FLOPS是不斷增加的，而v3網路架構是橫縱交叉的，看著卷積層多，其實很多多channel的卷積層沒有繼承性，另外，雖然yolov3增加了anchor centroid，但是對ground truth的估計變得更加簡單，每個ground truth只匹配一個先驗框，而且每個尺度只預測3個框，v2預測5個框。這樣的話也降低了複雜度。

所以這發展的歷程應該是這樣的：

yolo——SSD——yolov2——FPN、Focal loss、DSSD……——yolov3

最後總結，yolo演算法的效能一直都沒有被v2發揮出來，而真正被v3發揮出來了，v3這次的借鑑效果實在是太好了。

【目標檢測】yolov3為什麼比yolov2好這麼多

【目標檢測】yolov3為什麼比yolov2好這麼多

【目標檢測】Cascade R-CNN 論文解析

【目標檢測】閱讀YOLOv1 論文的一些feelings

【目標檢測】對RCNN論文的一些理解

【目標檢測】對SPPNet論文的一些理解

【目標檢測】目標檢測原理與實現(五)--基於Cascade分類器的目標檢測

【目標檢測】（三）Faster RCNN

【目標檢測】LBP特徵學習記錄

【目標檢測】FastRCNN演算法詳解

【目標檢測】Faster RCNN演算法詳解

【目標檢測】SSD演算法--損失函式的詳解(tensorflow實現）

【目標檢測】Fast RCNN演算法詳解

【目標檢測】RCNN演算法詳解

【目標檢測】NMS(Non-maximum suppression，非極大值抑制)演算法

【目標檢測】目標檢測原理與實現(一)

基於深度學習的【目標檢測】演算法綜述

【目標檢測】YOLO: You Only Look Once

【目標檢測】[論文閱讀][yolo] You Only Look Once: Unified, Real-Time Object Detection

【目標檢測】HOG特徵學習記錄

【目標檢測】基於SVM+HoG目標檢測

【目標檢測】yolov3為什麼比yolov2好這麼多

相關推薦