Preface

有幾點更新：
1. 看到一篇 blog 對檢測做了一個總結、收集，強烈推薦： Object Detection
2. 還有，今天在微博上看到 VOC2012 的榜單又被重新整理了，微博原地址為：這裡，如下圖：

3. 目前 voc 2012 的榜單 如下：

做目標檢測這塊的多關注哦～

Abstract

這篇文章在既保證速度，又要保證精度的情況下，提出了 SSD 物體檢測模型，與現在流行的檢測模型一樣，將檢測過程整個成一個 single deep neural network。便於訓練與優化，同時提高檢測速度。

SSD 將輸出一系列 離散化（discretization）

的 bounding boxes，這些 bounding boxes 是在 不同層次（layers） 上的 feature maps 上生成的，並且有著不同的 aspect ratio。

在 prediction 階段：

• 要計算出每一個 default box 中的物體，其屬於每個類別的可能性，即 score，得分。如對於 PASCAL VOC 資料集，總共有 20 類，那麼得出每一個 bounding box 中物體屬於這 20 個類別的每一種的可能性。

• 同時，要對這些 bounding boxes 的 shape 進行微調，以使得其符合物體的 外接矩形。

• 還有就是，為了處理相同物體的不同尺寸的情況，SSD 結合了不同解析度的 feature maps 的 predictions。

相對於那些需要 object proposals 的檢測模型，本文的 SSD 方法完全取消了 proposals generation、pixel resampling 或者 feature resampling 這些階段。這樣使得 SSD 更容易去優化訓練，也更容易地將檢測模型融合進系統之中。

在 PASCAL VOC、MS COCO、ILSVRC 資料集上的實驗顯示，SSD 在保證精度的同時，其速度要比用 region proposals 的方法要快很多。

SSD 相比較於其他單結構模型（YOLO），SSD 取得更高的精度，即是是在輸入影象較小的情況下。如輸入 300×300 大小的 PASCAL VOC 2007 test 影象，在 Titan X 上，SSD 以 58 幀的速率，同時取得了 72.1

% 的 mAP。

如果輸入的影象是 500×500，SSD 則取得了 75.1% 的 mAP，比目前最 state-of-art 的 Faster R-CNN 要好很多。

Introduction

現金流行的 state-of-art 的檢測系統大致都是如下步驟，先生成一些假設的 bounding boxes，然後在這些 bounding boxes 中提取特徵，之後再經過一個分類器，來判斷裡面是不是物體，是什麼物體。

這類 pipeline 自從 IJCV 2013, Selective Search for Object Recognition 開始，到如今在 PASCAL VOC、MS COCO、ILSVRC 資料集上取得領先的基於 Faster R-CNN 的 ResNet 。但這類方法對於嵌入式系統，所需要的計算時間太久了，不足以實時的進行檢測。當然也有很多工作是朝著實時檢測邁進，但目前為止，都是犧牲檢測精度來換取時間。

本文提出的實時檢測方法，消除了中間的 bounding boxes、pixel or feature resampling 的過程。雖然本文不是第一篇這樣做的文章（YOLO），但是本文做了一些提升性的工作，既保證了速度，也保證了檢測精度。

這裡面有一句非常關鍵的話，基本概括了本文的核心思想：

Our improvements include using a small convolutional filter to predict object categories and offsets in bounding box locations, using separate predictors (filters) for different aspect ratio detections, and applying these filters to multiple feature maps from the later stages of a network in order to perform detection at multiple scales.

本文的主要貢獻總結如下：

• 提出了新的物體檢測方法：SSD，比原先最快的 YOLO: You Only Look Once 方法，還要快，還要精確。保證速度的同時，其結果的 mAP 可與使用 region proposals 技術的方法（如 Faster R-CNN）相媲美。

• SSD 方法的核心就是 predict object（物體），以及其 歸屬類別的 score（得分）；同時，在 feature map 上使用小的卷積核，去 predict 一系列 bounding boxes 的 box offsets。

• 本文中為了得到高精度的檢測結果，在不同層次的 feature maps 上去 predict object、box offsets，同時，還得到不同 aspect ratio 的 predictions。

• 本文的這些改進設計，能夠在當輸入解析度較低的影象時，保證檢測的精度。同時，這個整體 end-to-end 的設計，訓練也變得簡單。在檢測速度、檢測精度之間取得較好的 trade-off。

• 本文提出的模型（model）在不同的資料集上，如 PASCAL VOC、MS COCO、ILSVRC， 都進行了測試。在檢測時間（timing）、檢測精度（accuracy）上，均與目前物體檢測領域 state-of-art 的檢測方法進行了比較。

The Single Shot Detector（SSD）

這部分詳細講解了 SSD 物體檢測框架，以及 SSD 的訓練方法。

這裡，先弄清楚下文所說的 default box 以及 feature map cell 是什麼。看下圖：

• feature map cell 就是將 feature map 切分成 8×8 或者 4×4 之後的一個個 格子；

• 而 default box 就是每一個格子上，一系列固定大小的 box，即圖中虛線所形成的一系列 boxes。

Model

SSD 是基於一個前向傳播 CNN 網路，產生一系列 固定大小（fixed-size） 的 bounding boxes，以及每一個 box 中包含物體例項的可能性，即 score。之後，進行一個 非極大值抑制（Non-maximum suppression） 得到最終的 predictions。

SSD 模型的最開始部分，本文稱作 base network，是用於影象分類的標準架構。在 base network 之後，本文添加了額外輔助的網路結構：

• Multi-scale feature maps for detection
  在基礎網路結構後，添加了額外的卷積層，這些卷積層的大小是逐層遞減的，可以在多尺度下進行 predictions。

• Convolutional predictors for detection
  每一個新增的特徵層（或者在基礎網路結構中的特徵層），可以使用一系列 convolutional filters，去產生一系列固定大小的 predictions，具體見 Fig.2。對於一個大小為 m×n，具有 p 通道的特徵層，使用的 convolutional filters 就是 3×3×p 的 kernels。產生的 predictions，那麼就是歸屬類別的一個得分，要麼就是相對於 default box coordinate 的 shape offsets。
  在每一個 m×n 的特徵圖位置上，使用上面的 3×3 的 kernel，會產生一個輸出值。bounding box offset 值是輸出的 default box 與此時 feature map location 之間的相對距離（YOLO 架構則是用一個全連線層來代替這裡的卷積層）。

• Default boxes and aspect ratios
  每一個 box 相對於與其對應的 feature map cell 的位置是固定的。 在每一個 feature map cell 中，我們要 predict 得到的 box 與 default box 之間的 offsets，以及每一個 box 中包含物體的 score（每一個類別概率都要計算出）。
  因此，對於一個位置上的 k 個boxes 中的每一個 box，我們需要計算出 c 個類，每一個類的 score，還有這個 box 相對於 它的預設 box 的 4 個偏移值（offsets）。於是，在 feature map 中的每一個 feature map cell 上，就需要有 (c+4)×k 個 filters。對於一張 m×n 大小的 feature map，即會產生 (c+4)×k×m×n 個輸出結果。

這裡的 default box 很類似於 Faster R-CNN 中的 Anchor boxes，關於這裡的 Anchor boxes，詳細的參見原論文。但是又不同於 Faster R-CNN 中的，本文中的 Anchor boxes 用在了不同解析度的 feature maps 上。

Training

在訓練時，本文的 SSD 與那些用 region proposals + pooling 方法的區別是，SSD 訓練影象中的 groundtruth 需要賦予到那些固定輸出的 boxes 上。在前面也已經提到了，SSD 輸出的是事先定義好的，一系列固定大小的 bounding boxes。

如下圖中，狗狗的 groundtruth 是紅色的 bounding boxes，但進行 label 標註的時候，要將紅色的 groundtruth box 賦予 圖（c）中一系列固定輸出的 boxes 中的一個，即 圖（c）中的紅色虛線框。

事實上，文章中指出，像這樣定義的 groundtruth boxes 不止在本文中用到。在 YOLO 中，在 Faster R-CNN 中的 region proposal 階段，以及在 MultiBox 中，都用到了。

當這種將訓練影象中的 groundtruth 與固定輸出的 boxes 對應之後，就可以 end-to-end 的進行 loss function 的計算以及 back-propagation 的計算更新了。

訓練中會遇到一些問題：

• 選擇一系列 default boxes

• 選擇上文中提到的 scales 的問題

• hard negative mining

• 資料增廣的策略

下面會談本文的解決這些問題的方式，分為以下下面的幾個部分。

Matching strategy：

如何將 groundtruth boxes 與 default boxes 進行配對，以組成 label 呢？

在開始的時候，用 MultiBox 中的 best jaccard overlap 來匹配每一個 ground truth box 與 default box，這樣就能保證每一個 groundtruth box 與唯一的一個 default box 對應起來。

但是又不同於 MultiBox ，本文之後又將 default box 與任何的 groundtruth box 配對，只要兩者之間的 jaccard overlap 大於一個閾值，這裡本文的閾值為 0.5。

Training objective：

SSD 訓練的目標函式（training objective）源自於 MultiBox 的目標函式，但是本文將其拓展，使其可以處理多個目標類別。用 xpij=1 表示 第 i 個 default box 與 類別 p 的 第 j 個 ground truth box 相匹配，否則若不匹配的話，則 xpij=0。

根據上面的匹配策略，一定有 ∑ixpij≥1，意味著對於 第 j 個 ground truth box，有可能有多個 default box 與其相匹配。

總的目標損失函式（objective loss function）就由 localization loss（loc） 與 confidence loss（conf） 的加權求和：

L(x,c,l,g)=1N(Lconf(x,c)+αLloc(x,l,g))

其中：

• N 是與 ground truth box 相匹配的 default boxes 個數

• localization loss（loc） 是 Fast R-CNN 中 Smooth L1 Loss，用在 predict box（l） 與 ground truth box（g） 引數（即中心座標位置，width、height）中，迴歸 bounding boxes 的中心位置，以及 width、height

• confidence loss（conf） 是 Softmax Loss，輸入為每一類的置信度 c

• 權重項 α，設定為 1

Choosing scales and aspect ratios for default boxes：

大部分 CNN 網路在越深的層，feature map 的尺寸（size）會越來越小。這樣做不僅僅是為了減少計算與記憶體的需求，還有個好處就是，最後提取的 feature map 就會有某種程度上的平移與尺度不變性。

但是其實，如果使用同一個網路中的、不同層上的 feature maps，也可以達到相同的效果，同時在所有物體尺度中共享引數。

因此，本文同時使用 lower feature maps、upper feature maps 來 predict detections。下圖展示了本文中使用的兩種不同尺度的 feature map，8×8 的feature map，以及 4×4 的 feature map：

一般來說，一個 CNN 網路中不同的 layers 有著不同尺寸的 感受野（receptive fields）。這裡的感受野，指的是輸出的 feature map 上的一個節點，其對應輸入影象上尺寸的大小。具體的感受野的計算，參見兩篇 blog：

所幸的是，SSD 結構中，default boxes 不必要與每一層 layer 的 receptive fields 對應。本文的設計中，feature map 中特定的位置，來負責影象中特定的區域，以及物體特定的尺寸。加入我們用 m 個 feature maps 來做 predictions，每一個 feature map 中 default box 的尺寸大小計算如下：

sk=smin+smax−sminm−1(k−1),k∈[1,m]
其中，smin 取值 0.2，smax 取值 0.95，意味著最低層的尺度是 0.2，最高層的尺度是 0.95，再用不同 aspect ratio 的 default boxes，用 ar 來表示：ar={1,2,3,12,1

相關推薦

論文閱讀：SSD: Single Shot MultiBox Detector

Preface 有幾點更新： 1. 看到一篇 blog 對檢測做了一個總結、收集，強烈推薦： Object Detection 2. 還有，今天在微博上看到 VOC2012 的榜單又被重新整理了，微博原地址為：這裡，如下圖： 3. 目前 voc

論文閱讀筆記：SSD: Single Shot MultiBox Detector

1 介紹當前目標檢測系統都是下列方法的變體：假定邊界框（hypothesizebounding boxes），對每個方框進行重取樣畫素或者特徵，應用一個高質量的分類器。這種流程在檢測基準（detectionbenchmarks）上盛行，因為選擇性搜尋在PASCAL VOC,COCO和ILSVRC檢測上的效果最

深度學習【50】物體檢測：SSD: Single Shot MultiBox Detector論文翻譯

SSD在眾多的物體檢測方法中算是比較重要的。之前學習過，但是沒過多久就忘了，因此決定將該論文翻譯一下，以加深印象。 Abstract 我們提出了用單個深度神經網路進行物體檢測的方法，稱為SSD。在每個特徵圖中的每個位置，SSD將bbox（bounding

【深度學習：目標檢測】RCNN學習筆記(10)：SSD:Single Shot MultiBox Detector

之前一直想總結下SSD，奈何時間緣故一直沒有整理，在我的認知當中，SSD是對Faster RCNN RPN這一獨特步驟的延伸與整合。總而言之，在思考於RPN進行2-class分類的時候，能否借鑑YOLO並簡化faster rcnn在21分類同時整合faster rcnn中anchor boxes實現m

[論文閱讀]SSD Single Shot Multibox Detector

SSD Single Shot Multibox Detector Code: https://github.com/balancap/SSD-Tensorflow SSD 是ECCV 2016的文章，文章主要提出了一種新的framework來完成object detec

《SSD: Single Shot MultiBox Detector》論文筆記

1. 論文思想 SSD從網路中直接預測目標的類別與不同長寬比例的邊界框。在這篇論文中提出的方法（SSD）並沒有為邊界框假設重取樣畫素或是特徵，但是卻達到了使用這種方案檢測模型的精度。在VOC 2007的測試集上跑到了mAP74.3% 59 FPS（在後來改進資料增廣的方法，在VOC

SSD:Single Shot MultiBox Detector 論文筆記

資料增廣（Data augmentation）對於結果的提升非常明顯  Fast R-CNN 與 Faster R-CNN 使用原始影象，以及 0.5 的概率對原始影象進行水平翻轉（horizontal flip），進行訓練。如上面寫的，本文還使用了額外的 sampling 策略，YOLO 中還使用了 亮度

論文筆記 | SSD: Single Shot MultiBox Detector

Wei Liu, Dragomir Anguelov, Dumitru Erhan, Christian Szegedy, Scott Reed, Cheng-Yang Fu, Alexander C. Berg Wei Liu Abstract

目標檢測之SSD(single shot multibox detector)的pytorch程式碼閱讀總結

confidence：文章中說 根據highest confidence loss，選擇3倍於正樣本數目的負樣本，正樣本根據重合度已經選擇出來了，選擇負樣本先計算這個confidence loss，首先求取預測confidence的log_sum_exp值，再減去其中對應groundtruth的confide

論文筆記 SSD: Single Shot MultiBox Detector

話不多說開始總結，作為新一個快速高效的目標檢測演算法，SSD結合了Faster RCNN和YOLO 演算法。 本文主要提出的貢獻有以下幾點： （1）提出SSD演算法，比YOLO演算法更加迅速，同時和速度較慢的執行region proposal與pooli

[論文理解]SSD:Single Shot MultiBox Detector

導致 目標檢測 alt sam 實驗 detection 置疑 增強 不同 SSD:Single Shot MultiBox Detector Intro SSD是一套one-stage算法實現目標檢測的框架，速度很快，在當時速度超過了yolo，精度也可以達到two-sta

SSD(Single Shot MultiBox Detector):create_list.sh io.cpp:187 Could not open or find file

今天在為SSD訓練自己的資料時執行caff/data/VOC0712/create_list.sh時報了好多這個錯誤： E0412 16:28:31.653440 5008 io.cpp:187] Could not open or find file

SSD: Single Shot MultiBox Detector 深度學習筆記之SSD物體檢測模型

演算法概述 本文提出的SSD演算法是一種直接預測目標類別和bounding box的多目標檢測演算法。 與faster rcnn相比，該演算法沒有生成 proposal 的過程，這就極大提高了檢

SSD(Single Shot MultiBox Detector)的solver引數 test_initialization的說明塈解決訓練時一直停在Iteration 0的問題

前陣子訓練過一次SSD模型，訓練後發現數據集有問題，修改了資料集後，今天準備再做一次SSD訓練時，如下執行訓練程式碼： python ./examples/ssd/ssd_pascal.py 到了開始迭代時，一直停在Iteration 0,進行不下去。

SSD: Single Shot MultiBox Detector翻譯（包括正式版和預印版）（對原文作部分理解性修改）

預印版表7 表7：Pascal VOC2007 test上的結果。SSD300是唯一的可以實現超過70%mAP的實時檢測方法。通過使用大輸入影象，在保持接近實時速度的同時，SSD512在精度上優於所有方法。 4、相關工作         目前有兩種已建立的用於影象中物件檢測的方法，一種基於

SSD( Single Shot MultiBox Detector)關鍵原始碼解析

SSD（SSD: Single Shot MultiBox Detector）是採用單個深度神經網路模型實現目標檢測和識別的方法。如圖0-1所示，該方法是綜合了Faster R-CNN的anchor box和YOLO單個神經網路檢測思路（YOLOv2也採用了類似的思路，詳見YOLO升級版：YOLOv2和YO

SSD:(Single Shot MultiBox Detector)

這兩天把SSD論文讀了一下，SSD也是一個端到端的目標檢測模型，SSD在檢測的準確率和速度上相對於YOLO有了很大的提高，並且在檢測小目標上也有不俗的效果。 特點 1. 使用多尺度特徵圖進行預測     大多數目標檢測演算法都是使用最後一層特徵圖進行目標位置和類

深度學習系列之SSD(Single Shot MultiBox Detector) 個人總結

Introduction SSD模型在保證精度的前提下，速度還特別快，可以做到real time。其中原因在於ssd消除了object proposal這個環節。Faster R-CNN是先利用RPN產生object proposal，然後對proposa

SSD: Single Shot MultiBox Detector in TensorFlow(翻譯)

一、環境配置 基本環境：Windows 10 + GTX950M 1、安裝Anaconda3() 注意：必須下載Anaconda3，因為Anaconda3對應Python3.x,而Windows下Tensorflow只支援Pyt

基於 SSD: Single Shot MultiBox Detector 的人體上下半身檢測

基於 SSD 的人體上下半身檢測 這裡主要是通過將訓練資料轉換成 Pascal VOC 資料集格式來實現 SSD 檢測人體上下半身. 由於沒有對人體上下半身進行標註的資料集, 這裡利用 MPII Human Pose Dataset 來將 Pose 資料轉