SSD目標檢測原理

Preface

做目標檢測這塊的多關注哦～

Abstract

這篇文章在既保證速度，又要保證精度的情況下，提出了 SSD 物體檢測模型，與現在流行的檢測模型一樣，將檢測過程整個成一個 single deep neural network。便於訓練與優化，同時提高檢測速度。

SSD 將輸出一系列離散化（discretization）的 bounding boxes，這些 bounding boxes 是在不同層次（layers）上的 feature maps 上生成的，並且有著不同的 aspect ratio。

在 prediction 階段

：

要計算出每一個 default box 中的物體，其屬於每個類別的可能性，即 score，得分。如對於 PASCAL VOC 資料集，總共有 20 類，那麼得出每一個 bounding box 中物體屬於這 20 個類別的每一種的可能性。
同時，要對這些 bounding boxes 的 shape 進行微調，以使得其符合物體的外接矩形。
還有就是，為了處理相同物體的不同尺寸的情況，SSD 結合了不同解析度的 feature maps 的 predictions。

相對於那些需要 object proposals 的檢測模型，本文的 SSD 方法完全取消了 proposals generation、pixel resampling

或者 feature resampling 這些階段。這樣使得 SSD 更容易去優化訓練，也更容易地將檢測模型融合進系統之中。

在 PASCAL VOC、MS COCO、ILSVRC 資料集上的實驗顯示，SSD 在保證精度的同時，其速度要比用 region proposals 的方法要快很多。

SSD 相比較於其他單結構模型（YOLO），SSD 取得更高的精度，即是是在輸入影象較小的情況下。如輸入 300×300 大小的 PASCAL VOC 2007 test 影象，在 Titan X 上，SSD 以 58 幀的速率，同時取得了 72.1% 的 mAP。

如果輸入的影象是 500

×500，SSD 則取得了 75.1% 的 mAP，比目前最 state-of-art 的 Faster R-CNN 要好很多。

Introduction

現金流行的 state-of-art 的檢測系統大致都是如下步驟，先生成一些假設的 bounding boxes，然後在這些 bounding boxes 中提取特徵，之後再經過一個分類器，來判斷裡面是不是物體，是什麼物體。

這類 pipeline 自從 IJCV 2013, Selective Search for Object Recognition 開始，到如今在 PASCAL VOC、MS COCO、ILSVRC 資料集上取得領先的基於 Faster R-CNN 的 ResNet 。但這類方法對於嵌入式系統，所需要的計算時間太久了，不足以實時的進行檢測。當然也有很多工作是朝著實時檢測邁進，但目前為止，都是犧牲檢測精度來換取時間。

本文提出的實時檢測方法，消除了中間的 bounding boxes、pixel or feature resampling 的過程。雖然本文不是第一篇這樣做的文章（YOLO），但是本文做了一些提升性的工作，既保證了速度，也保證了檢測精度。

這裡面有一句非常關鍵的話，基本概括了本文的核心思想：

Our improvements include using a small convolutional filter to predict object categories and offsets in bounding box locations, using separate predictors (filters) for different aspect ratio detections, and applying these filters to multiple feature maps from the later stages of a network in order to perform detection at multiple scales.

本文的主要貢獻總結如下：

提出了新的物體檢測方法：SSD，比原先最快的 YOLO: You Only Look Once 方法，還要快，還要精確。保證速度的同時，其結果的mAP 可與使用 region proposals 技術的方法（如 Faster R-CNN）相媲美。
SSD 方法的核心就是 predict object（物體），以及其歸屬類別的 score（得分）；同時，在 feature map 上使用小的卷積核，去predict 一系列 bounding boxes 的 box offsets。
本文中為了得到高精度的檢測結果，在不同層次的 feature maps 上去 predict object、box offsets，同時，還得到不同 aspect ratio的 predictions。
本文的這些改進設計，能夠在當輸入解析度較低的影象時，保證檢測的精度。同時，這個整體 end-to-end 的設計，訓練也變得簡單。在檢測速度、檢測精度之間取得較好的 trade-off。
本文提出的模型（model）在不同的資料集上，如 PASCAL VOC、MS COCO、ILSVRC，都進行了測試。在檢測時間（timing）、檢測精度（accuracy）上，均與目前物體檢測領域 state-of-art 的檢測方法進行了比較。

The Single Shot Detector（SSD）

這部分詳細講解了 SSD 物體檢測框架，以及 SSD 的訓練方法。

這裡，先弄清楚下文所說的 default box 以及 feature map cell 是什麼。看下圖：

feature map cell 就是將 feature map 切分成 8×8 或者 4×4 之後的一個個格子；
而 default box 就是每一個格子上，一系列固定大小的 box，即圖中虛線所形成的一系列 boxes。

Model

SSD 是基於一個前向傳播 CNN 網路，產生一系列固定大小（fixed-size）的 bounding boxes，以及每一個 box 中包含物體例項的可能性，即 score。之後，進行一個非極大值抑制（Non-maximum suppression）得到最終的 predictions。

SSD 模型的最開始部分，本文稱作 base network，是用於影象分類的標準架構。在 base network 之後，本文添加了額外輔助的網路結構：

Multi-scale feature maps for detection
在基礎網路結構後，添加了額外的卷積層，這些卷積層的大小是逐層遞減的，可以在多尺度下進行 predictions。
Convolutional predictors for detection
每一個新增的特徵層（或者在基礎網路結構中的特徵層），可以使用一系列 convolutional filters，去產生一系列固定大小的 predictions，具體見 Fig.2。對於一個大小為 m×n，具有 p 通道的特徵層，使用的 convolutional filters 就是 3×3×p 的 kernels。產生的 predictions，那麼就是歸屬類別的一個得分，要麼就是相對於 default box coordinate 的 shape offsets。
在每一個 m×n 的特徵圖位置上，使用上面的 3×3 的 kernel，會產生一個輸出值。bounding box offset 值是輸出的 default box 與此時 feature map location 之間的相對距離（YOLO 架構則是用一個全連線層來代替這裡的卷積層）。
Default boxes and aspect ratios
每一個 box 相對於與其對應的 feature map cell 的位置是固定的。在每一個 feature map cell 中，我們要 predict得到的 box 與default box 之間的 offsets，以及每一個 box 中包含物體的 score（每一個類別概率都要計算出）。
因此，對於一個位置上的 k 個boxes 中的每一個 box，我們需要計算出 c 個類，每一個類的 score，還有這個 box 相對於它的預設 box 的 4 個偏移值（offsets）。於是，在 feature map 中的每一個 feature map cell 上，就需要有 (c+4)×k 個 filters。對於一張m×n 大小的 feature map，即會產生 (c+4)×k×m×n 個輸出結果。

這裡的 default box 很類似於 Faster R-CNN 中的 Anchor boxes，關於這裡的 Anchor boxes，詳細的參見原論文。但是又不同於 Faster R-CNN 中的，本文中的 Anchor boxes 用在了不同解析度的 feature maps 上。

Training

在訓練時，本文的 SSD 與那些用 region proposals + pooling 方法的區別是，SSD 訓練影象中的 groundtruth 需要賦予到那些固定輸出的 boxes 上。在前面也已經提到了，SSD 輸出的是事先定義好的，一系列固定大小的 bounding boxes。

如下圖中，狗狗的 groundtruth 是紅色的 bounding boxes，但進行 label 標註的時候，要將紅色的 groundtruth box 賦予圖（c）中一系列固定輸出的 boxes 中的一個，即圖（c）中的紅色虛線框。

事實上，文章中指出，像這樣定義的 groundtruth boxes 不止在本文中用到。在 YOLO 中，在 Faster R-CNN 中的 region proposal 階段，以及在 MultiBox 中，都用到了。

當這種將訓練影象中的 groundtruth 與固定輸出的 boxes 對應之後，就可以 end-to-end 的進行 loss function 的計算以及 back-propagation 的計算更新了。

訓練中會遇到一些問題：

選擇一系列 default boxes
選擇上文中提到的 scales 的問題
hard negative mining
資料增廣的策略

下面會談本文的解決這些問題的方式，分為以下下面的幾個部分。

Matching strategy：

如何將 groundtruth boxes 與 default boxes 進行配對，以組成 label 呢？

在開始的時候，用 MultiBox 中的 best jaccard overlap 來匹配每一個 ground truth box 與 default box，這樣就能保證每一個 groundtruth box 與唯一的一個 default box 對應起來。

但是又不同於 MultiBox ，本文之後又將 default box 與任何的 groundtruth box 配對，只要兩者之間的 jaccard overlap 大於一個閾值，這裡本文的閾值為 0.5。

Training objective：

SSD 訓練的目標函式（training objective）源自於 MultiBox 的目標函式，但是本文將其拓展，使其可以處理多個目標類別。用 xpij=1 表示第 i 個 default box 與類別 p 的第 j 個 ground truth box 相匹配，否則若不匹配的話，則 xpij=0。

根據上面的匹配策略，一定有 ∑ixp

Preface

Abstract

Introduction

The Single Shot Detector（SSD）

Model

Training

Matching strategy：

Training objective：

SSD目標檢測原理

SSD 目標檢測演算法詳細總結分析（one-stage)(深度學習)(ECCV 2016)

【目標檢測】目標檢測原理與實現(五)--基於Cascade分類器的目標檢測

SSD目標檢測(1)：圖片+視訊內的物體定位（附原始碼）

使用SSD目標檢測c++介面編譯問題解決記錄

SSD目標檢測演算法改進DSSD（反捲積）

解讀SSD目標檢測方法

DPM 目標檢測原理

經典網路結構梳理：SSD目標檢測演算法。

SSD目標檢測(2)：如何製作自己的資料集（詳細說明附原始碼）

SSD目標檢測論文簡讀

SSD目標檢測(3)：使用自己的資料集做預測（詳細說明附原始碼）

【目標檢測】目標檢測原理與實現(一)

為什麼SSD目標檢測演算法對小目標檢測的效果不好

ssd目標檢測整理

製作SSD目標檢測模型需要的訓練資料並訓練SSD目標檢測模型

動手創建 SSD 目標檢測框架

TF專案實戰（基於SSD目標檢測）——人臉檢測1

深度學習之目標檢測常用演算法原理+實踐精講 YOLO / Faster RCNN / SSD / 文字檢測 / 多工網路

深度學習之目標檢測常用算法原理+實踐精講 YOLO / Faster RCNN / SSD / 文本檢測 / 多任務網絡

SSD目標檢測原理

Preface

Abstract

Introduction

The Single Shot Detector（SSD）

Model

Training

Matching strategy：

Training objective：

相關推薦