核心思想

RCNN的缺點

R-CNN is slow because it performs a ConvNet forward pass for each object proposal, without sharing computation.

SPPnet的缺點

SPPnet also has notable drawbacks. Like R-CNN, training is a multi-stage pipeline that involves extracting features, fine-tuning a network with log loss, training SVMs, and finally fitting bounding-box regressors. Features are also written to disk

FAST RCNN貢獻

The Fast R-CNN method has several advantages:

1. Higher detection quality (mAP) than R-CNN, SPPnet
2. Training is single-stage, using a multi-task loss
3. Training can update all network layers
4. No disk storage is required for feature caching

引言部分

深度卷積網路在影象識別和目標檢測領域取得了很大的成功。目前的方法：RCNN、SPPnet、overfeat、segDeepM都有一定的侷限性，他們都是多階段的pipline，速度慢，結果不精確。

模型與網路越來越複雜是因為對物體定位的準確性要求越來越高，由此帶來的兩大挑戰：

• 要產生大量的候選框
• 候選框只是一個粗略的定位，還需要進一步調整才能達到精確定位

由此作者提出了Fast RCNN，採用的是VGG16網路架構，並在當時取得了state-of-the-art的效果。

之後作者詳細解釋了下RCNN與sppnet的缺點，對於RCNN來說，主要有：

• Training is a multi-stage pipeline.首先對卷積網路進行fine-tune，之後訓練SVM分類器來代替採用softmax啟用函式的全連線層，在之後訓練一個邊框迴歸器
• Training is expensive in space and time.訓練時間空間的複雜度都很高
• Object detection is slow.檢測速度慢

作者一針見血的指出，RCNN比較慢的原因在於：它對每一個proposal都過了一遍卷積網路，而SPPnet就沒有采用這種策略，作者總結了下SPPnet的優點與缺點：

• 優點在於：SPPnet計算出整個影象的feature map，然後為每個候選區域從feature map中提取出相應的feature vector(通過max pooling得到)
• 缺點在於：SPPnet也是一個multi-stage pipeline，並且無法更新卷積層的引數

FAST RCNN

模型結構如下：

其中roi pooling層的引入對與速度的提升起到了至關重要的作用，作者對ROI pooling層進行了詳解。roi pooling layer會通過max pooling的方式一個region proposal對應的feature map變為一個小型的feature map(在原文中是7x7的feature map)。根據原文可得具體操作如下：

1. 根據輸入的image得到對應的feature map，找到roi在feature map上對應的區域位置。
2. 將roi在feature map上對應的區域位置劃分成大小相同的$H\times W$個section(原文中是$7\times 7$)
3. 對每一塊section採用max pooling得到該roi最終的feature map

具體例子如下，來源於deepsense：

FAST RCNN論文細節

rcnn,sppnet與FRCN在fine-tune上的差異

首先sppnet不能夠通過 spatial pyramid pooling layer更新權值，而FRCN則可以通過反向傳播更新權值。因為與RCNN一樣，SPPnet每個ROI都來自不同的圖片。並且每個ROI都有著非常大的感受野，而前向傳導處理的是整個感受野，故訓練的輸入非常大。而對於FRCN，SGD minibatch是通過先隨機取樣N張圖片，再從每張圖片隨機取樣R/N個ROI作為一個minibatch的。(原文中$N=2,R=128$)

除了以上的hierarchical sampling策略，FRCN並沒有分階段訓練，而是採用streamlined training process直接對 softmax classifier and bounding-box regressors進行fine-tune和優化。

loss函式的設計

FAST RCNN有兩個輸出層：

• 第一個輸出：$p=(p_0,...,p_k)$,對於$k+1$類物體每個的可能性大小，$p$由softmax層計算得出
• 第二個輸出：$t^k=(t_x^k,t_y^k,t_w^k,t_h^k)$,即對於所有K種物體來說，他們的邊框位置

文中使用聯合了分類損失和邊框迴歸損失作為多工損失函式：

$$\begin{equation} L(p,u,t^u,v)=L_{cls}(p,u)+\lambda [u\geq1]L_{loc}(t^u,v)\\ L_{cls}=-logp_u \qquad \qquad \qquad \qquad \qquad \qquad \quad \\ L_{loc}(t^u,v)=\sum_\limits{i\in(x,y,w,h) } smooth_{L_1}(t_i^u-v_i)\qquad \\ smooth_{L_1}(x) = \begin{cases} 0.5x^2 & if|x|<1 \\ |x|-0.5 & otherwise \end{cases} \qquad \end{equation}$$
其中每個RoI區域都有 ground-truth class u和ground-truth bounding-box regression target v。即 $v=(v_x,v_y,v_w,v_h)$，當 $u\geq1$時 $[u\geq1]$取值為1,否則為0（即為背景）。超引數 $\lambda$是用來調整兩個任務的損失權重的，在文中設定為 $\lambda=1$.

通過RoI池化層的反向傳播

普通的max pooling層的反向傳播示意圖如下，參考部落格：

通過反向傳播求出梯度，對於輸入層節點$x_i$和輸出層節點$y_j$：

∂L∂xi={0,∂L∂yj,δ

相關推薦

經典論文重讀---目標檢測篇（二）：Fast RCNN

核心思想 RCNN的缺點 R-CNN is slow because it performs a ConvNet forward pass for each object proposal, without sharing computation. SPPnet的缺

經典論文重讀---目標檢測篇（一）：RCNN

核心思想 Since we combine region proposals with CNNs, we call our method R-CNN: Regions with CNN features. 即將生成proposal的方法與cnn提取特徵進行結合

經典論文閱讀筆記——Feature篇（上）

心血來潮在CSDN開通了部落格，那就時不時寫點東西吧。。 先寫點Feature Extraction方面經典論文的閱讀筆記，按論文發表的時間順序 至於具體的原理就不過多記錄了，寫起來真的很麻煩，很多網上一搜就有，主要寫點心得體會吧 1.《Robust image corn

使用tensorflow object detection API 訓練自己的目標檢測模型 （二）

        在上一篇部落格"使用tensorflow object detection API 訓練自己的目標檢測模型 （一）"中介紹瞭如何使用LabelImg標記資料集，生成.xml檔案，經過個人的手工標註，形成了一個大概有兩千張圖片的資料集。 但是這仍然不滿足t

OpenCV檢測篇（二）——笑臉檢測

前言 由於本文與上一篇OpenCV檢測篇（一）——貓臉檢測具有知識上的連貫性，所以建議沒讀過前一篇的先去閱讀一下前一篇，前面講過的內容這裡會省略掉。 笑臉檢測 其實也沒什麼可省略的，因為跟在opencv中，無論是人臉檢測、人眼檢測、貓臉檢測、行人檢測等

目標檢測演算法（二）——具體原理以及實現

  1.1光流法原理     光流的概念是Gibson在1950年首先提出來的。它是空間運動物體在觀察成像平面上的畫素運動的瞬時速度，是利用影象序列中畫素在時間域上的變化以及相鄰幀之間的相關性來找到上一幀跟當前幀之間存在的對應關係，從而計算出相鄰幀之間物體的運動資訊的一種方法。一般而言，光流是由

經典論文閱讀筆記——Feature篇（下）

7.《Robust Real-time Face Detection》(IJCV 2004) 這篇文章重點並不在特徵上而是Adaboost的應用，但基於它的名氣也放在這裡吧，在深度學習沒火起來之前應該算是最最常用的人臉檢測演算法了。 核心思路如下： 求取影象積分圖（快速計算

回顧2017系列篇（二）：移動端APP設計趨勢

原型設計 交互設計 界面設計 設計師 移動端APP在2017年經歷了諸多的變化， 人工智能、聊天式的界面、響應式設計、虛擬現實（VR）和增強現實（AR）讓設計師不斷面臨新的挑戰。研究表明，用戶每天耗費在手機和平板上的平均時長為158分鐘，其中127分鐘是耗費在各類APP中，可以看出移動端

linux基礎篇（二）：基於Redhat7系統的特殊許可權與acl許可權列表

新建目錄和檔案的預設許可權 新建目錄和檔案的預設許可權是由系統中umask值來決定的。 新建FILE許可權：666-umask (對位相減)    由數字法賦許可權的過程中，我們能夠發現，凡是奇數許可權，總是包含執行許可權的。而一個檔案如果預設就包含執行許可權其實是非常危險的。因此如果所

Faster R-CNN改進篇（二）： RFCN ● RON

版權宣告：本文為博主原創文章，未經博主允許不得轉載。 https://blog.csdn.net/linolzhang/article/details/75137050 @改進1：RFCN        論文：R-FCN: Object Detecti

Elam的caffe筆記之配置篇（二）：CentOS6.5編譯安裝NVIDIA驅動

Elam的caffe筆記之配置篇（二）：CentOS6.5編譯安裝NVIDIA驅動 配置要求： 系統：centos6.5 目標：基於CUDA8.0+Opencv3.1+Cudnnv5.1+python3.6介面的caffe框架 編譯安裝過程 顯示卡型號：NVS

Qt開發之中國象棋篇（二）：棋盤的繪製

        中國象棋遊戲的棋盤繪製主要是在 chessarea.cpp 中的 paintEvent 重繪事件中實現 ，主要用到 QPainter 類的畫筆，在畫棋盤的線之前，我們先調整一下棋盤的背景顏色。     &nbs

Unity Editor 基礎篇（二）：自定義 Inspector 面板

自定義Inspector屬性面板 EditorGUILayout 編輯器介面佈局  這是一個編輯器類，如果想使用它你需要把它放到工程目錄下的Assets/Editor資料夾下。編輯器類在UnityEditor名稱空間下。所以當使用C#指令碼時，你需要在指令碼前面加上

Sping Boot入門到實戰之實戰篇（二）：一些常用功能的Spring Boot Starters

包含功能 阿里雲訊息服務MNS 阿里雲訊息佇列服務（即時訊息、延遲訊息、事務訊息） AOP日誌 基於MyBatis通用Mapper及DRUID的資料庫訪問 dubbo支援 錯誤處理 七牛圖片服務 redis多連線池支援 swagger配置 跨域配置 原始碼地址：https://github.com/ron

微服務架構實戰篇（二）：Spring boot2.0 + Swagger2 讓你的API視覺化

簡介 該專案主要利用Spring boot2.0 +Swagger2 方便進行測試後臺的restful形式的介面，實現動態的更新，當我們在後臺的介面修改了後，swagger可以實現自動的更新，而不需要認為的維護這個介面進行測試。 原始碼地址 GitHub：https:

大資料筆記spark篇（二）：pyspark的安裝

開篇 關於spark的配置其實沒有必要詳細地寫，這邊我放上我學習參考的廈門大學的部落格，拖了n年，我總算把單機版的spark給安裝上了。 環境變數 export JAVA_HOME=/usr/lib/jvm/default-java export HA

實戰容器程式設計好基友之visual studio code＋docker篇（二）：實時除錯執行在docker中的node.js程式

上篇文章中，我們介紹了怎麼利用visual studio code在本地編譯生成docker映象，這篇文章我們會介紹怎麼利用Visual studio code 實時除錯執行在容器中的node.js程式。 這裡我們還會利用之前的專案node-todo, 環境搭

Ansible入門篇（二）：SSH配置免密互信

Ansible是用來處理大批量重複性操作的工具，只需要在一臺機器上就可以遠端控制所有機器，但前提是必須保證每臺機器之間SSH可以相互免密登入。關於Ansible的安裝和環境準備請參考Ansible環境的準備。 注： 有關Ansible的所有操作只需在第一臺機器上修改和執行，其它機器只需知道I

SODBASE CEP學習進階篇（二）：日誌採集-Flume

在IT系統運維和效能監控中，常常需要對日誌進行分析，得到系統的故障點或效能瓶頸。採用現成的日誌分析軟體，通常著重於監測節點和網路狀態，幾乎都難以滿足大型應用系統對故障點或效能瓶頸分析的要求。 舉幾個例子： （1）找出故障的上下層呼叫的關係，定位應用層故障對應的底層介面 （

SpringMVC提高篇（二）： 處理器方法支援的方法引數和返回型別

1. 支援的方法引數型別    （1 ）HttpServlet 物件，主要包括HttpServletRequest 、HttpServletResponse 和HttpSession 物件。 這些引數Spring 在呼叫處理器方法的時候會自動給它們賦值，所以當在處理器方法中