2. 程式人生 > >大話文字檢測經典模型：Pixel-Anchor

大話文字檢測經典模型：Pixel-Anchor

阿新 • • 發佈：2019-06-16

文字檢測是深度學習中一項非常重要的應用，在前面的文章中已經介紹過了很多文字檢測的方法，包括CTPN（詳見文章：大話文字檢測經典模型CTPN）、SegLink（詳見文章：大話文字檢測經典模型SegLink）、EAST（詳見文章：大話文字檢測經典模型EAST）、PixelLink（詳見文章：大話文字檢測經典模型PixelLink），這些文字檢測方法主要分為兩類，一類是基於畫素級別的影象語義分割方法（pixel-based），另一類是採用通用目標檢測（使用錨點）的方法（anchor-based），這兩種方法的優劣如下：

  • 基於畫素級別的影象語義分割方法（pixel-based）：通過影象語義分割獲得可能的文字畫素，通過畫素點進行迴歸或對文字畫素進行聚合得到文字框位置，經典的檢測模型有PixelLink、EAST等。該方法具有較高的精確率，但對於小尺度的文字由於畫素過於稀疏而導致檢測率不高（除非對影象進行大尺度放大）。
  • 採用通用目標檢測（使用錨點）的方法（anchor-based）：在通用物體檢測的基礎上，通過設定較多數量的不同長寬比的錨來適應文字尺度變化劇烈的特性，以達到文字定位的效果，經典的檢測模型有CTPN、SegLink等。該方法對文字尺度本身不敏感，對小尺度文字的檢測率高，但是對於較長且密集的文字行而言，錨匹配方式可能會無所適從（需要根據實際調整不同大小的網路感受野，以及錨的寬高比）。另外，由於該方法是基於文字整體的粗粒度特徵，而不是基於畫素級別的精細特徵，因此，檢測精度往往不如基於畫素級別的文字檢測。

pixel-based、anchor-based方法示意圖如下：
 
那麼有沒有將pixel-based和anchor-based兩種方法的優點結合在一起的檢測方法呢？
答案是有的，這就是本文要介紹的端到端深度學習文字檢測方法 Pixel-Anchor

1、Pixel-Anchor網路結構
Pixel-Anchor的網路結構如下圖所示：
 
該網路採用ResNet-50作為網路的主幹結構（ResNet網路的介紹詳見文章：大話CNN經典模型ResNet），提取出1/4, 1/8, 1/16的feature map（特徵圖）出來，作為畫素級別語義分割模組（Pixel based Module）和錨檢測迴歸模組（Anchor based Module）的基礎特徵，通過特徵共享的方式把畫素級別語義分割和錨檢測迴歸放入到一個網路之中，其中，pixel-based模組得到的輸出結果通過注意力機制送入到anchor-based模組中（注意力機制的介紹詳見文章：

大話注意力機制），使得錨檢測迴歸模組檢測效率高、精確度高，最後通過融合NMS（非極大值抑制）得到最終的檢測結果。
下面分別對畫素級別語義分割模組（Pixel based Module）和錨檢測迴歸模組（Anchor based Module）進行介紹。

2、畫素級別語義分割模組（Pixel based Module）
該模組的結構如下：
 
該結構將FPN（特徵金字塔網路）、ASPP（Atrous Spatial Pyramid Pooling，膨脹空間金字塔池化）操作組合在一起進行特徵提取和處理。
輸入影象首先經過ResNet-50主幹網路分別提取出1/4, 1/8, 1/16的feature map（特徵圖）形成特徵金字塔。在1/16的feature map（特徵圖）中，為了既不犧牲特徵空間解析度，又可擴大特徵感受野，採用了ASPP（Atrous Spatial Pyramid Pooling，膨脹空間金字塔池化）方法，這是一種低代價（low cost）的增加網路感受野的方法。那什麼是ASPP方法呢？
ASPP是利用Atrous Convolution（膨脹卷積），將不同擴張率的擴張卷積特徵結合到一起（如取最大值），如下圖：
 
在這個pixel-based模組中設定ASPP的膨脹率為{3, 6, 9, 12, 15, 18}。接著作一次卷積操作（Conv），再用因子為2倍的雙線性插值進行上取樣（Upsample），特徵圖變為1/8，並和來自網路主幹的1/8特徵圖進行拼接（concat）。接下來重複一次，先做卷積（Conv），再進行上取樣（Upsample），特徵圖變為1/4，並和來自網路主幹的1/4特徵圖進行拼接（concat）。最後輸出兩部分：旋轉框預測器（RBox predictor）和注意力熱力圖（attention heat map）。

  • 旋轉框預測器（RBox predictor）的結果包括6個通道，分別是每個畫素是文字的可能性、該畫素到所在文字邊界框的上下左右距離、文字邊界框的旋轉角度。
  • 注意力熱力圖（attention heat map）包括一個通道，表示每個畫素是文字的可能性，將輸出到anchor-based模組。

3、錨檢測迴歸模組（Anchor based Module）
該模組的結構如下圖：
 
先看該圖的右半部分，該模組主要是針對輸入影象在ResNet-50中提取的1/4特徵圖、1/16特徵圖進行操作。

  • 對於1/4特徵圖，由於其處於底層，具有一定的解析度，對於檢測較小的文字具有一定優勢，另外，為了增加該層的語義資訊，還與pixel-based模組輸出的注意力熱力圖（attention heat map）進行exp操作（exponential）和點乘，exp操作使每個畫素成為正樣本文字的概率對映到[1.0,e]範圍之內，既可保留背景資訊，又加強檢測資訊，可很大程度上減少錯誤檢測。
  • 對於1/16特徵圖，為了獲取更大的感受野、獲得多尺度資訊，進一步進行特徵提取，分別為1/32特徵圖、1/64特徵圖、1/64特徵圖、1/64特徵圖，其中，為避免出現很小的特徵圖，在後面兩個特徵圖中，採用了atrous conv（膨脹卷積），以實現解析度不變，並能獲得較大感受野，這四層特徵圖在其後都加入APL層（adaptive predictor layer，自適應預測層）。

APL層（adaptive predictor layer，自適應預測層），見上圖的左半部分，該層分別為不同的卷積核搭配不同的寬高比錨，以適應不同尺度、不同角度的文字。主要分為以下5類：

  • a)、正方形anchors：寬高比=1:1，卷積濾波器大小為3x3，主要為了檢測方正規整的文字；
  • b)、中等水平anchors：寬高比={1:2,1:3,1:5,1:7}，卷積濾波器大小為3x5，主要為了檢測水平傾斜的文字；
  • c)、中等垂直anchors：寬高比={2:1,3:1,5:1,7:1}，卷積濾波器大小為5x3，主要為了檢測垂直傾斜的文字；
  • d)、長的水平anchors：寬高比={1:15,1:25,1:35}，卷積濾波器大小為1xn，主要為了檢測水平長行的文字；
  • e)、長的垂直anchors：寬高比={15:1,25:1,35:1}，卷積濾波器大小為nx1，主要為了檢測豎排長行的文字。

經過以上APL層之後，將得到的proposal（候選框）進行拼接，從而預測最終的四邊形區域。

為了實現對密集文字的檢測，作者還提出了anchor density（錨密度），如下圖：
 
每個anchor（錨點）通過複製出一些偏移量以更好地覆蓋密度文字，主要有：

  • 正方形anchor在水平和垂直方向都進行復制
  • 水平anchor在垂直方向複製
  • 垂直anchor在水平方向複製

4、後處理
在推導階段，採用融合NMS（非極大值抑制）方法獲得最終的檢測結果，用anchor-based模組檢測小文字和長文字，用pixel-based模組檢測中等大小的文字。在anchor-based模組，1/4特徵圖上的所有anchor（錨點）和在其它特徵圖上的所有長anchor（錨點）都會被保留下來，這些anchors足夠覆蓋小文字，而對於長文字、大角度文字，不具有檢測能力；在pixel-based模組，將小於10畫素，以及寬高比不在[1:15, 15:1]範圍內的文字過濾掉。最終，收集所有保留的候選文字框，通過融合NMS方法獲得最終的檢測結果。

5、Pixel-Anchor檢測效果
Pixel-Anchor在小文字、大角度文字、長文字行，以及自然場景文字檢測中，均取得了比較好的效果，如下圖：
（1）小文字檢測效果
 
（2）大角度文字檢測效果
 
（3）長文字行檢測效果
 
（4）自然場景文字檢測效果（基於ICDAR 2015）
 
經在ICDAR 2015資料集上進行測試，並與CTPN、SegLink、EAST、Pixel-Link等方法進行對比，Pixel-Anchor方法的檢測效果非常不錯，如下表：

6、總結
Pixel-Anchor作為一個端對端的深度神經網路框架，對各種尺度、角度的文字均有很不錯的檢測效果，主要有兩大創新點：

  • 第一是把畫素級別的影象語義分割以及基於錨的檢測迴歸方法通過共享基礎特徵、注意力機制高效融合在一起，使文字檢出率高、精準度高，實現可端到端訓練的檢測網路。
  • 第二是在錨點檢測迴歸這個模組中引入了APL層（Adaptive Predictor Layer，自適應預測層），該層根據各特徵圖感受野的不同，調整錨的長寬比、卷積核的形狀以及錨的空間密度，以高效地獲取各特徵圖上的文字檢測結果，適應性更強。

 

推薦相關閱讀

1、AI 實戰系列

2、大話深度學習系列

3、圖解 AI 系列

4、AI 雜談

5、大資料超詳細系列

相關推薦

大話文字檢測經典模型：Pixel-Anchor

文字檢測是深度學習中一項非常重要的應用，在前面的文章中已經介紹過了很多文字檢測的方法，包括CTPN（詳見文章：大話文字檢測經典

大話文字檢測經典模型：EAST

自然場景的文字檢測是當前深度學習的重要應用，在之前的文章中已經介紹了基於深度學習的文字檢測模型CTPN、SegLink（見文章

大話目標檢測經典模型：Mark R-CNN

在之前的文章中介紹了目標檢測經典模型（R-CNN、Fast R-CNN、Faster R-CNN），目標檢測一般是為了實現以下效果： 在R-CNN、Fast R-CNN、Faster R-CNN中，實現了對目標的識別和定位，如下圖所示： 為了更加精確地識別目標，實現在畫素級場

大話目標檢測經典模型（RCNN、Fast RCNN、Faster RCNN）

目標檢測是深度學習的一個重要應用，就是在圖片中要將裡面的物體識別出來，並標出物體的位置，一般需要經過兩個步驟：1、分類，識別物體是什麼 2、定位，找出物體在哪裡 除了對單個物體進行檢測，還要能支援對多個物體進行檢測，如下圖所示： 這個問題並不是那麼容易解決，由於物體的尺寸變化

大話CNN經典模型：VGGNet

—— 原文釋出於本人的微信公眾號“大資料與人工智慧Lab”（BigdataAILab），歡迎關注。 2014年，牛津大學計算機視覺組（Visual Geometry Group）和Google DeepMind公司的研究員一起研發出了新的深度卷積神經網路：VGGNet，並取得了ILSVRC2014比賽分類專案

深度學習目標檢測經典模型比較（RCNN、Fast RCNN、Faster RCNN）

深度學習目標檢測經典模型比較（RCNN、Fast RCNN、Faster RCNN）   Faster rcnn是用來解決計算機視覺(CV)領域中目標檢測(Object Detection)的問題的。 區別目標分類、定位、檢測 一、傳統的目標檢測方法 其實目標檢

目標檢測經典模型（R-CNN、Fast R-CNN、Faster R-CNN）

目標檢測是深度學習的一個重要應用，就是在圖片中要將裡面的物體識別出來，並標出物體的位置，一般需要經過兩個步驟： 1、分類，識別物體是什麼 2、定位，找出物體在哪裡 除了對單個物體進行檢測，還要能支援對多個物體進行檢測，如下圖所示： 這個問題並不是那

CNN經典模型：VGGNet

  2014年，牛津大學計算機視覺組（Visual Geometry Group）和Google DeepMind公司的研究員一起研發出了新的深度卷積神經網路：VGGNet，並取得了ILSVRC2014比賽分類專案的第二名（第一名是GoogLeNet，也是同年提出的）和定位專

CNN經典模型：GoogLeNet（從Inception v1到v4的演進）

2014年，GoogLeNet和VGG是當年ImageNet挑戰賽(ILSVRC14)的雙雄，GoogLeNet獲得了第一名、VGG獲得了第二名，這兩類模型結構的共同特點是層次更深了。VGG繼承了LeNet以及AlexNet的一些框架結構（詳見  大話CNN經典模型：VG

（一）目標檢測經典模型回顧

轉載自知乎：https://zhuanlan.zhihu.com/p/34142321關於作者： @李家丞同濟大學數學系本科在讀，現為格靈深瞳演算法部實習生。-----------------------------------------------------------

目標檢測經典模型（RCNN、Fast RCNN、Faster RCNN）

目標檢測是深度學習的一個重要應用，就是在圖片中要將裡面的物體識別出來，並標出物體的位置，一般需要經過兩個步驟： 1、分類，識別物體是什麼  2、定位，找出物體在哪裡  除了對單個物體進行檢測，還要能支援對多個物體進行檢測，如下圖所示：  這個問題並不是那麼容易解決

CNN經典模型：AlexNet

2012年，Alex Krizhevsky、Ilya Sutskever在多倫多大學Geoff Hinton的實驗室設計出了一個深層的卷積神經網路AlexNet，奪得了2012年ImageNet LSVRC的冠軍，且準確率遠超第二名（top5錯誤率為15.3%，第二名為26.2%），引起了很大

CNN經典模型：LeNet

近幾年來，卷積神經網路（Convolutional Neural Networks，簡稱CNN）在影象識別中取得了非常成功的應用，成為深度學習的一大亮點。CNN發展至今，已經有很多變種，其中有幾個經典模型在CNN發展歷程中有著里程碑的意義，它們分別是：LeNet、Alexnet、Googlen

場景文字檢測常用方法：

文字檢測方向的簡單調研和特徵學習，歡迎大家監督建議。 一、基於紋理： 將文字當做特殊紋理，利用其紋理特徵進行處理。較常用的區分文字和非文字部分的紋理特徵有：區域性強度、濾波器響應、小波係數、文字較強邊界以及與非文字區域的較大對比度、離散餘弦變

文字檢測模型概覽(下)

Textboxes Textboxes是基於SSD框架的圖文檢測模型，訓練方式是端到端的，執行速度也較快。如下圖所示，為了適應文字行細長型的特點，候選框的長寬比增加了1,2,3,5,7,10這樣初始值。為了適應文字行細長型特點，特徵層也用長條形卷積核代替了其他模型中常見的正方形卷積核。為了防

文字檢測模型概覽(上)

以下內容摘自各個部落格，文中會進行標註，做個人概覽用，沒有仔細斟酌對錯。 CTPN(2016) CTPN是目前流傳最廣、影響最大的開源文字檢測模型，可以檢測水平或微斜的文字行。文字行可以被看成一個字元sequence，而不是一般物體檢測中單個獨立的目標。同一文字行上各個字元影象間可以互為

深度學習方法（五）：卷積神經網路CNN經典模型整理Lenet，Alexnet，Googlenet，VGG，Deep Residual Learning

歡迎轉載，轉載請註明：本文出自Bin的專欄blog.csdn.net/xbinworld。  技術交流QQ群：433250724，歡迎對演算法、技術感興趣的同學加入。 關於卷積神經網路CNN，網路和文獻中有非常多的資料，我在工作/研究中也用了好一段時間各種常見的model了，就想著

選字驗證碼破解思路：CTPN - 自然場景文字檢測

前言     最近準備極驗3代，選字驗證碼的破解。之前用CNN實現端到端的字元型驗證碼破解已滿足不了需求了，我以為破解選字驗證碼關鍵步驟有三：1.圖片文字的識別；2.字元座標的識別；3.字序的識別。設計的技術有，圖片識別技術、特徵位置檢測和NLP處理。本文作為關鍵技術之一，用

經典模型梳理：AlexNet

AlexNet 關於 Alex 的傳說……大家隨便聽個報告都會講到，這裡就不說了。本文主要目的是為自己梳理知識 ReLU Dropout 網路結構 ReLU Nonlinearity 啟用函式是從 Sigmoid 到 tanh 到 ReLU 的，最初用 S

目標檢測之模型篇（1）【CTPN連線文字提議網路】

1. 前言 本週開始看模型篇，本週目標：CTPN,RRPN,DMPNet,EAST,衝鴨！! 第一篇，CTPN（Connectionist Text Proposal Network），其實是基於Faster R-CNN改進的，將RPN的體系結構擴充套件到文字