2. 程式人生 > >大話文字檢測經典模型：EAST

大話文字檢測經典模型：EAST

阿新 • • 發佈：2019-05-16

自然場景的文字檢測是當前深度學習的重要應用，在之前的文章中已經介紹了基於深度學習的文字檢測模型CTPN、SegLink（見文章：大話文字檢測經典模型CTPN、大話文字檢測經典模型SegLink）。典型的文字檢測模型一般是會分多個階段（multi-stage）進行，在訓練時需要把文字檢測切割成多個階段（stage）來進行學習，這種把完整文字行先分割檢測再合併的方式，既影響了文字檢測的精度又非常耗時，對於文字檢測任務上中間過程處理得越多可能效果會越差。那麼有沒有又快、又準的檢測模型呢？

 

一、EAST模型簡介

本文介紹的文字檢測模型EAST，便簡化了中間的過程步驟，直接實現端到端文字檢測，優雅簡潔，檢測的準確性和速度都有了進一步的提升。如下圖：

其中，（a）、（b）、（c）、（d）是幾種常見的文字檢測過程，典型的檢測過程包括候選框提取、候選框過濾、bouding box迴歸、候選框合併等階段，中間過程比較冗長。而（e）即是本文介紹的EAST模型檢測過程，從上圖可看出，其過程簡化為只有FCN階段（全卷積網路）、NMS階段（非極大抑制），中間過程大大縮減，而且輸出結果支援文字行、單詞的多個角度檢測，既高效準確，又能適應多種自然應用場景。（d）為CTPN模型，雖然檢測過程與（e）的EAST模型相似，但只支援水平方向的文字檢測，可應用的場景不如EAST模型。如下圖：

 

二、EAST模型網路結構

EAST模型的網路結構，如下圖：

EAST模型的網路結構分為特徵提取層、特徵融合層、輸出層三大部分。

下面展開進行介紹：

1、特徵提取層

基於PVANet（一種目標檢測的模型）作為網路結構的骨幹，分別從stage1，stage2，stage3，stage4的卷積層抽取出特徵圖，卷積層的尺寸依次減半，但卷積核的數量依次增倍，這是一種“金字塔特徵網路”（FPN，feature pyramid network）的思想。通過這種方式，可抽取出不同尺度的特徵圖，以實現對不同尺度文字行的檢測（大的feature map擅長檢測小物體，小的feature map擅長檢測大物體）。這個思想與前面文章介紹的SegLink模型很像；

2、特徵融合層

將前面抽取的特徵圖按一定的規則進行合併，這裡的合併規則採用了U-net方法，規則如下：

  • 特徵提取層中抽取的最後一層的特徵圖（f1）被最先送入unpooling層，將影象放大1倍
  • 接著與前一層的特徵圖（f2）串起來（concatenate）
  • 然後依次作卷積核大小為1x1，3x3的卷積
  • 對f3，f4重複以上過程，而卷積核的個數逐層遞減，依次為128，64，32
  • 最後經過32核，3x3卷積後將結果輸出到“輸出層”

3、輸出層

最終輸出以下5部分的資訊，分別是：

  • score map：檢測框的置信度，1個引數；
  • text boxes：檢測框的位置（x, y, w, h），4個引數；
  • text rotation angle：檢測框的旋轉角度，1個引數；
  • text quadrangle coordinates：任意四邊形檢測框的位置座標，(x1, y1), (x2, y2), (x3, y3), (x4, y4)，8個引數。

其中，text boxes的位置座標與text quadrangle coordinates的位置座標看起來似乎有點重複，其實不然，這是為了解決一些扭曲變形文字行，如下圖：

如果只輸出text boxes的位置座標和旋轉角度（x, y, w, h,θ），那麼預測出來的檢測框就是上圖的粉色框，與真實文字的位置存在誤差。而輸出層的最後再輸出任意四邊形的位置座標，那麼就可以更加準確地預測出檢測框的位置（黃色框）。

 

三、EAST模型效果

EAST文字檢測的效果如下圖，其中，部分有仿射變換的文字行的檢測效果（如廣告牌）

EAST模型的優勢在於簡潔的檢測過程，高效、準確，並能實現多角度的文字行檢測。但也存在著不足之處，例如（1）在檢測長文字時的效果比較差，這主要是由於網路的感受野不夠大；（2）在檢測曲線文字時，效果不是很理想

 

四、Advanced EAST

為改進EAST的長文字檢測效果不佳的缺陷，有人提出了Advanced EAST，以VGG16作為網路結構的骨幹，同樣由特徵提取層、特徵合併層、輸出層三部分構成。經實驗，Advanced EAST比EAST的檢測準確性更好，特別是在長文字上的檢測。

網路結構如下：

 

牆裂建議

2017年，Xinyu Zhou 等人發表了關於EAST的經典論文《 EAST: An Efficient and Accurate Scene Text Detector 》，在論文中詳細介紹了EAST的技術原理，建議閱讀該論文以進一步瞭解該模型。

 

推薦相關閱讀

相關推薦

大話文字檢測經典模型：EAST

自然場景的文字檢測是當前深度學習的重要應用，在之前的文章中已經介紹了基於深度學習的文字檢測模型CTPN、SegLink（見文章

大話文字檢測經典模型：Pixel-Anchor

文字檢測是深度學習中一項非常重要的應用，在前面的文章中已經介紹過了很多文字檢測的方法，包括CTPN（詳見文章：大話文字檢測經典

大話目標檢測經典模型：Mark R-CNN

在之前的文章中介紹了目標檢測經典模型（R-CNN、Fast R-CNN、Faster R-CNN），目標檢測一般是為了實現以下效果： 在R-CNN、Fast R-CNN、Faster R-CNN中，實現了對目標的識別和定位，如下圖所示： 為了更加精確地識別目標，實現在畫素級場

大話目標檢測經典模型（RCNN、Fast RCNN、Faster RCNN）

目標檢測是深度學習的一個重要應用，就是在圖片中要將裡面的物體識別出來，並標出物體的位置，一般需要經過兩個步驟：1、分類，識別物體是什麼 2、定位，找出物體在哪裡 除了對單個物體進行檢測，還要能支援對多個物體進行檢測，如下圖所示： 這個問題並不是那麼容易解決，由於物體的尺寸變化

大話CNN經典模型：VGGNet

—— 原文釋出於本人的微信公眾號“大資料與人工智慧Lab”（BigdataAILab），歡迎關注。 2014年，牛津大學計算機視覺組（Visual Geometry Group）和Google DeepMind公司的研究員一起研發出了新的深度卷積神經網路：VGGNet，並取得了ILSVRC2014比賽分類專案

深度學習目標檢測經典模型比較（RCNN、Fast RCNN、Faster RCNN）

深度學習目標檢測經典模型比較（RCNN、Fast RCNN、Faster RCNN）   Faster rcnn是用來解決計算機視覺(CV)領域中目標檢測(Object Detection)的問題的。 區別目標分類、定位、檢測 一、傳統的目標檢測方法 其實目標檢

目標檢測經典模型（R-CNN、Fast R-CNN、Faster R-CNN）

目標檢測是深度學習的一個重要應用，就是在圖片中要將裡面的物體識別出來，並標出物體的位置，一般需要經過兩個步驟： 1、分類，識別物體是什麼 2、定位，找出物體在哪裡 除了對單個物體進行檢測，還要能支援對多個物體進行檢測，如下圖所示： 這個問題並不是那

CNN經典模型：VGGNet

  2014年，牛津大學計算機視覺組（Visual Geometry Group）和Google DeepMind公司的研究員一起研發出了新的深度卷積神經網路：VGGNet，並取得了ILSVRC2014比賽分類專案的第二名（第一名是GoogLeNet，也是同年提出的）和定位專

CNN經典模型：GoogLeNet（從Inception v1到v4的演進）

2014年，GoogLeNet和VGG是當年ImageNet挑戰賽(ILSVRC14)的雙雄，GoogLeNet獲得了第一名、VGG獲得了第二名，這兩類模型結構的共同特點是層次更深了。VGG繼承了LeNet以及AlexNet的一些框架結構（詳見  大話CNN經典模型：VG

（一）目標檢測經典模型回顧

轉載自知乎：https://zhuanlan.zhihu.com/p/34142321關於作者： @李家丞同濟大學數學系本科在讀，現為格靈深瞳演算法部實習生。-----------------------------------------------------------

目標檢測經典模型（RCNN、Fast RCNN、Faster RCNN）

目標檢測是深度學習的一個重要應用，就是在圖片中要將裡面的物體識別出來，並標出物體的位置，一般需要經過兩個步驟： 1、分類，識別物體是什麼  2、定位，找出物體在哪裡  除了對單個物體進行檢測，還要能支援對多個物體進行檢測，如下圖所示：  這個問題並不是那麼容易解決

CNN經典模型：AlexNet

2012年，Alex Krizhevsky、Ilya Sutskever在多倫多大學Geoff Hinton的實驗室設計出了一個深層的卷積神經網路AlexNet，奪得了2012年ImageNet LSVRC的冠軍，且準確率遠超第二名（top5錯誤率為15.3%，第二名為26.2%），引起了很大

CNN經典模型：LeNet

近幾年來，卷積神經網路（Convolutional Neural Networks，簡稱CNN）在影象識別中取得了非常成功的應用，成為深度學習的一大亮點。CNN發展至今，已經有很多變種，其中有幾個經典模型在CNN發展歷程中有著里程碑的意義，它們分別是：LeNet、Alexnet、Googlen

場景文字檢測常用方法：

文字檢測方向的簡單調研和特徵學習，歡迎大家監督建議。 一、基於紋理： 將文字當做特殊紋理，利用其紋理特徵進行處理。較常用的區分文字和非文字部分的紋理特徵有：區域性強度、濾波器響應、小波係數、文字較強邊界以及與非文字區域的較大對比度、離散餘弦變

【AI實戰】手把手教你深度學習文字識別（文字檢測篇：基於MSER, CTPN, SegLink, EAST等方法）

文字檢測是文字識別過程中的一個非常重要的環節，文字檢測的主要目標是將圖片中的文字區域位置檢測出來，以便於進行後面的文字識別，只

python+opencv+EAST做自然場景文字檢測（轉）

mark一下，感謝作者分享！ https://blog.csdn.net/luolan9611/article/details/81914251 英文原文連結：https://www.pyimagesearch.

目標檢測之模型篇（4）【EAST】

文章目錄 1. 前言 2. 實現 2.1 Pipeline 2.2 網路設計 2.3 標籤生成 2.4 損失函式 2.5 訓練 2.6 位置感知的NMS 3. 結果 4. 總結 5.

文字檢測模型概覽(下)

Textboxes Textboxes是基於SSD框架的圖文檢測模型，訓練方式是端到端的，執行速度也較快。如下圖所示，為了適應文字行細長型的特點，候選框的長寬比增加了1,2,3,5,7,10這樣初始值。為了適應文字行細長型特點，特徵層也用長條形卷積核代替了其他模型中常見的正方形卷積核。為了防

文字檢測模型概覽(上)

以下內容摘自各個部落格，文中會進行標註，做個人概覽用，沒有仔細斟酌對錯。 CTPN(2016) CTPN是目前流傳最廣、影響最大的開源文字檢測模型，可以檢測水平或微斜的文字行。文字行可以被看成一個字元sequence，而不是一般物體檢測中單個獨立的目標。同一文字行上各個字元影象間可以互為

深度學習方法（五）：卷積神經網路CNN經典模型整理Lenet，Alexnet，Googlenet，VGG，Deep Residual Learning

歡迎轉載，轉載請註明：本文出自Bin的專欄blog.csdn.net/xbinworld。  技術交流QQ群：433250724，歡迎對演算法、技術感興趣的同學加入。 關於卷積神經網路CNN，網路和文獻中有非常多的資料，我在工作/研究中也用了好一段時間各種常見的model了，就想著