更新：基於keras-tensorflow的車牌識別，HyperLPR是一個基於Python的使用深度學習針對對中文車牌識別的實現，與開源的EasyPR相比，它的檢測速度和魯棒性和多場景的適應性都要好於EasyPR。

來自：計算機的潛意識

非常詳細的講解車牌識別EasyPR

我正在做一個開源的中文車牌識別系統，Git地址為：https://github.com/liuruoze/EasyPR。

　　我給它取的名字為EasyPR，也就是Easy to do Plate Recognition的意思。我開發這套系統的主要原因是因為我希望能夠鍛鍊我在這方面的能力，包括C++技術、計算機圖形學、機器學習等。我把這個專案開源的主要目的是：1.它基於開源的程式碼誕生，理應迴歸開源；2.我希望有人能夠一起協助強化這套系統，包括程式碼、訓練資料等，能夠讓這套系統的準確性更高，魯棒性更強等等。

　　相比於其他的車牌識別系統，EasyPR有如下特點：

1. 它基於openCV這個開源庫，這意味著所有它的程式碼都可以輕易的獲取。
2. 它能夠識別中文，例如車牌為蘇EUK722的圖片，它可以準確地輸出std:string型別的"蘇EUK722"的結果。
3. 它的識別率較高。目前情況下，字元識別已經可以達到90%以上的精度。

　　系統還提供全套的訓練資料提供（包括車牌檢測的近500個車牌和字元識別的4000多個字元）。所有全部都可以在Github的專案地址上直接下載到。

那麼，EasyPR是如何產生的呢？我簡單介紹一下它的誕生過程：

　　首先，在5月份左右時我考慮要做一個車牌識別系統。這個車牌系統中所有的程式碼都應該是開源的，不能基於任何黑盒技術。這主要起源於我想鍛鍊自己的C++和計算機視覺的水平。

　　我在網上開始搜尋了資料。由於計算機視覺中很多的演算法我都是使用openCV，而且openCV發展非常良好，因此我查詢的專案必須得是基於OpenCV技術的。於是我在CSDN的部落格上找了一篇文章。

　　文章的作者taotao1233在這兩篇部落格中以半學習筆記半開發講解的方式說明了一個車牌識別系統的全部開發過程。非常感謝他的這些部落格，藉助於這些資料，我著手開始了開發。當時的想法非常樸素，就是想看看按照這些資料，能否真的實現一個車牌識別的系統。關於車牌照片資料的問題，幸運的很，我正在開發的一個專案中有大量的照片，因此資料不是問題。

　　令人高興的是，系統確實能夠工作，但是讓人沮喪的，似乎也就“僅僅”能夠工作而已。在車牌檢測這個環節中正確性已經慘不忍睹。

　　這個事情給了我一撥不小的冷水，本來我以為很快的開發進度看來是樂觀過頭了。於是我決定沉下心來，仔細研究他的系統實現的每一個過程，結合OpenCV的官網教程與API資料，我發現他的實現系統中有很多並不適合我目前在做的場景。

　　我手裡的資料大部分是高速上的影象抓拍資料，其中每個車牌都偏小，而且模糊度較差。直接使用他們的方法，正確率低到了可怕的地步。於是我開始嘗試利用openCv中的一些函式與功能，替代，增加，調優等等方法，不斷的優化。這個過程很漫長，但是也有很多的積累。我逐漸發現，並且瞭解他系統中每一個步驟的目的，原理以及如果修改可以進行優化的方法。

　　在最終實現的程式碼中，我的程式碼已經跟他的原始程式碼有很多的不一樣了，但是成功率大幅度上升，而且車牌的正確檢測率不斷被優化。在系列文章的後面，我會逐一分享這些優化的過程與心得。

　　最終我實現的系統與他的系統有以下幾點不同：

1. 他的系統程式碼基本上完全參照了《Mastering OpenCV with Practical Computer Vision Projects》這本書的程式碼，而這本書的程式碼是專門為西班牙車牌所開發的，因此不適合中文的環境。
2. 他的系統的程式碼大部分是原始程式碼的搬遷，並沒有做到優化與改進的地步。而我的系統中對原來的識別過程，做了很多優化步驟。
3. 車牌識別中核心的機器學習演算法的模型，他直接使用了原書提供的，而我這兩個過程的模型是自己生成，而且模型也做了測試，作為開源系統的一部分也提供了出來。

　　儘管我和他的系統有這麼多的不同，但是我們在根本的系統結構上是一致的。應該說，我們都是參照了“Mastering OpenCV”這本數的處理結構。在這點上，我並沒有所“創新”，事實上，結果也證明了“Mastering OpenCV”上的車牌識別的處理邏輯，是一個實際有效的最佳處理流程。

　　“Mastering OpenCV”，包括我們的系統，都是把車牌識別劃分為了兩個過程：即車牌檢測（Plate Detection）和字元識別（Chars Recognition）兩個過程。可能有些書籍或論文上不是這樣叫的，但是我覺得，這樣的叫法更容易理解，也不容易搞混。

• 車牌檢測（Plate Detection）：對一個包含車牌的影象進行分析，最終截取出只包含車牌的一個圖塊。這個步驟的主要目的是降低了在車牌識別過程中的計算量。如果直接對原始的影象進行車牌識別，會非常的慢，因此需要檢測的過程。在本系統中，我們使用SVM（支援向量機）這個機器學習演算法去判別擷取的圖塊是否是真的“車牌”。
• 字元識別（Chars Recognition）：有的書上也叫Plate Recognition，我為了與整個系統的名稱做區分，所以改為此名字。這個步驟的主要目的就是從上一個車牌檢測步驟中獲取到的車牌影象，進行光學字元識別（OCR）這個過程。其中用到的機器學習演算法是著名的人工神經網路（ANN）中的多層感知機（MLP）模型。最近一段時間非常火的“深度學習”其實就是多隱層的人工神經網路，與其有非常緊密的聯絡。通過了解光學字元識別（OCR）這個過程，也可以知曉深度學習所基於的人工神經網路技術的一些內容。

　　下圖是一個完整的EasyPR的處理流程:

本開源專案的目標客戶群有三類：

1. 需要開發一個車牌識別系統的（開發者）。
2. 需要車牌系統去識別車牌的（使用者）。
3. 急於做畢業設計的（學生）。

　　第一類客戶是本專案的主要使用者，因此專案特地被精心劃分為了6個模組，以供開發者按需選擇。
　　第二類客戶可能會有部分，EasyPR有一個同級專案EasyPR_Dll，可以DLL方式嵌入到其他的程式中，另外還有個一個同級專案EasyPR_Win，基於WTL開發的介面程式，可以簡化與幫助車牌識別的結果比對過程。
　　對於第三類客戶，可以這麼說，有完整的全套程式碼和詳細的說明，我相信你們可以稍作修改就可以通過設計大考。

推薦你使用EasyPR有以下幾點理由：

• 這裡面的程式碼都是作者親自優化過的，你可以在上面做修改，做優化，甚至一起協作開發，一些處理車牌的細節方法你應該是感興趣的。
• 如果你對程式碼不感興趣，那麼經過作者精心訓練的模型，包括SVM和ANN的模型，可以幫助你提升或驗證你程式的正確率。
• 如果你對模型也不感興趣，那麼成百上千經過作者親自挑選的訓練資料生成的檔案，你應該感興趣。作者花了大量的時間處理這些訓練資料與調整，現在直接提供給你，可以大幅度減輕很多人缺少資料的難題。

　　有興趣的同志可以留言或發Email:[email protected] 或者直接在Git上發起pull requet，都可以，未來我會在cnblogs上釋出更多的關於系統的介紹，包括編碼過程，訓練心得。

在上篇文件中作者已經簡單的介紹了EasyPR，現在在本文件中詳細的介紹EasyPR的開發過程。

　　正如淘寶誕生於一個購買來的LAMP系統，EasyPR也有它誕生的原型，起源於CSDN的taotao1233的一個部落格，博主以讀書筆記的形式記述了通過閱讀“Mastering OpenCV”這本書完成的一個車牌系統的雛形。

　　這個雛形有幾個特點：1.將車牌系統劃分為了兩個過程，即車牌檢測和字元識別。2.整個系統是針對西班牙的車牌開發的，與中文車牌不同。3.系統的訓練模型來自於原書。作者基於這個系統，誕生了開發一個適用於中文的，且適合與協作開發的開源車牌系統的想法，也就是EasyPR。

  當然了，現在車牌系統滿大街都是，隨便上下百度首頁都是大量的廣告，一些甚至宣稱自己實現了99%的識別率。那麼，作者為什麼還要開發這個系統呢？這主要是基於時勢與機遇的原因。

眾所皆知，現在是大資料的時代。那麼，什麼是大資料？可能有些人認為這個只是一個概念或著炒作。但是大資料確是實實在在有著基礎理論與科學研究背景的一門技術，其中包含著分散式計算、記憶體計算、機器學習、計算機視覺、語音識別、自然語言處理等眾多計算機界嶄新的技術，而且是這些技術綜合的產物。事實上，大資料的“大”包含著4個特徵，即4V理念，包括Volume（體量）、Varity（多樣性）、Velocity（速度）、Value（價值）。

　　見下圖的說明：

圖1 大資料技術的4V特徵

　　綜上，大資料技術不僅包含資料量的大，也包含處理資料的複雜，和處理資料的速度，以及資料中蘊含的價值。而車牌識別這個系統，雖然傳統，古老，卻是包含了所有這四個特偵的一個大資料技術的縮影。

　　在車牌識別中，你需要處理的資料是影象中海量的畫素單元；你處理的資料不再是傳統的結構化資料，而是影象這種複雜的資料；如果不能在很短的時間內識別出車牌，那麼系統就缺少意義；雖然一副影象中有很多的資訊，但可能僅僅只有那一小塊的資訊（車牌）以及車身的顏色是你關心，而且這些資訊都蘊含著巨大的價值。也就是說，車牌識別系統事實上就是現在火熱的大資料技術在某個領域的一個聚焦，通過了解車牌識別系統，可以很好的幫助你理解大資料技術的內涵，也能清楚的認識到大資料的價值。

　　很神奇吧，也許你覺得車牌識別系統很低端，這不是隨便大街上都有的麼，而你又認為大資料技術很高階，似乎高大上的感覺。其實兩者本質上是一樣的。另外對於覺得大資料技術是虛幻的炒作念頭的同學，你們也可以瞭解一下車牌識別系統，就能知道大資料落在實地，事實上已經不知不覺進入我們的生活很長時間了，像一些其他的如搶票系統，語音助手等，都是大資料技術的真真切切的體現。所謂再虛幻的概念落到實處，就成了下里巴人，應該就是這個意思。所以對於炒概念要有所警覺，但是不能因此排除一切，要了解具體的技術內涵，才能更好的利用技術為我們服務。

　　除了幫忙我們更好的理解大資料技術，使我們跟的上時代，開發一個車牌系統還有其他原因。

　　那就是、現在的車牌系統，仍然還有許多待解決的挑戰。這個可能很多同學有疑問，你別騙我，百度上我隨便一搜都是99%，只要多少多少元，就可以99%。但是事實上，車牌識別系統業界一直都沒有一個成熟的百分百適用的方案。一些90%以上的車牌識別系統都是跟高清攝像機做了整合，由攝像頭傳入的高解析度圖片進入識別系統，可以達到較高的識別率。但是如果影象解析度一旦下來，或者圖裡的車牌髒了的話，那麼很遺憾，識別率遠遠不如我們的肉眼。也就是說，距離真正的智慧的車牌識別系統，目前已有的系統還有許多挑戰。什麼時候能夠達到人眼的精度以及識別速率，估計那時候才算是完整成熟的。

　　那麼，有同學問，就沒有辦法進一步優化了麼。答案是有的，這個就需要談到目前火熱的深度學習與計算機視覺技術，使用多隱層的深度神經網路也許能夠解決這個問題。但是目前EasyPR並沒有採用這種技術，或許以後會採用。但是這個方向是有的。也就是說，通過研究車牌識別系統，也許會讓你一領略當今人工智慧與計算機視覺技術最尖端的研究方向，即深度學習技術。怎麼樣，聽了是不是很心動？最後扯一下，前端時間非常火熱Google大腦技術和百度深度學習研究院，都是跟深度學習相關的。

　　下圖是一個深度學習（右）與傳統技術（左）的對比，可以看出深度學習對於資料的分類能力的優勢。

圖2 深度學習（右）與PCA技術（左）的對比

　　總結一下：開發一個車牌識別系統可以讓你瞭解最新的時勢---大資料的內涵，同時，也有機遇讓你瞭解最新的人工智慧技術---深度學習。因此，不要輕易的小看這門技術中蘊含的價值。

　　好，談價值就說這麼多。現在，我簡單的介紹一下EasyPR的具體過程。

　　在上一篇文件中，我們瞭解到EasyPR包括兩個部分，但實際上為了更好進行模組化開發，EasyPR被劃分成了六個模組，其中每個模組的準確率與速度都影響著整個系統。

　　具體說來，EasyPR中PlateDetect與CharsRecognize各包括三個模組。

　　PlateDetect包括的是車牌定位，SVM訓練，車牌判斷三個過程，見下圖。

圖3 PlateDetect過程詳解 

　　通過PlateDetect過程我們獲得了許多可能是車牌的圖塊，將這些圖塊進行手工分類，聚集一定數量後，放入SVM模型中訓練，得到SVM的一個判斷模型，在實際的車牌過程中，我們再把所有可能是車牌的圖塊輸入SVM判斷模型，通過SVM模型自動的選擇出實際上真正是車牌的圖塊。

　　PlateDetect過程結束後，我們獲得一個圖片中我們真正關心的部分--車牌。那麼下一步該如何處理呢。下一步就是根據這個車牌圖片，生成一個車牌號字串的過程，也就是CharsRecognisze的過程。

　　CharsRecognise包括的是字元分割，ANN訓練，字元識別三個過程，具體見下圖。

圖4 CharsRecognise過程詳解

　　在CharsRecognise過程中，一副車牌圖塊首先會進行灰度化，二值化，然後使用一系列演算法獲取到車牌的每個字元的分割圖塊。獲得海量的這些字元圖塊後，進行手工分類（這個步驟非常耗時間，後面會介紹如何加速這個處理的方法），然後喂入神經網路（ANN）的MLP模型中，進行訓練。在實際的車牌識別過程中，將得到7個字元圖塊放入訓練好的神經網路模型，通過模型來預測每個圖塊所表示的具體字元，例如圖片中就輸出了“蘇EUK722”，（這個車牌只是示例，切勿以為這個車牌有什麼特定選取目標。車主既不是作者，也不是什麼深仇大恨，僅僅為學術說明選擇而已）。

　　至此一個完整的車牌識別過程就結束了，但是在每一步的處理過程中，有許多的優化方法和處理策略。尤其是車牌定位和字元分割這兩塊，非常重要，它們不僅生成實際資料，還生成訓練資料，因此會直接影響到模型的準確性，以及模型判斷的最終結果。這兩部分會是作者重點介紹的模組，至於SVM模型與ANN模型，由於使用的是OpenCV提供的類，因此可以直接看openCV的原始碼或者機器學習介紹的書，來了解訓練與判斷過程。

　　好了，本期就介紹這麼多。下面的篇章中作者會重點介紹其中每個模組的開發過程與內容，但是時間不定，可能幾個星期發一篇吧。

　　最後，祝大家國慶快樂，闔家幸福！

這篇文章是一個系列中的第三篇。前兩篇的地址貼下：介紹、詳解1。我撰寫這系列文章的目的是：1、普及車牌識別中相關的技術與知識點；2、幫助開發者瞭解EasyPR的實現細節；3、增進溝通。

　　EasyPR的專案地址在這：GitHub。要想執行EasyPR的程式，首先必須配置好openCV，具體可以參照這篇文章。

　　在前兩篇文章中，我們已經初步瞭解了EasyPR的大概內容，在本篇內容中我們開始深入EasyRP的程式細節。瞭解EasyPR是如何一步一步實現一個車牌的識別過程的。根據EasyPR的結構，我們把它分為六個部分，前三個部分統稱為“Plate Detect”過程。主要目的是在一副圖片中發現僅包含車牌的圖塊，以此提高整體識別的準確率與速度。這個過程非常重要，如果這步失敗了，後面的字元識別過程就別想了。而“Plate Detect”過程中的三個部分又分別稱之為“Plate Locate” ，“SVM train”,“Plate judge”，其中最重要的部分是第一步“Plate Locate”過程。本篇文章中就是主要介紹“Plate Locate”過程，並且回答以下三個問題：

　　1.此過程的作用是什麼，為什麼重要？

　　2.此過程是如何實現車牌定位這個功能的？

　　3.此過程中的細節是什麼，如何進行調優？

1.“Plate Locate”的作用與重要性

　　在說明“Plate Locate”的作用與重要性之前，請看下面這兩幅圖片。

圖1 兩幅包含車牌的不同形式圖片

　　左邊的圖片是作者訓練的圖片（作者大部分的訓練與測試都是基於此類交通抓拍圖片），右邊的圖片則是在百度圖片中“車牌”獲得（這個圖片也可以稱之為生活照片）。右邊圖片的問題是一個網友評論時問的。他說EasyPR在處理百度圖片時的識別率不高。確實如此，由於工業與生活應用目的不同，拍攝的車牌的大小，角度，色澤，清晰度不一樣。而對影象處理技術而言，一些演算法對於影象的形式以及結構都有一定的要求或者假設。因此在一個場景下適應的演算法並不適用其他場景。目前EasyPR所有的功能都是基於交通抓拍場景的圖片製作的，因此也就導致了其無法處理生活場景中這些車牌照片。

　　那麼是否可以用一致的“Plate Locate”過程中去處理它？答案是也許可以，但是很難，而且最後即便處理成功，效率也許也不盡如人意。我的推薦是：對於不同的場景要做不同的適配。儘管“Plate Locate”過程無法處理生活照片的定位，但是在後面的字元識別過程中兩者是通用的。可以對EasyPR的“Plate Locate”做改造，同時仍然使用整體架構，這樣或許可以處理。

　　有一點事實值得了解到是，在生產環境中，你所面對的圖片形式是固定的，例如左邊的圖片。你可以根據特定的圖片形式來調優你的車牌程式，使你的程式對這類圖片足夠健壯，效率也夠高。在上線以後，也有很好的效果。但當圖片形式調整時，就必須要調整你的演算法了。在“Plate Locate”過程中，有一些引數可以調整。如果通過調整這些引數就可以使程式良好工作，那最好不過。當這些引數也不能夠滿足需求時，就需要完全修改 EasyPR的實現程式碼，因此需要開發者瞭解EasyPR是如何實現plateLocate這一過程的。

　　在EasyPR中，“Plate Locate”過程被封裝成了一個“CPlateLocate”類，通過“plate_locate.h”宣告，在“plate_locate.cpp”中實現。

　　CPlateLocate包含三個方法以及數個變數。方法提供了車牌定位的主要功能，變數則提供了可定製的引數，有些引數對於車牌定位的效果有非常明顯的影響，例如高斯模糊半徑、Sobel運算元的水平與垂直方向權值、閉操作的矩形寬度。CPlateLocate類的宣告如下：

1. class CPlateLocate   
2. {  
3. public:  
4.     CPlateLocate();  
5.     //! 車牌定位
6.     int plateLocate(Mat, vector<Mat>& );  
7.     //! 車牌的尺寸驗證
8.     bool verifySizes(RotatedRect mr);  
9.     //! 結果車牌顯示
10.     Mat showResultMat(Mat src, Size rect_size, Point2f center);  
11.     //! 設定與讀取變數
12.     //...
13. protected:  
14.     //! 高斯模糊所用變數
15.     int m_GaussianBlurSize;  
16.     //! 連線操作所用變數
17.     int m_MorphSizeWidth;  
18.     int m_MorphSizeHeight;  
19.     //! verifySize所用變數
20.     float m_error;  
21.     float m_aspect;  
22.     int m_verifyMin;  
23.     int m_verifyMax;  
24.     //! 角度判斷所用變數
25.     int m_angle;  
26.     //! 是否開啟除錯模式，0關閉，非0開啟
27.     int m_debug;  
28. };  

　　注意，所有EasyPR中的類都宣告在名稱空間easypr內，這裡沒有列出。CPlateLocate中最核心的方法是plateLocate方法。它的宣告如下：

1. //! 車牌定位  
2.    int plateLocate(Mat, vector<Mat>& );  

　方法有兩個引數，第一個引數代表輸入的源影象，第二個引數是輸出陣列，代表所有檢索到的車牌圖塊。返回值為int型，0代表成功，其他代表失敗。plateLocate內部是如何實現的，讓我們再深入下看看。

2.“Plate Locate”的實現過程

　　plateLocate過程基本參考了taotao1233的部落格的處理流程，但略有不同。

　　plateLocate的總體識別思路是：如果我們的車牌沒有大的旋轉或變形，那麼其中必然包括很多垂直邊緣（這些垂直邊緣往往緣由車牌中的字元），如果能夠找到一個包含很多垂直邊緣的矩形塊，那麼有很大的可能性它就是車牌。

　　依照這個思路我們可以設計一個車牌定位的流程。設計好後，再根據實際效果進行調優。下面的流程是經過多次調整與嘗試後得出的，包含了數月來作者針對測試圖片集的一個最佳過程（這個流程並不一定適用所有情況）。plateLocate的實現程式碼在這裡不貼了，Git上有所有原始碼。plateLocate主要處理流程圖如下:

圖2 plateLocate流程圖

　　下面會一步一步參照上面的流程圖，給出每個步驟的中間臨時圖片。這些圖片可以在1.01版的CPlateLocate中設定如下程式碼開啟除錯模式。

1. CPlateLocate plate;  
2. plate.setDebug(1);  

　　1、原始圖片。

　　2、經過高斯模糊後的圖片。經過這步處理，可以看出影象變的模糊了。這步的作用是為接下來的Sobel運算元去除干擾的噪聲。

　　3、將影象進行灰度化。這個步驟是一個分水嶺，意味著後面的所有操作都不能基於色彩資訊了。此步驟是利是弊，後面再做分析。

　　4、對影象進行Sobel運算，得到的是影象的一階水平方向導數。這步過後，車牌被明顯的區分出來。

　　5、對影象進行二值化。將灰度影象（每個畫素點有256個取值可能）轉化為二值影象（每個畫素點僅有1和0兩個取值可能）。

　　6、使用閉操作。對影象進行閉操作以後，可以看到車牌區域被連線成一個矩形裝的區域。

　　7、求輪廓。求出圖中所有的輪廓。這個演算法會把全圖的輪廓都計算出來，因此要進行篩選。

　　8、篩選。對輪廓求最小外接矩形，然後驗證，不滿足條件的淘汰。經過這步，僅僅只有六個黃色邊框的矩形通過了篩選。

　　8、角度判斷與旋轉。把傾斜角度大於閾值