一.什麼是人臉識別技術

人臉識別技術，是基於人的臉部特徵資訊進行身份識別的一種生物識別技術。用攝像機或攝像頭採集含有人臉的影象或視訊流，並自動在影象中檢測和跟蹤人臉，進而對檢測到的人臉進行臉部的一系列相關技術，通常也叫做人像識別、面部識別。傳統的人臉識別技術主要是基於可見光影象的人臉識別，這也是人們熟悉的識別方式。簡單的來說就是一個讓計算機認出你的過程。

人臉識別技術主要是通過人臉影象特徵的提取與對比來進行的。人臉識別系統將提取的人臉影象的特徵資料與資料庫中儲存的特徵模板進行搜尋匹配，通過設定一個閾值，當相似度超過這一閾值，則把匹配得到的結果輸出。將待識別的人臉特徵與已得到的人臉特徵模板進行比較，根據相似程度對人臉的身份資訊進行判斷。這一過程又分為兩類：一類是確認，是一對一進行影象比較的過程，另一類是辨認，是一對多進行影象匹配對比的過程。

廣義的人臉識別實際包括構建人臉識別系統的一系列相關技術，包括人臉影象採集、人臉定位、人臉識別預處理、身份確認以及身份查詢等；而狹義的人臉識別特指通過人臉進行身份確認或者身份查詢的技術或系統。

二. 人臉識別技術特點

傳統的人臉識別技術主要是基於可見光影象的人臉識別，這也是人們最熟悉的識別方式，已有30多年的研發歷史。但這種方式有著難以克服的缺陷，尤其在環境光照發生變化時，識別效果會急劇下降，無法滿足實際系統的需要。解決光照問題的方案有三維影象人臉識別，和熱成像人臉識別。但這兩種技術還遠不成熟，識別效果不盡人意。

迅速發展起來的一種解決方案是基於主動近紅外影象的多光源人臉識別技術。它可以克服光線變化的影響，已經取得了卓越的識別效能，在精度、穩定性和速度方面的整體系統效能超過三維影象人臉識別。這項技術在近兩三年發展迅速，使人臉識別技術逐漸走向實用化。

人臉與人體的其它生物特徵（指紋、虹膜等）一樣與生俱來，它的唯一性和不易被複制的良好特性為身份鑑別提供了必要的前提。

與其它型別的生物識別比較人臉識別具有如下特點：

非強制性：使用者不需要專門配合人臉採集裝置，幾乎可以在無意識的狀態下就可獲取人臉影象，這樣的取樣方式沒有“強制性”；

非接觸性：使用者不需要和裝置直接接觸就能獲取人臉影象；

併發性：在實際應用場景下可以進行多個人臉的分揀、判斷及識別；

除此之外，還符合視覺特性：“以貌識人”的特性，以及操作簡單、結果直觀、隱蔽性好等特點。

三. 人臉識別技術流程

人臉識別系統主要包括四個組成部分，分別為：人臉影象採集及檢測、人臉影象預處理、人臉影象特徵提取以及匹配與識別。

人臉影象採集及檢測

人臉影象採集：不同的人臉影象都能通過攝像鏡頭採集下來，比如靜態影象、動態影象、不同的位置、不同表情等方面都可以得到很好的採集。當用戶在採集裝置的拍攝範圍內時，採集裝置會自動搜尋並拍攝使用者的人臉影象。

人臉檢測：人臉檢測在實際中主要用於人臉識別的預處理，即在影象中準確標定出人臉的位置和大小。人臉影象中包含的模式特徵十分豐富，如直方圖特徵、顏色特徵、模板特徵、結構特徵及Haar特徵等。人臉檢測就是把這其中有用的資訊挑出來，並利用這些特徵實現人臉檢測。

主流的人臉檢測方法基於以上特徵採用Adaboost學習演算法，Adaboost演算法是一種用來分類的方法，它把一些比較弱的分類方法合在一起，組合出新的很強的分類方法。

人臉檢測過程中使用Adaboost演算法挑選出一些最能代表人臉的矩形特徵（弱分類器），按照加權投票的方式將弱分類器構造為一個強分類器，再將訓練得到的若干強分類器串聯組成一個級聯結構的層疊分類器，有效地提高分類器的檢測速度。

人臉影象預處理

人臉影象預處理：對於人臉的影象預處理是基於人臉檢測結果，對影象進行處理並最終服務於特徵提取的過程。系統獲取的原始影象由於受到各種條件的限制和隨機 干擾，往往不能直接使用，必須在影象處理的早期階段對它進行灰度校正、噪聲過濾等影象預處理。對於人臉影象而言，其預處理過程主要包括人臉影象的光線補 償、灰度變換、直方圖均衡化、歸一化、幾何校正、濾波以及銳化等。

人臉影象特徵提取

人臉影象特徵提取：人臉識別系統可使用的特徵通常分為視覺特徵、畫素統計特徵、人臉影象變換系數特徵、人臉影象代數 特徵等。人臉特徵提取就是針對人臉的某些特徵進行的。人臉特徵提取，也稱人臉表徵，它是對人臉進行特徵建模的過程。人臉特徵提取的方法歸納起來分為兩大 類：一種是基於知識的表徵方法；另外一種是基於代數特徵或統計學習的表徵方法。

基於知識的表徵方法主要是根據人臉器官的形狀描述以及他們之間的距離特性來獲得有助於人臉分類的特徵資料，其特徵分 量通常包括特徵點間的歐氏距離、曲率和角度等。人臉由眼睛、鼻子、嘴、下巴等區域性構成，對這些區域性和它們之間結構關係的幾何描述，可作為識別人臉的重要特 徵，這些特徵被稱為幾何特徵。基於知識的人臉表徵主要包括基於幾何特徵的方法和模板匹配法。

人臉影象匹配與識別

人臉影象匹配與識別：提取的人臉影象的特徵資料與資料庫中儲存的特徵模板進行搜尋匹配，通過設定一個閾值，當相似度超過這一閾值，則把匹配得到的結果輸 出。人臉識別就是將待識別的人臉特徵與已得到的人臉特徵模板進行比較，根據相似程度對人臉的身份資訊進行判斷。這一過程又分為兩類：一類是確認，是一對一 進行影象比較的過程，另一類是辨認，是一對多進行影象匹配對比的過程。

四. 人臉識別三大關鍵技術

基於特徵的人臉檢測技術

通過採用顏色、輪廓、紋理、結構或者直方圖特徵等進行人臉檢測。

基於模板匹配人臉檢測技術

從資料庫當中提取人臉模板，接著採取一定模板匹配策略，使抓取人臉影象與從模板庫提取圖片相匹配，由相關性的高低和所匹配的模板大小確定人臉大小以及位置資訊。

基於統計的人臉檢測技術

通過對於“人臉”和“非人臉”的影象大量蒐集構成的人臉正、負樣本庫，採用統計方法強化訓練該系統，從而實現對人臉和非人臉的模式進行檢測和分類。

五. 人臉識別幾大特徵

幾何特徵

從面部點之間的距離和比率作為特徵，識別速度快，記憶體要求比較小，對於光照敏感度降低。

基於模型特徵

根據不同特徵狀態所具有概率不同而提取人臉影象特徵。

基於統計特徵

將人臉影象視為隨機向量，並用統計方法辨別不同人臉特徵模式，比較典型的有特徵臉、獨立成分分析、奇異值分解等。

基於神經網路特徵

利用大量神經單元對人臉影象特徵進行聯想儲存和記憶，根據不同神經單元狀態的概率實現對人臉影象準確識別。

人臉識別是根據所提取的人臉影象特徵採用相關識別演算法進行人臉確認或辨別。即將已檢測到的待識別人臉與資料庫中已知人臉進行比較匹配，得出相關資訊，該過程的關鍵是選擇適當的人臉表徵方式與匹配策略，系統的構造與人臉的表徵方式密切相關。一般根據所提特徵而選擇不同識別演算法進行度量，常用的包括距離度量、支援向量機、神經網路、k均值聚類等。

六. 人臉識別技術的主要演算法

主流的人臉識別技術基本上可以歸結為三類，即：基於幾何特徵的方法、基於模板的方法和基於模型的方法。

1. 基於幾何特徵的方法是最早、最傳統的方法，通常需要和其他演算法結合才能有比較好的效果；

2. 基於模板的方法可以分為基於相關匹配的方法、特徵臉方法、線性判別分析方法、奇異值分解方法、神經網路方法、動態連線匹配方法等。

3. 基於模型的方法則有基於隱馬爾柯夫模型，主動形狀模型和主動外觀模型的方法等。

基於幾何特徵的方法

人臉由眼睛、鼻子、嘴巴、下巴等部件構成，正因為這些部件的形狀、大小和結構上的各種差異才使得世界上每個人臉千差萬別，因此對這些部件的形狀和結構關係的幾何描述，可以做為人臉識別的重要特徵。

幾何特徵最早是用於人臉側面輪廓的描述與識別，首先根據側面輪廓曲線確定若干顯著點，並由這些顯著點匯出一組用於識別的特徵度量如距離、角度等。Jia 等由正面灰度圖中線附近的積分投影模擬側面輪廓圖是一種很有新意的方法。

採用幾何特徵進行正面人臉識別一般是通過提取人眼、口、鼻等重要特徵點的位置和眼睛等重要器官的幾何形狀作為分類特徵,但對幾何特徵提取的精確性進行了實驗性的研究，結果不容樂觀。

可變形模板法可以視為幾何特徵方法的一種改進，其基本思想是：設計一個引數可調的器官模型 (即可變形模板),定義一個能量函式，通過調整模型引數使能量函式最小化，此時的模型引數即做為該器官的幾何特徵。

這種方法思想很好，但是存在兩個問題，一是能量函式中各種代價的加權係數只能由經驗確定，難以推廣，二是能量函式優化過程十分耗時，難以實際應用。 基於引數的人臉表示可以實現對人臉顯著特徵的一個高效描述，但它需要大量的前處理和精細的引數選擇。同時，採用一般幾何特徵只描述了部件的基本形狀與結構關係，忽略了局部細微特徵，造成部分資訊的丟失，更適合於做粗分類，而且目前已有的特徵點檢測技術在精確率上還遠不能滿足要求，計算量也較大。

特徵臉方法

特徵臉方法是90年代初期由Turk和Pentland提出的目前最流行的演算法之一，具有簡單有效的特點， 也稱為基於主成分分析（principal component analysis，簡稱PCA）的人臉識別方法。

特徵臉技術的基本思想是：從統計的觀點，尋找人臉影象分佈的基本元素，即人臉影象樣本集協方差矩陣的特徵向量，以此近似地表徵人臉影象。這些特徵向量稱為特徵臉（Eigenface）。

實際上，特徵臉反映了隱含在人臉樣本集合內部的資訊和人臉的結構關係。將眼睛、面頰、下頜的樣本集協方差矩陣的特徵向量稱為特徵眼、特徵頜和特徵脣，統稱特徵子臉。特徵子臉在相應的影象空間中生成子空間，稱為子臉空間。計算出測試影象視窗在子臉空間的投影距離，若視窗影象滿足閾值比較條件，則判斷其為人臉。

基於特徵分析的方法，也就是將人臉基準點的相對比率和其它描述人臉臉部特徵的形狀引數或類別引數等一起構成識別特徵向量，這種基於整體臉的識別不僅保留了人臉部件之間的拓撲關係，而且也保留了各部件本身的資訊，而基於部件的識別則是通過提取出區域性輪廓資訊及灰度資訊來設計具體識別演算法。現在Eigenface（PCA）演算法已經與經典的模板匹配演算法一起成為測試人臉識別系統性能的基準演算法；而自1991年特徵臉技術誕生以來，研究者對其進行了各種各樣的實驗和理論分析，FERET'96測試結果也表明，改進的特徵臉演算法是主流的人臉識別技術，也是具有最好效能的識別方法之一。

該方法是先確定眼虹膜、鼻翼、嘴角等面像五官輪廓的大小、位置、距離等屬性，然後再計算出它們的幾何特徵量，而這些特徵量形成一描述該面像的特徵向量。其技術的核心實際為“區域性人體特徵分析”和“圖形/神經識別演算法。”這種演算法是利用人體面部各器官及特徵部位的方法。如對應幾何關係多資料形成識別引數與資料庫中所有的原始引數進行比較、判斷與確認。Turk和Pentland提出特徵臉的方法，它根據一組人臉訓練影象構造主元子空間，由於主元具有臉的形狀，也稱為特徵臉 ,識別時將測試 影象投影到主元子空間上，得到一組投影係數，和各個已知人的人臉影象比較進行識別。Pentland等報告了相當好的結果，在 200個人的 3000幅影象中得到 95%的正確識別率，在ＦＥＲＥＴ資料庫上對 150幅正面人臉象只有一個誤識別。但系統在進行特徵臉方法之前需要作大量預處理工作如歸一化等。

傳統特徵臉的基礎上，研究者注意到特徵值大的特徵向量（即特徵臉）並不一定是分類效能好的方向，據此發展了多種特徵（子空間）選擇方法，如Peng的雙子空間方法、Weng的線性歧義分析方法、Belhumeur的FisherFace方法等。事實上，特徵臉方法是一種顯式主元分析人臉建模，一些線性自聯想、線性壓縮型ＢＰ網則為隱式的主元分析方法，它們都是把人臉表示為一些向量的加權和，這些向量是訓練集叉積陣的主特徵向量，Valentin對此作了詳細討論。總之，特徵臉方法是一種簡單、快速、實用的基於變換系數特徵的演算法，但由於它在本質上依賴於訓練集和測試集影象的灰度相關性，而且要求測試影象與訓練集比較像，所以它有著很大的侷限性。

基於KL 變換的特徵人臉識別方法

KL變換是圖象壓縮中的一種最優正交變換，人們將它用於統計特徵提取，從而形成了子空間法模式識別的基礎，若將KL變換用於人臉識別，則需假設人臉處於低維線性空間，且不同人臉具有可分性，由於高維圖象空間KL變換後可得到一組新的正交基，因此可通過保留部分正交基，以生成低維人臉空間，而低維空間的基則是通過分析人臉訓練樣本集的統計特性來獲得，KL變換的生成矩陣可以是訓練樣本集的總體散佈矩陣，也可以是訓練樣本集的類間散佈矩陣，即可採用同一人的數張圖象的平均來進行訓練，這樣可在一定程度上消除光線等的干擾，且計算量也得到減少，而識別率不會下降。

基於彈性模型的方法

Llades等人針對畸變不變性的物體識別提出了動態連結模型（ＤＬＡ），將物體用稀疏圖形來描述 ，其頂點用區域性能量譜的多尺度描述來標記，邊則表示拓撲連線關係並用幾何距離來標記，然後應用塑性圖形匹配技術來尋找最近的已知圖形。Ｗｉｓｃｏｔｔ等人在此基礎上作了改進，用ＦＥＲＥＴ影象庫做實驗，用 300幅人臉影象和另外 300幅影象作比較，準確率達到 97.3%。此方法的缺點是計算量非常巨大 。

Nastar將人臉影象 (Ⅰ) (ｘ，ｙ)建模為可變形的 3Ｄ網格表面 (ｘ，ｙ，Ｉ(ｘ，ｙ) )，從而將人臉匹配問題轉化為可變形曲面的彈性匹配問題。利用有限元分析的方法進行曲面變形，並根據變形的情況判斷兩張圖片是否為同一個人。這種方法的特點在於將空間 (ｘ，ｙ)和灰度Ｉ(ｘ,ｙ)放在了一個 3Ｄ空間中同時考慮，實驗表明識別結果明顯優於特徵臉方法。

Lanitis等提出靈活表現模型方法，通過自動定位人臉的顯著特徵點將人臉編碼為 83個模型引數，並利用辨別分析的方法進行基於形狀資訊的人臉識別。彈性圖匹配技術是一種基於幾何特徵和對灰度分佈資訊進行小波紋理分析相結合的識別演算法，由於該演算法較好的利用了人臉的結構和灰度分佈資訊，而且還具有自動精確定位面部特徵點的功能，因而具有良好的識別效果，適應性強識別率較高，該技術在FERET測試中若干指標名列前茅，其缺點是時間複雜度高，速度較慢，實現複雜。

神經網路方法

人工神經網路是一種非線性動力學系統，具有良好的自組織、自適應能力。目前神經網路方法在人臉識別中的研究方興未艾。Valentin提出一種方法，首先提取人臉的 50個主元，然後用自相關神經網路將它對映到 5維空間中，再用一個普通的多層感知器進行判別，對一些簡單的測試影象效果較好；Intrator等提出了一種混合型神經網路來進行人臉識別，其中非監督神經網路用於特徵提取，而監督神經網路用於分類。

Lee等將人臉的特點用六條規則描述，然後根據這六條規則進行五官的定位，將五官之間的幾何距離輸入模糊神經網路進行識別，效果較一般的基於歐氏距離的方法有較大改善，Laurence等採用卷積神經網路方法進行人臉識別，由於卷積神經網路中集成了相鄰畫素之間的相關性知識，從而在一定程度上獲得了對影象平移、旋轉和區域性變形的不變性，因此得到非常理想的識別結果，Lin等提出了基於概率決策的神經網路方法 （PDBNN），其主要思想是採用虛擬 （正反例）樣本進行強化和反強化學習，從而得到較為理想的概率估計結果，並採用模組化的網路結構 （OCON）加快網路的學習。

這種方法在人臉檢測、人臉定位和人臉識別的各個步驟上都得到了較好的應用，其它研究還有 :Dai等提出用Hopfield網路進行低解析度人臉聯想與識別，Gutta等提出將RBF與樹型分類器結合起來進行人臉識別的混合分類器模型，Phillips等人將MatchingPursuit濾波器用於人臉識別，國內則採用統計學習理論中的支撐向量機進行人臉分類。

經網路方法在人臉識別上的應用比起前述幾類方法來有一定的優勢，因為對人臉識別的許多規律或規則進行顯性的描述是相當困難的，而神經網路方法則可以通過學習的過程獲得對這些規律和規則的隱性表達，它的適應性更強，一般也比較容易實現。因此人工神經網路識別速度快，但識別率低 。而神經網路方法通常需要將人臉作為一個一維向量輸入，因此輸入節點龐大，其識別重要的一個目標就是降維處理。

其它演算法：

除了以上幾種方法，人臉識別還有其它若干思路和方法，包括一下一些：

1. 隱馬爾可夫模型方法

2. Gabor 小波變換+圖形匹配

（1）精確抽取面部特徵點以及基於Gabor引擎的匹配演算法，具有較好的準確性，能夠排除由於面部姿態、表情、髮型、眼鏡、照明環境等帶來的變化。

（2）Gabor濾波器將Gaussian網路函式限制為一個平面波的形狀，並且在濾波器設計中有優先方位和頻率的選擇，表現為對線條邊緣反應敏感。

（3）但該演算法的識別速度很慢，只適合於錄象資料的回放識別，對於現場的適應性很差。

3. 人臉等密度線分析匹配方法

（1）多重模板匹配方法

該方法是在庫中存貯若干標準面像模板或面像器官模板，在進行比對時，將取樣面像所有象素與庫中所有模板採用歸一化相關量度量進行匹配。

（2）線性判別分析方法

（3）本徵臉法：本徵臉法將影象看做矩陣 ,計算本徵值和對應的本徵向量作為代數特徵進行識別 ,具有無需提取眼嘴鼻等幾何特徵的優點 ,但在單樣本時識別率不高 ,且在人臉模式數較大時計算量大

4. 特定人臉子空間（FSS）演算法

該技術來源於但在本質上區別於傳統的"特徵臉"人臉識別方法。"特徵臉"方法中所有人共有一個人臉子空間，而該方法則為每一個體人臉建立一個該個體物件所私有的人臉子空間，從而不但能夠更好的描述不同個體人臉之間的差異性，而且最大可能地擯棄了對識別不利的類內差異性和噪聲，因而比傳統的"特徵臉演算法"具有更好的判別能力。另外，針對每個待識別個體只有單一訓練樣本的人臉識別問題，提出了一種基於單一樣本生成多個訓練樣本的技術，從而使得需要多個訓練樣本的個體人臉子空間方法可以適用於單訓練樣本人臉識別問題。

5. 奇異值分解（singular value decomposition，簡稱SVD）

這是一種有效的代數特徵提取方法。由於奇異值特徵在描述影象時是穩定的,且具有轉置不變性、旋轉不變性、位移不變性、映象變換不變性等重要性質,因此奇異值特徵可以作為影象的一種有效的代數特徵描述。奇異值分解技術已經在影象資料壓縮、訊號處理和模式分析中得到了廣泛應用。