前言

提起人臉識別演算法，首先必須提到LFW——一個人臉識別的公開測試集。在深度學習快速發展的初期（2014年左右），LFW是國內外人臉識別演算法公司的擂臺，facebook、百度、face++、商湯等一系列的企業以及學校紛紛刷榜，標榜自己的人臉識別演算法天下第一。下面筆者帶領大家來看一看lfw資料集到底是怎麼樣子的。

LFW風雲錄

LFW的測試集由6000對人臉圖片組成，3000對屬於同一個人，3000對屬於不同人。這6000對測試對，每對計算一個得分，然後選定一個閾值，大於閾值為同一個人，小於閾值為不同人。這個閾值該如何選取呢？這裡引進等錯誤率的概念，簡單理解，選取同一個人分錯的比例和不同人分錯比例相等的閾值。我們平時看到的在LFW上識別率達到99%其實指的是，對這6000對判斷的準確率達到了99%（即判斷正確6000*0.99=5940對）。需要注意到LFW同一個人的標註中有5對是錯誤的，故理論上的最高準確率為（6000-5*2）/ 6000 = 0.998333。

LFW部分結果

隨著深度學習的發展，在LFW上的結果也不斷更新，如上表所示。筆者認為到現階段（在LFW都是0.99+），LFW已經不能很好的體現人臉識別演算法的能力，首先是LFW測試集本身量級太少，就6000對，0.1個百分點對應也就是6對影象；其次測試集為名人資料，有可能出現在訓練資料中（爬蟲處理等），例如中科院整理的訓練資料集就有三個人和測試集一樣；最後，對於國內的大多數廠家來說，實際應用的大多數還是中國人，在LFW資料集上表現好，在實際應用中效果不一定好，即演算法在不同人種上表現是不一樣的。

目前人臉識別比較權威的測試集是MS-Celeb-1M和megaface，在此上刷出成績確實體現了演算法能力。筆者認為，刷分是一方面，如果想實際應用，還是需要在應用場景中獲取自己的測試集來測試，畢竟針對一個數據集來刷分會有很多trick，與實際應用還是略有不同，不要過分陷入刷分怪圈。

人臉識別通用框架

人臉識別的通用框架比較簡單：
人臉檢測，得到人臉影象在影象中的位置；
人臉對齊，一般是根據關鍵點的資訊，將人臉影象進行仿射變換、縮放到統一大小（簡單理解，例如根據人眼位置對齊）；
特徵提取，傳統方式或是深度學習方法，本質是用特徵對人臉影象進行表達；
特徵比對，常見的是計算一個距離，例如用cos計算夾角；

人臉識別演算法一覽

1. 《Blessing of Dimensionality: High-dimensional Feature and Its Efficient Compression for Face Verification》，簡稱high LBP（0.9517），深度學習演算法前比較經典的演算法。對影象分塊，各種overlap，最後把LBP特徵堆積起來（維度10W+），經行LDA、PCA處理，然後計算距離。
2. Joint Basyesian：《 Bayesian Face Revisited: A Joint Formulation 》簡稱Joint Bayesian（0.9242），用的是最大化後驗概率的方法，其中公式筆者記得以前推了好久，不詳細介紹。目前有很多在深度學習提取特徵之後繼續用Joint Bayesian提高的方法。
3. 《 Deepface: Closing the gap to humal-level performance in face verification 》，簡稱DeepFace（0.9735）。FaceBook基於3D人臉模型的設計，400W的人臉訓練資料對當時來說也是屬於海量資料了，也讓業界清晰的認識到，來吧，推資料吧！
4. DeepID三部曲系列，重點是《DeepID3: Face Recognition with Very Deep Neural Networks》，簡稱DeepID3（0.9745），用到了VGG和googleNet的網路結構。
5. 《 FaceNet: A Unified Embedding for Face Recognition and Clustering 》 簡稱FaceNet，FaceNet的核心思想來說就是triplet loss。
6. 《 A Discriminative Feature Learning Approach for Deep Face Recognition 》簡稱Center Loss，這個也是經過很多人實驗認證確實work的一種方式。
7. 《 Large-Margin Softmax Loss for Convolutional Neural Networks 》簡稱L-Softmax，在softmax上進行處理，目的是讓不同類分的更開。
8. 《 SphereFace: DeepHypersphereEmbeddingforFaceRecognition 》簡稱A-Sodtmax，是在L-Softmax上的改進。A-softmax loss簡單講就是在large margin softmax loss的基礎上添加了兩個限制條件||W||=1和b=0，使得預測僅取決於W和x之間的角度。
   最重要的ResNet筆者沒有單獨列出來，畢竟ResNet是通殺的，筆者就不刻意介紹。介紹了這麼多，其實筆者認為最重要的還是資料。大量的資料加上ResNet加上center loss 或是 其他loss實驗，效果不會差，剩下的細節就是各位在煉丹中的經驗和trick了。
9. 《Pose-Robust Face Recognition via Deep Residual Equivariant Mapping》新研究提出深度殘差等價對映：由正臉加強側臉識別效果。由於類別樣本不均衡，人臉檢測只在正臉識別上有優秀的表現，它們很難識別側臉樣本。香港中文大學和商湯科技等研究者提出了一種在深度表示空間中通過等變對映在正臉和側臉間建立聯絡的方法，該方法的計算開銷較少，但可以大大提升側臉識別效果。
10. 《CosFace: Large Margin Cosine Loss for Deep Face Recognition》面向深度人臉識別的增強邊緣餘弦損失函式設計。人臉識別的核心任務包括人臉驗證和人臉辨識。然而，在傳統意義上的深度卷積神經網路的softmax代價函式的監督下，所學習的模型通常缺乏足夠的判別性。
    為了解決這一問題，近期一系列損失函式被提出來，如Center Loss，L-Softmax，A-Softmax。所有這些改進演算法都基於一個核心思想:增強類間差異並且減小類內差異。
    在本文中，作者從一個新的角度來解決這個問題，並設計了一個新的損失函式，即增強邊緣餘弦損失函式(LMCL)。更具體地說，通過對特徵向量和權向量的L2歸一化，把softmax損失函式轉化為餘弦損失函式，這樣做消除了半徑方向的變化，並在此基礎上引入了一個餘弦邊界值m來進一步最大化所學習的特徵在角度空間的決策間距。因此，採用這種歸一化和增強餘弦決策邊距的方法，能夠更有效的起到最大化類間差異和最小化類內差異的作用。