《Look at Boundary: A Boundary-Aware Face Alignment Algorithm》

目錄

0 Abstract

       本文提出了一種基於邊界輔助學習的Facial Landmark Detection方法。利用邊界線作為人臉的幾何結構來輔助特徵點檢測，與傳統的基於熱力圖和迴歸的方法不同，本文方法從邊界線處獲取Landmark座標，能有效消除landmark定義存在的歧義。
        三個問題：
        1）為什麼用邊界？
        2）怎麼用邊界？
        3）邊界估計與特徵點估計之間的關係
       在開源資料集300-W、COFW、AFLW上均重新整理了記錄
       本還提供了新的開源人臉對齊資料集：WFLW；該資料集共10000個樣本，7500供訓練，2500供測試；標籤提供了人臉框資訊、98個特徵點資訊、6種屬性資訊（姿態、表情、光照、化妝、遮擋、模糊）

1 Introduction

       Face alignment是指如何檢測出人臉特定關鍵點，是許多人臉應用的關鍵步驟，如人臉識別、人臉驗證等；本文的目的是設計一種人臉對齊演算法能夠在不同資料集標註協議上，對姿態變化和遮擋沒有約束。
       與人臉檢測和識別不同，人臉對齊是識別人臉的幾何結構，其特徵點與人臉邊界有很強的相關性，且相對特徵點，人臉邊界更好定義一些，這就為我們定義邊界來輔助人臉對齊創造了條件；引入邊界將會對姿態變化和遮擋有很大改善，因為在姿態、遮擋情況下，某些特徵點並不是角點，難以定位，而邊界則對其有引導作用；此外，開源資料特徵點個數不統一（19/29/68/86/106/194），並且將來人臉對齊特徵點定義也難預料，但好在人臉結構是唯一的。
       所以，本文定義了人臉邊界來輔助人臉對齊，並採用13條邊界線來表示人臉結構，每條邊界，由不同資料集，足夠多標註點插值而來，這樣將不會受到標註協議影響，如下圖，不同標註標準，獲得相同邊界。

       本文演算法包含2個結構：
              1）人臉邊界熱力圖估計網路G
              2）人臉特徵點回歸網路R（邊界輔助）
       並在訓練階段加入了對抗學習思想，用邊界判別器網路D提升邊界的可靠性

2 Related Work

       人臉對齊演算法分類：
              1）座標迴歸模型（coordinate regression model）
              2）熱力圖迴歸模型（heatmap regression model）

3 Boundary-Aware Face Alignment

       人臉對齊輔助手段：
              1）幾何結構（geometric structure）：文獻【31/47/19】均有采取輔助手段進行人臉對齊工作，但其太粗糙，相對邊界而言
              2）人臉解析（face parsing）：需要將每個部分連線為一個封閉迴路，如此導致某些器官，如鼻子，被混合到整個人臉，如此定義是不恰當的，而邊界線是不需要封閉的

整體結構
       

3.1 Boundary-aware landmarks regressor

       特徵點回歸網路R：將邊界資訊融合到特徵學習中
       Boundary Define
       
       13條邊界線：外輪廓、左眉、右眉、鼻樑、鼻邊界、左上眼皮、左下眼皮、右上眼皮、右下眼皮、上嘴脣上邊、上嘴脣下邊、下嘴脣上邊、下嘴脣下邊
       定義I$I$為人臉影象，L$L$為ground truth，記S={sl}Ll=1$S={\left\{s_l\right\}}_{l=1}^L$；K$K$表示邊界個數，k$k$對應子集Si⊂S$S_i\subset S$，Si$S_i$是每個邊界插值得到的密集點位；與其對應的二進位制邊界特徵圖Bi$B_i$，大小與I$I$相同，當中僅僅在邊界線上的點位置為1，其餘為0；最後定義了與Bi$B_i$對應的距離變化對映Di$D_i$（每個點到對應邊緣的距離，待考證），我們基於標準差σ$\sigma$的高斯表示式來變換距離對映Di$D_i$為真實邊界熱力圖Mi$M_i$，如下式1，3σ$3\sigma$為閾值，能更好保證邊界熱力圖在邊界區域，實際應用中，為了計算效率，一般設定真實邊界熱力圖長度為I$I$的1/4大小。
       
       為了更好地利用豐富的邊界熱力圖資訊，我們採用多級邊界熱力圖資訊融合機制，如圖2中，4級res-18網路作為基礎網路，每級網路都進行邊界資訊融合（Boundary heatmap fusion），包含1次輸入影象融合（Input Image Fusion），3次特徵圖融合（Feature Map Fusion）
       Input Image Fusion
       該融合的目的是強化邊界文理資訊，弱化背景及弱文理區域資訊，原理如下
       
       其中⨁$⨁$表示通道連線（channel-wise concatenation）； ⨂$⨂$表示畫素點積運算（element-wise dot product operation）

       Feature Map Fusion
       與影象融合類似，邊界特徵熱圖M$M$，通道數固定，即邊界線個數13，特徵圖F$F$，，融合特徵圖H$H$表示如下：
       
       點積時，要求通道數相同，T$T$變換來完成這個工作，如下圖
       
       選用沙漏結構作為T$T$變換，上下采樣平衡，保證特徵圖大小一致，Skip connections保證多尺度資訊，sigmod歸一化輸出為[0,1]$[0,1]$，卷積stride為1，保證覆蓋到區域性區域
       在採用邊界熱力圖資訊融合基礎上，本文方法在300-W上獲得76.26%的AUC（area-under-the-curve），相比之前最好成績54.85%

3.2 Boundary heatmap estimator

       本文采用文獻【35】提出的層疊沙漏網路作為邊界熱力圖估計網路G，採用均方差優化邊界熱力圖，但是當存在嚴重遮擋時，熱力圖容易受到噪聲和多模式的影響，本文參考文獻【9/12】，採用對抗思想（Boundary effectiveness discriminator）和文獻【11】的訊息通訊機制（message passing layers）來提升邊界生成的可靠性，如下圖效果
       
       
訊息通訊機制（message passing layers）
       1）Intra‐level Message Passing
       在每個沙漏網路最後，圖2中紅色的MPL模組，不同邊界線之間進行通訊
       2）Inter-level message passing
       在相鄰兩個沙漏網路間，從低到高的相同邊界線通訊
       

       3）訊息通訊機制詳解
       訊息通訊計算量和引數開銷是很小的，訊息通訊例項結構如下
       
       如圖h1$h_1$是前一級沙漏加上1x1卷積的256通道特徵圖，Ati$A_i^t$表示第t$t$級的第i$i$個邊界，具有16個通道正向傳遞，如下公式
       
       其中，wati$w^{a_i^t}$表示邊界i的權值矩陣，*表示卷積，f表示ReLU，在通過訊息通訊後Ati$A_i^t$變為A′ti$A_i^{{\mathrm{\prime }}^t}$
       舉個例子，Stack2中邊界6（左眉毛），從Stack2中邊界2（左上眼皮）和Stack1中邊界6（左眉毛）接受訊息，即進行intra and inter-level邊界通訊，原理如下
       
       同樣地，訊息傳遞也存在反向傳遞，如圖B$B$模組；最終某級沙漏輸出有正向和反向資訊融合得到：
       
       其中⨁$⨁$表示通道串連線（concate），w′ati$w^{{\mathrm{\prime }}^{a_i^t}}$表示1x1卷積，輸出單通道預測熱力圖M^ti${\hat{M}}_i^t$，預測K（13）個熱力圖
       再者，每級沙漏網路都額外追加MSE（Mean Squared Error）Loss Function：
       

3.3 Boundary effectiveness discriminator

       邊界熱力圖估計，採用MSE（mean squared error）作為loss function，但最小化MSE有時候使得預測看起來模糊不可信，這個迴歸均值問題是總所周知的，參見超解析度文獻【40】，這個問題會破壞迴歸網路的學習，當生成錯誤邊界時。
       然後，又很難定義好的評估矩陣來評價boundary heatmaps的質量，因此，本文采用一個邊界有效判別器D（boundary effectiveness discriminator）來區分生成boundary heatmaps的有效性。其結構如圖2中右上部分，定義如下：
       
       其中M$M$表示生成邊界熱力圖， S$S$表示ground-truth對應熱力圖，Dist$D_{ist}$表示ground-truth距離矩陣對映，θ$\theta$表示距離閾值， δ$\delta$表示概率閾值；意思是某一張邊緣圖預測出來的對應的關鍵點在Dis

相關推薦

人臉對齊：Look at Boundary: A Boundary-Aware Face Alignment Algorithm

《Look at Boundary: A Boundary-Aware Face Alignment Algorithm》 目錄 0 Abstract        本文提出了一種基於邊界輔助學習的Facial Landmark Detection方法。利用

2D人臉對齊：《Look at Boundary: A Boundary-Aware Face Alignment Algorithm》

《Look at Boundary: A Boundary-Aware Face Alignment Algorithm》 目錄 0 Abstract        本文提出了一種基於邊界輔助學習的Facial Landmark Detect

人臉對齊：TCDNN人臉關鍵點演算法2014

《Facial Landmark Detection by Deep Multi-task Learning》發表於ECCV-2014，作者來自香港中文大學湯曉鷗團隊的Zhanpeng Zhang等人。創新點： 1.將MTL（多工學習）結合CNN應用到人臉關鍵點檢測 2.為解

人臉對齊：warpAffine仿射變換

下面介紹一些典型的仿射變換： （1）平移，將每一點移到到（x+t , y+t)，變換矩陣為 (2)縮放變換  將每一點的橫座標放大或縮小sx倍，縱座標放大（縮小）到sy倍，變換矩陣為 （3）旋轉變換原點：目標圖形圍繞原點順時針旋轉Θ 弧度，變換矩陣為 (4

人臉對齊：DCNN的人臉關鍵點檢測

一：目標 人臉關鍵點檢測是在人臉檢測的基礎上，對人臉上的特徵點例如眼睛、鼻子、嘴巴等進行定位。本例是使用caffe框架實現的結果，效果如下：  二：資料來源的製作        因為lmdb不支援多標籤，所以這裡使用的是hdf5格式，支援多標籤。        卷積神經網路可

人臉對齊：人臉定點之DeepCNN第一階段

轉載部落格：https://blog.csdn.net/chenriwei2/article/details/49706563實驗過程：資料準備由於港中文[1]他們有公開了訓練集，所以我們就可以直接使用他們提供的影象庫就好了。 資料是需要轉化的：1、框出人臉影象部分，從新計算

人臉對齊（十）--人臉對齊綜述（綜述及2D人臉對齊總結2018.8）

本文主要是這篇文章的翻譯，後面增加具體的演算法理解。 還有另一篇綜述文獻（內容好像截止2013年） Facial feature point detection: A comprehensive survey Neurocomputing Available onl

人臉對齊：人臉關鍵點資料庫

轉載自：http://blog.csdn.net/xzzppp/article/details/74939823一、人臉關鍵點檢測資料庫（2001年釋出）BioID ：約1000幅影象,每個人臉標定20個關鍵點。https://www.bioid.com/About/BioI

人臉對齊：Wing Loss人臉關鍵點檢測演算法2018

Wing Loss for Robust Facial Landmark Localisation with Convolutional Neural Networks 由薩里大學研究人員（第一至四作者）與江南大學研究人員（第五作者）共同研究，被CVPR2018收錄，最早於2

人臉對齊：人臉定點

人臉定點資料集：https://ibug.doc.ic.ac.uk/resources/facial-point-annotations/面部特徵點定位任務即根據輸入的人臉影象，自動定位出面部關鍵特徵點，如眼睛、鼻尖、嘴角點、眉毛以及人臉各部件輪廓點等，如下圖所示。這項技術的

《Look at Boundary: A Boundary-Aware Face Alignment Algorithm 》閱讀筆記

摘要 本文提出了一種新的邊界感知人臉對齊演算法，演算法通過利用邊界線作為人臉幾何框架實現人臉 landmark 的定位。與傳統的基於熱力圖或基於迴歸的方法不同，本文的方法從邊界線處提取人臉 landmarks，消除了定義 landmark 的歧義。本文探討並回答

人臉識別之人臉對齊（三）--AAM演算法原文： http://blog.csdn.net/colourfulcloud/article/details/9774017 AAM(Active Appear

原文： http://blog.csdn.net/colourfulcloud/article/details/9774017 AAM(Active Appearance Model)主動外觀模型主要分為兩個階段，模型建立階段和模型匹配階段。其中模型建立階段包括了對訓練樣本分別建立形狀模型(

SDM人臉對齊系列一：資料預處理

    人臉對齊是人臉識別系統中很重要的一個環節，SDM是傳統人臉對齊演算法中效能較為不錯的一種，在今天這個深度學習如火如荼的時代，SDM依舊具有一定的優勢。SDM相比深度網路具有模型小，速度快等優點。儘管SDM已經出現了好幾年，但是網路上對其具體的詳細講解的知識還是比較少，

人臉識別之人臉對齊（九）--SDM演算法

轉自：http://blog.csdn.net/huneng1991/article/details/51901912 http://blog.csdn.net/qq_14845119/article/details/53520847 略刪改。   SDM(Supervis

人臉識別之人臉對齊（八）--LBF演算法

整體來看，其實 ，ESR是基礎版本的形狀迴歸，ERT將回歸樹修改為GBDT，由原始的直接回歸形狀，改進為迴歸形狀殘差，而LBF，是加速特徵提取，由原來的畫素差分特徵池，改為隨機選擇點。   轉自：http://blog.csdn.net/qq_14845119/article/de

人臉識別之人臉對齊（七）--JDA演算法

其實，這裡JDA之前在人臉檢測中解釋過，這裡再轉一篇的目的在於，此文更貼近論文，同時，JDA本來包含人臉檢測和人臉對齊，作為一個整體訓練和測試的。 轉自：http://blog.csdn.net/shixiangyun2/article/details/50809078 第一節： &nb

人臉識別之人臉對齊（六）--ERT演算法

1.概述 文章名稱：One Millisecond Face Alignment with an Ensemble of Regression Trees 文章來源：2014CVPR 文章作者：Vahid Kazemi ，Josephine Sullivan 簡要介紹：One Milliseco

人臉識別之人臉對齊（五）--ESR演算法

轉自：https://blog.csdn.net/app_12062011/article/details/52573024 原文：http://www.thinkface.cn/thread-2911-1-2.html 原文翻譯我看的好蛋疼，完全機器翻譯。甚至懷疑作者是否有通讀過一次

人臉識別之人臉對齊（四）--CLM演算法及概率圖模型改進

原文： http://blog.csdn.net/marvin521/article/details/11489453      04、概率圖模型應用例項         最近一篇文章《Deform

人臉對齊（二十一）--A Recurrent Encoder-Decoder Network for Sequential Face Alignment

轉自：https://blog.csdn.net/shuzfan/article/details/52438910 本次介紹一篇關於人臉關鍵點檢測(人臉對齊)的文章： 《ECCV16 A Recurrent Encoder-Decoder Network for Sequential Fac