1概述

隨著計算機視覺的迅速發展以及人臉識別技術的成熟, 人臉顏值測定受到越來越多的關注和研究。但話說回來，即使人工來測定，大家也口味各異，御姐蘿莉各有所愛。計算機又豈能判斷美醜呢？實際上科學家研究過人臉的美麗程度，並一直在開發相對應的”顏值演算法”。人臉的美麗吸引力可以通過對人臉影象進行定量化的特徵分析和特徵表達,通過採取合適的機器學習演算法,使得機器可對人臉美麗吸引力這個概念進行學習而得到可量化的描述。受到[1]心理學“平均臉假說”的啟發,提出了一種利用計算機影象處理技術實現平均臉合成的方法:該方法綜合考慮了人臉的形狀特徵和紋理特徵的平均,採用AAM(Active Appearance Model)演算法檢測人臉特徵點,利用Delaunay三角剖分演算法將人臉影象劃分為多個不同的區域,在基於廣義Procrustes分析(Generalized Procrustes Analysis, GPA)方法進行對準後的影象上根據Delaunay三角網所建立的對映關係,對相應的人臉子區域進行分段仿射變換,再對各影象進行加權平均,最終得到一張合成人臉影象。

實驗結果表明,該方法簡單可行,合成的人臉影象看上去美觀自然,五官勻稱,比例協調,輪廓形狀及膚色美觀,合成所得到的影象經過吸引力打分都能獲得平均水平以上的美觀程度,驗證了心理學的平均臉假說。大概就是“醜人多作怪，美人一個胚”的感覺吧。而正是這種“美人一個胚”的現象讓顏值演算法有了可行性。由此各大公司在此演算法上開發了相對應的應用軟體如:
同一張圖在不同應用中的測定

不同的人臉在同一應用中測定(百度AI為例)

市場調研
由於顏值測定是一項模組的應用與市場上如無人駕駛、影象識別技術不同，更多作為各大軟體體系上的加強功能，一般普遍應用於類似相機、P圖功能中娛樂模組應用，市場剛需性低，時效性、傳播性強。
成熟度分析:
(1)市場主流顏值打分軟體:
1.曠視科技2.騰訊AI開放平臺3.百度AI體驗中心4.顏值相機
(2)不同年齡不同膚色在顏值打分系統中評分測試(例曠視科技，列出部分測試):

特點:1.10次人臉評分女性給出分數、男性給出分數並不能準確識別性別
2.不同膚色給出分數無明顯差異
3.7張圖片評分分佈在50-60分左右，1張在40分，1張在70分以上
4.將圖片匯入其他軟體測試分數結果對比
軟體/圖片 1.jpg 2.jpg 3.jpg 4.jpg 5.jpg 6.jpg 7.jpg 8.jpg 9.jpg
曠視科技 79 55 62 67 69 56 45 61 48
騰訊AI 82 72 73 75 87 72 61 60 檢測失敗
百度AI 68 32 57 60 52 51 20 36 17
(1)評分標準不同總體趨勢相同識別模型、演算法可能類似
(2)檢測效果一般部分軟體識別bug多，軟體不成熟
(3)產品應用類似差異化不大
(4)產品面世時間較早，但仍在不斷改進

成熟度 競爭對手 受眾 產品使用頻率
75% 騰訊、百度、曠視科技、其他 15-30歲男女 低頻非剛需，時效性與傳播性強
2.研究現狀
[2]多特徵融合的人臉顏值預測
什麼是多特徵融合的人臉顏值呢?
基於人臉顏值特徵我們把人臉顏值分為幾何特徵與表觀特徵，幾何特徵包括人臉關鍵特徵點位置、關鍵位置距離資訊以及人臉各器官面積比例;表觀特徵包括LBP紋理特徵。將這兩種特徵進行串聯得到融合特徵。

人臉顏值測定的最新方法可以分為兩個部分，即人臉特徵測定與融合、人臉顏值測評
影象預處理階段
人臉影象收集時質量不同且伴有噪聲，明暗灰度也差異較大，對影象進行預處理直接影響後續對人臉特徵的提取與計算。影象預處理分為三步影象處理包括灰度化處理、位置檢測以及傾斜校正處理。
1.將影象進行灰度化處理
2.利用Haar分類器擷取人臉的大致區域
利用ASM演算法[3]標記出人臉的 68個點，這 68個點描述了人臉的主要器官，代表了整個人臉的形狀用(,)表示某個特徵點,取(, )分別為左右眼的座標，若縱座標的差值大於一個畫素值，表明人臉影象是傾斜的。人臉的傾斜角如式(1 )所示。根據傾斜角對影象進行反向旋轉，得到正向的人臉影象。

2.1人臉特徵測定部分
首先幾何特徵提取是基於ASM-68特徵向量，什麼是ASM-68特徵向量呢?
ASM-68特徵向量
根據ASM演算法將68個人臉特徵點的橫縱座標連線起來構成表徵人臉幾何特徵關鍵點的特徵向量但是由於原始影象角度問題會導致向量在計算過程中會出現誤差，所以要對向量進行歸一化處理包括(1)平移不變性(2)尺度不變性(3)旋轉不變性
平移不變性:平移不變性是指平移前後的影象可以完全重合。
尺度不變性:將特徵點進行正規化處理，把特徵向量正規化為單位向量。經過尺度變換之後人臉資料庫當中每一個人臉將會對映到人臉空間集合的一個值。
旋轉不變性:對特徵定義一個方向，然後在同一個方向上進行特徵描述就可以實現旋轉不變性。

人臉的幾何特徵提取:從兩類幾何特徵提取18維人臉距離特徵、面積特徵
2.1.1 18維人臉距離特徵
人到一定年齡以後，面部的器官位置資訊將不再隨著年齡的增長而變化( 手術或意外情況除外) ，理想的比例決定了人臉的美麗。根據 ASM - 68向量找出對應人臉上典型的18個距離特徵，在表1中對18個距離特徵進行了詳細的描述。 將得到的 18 維幾何距離特徵作為幾何特徵的第二部分，如式所示

2.1.2 面積特徵
由於18維人臉距離特徵並沒有突出人臉器官的大小、長度、面積等特徵，根據 ASM定位的關鍵點找到表徵各器官面積的三角形，如眼睛、鼻子、下巴、嘴等，將圖 3 所示的54個面積作為幾何特徵另一種表現形式，稱為三角形面積特徵。 將得到的54個三角形面積特徵歸一化後作為幾何特徵的第三部分，如式所示。(3)
2.1.3表觀特徵分析
表觀特徵表徵的是人臉的整體外貌和人臉的面板狀況等資訊。可以反映出如紋理資訊、人臉面板的狀態、顏色深淺面部資訊等。表觀特徵則選擇相當成熟的LBP特徵。
什麼是LBP特徵?
簡單來說，在影象的某個區域內，將中心畫素點 的畫素值作為閾值，相鄰畫素點與其進行對比，大於閾值標記為1，小於或等於則標記為0，在圖4中展示了LBP的編碼方法，產生8位二進位制數，作為該領域中心畫素點的 LBP 值。
(4)
對人臉影象進行 LBP 特徵向量的提取，得到一個256維的特徵向量，將該特徵向量進行歸一化得到人臉的表觀特徵，如式。
2.1.4人臉特徵融合階段
在前面進行了ASM－68特徵向量的提取和歸一化，幾何特徵中的距離及面積特徵和表觀 LBP 特徵的提取，幾何特徵顯示了人臉關鍵特徵點資訊、人臉各器官間的距離比例資訊以及面積特徵等，表觀特徵表徵了人臉的全域性特性。現在需要進行的是人臉特徵融合，表觀特徵和幾何特徵的特徵維度都不高，採用直接串聯的方式進行特徵融合。 上述融合特徵可以表示為式和式所示。
2.2人臉顏值測定資料庫
1.SCUT -FBP5500-Database-Release
地址:https://github.com/HCIILAB/SCUT-FBP5500-Database-Release

描述:SCUT-FBP5500資料集共有5500個正面，具有不同的屬性（男性/女性，亞洲/高加索人，年齡）和不同的標籤（面部標誌，5個等級的美容分數，美容分數分佈），允許不同的計算模型美容預測範例，例如亞洲/高加索男性/女性的基於外觀/基於形狀的面部美麗分類/迴歸/排名模型。
所有的影象被標記為美容得分從[1，5]到總共60個志願者，並且86個面部標誌也被定位到每個影象的顯著面部成分。具體來說，我們將面部地標儲存為’pts’格式，可以使用程式碼將其轉換為’txt’格式（例如，pts2txt.py）。我們開發了幾個基於Web的GUI系統，分別獲得面部美容評分和麵部標誌位置。


2.SCUT-FBP500-Database
網址:http://www.hcii-lab.net/data/SCUT-FBP/EN/introduce.html
描述:一種新穎的具有吸引力評級的人臉資料集，即SCUT-FBP資料集（用於面部美容感知的資料集），被開發用於這項工作中的自動面部美容感知。該資料集為評估面部吸引力預測的不同方法的效能提供了一個基準，其中包括最先進的深度學習方法。SCUT-FBP資料集包含500個具有吸引力評級的不同亞洲女性受試者，所有這些都通過評分分佈，標準差，一致性和自我一致性進行了驗證。基於面部吸引力預測的基準評估使用面部幾何特徵，紋理特徵和經典統計學習方法的不同組合以及深度學習方法來執行。

2.3人臉顏值評測標準
Pearson 相關係數
Pearson 相關係數即皮爾森相關係數( Pearson correlation coefficient) ，用來度量資料間是否存線上性關係，也表徵了變數間線性關係的強弱。用圖示的方式來展示就是判斷兩個資料集合是否在同一條直線上，可以通過計算兩個資料集合之間的距離用來衡量兩個資料集合的線性相關度。設 N 幅人臉影象的人工評 分值為{ x1，x2，…，xi，…，xN} ，利用本文的方法計算得到的分值為{ y1，y2，…，yi，…，yN } ，其中 xi 表示第 i 幅 影象的志願者分類結果，yi 表示第 i 幅影象的人臉顏值預測結果。相關係數 r 計算公式如式,r 值越高，表示人工分類結果與本文方法預測結果越接近，該方法的效能就越好，反之，則越差。

相關文獻
1)環球網. 英科學家繪製全球41個國家女性“平均臉”. 2013-9-23
中國知網:
1)東方女性人臉顏值量化演算法研究 作者:韓曉旭 單位:西北大學
2)基於多特徵融合的人臉顏值預測 作者:蔣婷；沈旭東；陸偉；袁政 單位:中國科技大學資訊科技學院
3)基於深度神經網路的顏值計算研究 作者:陳良仁 單位:中國計量學院
4)毛慧芸.人臉美麗吸引力的特徵分析與機器學習[D].華南理工大學，2011
5)王敏.人臉美麗分類演算法研究.西安電子科技大學

百度學術調研:
1)王兵. 檢測人臉顏值的方法、裝置和移動終端:, CN106778627A[P]. 2017.
鄭恩輝, 陳良仁, 富雅瓊,等. 一種基於卷積神經網路的人臉影象顏值計算方法:, CN 104850825 A[P]. 2015.
google學術調研:
1)Predicting Facial Beauty without Landmarks Authors:Douglas Gray,Kai Yu,Wei Xu,Yihong Gong
2)A Humanlike Predictor of Facial Attractiveness Authors:Amit Kagian, Gideon Dror, Tommer Leyvand, Daniel Cohen-Or, Eytan Ruppin
3)基於AdaBoost演算法的彩色影象人臉檢測研究作者:孫士明、王愛國、紀友芳
萬方資料:
1)深度自編碼器用於人臉美麗吸引力預測的研究A Study of Facial Beauty Attractiveness Prediction Based on the Deep Autoencoder 作者:李遠豪,甘俊英,LI Yuan-hao,GAN Jun-ying
2)Automatic analysis of facial attractiveness from video Authors:Kalayci, Selim Ekenel, Hazim Kemal Gunes, Hatice
3)A Bi-Prototype Theory of Facial Attractiveness Authors:
Fu Chang Chien-Hsing Chou
實驗結果表明,該方法簡單可行,合成的人臉影象看上去美觀自然,五官勻稱,比例協調,輪廓形狀及膚色美觀,合成所得到的影象經過吸引力打分都能獲得平均水平以上的美觀程度,驗證了心理學的平均臉假說。大概就是“醜人多作怪，美人一個胚”的感覺吧。而正是這種“美人一個胚”的現象讓顏值演算法有了可行性。由此各大公司在此演算法上開發了相對應的應用軟體如:
同一張圖在不同應用中的測定

不同的人臉在同一應用中測定(百度AI為例)

市場調研
由於顏值測定是一項模組的應用與市場上如無人駕駛、影象識別技術不同，更多作為各大軟體體系上的加強功能，一般普遍應用於類似相機、P圖功能中娛樂模組應用，市場剛需性低，時效性、傳播性強。
成熟度分析:
(1)市場主流顏值打分軟體:
1.曠視科技2.騰訊AI開放平臺3.百度AI體驗中心4.顏值相機
(2)不同年齡不同膚色在顏值打分系統中評分測試(例曠視科技，列出部分測試):

特點:1.10次人臉評分女性給出分數、男性給出分數並不能準確識別性別
2.不同膚色給出分數無明顯差異
3.7張圖片評分分佈在50-60分左右，1張在40分，1張在70分以上
4.將圖片匯入其他軟體測試分數結果對比
軟體/圖片 1.jpg 2.jpg 3.jpg 4.jpg 5.jpg 6.jpg 7.jpg 8.jpg 9.jpg
曠視科技 79 55 62 67 69 56 45 61 48
騰訊AI 82 72 73 75 87 72 61 60 檢測失敗
百度AI 68 32 57 60 52 51 20 36 17
(1)評分標準不同總體趨勢相同識別模型、演算法可能類似
(2)檢測效果一般部分軟體識別bug多，軟體不成熟
(3)產品應用類似差異化不大
(4)產品面世時間較早，但仍在不斷改進

成熟度 競爭對手 受眾 產品使用頻率
75% 騰訊、百度、曠視科技、其他 15-30歲男女 低頻非剛需，時效性與傳播性強
2.研究現狀
[2]多特徵融合的人臉顏值預測
什麼是多特徵融合的人臉顏值呢?
基於人臉顏值特徵我們把人臉顏值分為幾何特徵與表觀特徵，幾何特徵包括人臉關鍵特徵點位置、關鍵位置距離資訊以及人臉各器官面積比例;表觀特徵包括LBP紋理特徵。將這兩種特徵進行串聯得到融合特徵。

人臉顏值測定的最新方法可以分為兩個部分，即人臉特徵測定與融合、人臉顏值測評
影象預處理階段
人臉影象收集時質量不同且伴有噪聲，明暗灰度也差異較大，對影象進行預處理直接影響後續對人臉特徵的提取與計算。影象預處理分為三步影象處理包括灰度化處理、位置檢測以及傾斜校正處理。
1.將影象進行灰度化處理
2.利用Haar分類器擷取人臉的大致區域
利用ASM演算法[3]標記出人臉的 68個點，這 68個點描述了人臉的主要器官，代表了整個人臉的形狀用(,)表示某個特徵點,取(, )分別為左右眼的座標，若縱座標的差值大於一個畫素值，表明人臉影象是傾斜的。人臉的傾斜角如式(1 )所示。根據傾斜角對影象進行反向旋轉，得到正向的人臉影象。

2.1人臉特徵測定部分
首先幾何特徵提取是基於ASM-68特徵向量，什麼是ASM-68特徵向量呢?
ASM-68特徵向量
根據ASM演算法將68個人臉特徵點的橫縱座標連線起來構成表徵人臉幾何特徵關鍵點的特徵向量但是由於原始影象角度問題會導致向量在計算過程中會出現誤差，所以要對向量進行歸一化處理包括(1)平移不變性(2)尺度不變性(3)旋轉不變性
平移不變性:平移不變性是指平移前後的影象可以完全重合。
尺度不變性:將特徵點進行正規化處理，把特徵向量正規化為單位向量。經過尺度變換之後人臉資料庫當中每一個人臉將會對映到人臉空間集合的一個值。
旋轉不變性:對特徵定義一個方向，然後在同一個方向上進行特徵描述就可以實現旋轉不變性。

人臉的幾何特徵提取:從兩類幾何特徵提取18維人臉距離特徵、面積特徵
2.1.1 18維人臉距離特徵
人到一定年齡以後，面部的器官位置資訊將不再隨著年齡的增長而變化( 手術或意外情況除外) ，理想的比例決定了人臉的美麗。根據 ASM - 68向量找出對應人臉上典型的18個距離特徵，在表1中對18個距離特徵進行了詳細的描述。 將得到的 18 維幾何距離特徵作為幾何特徵的第二部分，如式所示

2.1.2 面積特徵
由於18維人臉距離特徵並沒有突出人臉器官的大小、長度、面積等特徵，根據 ASM定位的關鍵點找到表徵各器官面積的三角形，如眼睛、鼻子、下巴、嘴等，將圖 3 所示的54個面積作為幾何特徵另一種表現形式，稱為三角形面積特徵。 將得到的54個三角形面積特徵歸一化後作為幾何特徵的第三部分，如式所示。(3)
2.1.3表觀特徵分析
表觀特徵表徵的是人臉的整體外貌和人臉的面板狀況等資訊。可以反映出如紋理資訊、人臉面板的狀態、顏色深淺面部資訊等。表觀特徵則選擇相當成熟的LBP特徵。
什麼是LBP特徵?
簡單來說，在影象的某個區域內，將中心畫素點 的畫素值作為閾值，相鄰畫素點與其進行對比，大於閾值標記為1，小於或等於則標記為0，在圖4中展示了LBP的編碼方法，產生8位二進位制數，作為該領域中心畫素點的 LBP 值。
(4)
對人臉影象進行 LBP 特徵向量的提取，得到一個256維的特徵向量，將該特徵向量進行歸一化得到人臉的表觀特徵，如式。
2.1.4人臉特徵融合階段
在前面進行了ASM－68特徵向量的提取和歸一化，幾何特徵中的距離及面積特徵和表觀 LBP 特徵的提取，幾何特徵顯示了人臉關鍵特徵點資訊、人臉各器官間的距離比例資訊以及面積特徵等，表觀特徵表徵了人臉的全域性特性。現在需要進行的是人臉特徵融合，表觀特徵和幾何特徵的特徵維度都不高，採用直接串聯的方式進行特徵融合。 上述融合特徵可以表示為式和式所示。
2.2人臉顏值測定資料庫
1.SCUT -FBP5500-Database-Release
地址:https://github.com/HCIILAB/SCUT-FBP5500-Database-Release
描述:SCUT-FBP5500資料集共有5500個正面，具有不同的屬性（男性/女性，亞洲/高加索人，年齡）和不同的標籤（面部標誌，5個等級的美容分數，美容分數分佈），允許不同的計算模型美容預測範例，例如亞洲/高加索男性/女性的基於外觀/基於形狀的面部美麗分類/迴歸/排名模型。
所有的影象被標記為美容得分從[1，5]到總共60個志願者，並且86個面部標誌也被定位到每個影象的顯著面部成分。具體來說，我們將面部地標儲存為’pts’格式，可以使用程式碼將其轉換為’txt’格式（例如，pts2txt.py）。我們開發了幾個基於Web的GUI系統，分別獲得面部美容評分和麵部標誌位置。
2.SCUT-FBP500-Database
網址:http://www.hcii-lab.net/data/SCUT-FBP/EN/introduce.html
描述:一種新穎的具有吸引力評級的人臉資料集，即SCUT-FBP資料集（用於面部美容感知的資料集），被開發用於這項工作中的自動面部美容感知。該資料集為評估面部吸引力預測的不同方法的效能提供了一個基準，其中包括最先進的深度學習方法。SCUT-FBP資料集包含500個具有吸引力評級的不同亞洲女性受試者，所有這些都通過評分分佈，標準差，一致性和自我一致性進行了驗證。基於面部吸引力預測的基準評估使用面部幾何特徵，紋理特徵和經典統計學習方法的不同組合以及深度學習方法來執行。

2.3人臉顏值評測標準
Pearson 相關係數
Pearson 相關係數即皮爾森相關係數( Pearson correlation coefficient) ，用來度量資料間是否存線上性關係，也表徵了變數間線性關係的強弱。用圖示的方式來展示就是判斷兩個資料集合是否在同一條直線上，可以通過計算兩個資料集合之間的距離用來衡量兩個資料集合的線性相關度。設 N 幅人臉影象的人工評 分值為{ x1，x2，…，xi，…，xN} ，利用本文的方法計算得到的分值為{ y1，y2，…，yi，…，yN } ，其中 xi 表示第 i 幅 影象的志願者分類結果，yi 表示第 i 幅影象的人臉顏值預測結果。相關係數 r 計算公式如式,r 值越高，表示人工分類結果與本文方法預測結果越接近，該方法的效能就越好，反之，則越差。

相關文獻
1)環球網. 英科學家繪製全球41個國家女性“平均臉”. 2013-9-23
中國知網:
1)東方女性人臉顏值量化演算法研究 作者:韓曉旭 單位:西北大學
2)基於多特徵融合的人臉顏值預測 作者:蔣婷；沈旭東；陸偉；袁政 單位:中國科技大學資訊科技學院
3)基於深度神經網路的顏值計算研究 作者:陳良仁 單位:中國計量學院
4)毛慧芸.人臉美麗吸引力的特徵分析與機器學習[D].華南理工大學，2011
5)王敏.人臉美麗分類演算法研究.西安電子科技大學

百度學術調研:
1)王兵. 檢測人臉顏值的方法、裝置和移動終端:, CN106778627A[P]. 2017.
鄭恩輝, 陳良仁, 富雅瓊,等. 一種基於卷積神經網路的人臉影象顏值計算方法:, CN 104850825 A[P]. 2015.
google學術調研:
1)Predicting Facial Beauty without Landmarks Authors:Douglas Gray,Kai Yu,Wei Xu,Yihong Gong
2)A Humanlike Predictor of Facial Attractiveness Authors:Amit Kagian, Gideon Dror, Tommer Leyvand, Daniel Cohen-Or, Eytan Ruppin
3)基於AdaBoost演算法的彩色影象人臉檢測研究作者:孫士明、王愛國、紀友芳
萬方資料:
1)深度自編碼器用於人臉美麗吸引力預測的研究A Study of Facial Beauty Attractiveness Prediction Based on the Deep Autoencoder 作者:李遠豪,甘俊英,LI Yuan-hao,GAN Jun-ying
2)Automatic analysis of facial attractiveness from video Authors:Kalayci, Selim Ekenel, Hazim Kemal Gunes, Hatice
3)A Bi-Prototype Theory of Facial Attractiveness Authors:
Fu Chang Chien-Hsing Chou