HyperLandmark-開源人臉106點關鍵點檢測SDK

																														</div>
			<div class="operating">
													</div>
		</div>
	</div>
</div>
<article>
	<div id="article_content" class="article_content clearfix csdn-tracking-statistics" data-pid="blog" data-mod="popu_307" data-dsm="post">
							<div class="article-copyright">
				版權宣告：本文為博主原創文章，未經博主允許不得轉載。					https://blog.csdn.net/lsy17096535/article/details/81116221				</div>
							            <div class="markdown_views prism-atom-one-dark">
						<!-- flowchart 箭頭圖示 勿刪 -->
						<svg xmlns="http://www.w3.org/2000/svg" style="display: none;"><path stroke-linecap="round" d="M5,0 0,2.5 5,5z" id="raphael-marker-block" style="-webkit-tap-highlight-color: rgba(0, 0, 0, 0);"></path></svg>
						<h1 id="1-簡介"><a name="t0"></a>1. 簡介</h1>
 

人臉關鍵點檢測，是人臉識別、視訊娛樂化等應用的基礎演算法，用於標定人臉輪廓及五官。研究人員大多基於300w，helen等68點資料集進行演算法的研究，存在訓練集小，標定點不充分等因素。目前業內主流演算法包括face++及商湯的人臉標定sdk，支援106點人臉關鍵點標定。北京智雲檢視科技有限公司開源了一款106人臉標定SDK，在主流android平臺每幀速度5-8ms，速度快，穩定性高，效果與商湯及face++人臉標定SDK效果基本一致，這裡提供給大家免費使用。

2. 開發步驟

2.1. Shufflenet-v2

• 為了獲得更好的效能，近些年設計的CNN更深，更復雜，這樣明顯阻礙了模型的部署應用。而手機端的應用越來越廣泛，因此，一種輕量化，高效率的網路——Shufflenet，應運而生。ECCV 2018，face++團隊將Shufflenet-V1的升級版——Shufflenet-V2.我們改進了Shufflenet-v2的結構，用於關鍵點特徵提取。

2.2. Wing Loss

• Wing Loss for Robust Facial Landmark Localisation with Convolutional Neural Networks
• 近幾年，人臉關鍵點檢測大多在“由粗到精”（coarse to fine）上研究，而這篇文章則另闢蹊徑。依作者所說，這是第一篇在人臉關鍵點檢測任務上對loss function進行討論分析的文章，文章在loss function上進行改進，為人臉關鍵點檢測任務提出“專用”的loss function——Wing loss，作者的出發點值得借鑑。
*

2.3. 人臉姿態估計

• 人臉姿態估計，顧名思義，給定一張人臉影象，確定其姿態，姿態由什麼構成呢？很簡單（pitch，yaw，roll）三種角度，分別代表上下翻轉，左右翻轉，平面內旋轉的角度。
  
  目前，人臉姿態估計有多種方法，可以分為基於模型的方法，基於表觀的方法，基於分類的方法。我之前做過 這方面的調研，調研的結果很明顯，基於模型的方法得到的效果最好，因為其得到的人臉姿態是連續的，而另外兩種，是離散的，並且很耗時間。基於模型的估計方法的前提是，手頭必須具備兩樣東西，一個是人臉特徵點（眼鏡，嘴巴，鼻子等處的畫素位置），另外一個，是需要自己製作一個3維的，正面的“標準模型”。演算法最重要的還是思想，其餘諸如流程什麼的，都是實現思想的手段而已。人臉姿態估計的思想：旋轉三維標準模型一定角度，直到模型上“三維特徵點”的“2維投影”，與待測試影象上的特徵點（影象上的特徵點顯然是2維）儘量重合。這時候我們腦海中就應該浮現出一種詭異的場景：在幽暗的燈光中，一個發著淡藍色光芒的人皮面具一點點的“自我調整”，突然一下子“完美無缺”的“扣在了你的臉上”。這就是人臉姿態估計的思想。參考：人臉姿態估計

2.4. 多工學習

• 我們在訓練過程中，加入了多工，包括微笑、張嘴、墨鏡、年齡、性別等屬性的識別。

3.後記

• 人臉標定目前是短視訊社交、人臉識別領域應用廣泛，我們旨在提供一種可行的方案，讓更多的使用者能夠體驗新的演算法帶來的效果提升，同時提供一個交流的平臺，使得更多的演算法愛好者進行交流。
• 開源實現
• 北京智雲檢視科技有限公司

4.參考連結

• https://blog.csdn.net/u011995719/article/details/79435615
• https://blog.csdn.net/u011995719/article/details/80150508
• https://github.com/lsy17096535/face-landmark