1. 程式人生 > >開源人臉106關鍵點 HyperLandmark-開源人臉106點關鍵點檢測SDK

開源人臉106關鍵點 HyperLandmark-開源人臉106點關鍵點檢測SDK

https://github.com/zeusees/HyperLandmark github地址,高精度
https://github.com/lsy17096535/face-landmark github地址,低精度

HyperLandmark-開源人臉106點關鍵點檢測SDK

2018年07月19日 15:25:44 閱讀數:3260
																														</div>
			<div class="operating">
													</div>
		</div>
	</div>
</div>
<article>
	<div id="article_content" class="article_content clearfix csdn-tracking-statistics" data-pid="blog" data-mod="popu_307" data-dsm="post">
							<div class="article-copyright">
				版權宣告:本文為博主原創文章,未經博主允許不得轉載。					https://blog.csdn.net/lsy17096535/article/details/81116221				</div>
							            <div class="markdown_views prism-atom-one-dark">
						<!-- flowchart 箭頭圖示 勿刪 -->
						<svg xmlns="http://www.w3.org/2000/svg" style="display: none;"><path stroke-linecap="round" d="M5,0 0,2.5 5,5z" id="raphael-marker-block" style="-webkit-tap-highlight-color: rgba(0, 0, 0, 0);"></path></svg>
						<h1 id="1-簡介"><a name="t0"></a>1. 簡介</h1>

人臉關鍵點檢測,是人臉識別、視訊娛樂化等應用的基礎演算法,用於標定人臉輪廓及五官。研究人員大多基於300w,helen等68點資料集進行演算法的研究,存在訓練集小,標定點不充分等因素。目前業內主流演算法包括face++及商湯的人臉標定sdk,支援106點人臉關鍵點標定。北京智雲檢視科技有限公司開源了一款106人臉標定SDK,在主流android平臺每幀速度5-8ms,速度快,穩定性高,效果與商湯及face++人臉標定SDK效果基本一致,這裡提供給大家免費使用。

2. 開發步驟

2.1. Shufflenet-v2

  • 為了獲得更好的效能,近些年設計的CNN更深,更復雜,這樣明顯阻礙了模型的部署應用。而手機端的應用越來越廣泛,因此,一種輕量化,高效率的網路——Shufflenet,應運而生。ECCV 2018,face++團隊將Shufflenet-V1的升級版——Shufflenet-V2.我們改進了Shufflenet-v2的結構,用於關鍵點特徵提取。

2.2. Wing Loss

  • Wing Loss for Robust Facial Landmark Localisation with Convolutional Neural Networks
  • 近幾年,人臉關鍵點檢測大多在“由粗到精”(coarse to fine)上研究,而這篇文章則另闢蹊徑。依作者所說,這是第一篇在人臉關鍵點檢測任務上對loss function進行討論分析的文章,文章在loss function上進行改進,為人臉關鍵點檢測任務提出“專用”的loss function——Wing loss,作者的出發點值得借鑑。Wing Loss
  • *

2.3. 人臉姿態估計

  • 人臉姿態估計,顧名思義,給定一張人臉影象,確定其姿態,姿態由什麼構成呢?很簡單(pitch,yaw,roll)三種角度,分別代表上下翻轉,左右翻轉,平面內旋轉的角度。
    人臉姿態估計圖
    目前,人臉姿態估計有多種方法,可以分為基於模型的方法,基於表觀的方法,基於分類的方法。我之前做過 這方面的調研,調研的結果很明顯,基於模型的方法得到的效果最好,因為其得到的人臉姿態是連續的,而另外兩種,是離散的,並且很耗時間。基於模型的估計方法的前提是,手頭必須具備兩樣東西,一個是人臉特徵點(眼鏡,嘴巴,鼻子等處的畫素位置),另外一個,是需要自己製作一個3維的,正面的“標準模型”。演算法最重要的還是思想,其餘諸如流程什麼的,都是實現思想的手段而已。人臉姿態估計的思想:旋轉三維標準模型一定角度,直到模型上“三維特徵點”的“2維投影”,與待測試影象上的特徵點(影象上的特徵點顯然是2維)儘量重合。這時候我們腦海中就應該浮現出一種詭異的場景:在幽暗的燈光中,一個發著淡藍色光芒的人皮面具一點點的“自我調整”,突然一下子“完美無缺”的“扣在了你的臉上”。這就是人臉姿態估計的思想。參考:人臉姿態估計

2.4. 多工學習

  • 我們在訓練過程中,加入了多工,包括微笑、張嘴、墨鏡、年齡、性別等屬性的識別。

3.後記

  • 人臉標定目前是短視訊社交、人臉識別領域應用廣泛,我們旨在提供一種可行的方案,讓更多的使用者能夠體驗新的演算法帶來的效果提升,同時提供一個交流的平臺,使得更多的演算法愛好者進行交流。
  • 開源實現
  • 北京智雲檢視科技有限公司

4.參考連結