Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Networks 論文閱讀

阿新 • • 發佈：2018-12-30

一、概述

本文提出了一個多工的人臉檢測模型，可以同時進行人臉檢測和人臉特徵點提取。這個框架主要由三個CNN級聯的方式實現。

stage1：通過一個淺的CNN來產生一些候選框
stage2：通過一個較複雜的CNN，對候選框進一步刪選得到更精細的區域
stage3：通過一個強大的CNN，對結果進一步處理，輸出人臉邊框和5個特徵點位置

二、實現細節

具體的實現過程如上圖所示，總的來說分為四個部分

給定一張圖片，首先更改圖片的大小以建立影象金字塔，這作為模型的資料輸入
通過一個全卷積網路(P-Net)，生成候選框和bounding box regression vectors，使用bounding box regression vectors校準這些候選框，使用NMS合併重疊候選框

上層所有的候選框會被傳給當前網路(R-Net)，這會進一步篩選，再使用bounding box regression vectors和NMS
和上面類似，使用O-Net輸出最終的人臉框和特徵點位置

CNN結構：

三、訓練

演算法需要實現三個任務，分別是人臉與非人臉分類，bounding box 迴歸，人臉特徵點定位

1.人臉與非人臉分類

$L_i^{det}=-(y_i^{det}log(p_i)+(1-y_i^{det})(1-log(p_i)))$

類似於交叉熵損失函式，這裡的y表示ground_truth label，p表示網路結果輸出是人臉的概率。

2.bounding box迴歸

$L_i{box}=\left \| \tilde{y}_i^{box}-y_i^{box} \right \|}_2^2$

這裡的 $y_i^{box}\epsilon R^4$

，標誌著左上角點的座標，height和width

3.人臉特徵點定位

$L_i^{landmark}=\left \| \tilde{y}_i^{landmark}-y_i^{landmark} \right \|_2^2$

這裡的 $y_i^{landmark}\epsilon R^{10}$

4.多目標訓練

$min\sum{_{i=1}^N} \sum{_{j\in {\{det,box,landmark\}}}}\alpha_j\beta_i^jL_i^j$

這裡的 $\alpha_j$ 表示任務的重要性， $\beta_i^j$ 樣本標籤， L_i^j 代表上述三個損失函式。

這裡在P-Net和R-Net使用了 $\alpha_{det}=1,\alpha_{box}=0.5,\alpha_{landmark}=0.5$ ，在O-Net使用了 $\alpha_{det}=1,\alpha_{box}=0.5,\alpha_{landmark}=1$

這裡資料集分類以下四個類別

Positive
Negative
Part faces
Landmark face

其中Negative和Positive用於人臉分類，Positive和Part faces用於bounding box迴歸，Landmark用於特徵點定位。

Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Networks 論文閱讀

一、概述本文提出了一個多工的人臉檢測模型，可以同時進行人臉檢測和人臉特徵點提取。這個框架主要由三個CNN級聯的方式實現。 stage1：通過一個淺的CNN來產生一些候選框 stage2：通過一個較複雜的CNN，對候選框進一步刪選得到更精細的區域 stage3：通過一個強大

CPU Real-time Face Detection and Alignment-68 using MTCNN

mtcnn的landmark採用了5點迴歸，博主嘗試了68點迴歸，發現效果不錯！主要特點：同時完成人臉檢測和特徵點回歸，演算法速度實時！開源地址：https://github.com/samylee/mtcnn_landmark68（歡迎star和fork） 1

Face Detection and Tracking Using the KLT Algorithm

Face Detection and Tracking Using the KLT Algorithm from: https://cn.mathworks.com/help/vision/examples/face-detection-and-tracking-using-

Face Detection in Go using OpenCV and MachineBox @ Alex Pliutau's Blog

I found a very nice developer-friendly project MachineBox, which provides some machine learning tools inside Docker Container, including fac

論文閱讀計劃2(Deep Joint Rain Detection and Removal from a Single Image)

rem 領域深度學習 conf mage 圖片多任務 RoCE deep Deep Joint Rain Detection and Removal from a Single Image[1] 簡介：多任務全卷積從單張圖片中去除雨跡。本文在現有的模型上，開發了一種多

轉：人臉識別技術大總結1——Face Detection & Alignment

人臉識別技術大總結1——Face Detection & Alignment 搞了一年人臉識別，尋思著記錄點什麼，於是想寫這麼個系列，介紹人臉識別的四大塊：Face detection, alignment, verification and identi

Face Detection in Python Using a Webcam β Real Python

This tutorial is a follow-up to , so make sure you’ve gone through that first post. As mentioned in the first post, it’s quite easy to move from detecti

『論文閱讀』Attention-Based Recurrent Neural Network Models for Joint Intent Detection and Slot Filling

來自於論文：《Attention-Based Recurrent Neural Network Models for Joint Intent Detection and Slot Filling》基於attention的encoder-decoder網

論文學習:Learning to Generate Time-Lapse Videos Using Multi-StageDynamic Generative Adversarial Networks

Welcome To My Blog 這篇論文收錄於KDD2018,有關視訊生成的,論文有個專案主頁,題目翻譯過來大致是:使用多階段動態生成對抗網路學習生成time-lapse(延時)視訊. 多階段具體來說是兩階段, 1. 第一階段(Base-Net): 注重每一幀內容的真實性

Feed Forward and Backward Run in Deep Convolution Neural Network 論文閱讀筆記

徒手實現CNN：綜述論文詳解卷積網路的數學本質 Abstract 對卷積網路的數學本質和過程仍然不是太清楚，這也就是本論文的目的。我們使用灰度圖作為輸入資訊影象， ReLU 和 Sigmoid 啟用函式構建卷積網路的非線性屬性，交叉熵損失函式用於計算

【論文閱讀】Human Action Recognition using Factorized Spatio-Temporal Convolutional Networks

【論文閱讀】Human Action Recognition using Factorized Spatio-Temporal Convolutional Networks 這是一篇15年ICCV的論文，在15年的時候，3D卷積網路剛剛興起，但是因為3D卷積網路的引數量較多，而且訓練資料

3D人臉重建：《Joint 3D Face Reconstruction and Dense Alignment with Position Map Regression Network》

《Joint 3D Face Reconstruction and Dense Alignment with Position Map Regression Network》目錄 0 前言 1 概述 2 相關工作

論文筆記-Joint Deep Modeling of Users and Items Using Reviews for Recommendation

一個 solved default view http ati onf 評分分享基本思路：利用用戶和商品的評論構建CNN預測評分。網絡結構： user review網絡與 item review網絡結構一致，僅就前者進行說明從user review tex

【OverFeat】《OverFeat：Integrated Recognition, Localization and Detection using Convolutional Networks》

ICLR-2014 全稱為「International Conference on Learning Representations」（國際學習表徵會議），由位列深度學習三大巨頭之二的 Yoshua Bengio 和 Yann LeCun 牽頭創辦。詳細介紹可

人臉識別技術大總結1——Face Detection & Alignment

原文地址為：人臉識別技術大總結1——Face Detection & Alignment搞了一年人臉識別，尋思著記錄點什麼，於是想寫這麼個系列，介紹人臉識別的四大塊：Face detection, alignment, verification and identif

Deep learning based Object Detection and Instance Segmentation using Mask R

A few weeks back we wrote a post on Object detection using YOLOv3. The output of an object detector is an array of bounding boxes around objects detected i

faced: CPU Real Time face detection using Deep Learning

What is the problem?There are many scenarios where a single class object detection is needed. This means that we want to detect the location of all objects

OverFeat: Integrated Recognition, Localization and Detection using Convolutional Networks

從layer-5 pre-pool到layer-5 post-pool：這一步的實現是通過池化大小為(3,3)進行池化，然後△x=0、1、2,△y=0、1、2，這樣我們可以得到對於每一張特徵圖，我們都可以得到9幅池化結果圖。以上面表格中的sacle1為例，layer-5 pre-pool大小是17*17，經過

論文閱讀：Deep MANTA: A Coarse-to-fine Many-Task Network for joint 2D and 3D vehicle analysis

這篇論文是在2017年3月22日發表在CVPR上的，作者在這篇論文中提出了一個叫做深度從粗糙到精細化的多工卷積神經網路（Deep MANTA），該模型可以用於對一張圖片中的車輛進行多工的分析。該網路同時執行的多工包括：車輛檢測、部件定位、可見性描述和三維形

SOD-MTGAN: Small Object Detection via Multi-Task Generative Adversarial Network

SOD-MTGAN: Small Object Detection via Multi-Task Generative Adversarial Network 基於多工GAN的細小物體檢測摘要物體檢測是計算機視覺中的一個基本而重要的問題。雖然在大規模檢測基準（例如COCO資料集）中對

Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Networks 論文閱讀

一、概述

二、實現細節

三、訓練

相關推薦