目錄

• 寫在前面
• 人臉檢測中的影象金字塔
• 程式碼實現
  • MTCNN
  • Seetaface
• 總結
• 參考

部落格：blog.shinelee.me | 部落格園 | CSDN

寫在前面

在文章《特徵，特徵不變性，尺度空間與影象金字塔》中我們初步談到了影象金字塔，在這篇文章中將介紹如何在人臉檢測任務中構建輸入影象金子塔。

人臉檢測中的影象金字塔

人臉檢測任務，輸入是一張影象，輸出影象中人臉所在位置的Bounding Box。因為卷積神經網路強大的特徵表達能力，現在的人臉檢測方法通常都基於卷積神經網路，如MTCNN等。網路確定後，通常只適用於檢測一定尺寸範圍內的人臉，比如MTCNN中的P-Net，用於判斷\(12 \times 12\)

構建金字塔需要解決幾個問題：

1. 金字塔要建多少層，即一共要生成多少張影象
2. 每張影象的尺寸如何確定

下面直接從程式碼層面看是如何實現的，也可以直接跳到總結檢視結論。

程式碼實現

MTCNN

以下為MTCNN 人臉檢測 matlab程式碼

在人臉檢測，通常要設定要原圖中要檢測的最小人臉尺寸，原圖中小於這個尺寸的人臉不必care，MTCNN程式碼中為minsize=20

現在就可以回答上面的兩個問題了：

1. 給定輸入影象，根據設定的最小人臉尺寸以及網路能檢測的人臉尺寸，確定影象金子塔中最大影象和最小影象
2. 根據設定的金字塔層間縮放比率，確定每層影象的尺寸

Seetaface

可以再看一下Seetaface中是如何構建影象金字塔的，Seetaface人臉檢測使用的是非深度學習的方法，檢測視窗大小impl_->kWndSize = 40，其對應MTCNN中網路適宜檢測的人臉大小。

// 設定最大人臉，計算最大
void FaceDetection::SetMinFaceSize(int32_t size) {
  if (size >= 20) {
    impl_->min_face_size_ = size;
    impl_->img_pyramid_.SetMaxScale(impl_->kWndSize / static_cast<float>(size));
  }
}

// 設定最大尺度
inline void SetMaxScale(float max_scale) {
  max_scale_ = max_scale;
  scale_factor_ = max_scale;
  UpdateBufScaled();
}

// 設定最小人臉
void FaceDetection::SetMaxFaceSize(int32_t size) {
  if (size >= 0)
    impl_->max_face_size_ = size;
}

// 設定相鄰層放縮比率
void FaceDetection::SetImagePyramidScaleFactor(float factor) {
  if (factor >= 0.01f && factor <= 0.99f)
    impl_->img_pyramid_.SetScaleStep(static_cast<float>(factor));
}

// 在金字塔中檢測人臉
std::vector<seeta::FaceInfo> FaceDetection::Detect(
    const seeta::ImageData & img) {
  int32_t min_img_size = img.height <= img.width ? img.height : img.width;
  min_img_size = (impl_->max_face_size_ > 0 ? (min_img_size >= impl_->max_face_size_ ? 
  impl_->max_face_size_ : min_img_size) : min_img_size);
  // ...
  // 最小尺度為 impl_->kWndSize / min_img_size，在Seetaface中impl_->kWndSize=40
  impl_->img_pyramid_.SetMinScale(static_cast<float>(impl_->kWndSize) / min_img_size);
  // ...
  impl_->pos_wnds_ = impl_->detector_->Detect(&(impl_->img_pyramid_));
  // ...
}

// 金子塔中對應尺度的影象
const seeta::ImageData* ImagePyramid::GetNextScaleImage(float* scale_factor) {
  // initial scale_factor_ = max_scale = impl_->kWndSize / min_face_size
  if (scale_factor_ >= min_scale_) { // min_scale_ = impl_->kWndSize / min_img_size
    if (scale_factor != nullptr)
      *scale_factor = scale_factor_;

    width_scaled_ = static_cast<int32_t>(width1x_ * scale_factor_);
    height_scaled_ = static_cast<int32_t>(height1x_ * scale_factor_);

    seeta::ImageData src_img(width1x_, height1x_);
    seeta::ImageData dest_img(width_scaled_, height_scaled_);
    src_img.data = buf_img_;
    dest_img.data = buf_img_scaled_;
    seeta::fd::ResizeImage(src_img, &dest_img);
    scale_factor_ *= scale_step_;

    img_scaled_.data = buf_img_scaled_;
    img_scaled_.width = width_scaled_;
    img_scaled_.height = height_scaled_;
    return &img_scaled_;
  } else {
    return nullptr;
  }
}

看程式碼就很清晰了，與MTCNN是相通的。

總結

人臉檢測中的影象金字塔構建，涉及如下資料：

1. 輸入影象尺寸，定義為(h, w)
2. 最小人臉尺寸，定義為 min_face_size
3. 最大人臉尺寸，如果不設定，為影象高寬中較短的那個，定義為max_face_size
4. 網路/方法能檢測的人臉尺寸，定義為net_face_size
5. 金字塔層間縮放比率，定義為factor

縮放影象是為了將影象中的人臉縮放到網路能檢測的適宜尺寸，影象金字塔中
最大尺度max_scale = net_face_size / min_face_size，
最小尺度min_scale = net_face_size / max_face_size，
中間的尺度scale_n = max_scale * (factor ^ n)，
對應的影象尺寸為(h_n, w_n) = (h * scale_n, w_n * scale_n)。

以上。

參考

• MTCNN_face_detection_alignment
• SeetaFaceEngine