點選上方“3D視覺工坊”，選擇“星標”

乾貨第一時間送達

作者丨[email protected]知乎

來源丨https://zhuanlan.zhihu.com/p/157489233

Abstract

Motivation:PointNet不能捕捉區域性結構資訊，因此限制了其在細粒度任務和複雜場景的泛化能力。

作者提出了一個層級的網路來學習上下文尺度逐漸增大的區域性特徵。其次，點雲中的點分散式不均勻的。為此，作者提出了一個新穎的點集學習層來自適應的學習多尺度特徵。

Introduction

PointNet++的想法很簡單，首先使用距離度量將點雲分成若個個有重疊的子區域。使用網路在這些子區域上提取特徵。然後像CNN一樣，將這些小的子區域重組，組成多個更大的子區域（這也就相當於感受野增大）來提取更高階的資訊。直至重組到整個點集被包含，提取整個點集資訊。

需要解決的兩個關鍵問題：

1. 如何將點集劃分成多個子區域；

作者選用farthest point sampling(FPS)演算法在整個點集中選點（其實就是為了保證你所選中的點，幾乎覆蓋了整個點集。例如，一條狗，隨機選取的時候可能選中的點只包含了頭部和身子，完全忽略了腿和尾巴）。點選完後，使用鄰域球(neighborhood ball)來得到一個子區域（可以理解成，一張大的圖片被分成了一個個的patch）。最後使用pointNet對這些“patch"抽取特徵。

2. 如何通過特徵提取器提取特徵。

作者選用PointNet作者特徵提取器。

作者還利用了多尺度鄰域資訊來達到增強模型魯棒性和捕捉細節資訊的能力。

Method

該網路是由具有層級結構的大量set abstraction levels組成。set abstraction levels是由三個層組成，分別為：Sampling layer, Grouping layer and PointNet layer.

Sampling layer:

使用FPS來選擇每一個區域的中心點。

Grouping layer:

得到一個區域的中心點後，可以使用ball query或者knn方法得到一系列屬於該區域的點集（做影象出身的可以理解成一個個patch）。作者在文中說到，ball query所得到的點集確保了一個固定的區域尺度，即使在不同的空間中，模型提取的區域性區域特徵更加泛化。（大白話就是：ball query可以確保你得到的點在一個半徑固定的圓中。knn雖然也是選出K個點，但是這K個點的不一定在一個半徑固定的圓中）。

在CNN中我們通常使用3*3卷積對9個點來提取特徵或者5*5卷積對25個畫素來抽取影象特徵。在這裡，得到的這些點就是你需要抽取特徵的物件。（從影象轉到點雲處理的我，理解這個理解了好久。。。。）

PointNet layer：

使用PointNet來對一個個patch提取特徵。

值得注意的是，輸入pointnet的座標需要進行一個處理。就是將每個點的座標減去中心點座標。其實這個也很好理解，我們使用pointnet來提取的是這個patch的特徵，座標剪完就是個相對座標（相對於一個patch中心點的 座標）。如果不減的話，你的座標屬於整個點雲空間，那你提取的資訊到底是想關於這個patch還是關於整個資料？

Robust Feature Learning under Non-Uniform Sampling Density：

1.Multi-scale grouping（MSG)

這個很簡單也很好理解。例如一張影象，你可以提取3*3、5*5，7*7等大小的patch。在這裡也一樣，改變上述圓的半徑自然尺度也不一樣。

2.Multi-resolution grouping（MRG)這個理解了很久，圖b一開始是真的沒看明白。。。

假如說現在有一個區域，我們先group成10組，抽取特徵，再將這個區域group成3組，再提取特徵（e.g. 兩個set abstract level)，構成了左邊的那個向量。右邊的向量就是對這個區域直接提取特徵。這個方法明顯計算複雜度低於MSG。

除此之外，作者還是用dropout隨機的刪除一些點，來達到不同稀疏程度的效果（可以理解成在影象中我們隨機的blur一些區域，來達到資料擴充的效果）。

本文僅做學術分享，如有侵權，請聯絡刪文。

下載1

在「3D視覺工坊」公眾號後臺回覆：3D視覺，即可下載 3D視覺相關資料乾貨，涉及相機標定、三維重建、立體視覺、SLAM、深度學習、點雲後處理、多檢視幾何等方向。

下載2

在「3D視覺工坊」公眾號後臺回覆：3D視覺github資源彙總，即可下載包括結構光、標定原始碼、缺陷檢測原始碼、深度估計與深度補全原始碼、點雲處理相關原始碼、立體匹配原始碼、單目、雙目3D檢測、基於點雲的3D檢測、6D姿態估計原始碼彙總等。

下載3

在「3D視覺工坊」公眾號後臺回覆：相機標定，即可下載獨家相機標定學習課件與視訊網址；後臺回覆：立體匹配，即可下載獨家立體匹配學習課件與視訊網址。

重磅！3DCVer-學術論文寫作投稿交流群已成立

掃碼新增小助手微信，可申請加入3D視覺工坊-學術論文寫作與投稿微信交流群，旨在交流頂會、頂刊、SCI、EI等寫作與投稿事宜。

同時也可申請加入我們的細分方向交流群，目前主要有3D視覺、CV&深度學習、SLAM、三維重建、點雲後處理、自動駕駛、CV入門、三維測量、VR/AR、3D人臉識別、醫療影像、缺陷檢測、行人重識別、目標跟蹤、視覺產品落地、視覺競賽、車牌識別、硬體選型、學術交流、求職交流等微信群。

一定要備註：研究方向+學校/公司+暱稱，例如：”3D視覺+ 上海交大 + 靜靜“。請按照格式備註，可快速被通過且邀請進群。原創投稿也請聯絡。

▲長按加微信群或投稿

▲長按關注公眾號

3D視覺從入門到精通知識星球：針對3D視覺領域的知識點彙總、入門進階學習路線、最新paper分享、疑問解答四個方面進行深耕，更有各類大廠的演算法工程人員進行技術指導。與此同時，星球將聯合知名企業釋出3D視覺相關演算法開發崗位以及專案對接資訊，打造成集技術與就業為一體的鐵桿粉絲聚集區，近2000星球成員為創造更好的AI世界共同進步，知識星球入口：

學習3D視覺核心技術，掃描檢視介紹，3天內無條件退款

圈裡有高質量教程資料、可答疑解惑、助你高效解決問題

覺得有用，麻煩給個贊和在看~