Dynamic Graph CNN for Learning on Point Clouds
圖為使用提出的神經網路對點雲進行分割的結果。底部為神經網路架構示意圖。頂部為在網路的不同層上生成的特徵空間的結構,紅點到其他所有點的空間距離視覺化(從左到右是輸入和第1-3層的結果);最右邊的圖顯示了分割的結果。儘管他們在原始輸入空間上由很長的距離,我們可以觀察到深層的特徵空間結構如何捕獲相似的語義資訊,例如機翼、機身和渦輪機。點雲本身是缺乏拓撲資訊的,因此設計一個可以恢復利用拓撲資訊的模型可以極大的豐富點雲的表達能力。為此,我們提出一種新的神經網路模組EdgeConv
適用於基於CNN
的高維任務在點雲的分類和分割任務上。這個網路可以嵌入到現有的各種網路當中。和目前在點雲的外部進行處理(體素化)與對每個點進行處理(PointNet)相比,\(\color{red}{EdgeConv\ 有以下幾個吸引人的特性}\)
- 它結合了局部鄰域資訊。
- 它可以學習全域性形狀屬性。
- 在多層疊加之後,它可以在特徵空間上捕捉到潛在的長距離的語義特徵。
Introduction
PointNet
的方法實現了針對每個點進行獨立操作,然後使用對稱函式來實現置換不變性。關於PointNet
的擴充套件補充也只是考慮了點的鄰域資訊而不是單獨作用域每個點,以此去利用網路的區域性特徵去提升模型的表現,這些技術主要在區域性尺度上獨立處理點,以保持置換不變性。然後這種獨立性忽略了點和點之間的幾何關係,這帶來了無法捕獲區域性特徵的基本限制。\(\color{red}{這裡不知道怎麼去理解}\)
我的理解是原先的
PointNet
沒有考慮到區域性特徵,之後的補充方案例如PointNet++
考慮了這個缺點並補上了區域性特徵這個東西。
文中講,這種獨立的處理忽略了點與點之間的關係,導致缺少利用點雲的拓撲資訊。
這裡提出的方案很好的利用了點雲的拓撲資訊。
為了解決這個問題,此處提出了一種新的操作,稱為EdgeConv
,他在保持置換不變性的同時很好的捕獲了局部集合結構。EdgeConv
並不會直接在它嵌入的地方生成點的特徵,而是生成描述點與其相鄰點之間關係的邊
特徵。
本文將EdgeConv
直接嵌入到PointNet
上,進行展示,可以發現其獲得了巨大的效能提升。
主要貢獻:
- 提出
EdgeConv
,以更好地捕獲點雲區域性集合特徵,並保持置換不變性。 - 我們在下面展示了我們的模型可以通過在層與層之間動態的更新關係圖來學習對點進行語義分組。
- 我們演示了
EdgeConv
可以整合到多個現有的Pipline
中進行點雲處理。 - 我們對
EdgeConv
進行了管飯的分析和測試,並表明他在基準資料集上實現了最佳效能。 - 這東西有原始碼。
相關工作
手工設計特徵:集合資料處理和分析中的各種任務,包括分割、分類和匹配,都需要一些形狀之間區域性相似性的概念。傳統上,這種相似性是通過構造捕獲區域性集合結構的特徵描述符去建立起來的。
我們的方法
我們提出了一種受PointNet
和convolution
啟發的方法。然而並不像PointNet
那樣單獨處理每個點,而是以圖神經網路的精神,通過構造區域性鄰域圖並在相鄰點對的邊上應用卷積式運算來利用區域性集合結構。不像圖CNNs
那樣,我們的圖不是固定的,而是在網路的每一層之後動態更新。