Abstract

1.點雲不規則點所表示的形狀是很難分析的，本文將規則的卷積操作應用了不規則的點雲分析上，稱為Relation-Shape Convolutional Neural Network，主要是為了學習點和點之間的幾何拓撲限制。

ps：拓撲是研究幾何圖形或空間在連續改變形狀後還能保持不變的一些性質的一個學科。它只考慮物體間的位置關係而不考慮它們的形狀和大小。

2.區域性點集的權重必須從預定義的幾何先驗中學習高階的關係表示式，這樣可以獲得含有明顯空間佈局的區域性點的表示

3.除了RS-CNN基本模組外，還開發了一個層次化架構用於空間上下文的學習。

Introduction

注：P是輸入點雲

1.點雲學習的難度有：
（1）P是無序的,因此要求學習到的表示具有排列不變性（對於同一點雲的不同矩陣表示，學習到的特徵是一樣的）
（2）對平移、旋轉等剛體變換具有魯棒性
（3）P形成一個基本的形狀， 學習到的表示要具有區分性的形狀資訊（點和點之間構成了形狀）

問題（1）已通過PointNet網路的對稱函式得到了很好的解決，而（2）和（3）仍然需要全面探索。

（核心思想）2.首先選擇中心點，然後通過knn的方式獲得區域性領域點，接著從中心點和鄰域點之間的低層關係中學習到包含形狀資訊的高層卷積權重，並且使用一個層次化的 CNN-like architecture來實現點雲上下文形狀的學習。

3. Shape-Aware Representation Learning

3.1. Relation-Shape Convolution

1.Modeling

為了克服這個問題，我們對區域性點進行建模子集Psub⊂R3成為球形鄰域，取樣點xi為質心，周圍點為
它的鄰居xj∈N（xi）。然後，我們的目標是學習此鄰域的表示f Psub，應區別對待地編碼基本形狀資訊。其中x是3D點，f是特徵向量。 dij是xi和xj之間的歐式距離，r是球體半徑。在這裡，f Psub是通過首先用函式T變換N（xi）中所有點的特徵而獲得的，然後將用函式A收集資訊，然後使用非線性啟用函式啟用。在此公式中，兩個函式A和T是f Psub的關鍵。A通過對稱性解決了點雲的無序性問題，T在N（xi）中的每個點上共享。

ps:之前點雲論文都是將中球體的質心和周圍鄰域點特徵差值當做特徵來學習，這裡是當權重去訓練。

2. Limitations of classic CNN

傳統CNN的限制：
（1）wj未在N（xi）的每個點上共享，從而導致點排列方差和無法處理不規則Psub
意思是：每個點上的權重wj是任意給的

（2）wj反向傳播時之和wj，即孤立地學習鄰域中每個點的資訊，是得不到形狀資訊的,這個問題可以通過執行各種資料擴充或使用許多卷積濾波器，但它們不是最佳的。
（通過執行多個卷積濾波器，經過自己的實驗證明，確實是只能學習到很少的資訊）

3. Conversion: Learn from relation

ps:點雲的各個點之間確實沒有幾何關係，作者說中心點和鄰域點之間有明顯空間佈局關係，這個關係可以用於學習。

！！！主要方法：

對映M的目標是抽象兩點之間（xi和xj之間預設的幾何先驗hij）的高階關係表示式，可以對它們的空間佈局進行編碼

有一個問題：這種自己預設的幾何先驗是對的嗎？
（每個點都這樣做的話，所有的特徵都以同樣的標準來獲取）

這樣一來wij的梯度和wi、wj都相關，而且所有的wij都是通過同一個mlp獲得，這樣的話可以
不受點雲無序性地影響（使用了同一mlp獲得的權重，證明了這些鄰域點之間有統一的關係，加強了學習到的形狀資訊）[^1]

（忽略這句：【1,1】的卷積核，對於N個鄰域點來說是同一個，看看每個鄰域點的反應情況。）

參考：https://blog.csdn.net/shuzfan/article/details/51338178
使用同一mlp，獲得得形狀資訊更加準確。

4.Channel-raising mapping

將fsub特徵的數量通過一系列mlp設定成一樣的數量。

未完待續…