3DmFV: Three-Dimensional Point Cloud Classification in Real-Time Using Convolutional Neural Networks
此篇為對論文的理解。一下關鍵地方直接使用原文，避免誤導。
Abstract—Modern robotic systems are often equipped with a direct three-dimensional (3-D) data acquisition device, e.g., LiDAR, which provides a rich 3-D point cloud representation of the surroundings. This representation is commonly used for obstacle avoidance and mapping. Here, we propose a new approach for using point clouds for another critical robotic capability, semantic understanding of the environment (i.e., object classification). Convolutional neural networks (CNNs), that perform extremely well for object classification in 2-D images, are not easily extendible to 3-D point clouds analysis. It is not straightforward due to point clouds’ irregular format and a varying number of points. The common solution of transforming the point cloud data into a 3-D voxel grid needs to address severe accuracy versus memory size tradeoffs. In this letter, we propose a novel, intuitively interpretable, 3-D point cloud representation called 3-D modified Fisher vectors. Our representation is hybrid as it combines a coarse discrete grid structure with continuous generalized Fisher vectors. Using the grid enables us to design a new CNN architecture for real-time point cloud classification. In a series of performance analysis experiments, we demonstrate competitive results or even better than state of the art on challenging benchmark datasets while maintaining robustness to various data corruptions.
摘要的摘要：提出一種效能優秀的三維點雲表示方法：三維修正Fisher向量（3DmFV）。
深度神經網路在影象分析中表現出色，但是點雲是非結構化、無序的，點雲數量也不盡相同，所以它們不能自然地適應空間陣列（網格）。目前有幾種解決方法，其中之一是將3D點雲資料柵格化，但是這種方法的計算成本和近似精度需要折衷。這篇論文采用的3DmFV來表示點雲，通過它們與高斯混合模型（GMM）的偏差來描述點。此法和Fisher Vector相似，但是它以兩種重要的方式進行修稿和推廣：the proposed GMM is specified using a set of uniform Gaussians with centers on a 3D grid, and the components characterizing the set of points, that, for Fisher vectors, are averages over this set, are generalized to other functions of this set.（建議的GMM使用一組重在在3D柵格的歸一化的高斯，對於FV來說，表徵點的分量是該集合的平均值，可以推廣到該集合的其他函式）。
優點：保持了點雲的連續屬性，保留了一些點集的精細細節，並且在某種條件下是無損的，可逆的。其次，網格狀結構可以使用卷積神經網路，低解析度也難怪呢產生出色的分類精度。最後，所提出的每個組成不能都是直觀可解釋的。
3DmFV網路分類架構由兩部分組成，一是將輸入點雲轉化為3DmFV表示，而是將轉化後的架構輸入CNN架構。如下圖所示。
此方法建立在FV表示上（文章開頭有參考部落格）。
FV作為DNN輸入的優點
它將點雲的可變數目轉化為固定大小，其組成部分為各個點的函式的歸一化和。因此，點集的FV表示對於順序、結構和樣本大小是不變的。
此法任務 FV表示在點集上是連續的，受此缺點的影響較小。有三個論點支援這一主張。
1.方程計數引數。
2.在簡化的孤立案例中重建代表點結構
3.使用溼度解碼器從FV中重建點雲
將FV推廣到3DmFV
3DmFV的推廣
改變混合模型 ；更改/新增其它對稱函式；歸一化。
3DmFV-Net分類架構
網路的主要部分包括一個Inception模組，最大化層，四個全連線層。網路輸出分類分數。