1. 程式人生 > >點雲資料處理學習筆記

點雲資料處理學習筆記

三維計算視覺研究內容包括:

  (1)三維匹配:兩幀或者多幀點雲資料之間的匹配,因為鐳射掃描光束受物體遮擋的原因,不可能通過一次掃描完成對整個物體的三維點雲的獲取。因此需要從不同的位置和角度對物體進行掃描。三維匹配的目的就是把相鄰掃描的點雲資料拼接在一起。三維匹配重點關注匹配演算法,常用的演算法有最近點迭代演算法 ICP和各種全域性匹配演算法。

    

  (2)多檢視三維重建:計算機視覺中多檢視一般利用影象資訊,考慮多視幾何的一些約束,相關研究目前很火,射影幾何和多檢視幾何是視覺方法的基礎。在攝影測量中類似的存在共線方程,光束平差法等研究。這裡也將點雲的多視匹配放在這裡,比如人體的三維重建,點雲的多視重建不再是簡單的逐幀的匹配,還需要考慮不同角度觀測產生誤差累積,因此存在一個針對三維模型進行優化或者平差的Fusion融合過程在裡面。通常SLAM是通過觀測形成閉環進行整體平差實現,優先保證位姿的精確;而多檢視重建通過Fusion過程實現對模型的整體優化,保證模型最優。多檢視三維重建可以只使用影象,或者點雲,也可以兩者結合(深度影象)實現,重建的結果通常是Mesh網格。最典型的例子是KinectFusion,Kinfu等等.

  

  (3)3D SLAM

  點雲匹配(最近點迭代演算法 ICP、正態分佈變換方法 NDT)+位姿圖優化(g2o、LUM、ELCH、Toro、SPA);實時3D SLAM演算法 (LOAM,Blam);Kalman濾波方法。

  3D SLAM側重於定位,通常可以產生3D點雲,或者Octree Map。

  基於視覺(單目、雙目、魚眼相機、深度相機)方法的SLAM,比如orbSLAM,lsdSLAM;VINS是IMU與視覺融合的不錯的開源專案。

   

  (4)目標識別:無人駕駛汽車中基於鐳射資料檢測場景中的行人、汽車、自行車、以及道路和道路附屬設施(行道樹、路燈、斑馬線等)。

這部分工作也是高精度電子地圖的主要內容。當然高精度電子地圖需要考慮的內容更多。

  (5)形狀檢測與分類:點雲技術在逆向工程中有很普遍的應用。構建大量的幾何模型之後,如何有效的管理,檢索是一個很困難的問題。需要對點雲(Mesh)模型進行特徵描述,分類。根據模型的特徵資訊進行模型的檢索。同時包括如何從場景中檢索某類特定的物體,這類方法關注的重點是模型。

  (6)語義分類:獲取場景點雲之後,如何有效的利用點雲資訊,如何理解點雲場景的內容,進行點雲的分類很有必要,需要為每個點雲進行Labeling。可以分為基於的分類方法和基於分割的分類方法。從方法上可以分為基於監督分類的技術或者非監督分類技術,深度學習也是一個很有希望應用的技術。最近深度學習進行點雲場景理解的工作多起來了,比如PointNet,各種八叉樹的Net。

(7)雙目立體視覺與立體匹配 ZNCC

(9)Multi-View Stereo (MVS)多檢視立體視覺,研究影象一致性,實現稠密重建。

(10)自動造型(構型),快速造型(構型)技術。對模型進行凸分割,模型剖分,以實現模型進一步的編輯修改,派生出其他的模型。

1、點雲濾波方法(資料預處理)

雙邊濾波、高斯濾波、條件濾波、直通濾波、隨機取樣一致性濾波。

VoxelGrid

2、關鍵點

ISS3D、Harris3D、NARF,

SIFT3D、均勻取樣,曲率方法取樣

3、特徵和特徵描述

PFH、FPFH、3D Shape Context、Spin Image

4、點雲匹配

ICP、穩健ICP、point to plane ICP、Point to line ICP、MBICP、GICP、NICP

NDT 3D、Multil-Layer NDT

FPCS、KFPCS、SAC-IA

5、點雲分割與語義分類

分割:區域生長、Ransac線面提取、、全域性優化平面提取

   K-Means、Normalize Cut(Context based)

   3D Hough Transform(線、面提取)、連通分析、

分類:基於點的分類,基於分割的分類;監督分類與非監督分類

目前基於深度學習的點雲語義分類比較熱:PointNet,OctNet之類的吧,需要多加關注。

6、SLAM圖優化

Ceres(Google的最小二乘優化庫,很強大), g2o、LUM、ELCH、Toro、SPA

SLAM方法:ICP、MBICP、IDC、likehood Field、、NDT

7、目標識別、檢索

8、變化檢測

  基於八叉樹的變化檢測

9. 三維重建

  泊松重建、 Delaunay triangulations

  表面重建,人體重建,建築物重建,樹木重建。

  結構化重建:不是簡單的構建一個Mesh網格,而是為場景進行分割,為場景結構賦予語義資訊。場景結構有層次之分,在幾何層次就是點線面。

  實時重建:重建植被或者農作物的4D(3D+時間)生長態勢;人體姿勢識別;表情識別;

10.點雲資料管理

  點雲壓縮,點雲索引(KD、Octree),點雲LOD(金字塔),海量點雲的渲染

   

相關推薦

資料處理學習筆記

三維計算視覺研究內容包括:   (1)三維匹配:兩幀或者多幀點雲資料之間的匹配,因為鐳射掃描光束受物體遮擋的原因,不可能通過一次掃描完成對整個物體的三維點雲的獲取。因此需要從不同的位置和角度對物體進行掃描。三維匹配的目的就是把相鄰掃描的點雲資料拼接在一起。三維匹配重點關注匹配演算法,常用的演算法有最近點迭代

《PCL學習&VS2010(X64)》Part 22 鐳射雷達資料處理相關演算法庫收集

2.Point Cloud Library (PCL) 是一個獨立的大型的處理二維/三維影象和點雲資料的開源工程,由Willow Garage公司開發,起初只是以PR2機器人在3D資料感知演算法處理上速度更快為目標,後來才漸漸發展為一個獨立的函式庫。PCL包含了許多先進演算法,比如濾波,特徵估計,表面重建,

ccf資料處理

儲存一下當時如何處理資料的 1.將csv檔案儲存為h5檔案 import numpy as np import h5py L0 = np.loadtxt(open(".\category0.csv","rb"),delimiter=",",skiprows=0) L1 = np.lo

雙邊濾波演算法在資料處理時的應用

雙邊濾波演算法在點雲資料處理時的應用 簡介(摘自百科) 雙邊濾波(Bilateral filter)是一種非線性的濾波方法,是結合影象的空間鄰近度和畫素值相似度的一種折中處理,同時考慮空域資訊和灰度相似性,達到保邊去噪的目的。具有簡單、非迭代、區域性的特點 。雙邊濾波器的好處是可以做

PCL學習筆記——讀入txt格式資料,寫入到PCD檔案中

讀入txt格式點雲資料,寫入PCD檔案中 // An highlighted block // pointclouds_octree.cpp: 定義控制檯應用程式的入口點。 // #include "stdafx.h" #include<iostream> #include

3D資料分析:pointNet++論文分析及閱讀筆記

PointNet的缺點: PointNet不捕獲由度量空間點引起的區域性結構,限制了它識別細粒度圖案和泛化到複雜場景的能力。  利用度量空間距離,我們的網路能夠通過增加上下文尺度來學習區域性特徵。 點集通常採用不同的密度進行取樣,這導致在統一密度下訓練的網路的效能大大降低。

【深度學習】三維資料集總結

點雲資料集總結 三維點雲資料,三維深度學習 1.ShapeNet ShapeNet是一個豐富標註的大規模點雲資料集,其中包含了55中常見的物品類別和513000個三維模型。 2.ShapeNetSem 這是一個小的資料庫,包含了270類的12000個物

將ContextCapture生成的資料轉化為PCL可以處理資料格式

示例程式碼: file = open('point2.txt') # 讀取所需資料 val_list = file.readlines() list_x = [] list_y = [] list_z = [] list_rgb = [] for string in val_list:

Matlab影象處理學習筆記(七):surf特徵

本文主要演示如何使用matlab自帶的Computer Vision System Toolbox這個工具箱進行suft特徵點的檢測、匹配及顯示。這個工具箱是matlab2012b及之後才有的一個工具

Python語言程式設計(MOOC崇天)第七章檔案和資料格式化學習筆記(自動軌跡繪製+政府工作報告詞

複習: 數字型別及操作: 字串型別和操作: 程式分支結構 程式的迴圈結構 函式的定義與使用 程式碼複用與函式遞迴 集合型別及操作 序列型別及操作 字典型別及操作 本週內容: 檔案和資料格式化   檔案的使用 統

處理資料(四):到影象平面的投影

點雲到影象平面的投影 座標系的定義 相機(x:右,y:下,z:前) 點雲(x:前,y:左,z:上) 讀取感測器校準引數 在KITTI資料集raw_data中有兩個感測器校準引數檔案calib_cam_to_cam.txt(相機到相機的標定) 和

MATLAB數字圖像處理學習筆記

.html blog mage file png tle src 大於 span   我們都知道一幅圖片就相當於一個二維數組,可以用一個矩陣來表示,而MATLAB可以說就是為矩陣運算而生的,所以學習圖像處理,學習MATLAB勢在必行! 一、 MATLAB基礎知識 1.

[離散時間信號處理學習筆記] 2. 線性時不變系統

加權 n-1 -m 及其 border 離散 begin 其中 vol 線性時不變系統的定義 線性時不變系統(LTI)是離散時間系統中特別重要的一種系統,該系統包含線性以及時不變性,用卷積來表征。 前面有講過序列$x[n]$可以表示成幅度加權的延遲單位樣本序列的和的形式 $

[離散時間信號處理學習筆記] 4. 線性常系數差分方程

info 有助於 right 計算 png 特征值 post href 單位 本文主要從離散時間系統的角度來討論線性常系數差分方程,不過其中也不可避免地涉及到數學方面的分析,因此在閱讀本文章之前,如果對線性常系數差分方程在數學上有一定的認識,將更有助於理解本文的相關內容。

[離散時間信號處理學習筆記] 8. z逆變換

pos 等於 nsf 相同 一個 text transform tle seq z逆變換的計算為下面的復數閉合曲線積分: $x[n] = \displaystyle{\frac{1}{2\pi j}}\oint_{C}X(z)z^{n-1}dz$ 式中$C$表示的是收斂域內

[離散時間信號處理學習筆記] 9. z變換性質

ali nbsp tro mat ack 卷積 結果 n-1 學習筆記 z變換描述 $x[n] \stackrel{\mathcal{Z}}{\longleftrightarrow}X(z) ,\quad ROC=R_x$ 序列$x[n]$經過z變換後得到復變函數$X(z)

[離散時間信號處理學習筆記] 12. 連續時間信號的離散時間處理以及離散時間信號的連續時間處理

.cn post 包括 oat text lock let 通過 symbol 連續時間信號與離散時間信號之間的關系 下表為各符號的解釋 Symbol FT DTFT Info $x_c(t)$ $X_c(j\Omega)$ - 連續時間信號 $x[n]$ -

include包含將網頁信息分為頭/體/尾三部份處理-學習筆記

include包含將網頁信息分為頭/體/java import java.io.IOException; import java.io.PrintWriter; import javax.servlet.ServletException; import javax.servlet.http.HttpServ

資料分析學習筆記part_4

資料分析   Lesson 4 : 統計學 描述性統計學 - 第一部分 資料型別 數值型別 數值資料採用允許我們執行數學運算(例如計算狗的數量)的數值。 分類資料 分類資料用於標記一個群體或一組條目(例如狗的品種 —— 牧羊

資料分析學習筆記part_1

資料分析   Lesson 1 : SQL初探 SQL和移動平均值 SQL簡介 實體關係圖(ERD) 是檢視資料庫中資料的常用方式。下面是我們將用於 Parch & Posey 資料庫的 ERD。包括:1. 表的名稱 2. 每個表中的列 3. 表配合工作的方式。如下圖所